KR20220004604A - 장애물의 검출 방법, 전자 기기, 노변 기기 및 클라우드 컨트롤 플랫폼 - Google Patents
장애물의 검출 방법, 전자 기기, 노변 기기 및 클라우드 컨트롤 플랫폼 Download PDFInfo
- Publication number
- KR20220004604A KR20220004604A KR1020210178984A KR20210178984A KR20220004604A KR 20220004604 A KR20220004604 A KR 20220004604A KR 1020210178984 A KR1020210178984 A KR 1020210178984A KR 20210178984 A KR20210178984 A KR 20210178984A KR 20220004604 A KR20220004604 A KR 20220004604A
- Authority
- KR
- South Korea
- Prior art keywords
- coordinates
- template
- obstacle
- reference points
- current
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 230000009466 transformation Effects 0.000 claims abstract description 101
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 238000004590 computer program Methods 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 10
- 108010001267 Protein Subunits Proteins 0.000 claims description 6
- 238000004891 communication Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/19007—Matching; Proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
본 공개는 장애물의 검출 방법, 전자 기기, 노변 기기 및 클라우드 컨트롤 플랫폼을 제공한다. 본 공개는 자율 주행 및 스마트 교통 분야에 관한 것이다. 장애물의 검출 방법은, 현재 이미지를 획득하되, 상기 현재 이미지는 소정의 평면에 위치한 적어도 하나의 장애물을 나타내는 적어도 하나의 장애물 대상을 포함하는 단계; 상기 소정의 평면 상의 다수의 기준점의 현재 이미지 중의 현재 좌표 및 상기 다수의 기준점의 템플릿 이미지 중 대응 기준점의 템플릿 좌표를 기반으로, 상기 현재 이미지와 상기 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계; 및 상기 변환 매개 변수 및 상기 현재 이미지 중 상기 장애물 대상의 픽셀 좌표를 이용하여 세계 좌표계에서의 상기 장애물의 위치를 결정하는 단계;를 포함한다. 본 공개에서 제공되는 방법을 이용하면, 획득한 이미지 정보를 이용하여 장애물 검출의 정확도에 대한 카메라 흔들림의 영향을 용이하게 제거할 수 있다.
Description
본 공개는 자율 주행 및 스마트 교통 분야에 관한 것으로, 구체적으로 장애물의 검출 방법, 장치, 전자 기기, 노변 기기, 클라우드 컨트롤 플랫폼, 컴퓨터 판독가능 저장매체 및 컴퓨터 프로그램 제품에 관한 것이다.
도로 상의 장애물의 검출을 구현하기 위해, 노변 감지 기기는 일반적으로 신호등 기둥 또는 감시 기둥 등 기기 기둥과 같은 비교적 높은 위치에 설치된다. 실제 환경의 복잡성으로 인해, 노변 감지 기기가 외부 환경의 영향을 받으면 그 위치가 흔들릴 수 있다.
본 발명은 상기 문제점을 해결하기 위한 것이다.
본 공개의 일 측면은 장애물의 검출 방법을 제공한다.
상기 방법은, 현재 이미지를 획득하되, 상기 현재 이미지는 소정의 평면에 위치한 적어도 하나의 장애물을 나타내는 적어도 하나의 장애물 대상을 포함하는 단계; 상기 소정의 평면 상의 다수의 기준점의 현재 이미지 중의 현재 좌표 및 상기 다수의 기준점의 템플릿 이미지 중 대응 기준점의 템플릿 좌표를 기반으로, 상기 현재 이미지와 상기 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계; 및 상기 변환 매개 변수 및 상기 현재 이미지 중 상기 장애물 대상의 픽셀 좌표를 이용하여 세계 좌표계에서의 상기 장애물의 위치를 결정하는 단계;를 포함한다.
본 공개의 다른 측면은, 장애물의 검출 장치를 제공한다. 상기 장치는, 현재 이미지를 획득하도록 구성되되, 상기 현재 이미지는 소정의 평면에 위치한 적어도 하나의 장애물을 나타내는 적어도 하나의 장애물 대상을 포함하는 이미지 획득 유닛; 상기 소정의 평면 상의 다수의 기준점의 현재 이미지 중의 현재 좌표 및 상기 다수의 기준점의 템플릿 이미지 중 대응 기준점의 템플릿 좌표를 기반으로, 상기 현재 이미지와 상기 템플릿 이미지 사이의 변환 매개 변수를 결정하도록 구성된 변환 결정 유닛; 및 상기 변환 매개 변수 및 상기 현재 이미지 중 상기 장애물 대상의 픽셀 좌표를 이용하여 세계 좌표계에서의 상기 장애물의 위치를 결정하도록 구성된 장애물 위치 결정 유닛;을 포함한다.
본 공개의 다른 측면은 전자 기기를 제공한다. 상기 전자 기기는, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 연결되는 메모리;를 포함하고, 상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서로 하여금 상술한 바와 같은 방법을 실행할 수 있도록 한다.
본 공개의 다른 측면은, 상술한 바와 같은 전자 기기를 포함하는 노변 기기를 제공한다.
본 공개의 다른 측면은, 상술한 바와 같은 전자 기기를 포함하는 클라우드 컨트롤 플랫폼을 제공한다.
본 공개의 다른 측면은, 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독가능 저장매체를 제공하고, 상기 컴퓨터 명령은 상기 컴퓨터로 하여금 상술한 바와 같은 방법을 실행하도록 한다.
본 공개의 다른 측면은, 컴퓨터 프로그램 제품을 제공한다. 상기 제품은 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때 상술한 바와 같은 방법을 구현한다.
본 공개의 다른 측면은, 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램을 제공한다. 상기 컴퓨터 프로그램은 명령을 포함하고, 상기 명령은 하나 이상의 프로세서에 의해 실행될 때 상술한 바와 같은 방법을 구현한다.
본 공개의 하나 또는 다수의 실시예에 따르면, 이미지 중의 다수의 기준점의 변환을 이용하여 이미지 수집 기기의 외부 매개 변수 변화로 인한 장애물 검출 정확도의 저하를 용이하게 보정할 수 있다.
발명의 내용 부분에서 설명된 내용은 본 공개 실시예의 핵심 또는 중요한 특징을 한정하기 위한 것이 아니며, 본 공개의 범위를 제한하기 위한 것이 아님을 이해해야 한다. 본 공개의 다른 특징은 아래 설명을 통해 쉽게 이해될 것이다.
도면은 실시예를 예시적으로 나타내고 명세서의 일부를 구성하며, 명세서의 문자 기재와 함께 실시예의 예시적 실시형태를 해석한다. 보여준 실시예는 예시의 목적으로만 사용되고, 청구항의 범위를 한정하지 않는다. 모든 도면에서 동일한 부호는 유사하지만 반드시 동일하지는 않은 요소를 가리킨다.
도 1은 본 공개의 실시예에 따른, 본 명세서에서 설명한 다양한 방법을 실시 가능한 예시적인 시스템의 개략도를 나타낸다.
도 2는 본 공개의 실시예에 따른, 장애물의 검출 방법의 예시적인 흐름도를 나타낸다.
도 3은 본 공개의 실시예에 따른, 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계의 예시적인 흐름도를 나타낸다.
도 4는 본 공개의 실시예에 따른, 다수의 기준점의 현재 좌표 및 대응 기준점의 템플릿 좌표를 기반으로 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계의 예시적인 흐름도를 나타낸다.
도 5는 본 공개의 실시예에 따른, 다수의 기준점의 현재 좌표 및 대응 기준점의 템플릿 좌표를 기반으로 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정하는 다른 하나의 예시적인 흐름도를 나타내다.
도 6은 본 공개의 실시예에 따른, 변환 매개 변수 및 현재 이미지 중 장애물의 픽셀 좌표를 이용하여 세계 좌표계에서의 장애물의 위치를 결정하는 프로세스의 예시적인 흐름도를 나타낸다.
도 7은 본 공개의 실시예에 따른, 이미지 중의 기준점의 개략도를 나타낸다.
도 8a 및 도 8b는 장애물의 검출 결과 개략도를 나타낸다.
도 9는 본 공개의 실시예에 따른, 장애물의 검출 장치의 개략적인 블록도를 나타낸다.
도 10은 본 공개의 실시예를 구현 가능한 예시적인 전자 기기의 구조 블록도를 나타낸다.
도 1은 본 공개의 실시예에 따른, 본 명세서에서 설명한 다양한 방법을 실시 가능한 예시적인 시스템의 개략도를 나타낸다.
도 2는 본 공개의 실시예에 따른, 장애물의 검출 방법의 예시적인 흐름도를 나타낸다.
도 3은 본 공개의 실시예에 따른, 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계의 예시적인 흐름도를 나타낸다.
도 4는 본 공개의 실시예에 따른, 다수의 기준점의 현재 좌표 및 대응 기준점의 템플릿 좌표를 기반으로 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계의 예시적인 흐름도를 나타낸다.
도 5는 본 공개의 실시예에 따른, 다수의 기준점의 현재 좌표 및 대응 기준점의 템플릿 좌표를 기반으로 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정하는 다른 하나의 예시적인 흐름도를 나타내다.
도 6은 본 공개의 실시예에 따른, 변환 매개 변수 및 현재 이미지 중 장애물의 픽셀 좌표를 이용하여 세계 좌표계에서의 장애물의 위치를 결정하는 프로세스의 예시적인 흐름도를 나타낸다.
도 7은 본 공개의 실시예에 따른, 이미지 중의 기준점의 개략도를 나타낸다.
도 8a 및 도 8b는 장애물의 검출 결과 개략도를 나타낸다.
도 9는 본 공개의 실시예에 따른, 장애물의 검출 장치의 개략적인 블록도를 나타낸다.
도 10은 본 공개의 실시예를 구현 가능한 예시적인 전자 기기의 구조 블록도를 나타낸다.
이하 도면을 결합하여 본 출원의 실시예의 각종 세부적인 부분을 포함하는 본 출원의 예시적 실시예를 설명하며, 이들은 단지 예시적 실시예로 간주해야 한다. 해당 분야의 일반적인 기술자는 여기서 설명하는 실시예에 대해 본 출원의 범위를 벗어나지 않으면서 다양한 변경과 수정을 진행할 수 있음을 알 수 있을 것이다. 마찬가지로, 명확성과 간결함을 위하여, 하기 설명서에서 공지 기능 및 공지 구조에 대한 설명은 생략한다.
본 공개에서, 별도의 설명이 없는 한, "제1", "제2" 등의 용어를 이용하여 각종 요소를 설명하는 것은 이들 요소의 위치 관계, 시간순서 관계 또는 중요성 관계를 한정하는 것을 의도하지 않는다. 이러한 용어는 하나의 소자를 다른 소자와 구분하기 위한 것일 뿐이다. 일부 예시에서 제1 요소와 제2 요소는 당해 요소의 동일한 구현예를 지칭할 수 있으며, 일부 경우에 이들은 문맥상 서로 다른 구현예를 지칭할 수도 있다.
본 공개에서 각종 상기 예시에 대한 설명에서 사용된 용어는 특정 예시를 설명하기 위한 목적일 뿐, 한정하는 것을 의도하지 않는다. 문맥상, 별도로 명백히 표시하지 않은 한, 요소의 수를 특별히 한정하지 않으면 당해 요소는 하나 또는 다수일 수 있다. 또한, 본 공개에서 사용된 용어 "및/또는"은 나열된 항목 중의 임의의 하나 및 모든 가능한 조합 방식을 포함한다.
차량 네트워크(V2X, Vehicle to Everything) 기술은, GPS 내비게이션 기술, 차량 대 차량 교류 기술, 무선 통신 및 원격 감지 기술을 통합하여 새로운 자동차 기술 발전 방향을 제시했다. V2X 기술은, 노변 감지 기술을 통해 도로 정보를 얻어, 스마트 교통, 자율 주행 등 방안에 필수 정보를 제공할 수 있다. 일부 적용에서, 도로 근처에 설치된 노변 감지 기기를 통해 필요한 도로 정보를 얻을 수 있다. 예를 들면, 직선 도로 양측 또는 교차로에 설치된 노변 감지 기기를 통해 도로 정보를 얻을 수 있다.
지능형 교통 차량 도로 협업 시스템 구조에서, 노변 기기는 노변 감지 기기 및 노변 컴퓨팅 기기를 포함할 수 있다. 노변 감지 기기(예를 들면 노변 카메라)는 노변 컴퓨팅 기기(예를 들면 노변 컴퓨팅 유닛(RSCU))에 연결되고, 노변 컴퓨팅 기기는 클라우드 컨트롤 플랫폼에 연결된다. 다른 하나의 시스템 구조는 노변 감지 기기 자체가 컴퓨팅 기능을 포함한다. 즉 노변 기기는 컴퓨팅 기능을 갖는 노변 감지 기기일 수 있고, 노변 감지 기기는 상기 클라우드 컨트롤 플랫폼에 직접 연결될 수 있다. 상기 연결은 유선 또는 무선일 수 있다. 클라우드 컨트롤 플랫폼은 차량 도로 협업 관리 플랫폼, 중앙 시스템, 에지 컴퓨팅 플랫폼, 클라우드 컴퓨팅 플랫폼, 클라우드 서버라고도 할 수 있다. 클라우드 컨트롤 플랫폼은 클라우드에서 처리를 수행하고, 클라우드 컨트롤 플랫폼에 포함된 전자 기기는 감지 기기(예를 들면 노변 카메라)의 사진 및 비디오와 같은 데이터를 획득하여 이미지 비디오 처리 및 데이터 컴퓨팅을 진행할 수 있다.
노변 감지 기술은 감지된 장애물을 노변센서 및 감지 알고리즘을 통해 차량으로 보내, 차량이 자율 주행 기능을 실현하도록 돕기 위한 기술이다. 현재 노변 감지센서는 카메라 및 레이저 레이더(lidar) 등을 포함한다. 차량 네트워크(V2X) 노변 감지 시나리오에서, 카메라를 통해 가시 범위를 초과한 도로 교통 정보를 얻기 위해, 카메라 위치는 일반적으로 가로등 또는 신호등 기둥에 설치하며, 카메라가 높을수록, 획득하는 이미지의 시야가 더 크고, 더 많은 정보를 포함하며, 노변 감지 능력이 더 강해진다. 그러나 카메라를 비교적 높은 기둥에 설치하면, 바람이 불거나 중차량이 지날 때 카메라 흔들림이 발생한다. 카메라의 위치가 변경되면, 카메라 오프라인으로 교정된 외부 매개 변수를 이용하여 장애물을 3D로 되투사할 때 흔들림 오차가 발생한다. 흔들림이 너무 크면, 오프라인 외부 매개 변수에 오류가 발생하고, 장애물 위치가 심각하게 부정확해진다. 따라서, 카메라 흔들림 상황에서의 3D 위치의 검출을 최적화하는 알고리즘이 필요하다. 그 중 카메라 외부 매개 변수는 회전 매트릭스 및 평행 이동 매트릭스를 포함할 수 있다. 카메라 외부 매개 변수로서 회전 매트릭스 및 평행 이동 매트릭스는 어떻게 점을 세계 좌표계로부터 카메라 좌표계로 변환할 것인가에 대해 함께 설명하였다.
일반적으로 카메라 흔들림을 해결하는 방법으로는 광학식 흔들림 방지 방법, 기계식 흔들림 방지 방법 및 전자식 흔들림 방지 방법이 있고, 노변 감지 비용의 제한으로 인해, 별도 비용이 필요한 광학식 흔들림 방지 및 기계식 흔들림 방지는 모두 대규모적으로 사용될 수 없고, 일반적인 전자식 흔들림 방지도 노변 카메라 시나리오에 직면할 경우 비교적 큰 오차가 발생한다.
널리 사용되는 방법은 외부 매개 변수의 온라인 교정을 수행하는 것으로, 이는 카메라의 외부 매개 변수를 실시간으로 계산하여 오프라인 외부 매개 변수를 업데이트하여, 노변 감지 시스템 중의 오프라인 외부 매개 변수 오류 문제를 해결한다. 이러한 방법의 정확도 및 실시간성은 비교적 좋은 하드웨어에서 요구 사항을 충족할 수 있으나, 연산력이 소모되고, 비용이 비교적 높다.
상기 문제를 해결하기 위해, 본 공개는 카메라 흔들림으로 인한 외부 매개 변수 변화에 따른 오류를 용이하게 보정할 수 있는 새로운 장애물의 검출 방법을 제공한다.
이하, 도면을 결합하여 본 공개의 실시예를 상세하게 설명한다.
도 1은 본 공개의 실시예에 따른, 본 명세서에서 설명한 다양한 방법 및 장치를 실시 가능한 예시적인 시스템(100)의 개략도를 나타낸다. 도 1을 참조하면, 상기 시스템(100)은 하나 또는 다수의 클라이언트 기기(101, 102, 103, 104, 105 및 106), 서버(120) 및 하나 또는 다수의 클라이언트 기기를 서버(120)에 연결시키는 하나 또는 다수의 통신 네트워크(110)를 포함한다. 클라이언트 기기(101, 102, 103, 104, 105 및 106)는 하나 또는 다수의 응용 프로그램을 실행하도록 구성될 수 있다.
본 공개의 실시예에서, 서버(120)는 본 공개에 따른 장애물의 검출 방법의 하나 또는 다수의 서비스 또는 소프트웨어 어플리케이션을 실행할 수 있도록 작동될 수 있다. 일부 실시예에서, 클라이언트 기기(101, 102, 103, 104, 105 및 106)를 사용하여 본 공개에 따른 장애물의 검출 방법의 하나 또는 다수의 서비스 또는 소프트웨어 어플리케이션을 작동시킬 수도 있다. 일부 구현예에서, 클라이언트 기기(101, 102, 103, 104, 105 및 106)는 차량 네트워크 시스템 중의 노변 기기를 구현하는 데 사용될 수 있다.
일부 실시예에서, 서버(120)는 비 가상 환경 및 가상 환경을 포함할 수 있는 기타 서비스 또는 소프트웨어 어플리케이션을 더 제공할 수 있다. 일부 실시예에서, 이러한 서비스는 web에 기반한 서비스 또는 클라우드 서비스로 제공될 수 있고, 예를 들면 서비스로서의 소프트웨어(SaaS) 모델에서 클라이언트 기기(101, 102, 103, 104, 105 및/또는 106)의 사용자에게 제공된다.
도 1에 도시된 구성에서, 서버(120)는 서버(120)에 의해 실행되는 기능을 구현하는 하나 또는 다수의 어셈블리를 포함할 수 있다. 이러한 어셈블리는 하나 또는 다수의 프로세서에 의해 실행 가능한 소프트웨어 어셈블리, 하드웨어 어셈블리 또는 그 조합을 포함할 수 있다. 클라이언트 기기(101, 102, 103, 104, 105 및/또는 106)를 조작하는 사용자는 하나 또는 다수의 클라이언트 응용 프로그램을 순차적으로 이용하여 서버(120)와 인터랙티브를 진행하여 이러한 어셈블리에 의해 제공되는 서비스를 이용할 수 있다. 이해해야 할 것은, 시스템(100)과 상이할 수 있는 다양한 시스템 구성이 가능하다. 따라서, 도 1은 본 명세서에서 설명한 다양한 방법의 하나의 예시일 뿐, 제한하기 위한 것은 아니다.
클라이언트 기기는 클라이언트 기기의 사용자로 하여금 클라이언트 기기와 인터랙티브를 진행할 수 있도록 하는 인터페이스를 제공할 수 있다. 클라이언트 기기는 또한 상기 인터페이스를 통해 사용자에게 정보를 출력할 수 있다. 비록 도 1은 6가지 클라이언트 기기에 대해서만 설명하였으나, 당업자는 본 공개는 임의의 수의 클라이언트 기기를 지원할 수 있음을 이해할 수 있을 것이다.
클라이언트 기기(101, 102, 103, 104, 105 및/또는 106)는 휴대용 핸드 헬드 기기, 범용 컴퓨터(예를 들면 개인용 컴퓨터 및 랩톱 컴퓨터), 워크 스테이션 컴퓨터, 웨어러블 기기, 게임 시스템, 씬클라이언트, 다양한 메시지 송수신 기기, 센서 또는 기타 감지 기기 등과 같은 다양한 유형의 컴퓨터 기기를 포함할 수 있다. 이러한 컴퓨터 기기는 Microsoft Windows, Apple iOS, UNIX 유사 운영 체제, Linux 또는 Linux 유사 운영 체제(예를 들면 Google Chrome OS)와 같은 다양한 유형 및 버전의 소프트웨어 응용 프로그램 및 운영 체제를 실행하거나, 또는 Microsoft Windows Mobile OS, iOS, Windows Phone, Android와 같은 다양한 모바일 운영 체제를 포함할 수 있다. 휴대용 핸드 헬드 장치는 셀룰러 폰, 스마트폰, 태플릿 PC, PDA(Personal Digital Assistants) 등을 포함할 수 있다. 웨어러블 장치는 헤드 마운티드 디스플레이 및 기타 기기를 포함할 수 있다. 게임 시스템은 다양한 핸드 헬드 게임 기기, 인터넷 지원 게임 기기 등을 포함할 수 있다. 클라이언트 기기는 Internet 관련 응용 프로그램, 통신 응용 프로그램(예를 들면 이메일 응용 프로그램), SMS 응용 프로그램과 같은 다양한 응용 프로그램을 실행할 수 있고, 다양한 통신 프로토콜을 사용할 수 있다.
네트워크(110)는 당업자에게 잘 알려진 임의의 유형의 네트워크일 수 있고, 다양한 이용 가능 프로토콜 중 어느 하나(TCP/IP, SNA, IPX 등을 포함하지만 이에 제한되지 않음)를 사용하여 데이터 통신을 지원할 수 있다. 단지 예로서, 하나 또는 다수의 네트워크(110)는 근거리 통신망(LAN), 이더넷 기반 네트워크, 토큰 링, 광역 네크워크(WAN), 인터넷, 가상 네트워크, 가상 사설망(VPN), 인트라넷, 엑스트라넷, 공중교환 전화망(PSTN), 적외선 네트워크, 무선 네트워크(예를 들면, 블루투스, WIFI) 및/또는 이러한 및/또는 기타 네트워크의 임의의 조합일 수 있다.
서버(120)는 하나 또는 다수의 범용 컴퓨터, 전용 서버 컴퓨터(예를 들면, PC(개인용 컴퓨터) 서버, UNIX 서버, 중급 서버), 블레이드 서버, 메인 프레임 컴퓨터, 서버 클러스터 또는 기타 적절한 배치 및/또는 조합을 포함할 수 있다. 서버(120)는 가상 운영 체제를 실행하는 하나 또는 다수의 가상 머신, 또는 가상화와 관련된 다른 컴퓨팅 아키텍처[예를 들면 가상화되어 서버의 가상 저장 기기를 유지할 수 있는 로직 저장 기기의 하나 또는 다수의 유연 풀(
)]를 포함할 수 있다. 다양한 실시예에서, 서버(120)는 이하에서 설명하는 기능을 제공하는 하나 또는 다수의 서비스 또는 소프트웨어 어플리케이션을 실행할 수 있다.
서버(120)의 컴퓨팅 유닛은 상기 임의의 운영 체제 및 상업적으로 사용 가능한 임의의 서버 운영 체제를 포함하는 하나 또는 다수의 운영 체제를 작동시킬 수 있다. 서버(120)는 HTTP 서버, FTP 서버, CGI 서버, JAVA 서버, 데이터 베이스 서버 등을 포함한 다양한 부가 서버 응용 프로그램 및/또는 중간층 응용 프로그램 중 어느 하나를 더 작동시킬 수 있다.
일부 실시예에서, 서버(120)는 클라이언트 기기(101, 102, 103, 104, 105 및 106)의 사용자로부터 수신된 데이터 피드 및/또는 이벤트 업데이트를 분석 및 병합하기 위한 하나 또는 다수의 응용 프로그램을 포함할 수 있다. 서버(120)는 클라이언트 기기(101, 102, 103, 104, 105 및 106)의 하나 또는 다수의 디스플레이 기기를 통해 데이터 피드 및/또는 실시간 이벤트를 표시하기 위한 하나 또는 다수의 응용 프로그램을 더 포함할 수 있다.
일부 실시예에서, 서버(120)는 분산 시스템의 서버이거나, 또는 블록체인이 결합된 서버일 수 있다. 서버(120)는 또한 클라우드 서버이거나, 인공지능 기술이 적용된 지능형 클라우드 컴퓨팅 서버 또는 지능형 클라우드 호스트일 수 있다. 클라우드 서버는 종래의 물리적 호스트와 가상 사설 서버(VPS, Virtual Private Server) 서비스에 존재하는 단점인 관리하기 어렵고, 서비스 확장성이 약한 단점을 해결하기 위한 클라우드 컴퓨팅 서비스 체계의 호스트 제품이다.
시스템(100)은 하나 또는 다수의 데이터 베이스(130)를 더 포함할 수 있다. 일부 실시예에서, 이러한 데이터 베이스는 데이터 및 기타 정보를 저장하는데 사용될 수 있다. 예를 들면, 데이터 베이스(130) 중 하나 또는 다수는 오디오 파일 및 비디오 파일과 같은 정보를 저장하는데 사용될 수 있다. 데이터 저장소(130)는 다양한 위치에 상주할 수 있다. 예를 들면, 서버(120)에 의해 사용되는 데이터 저장소는 서버(120) 로컬에 있을 수 있거나, 서버(120)로부터 이격될 수 있고 또한 네트워크 기반 또는 전용 연결을 통해 서버(120)와 통신할 수 있다. 데이터 저장소(130)는 다양한 유형일 수 있다. 일부 실시예에서, 서버(120)에 의해 사용되는 데이터 저장소는 관계형 데이터 베이스와 같은 데이터 베이스일 수 있다. 이러한 데이터 베이스 중 하나 또는 다수는 명령에 대한 응답으로 데이터 베이스 및 데이터 베이스로부터의 데이터를 저장, 업데이트 및 검색할 수 있다.
일부 실시예에서, 데이터 베이스(130) 중 하나 또는 다수는 응용 프로그램에 사용되어 응용 프로그램 데이터를 저장할 수도 있다. 응용 프로그램에서 사용하는 데이터 베이스는 키-값 저장소, 대상 저장소 또는 파일 시스템에 의해 지원되는 일반적인 저장소와 같은 다양한 유형의 데이터 베이스일 수 있다.
도 1의 시스템(100)은 본 공개에 따른 다양한 방법 및 장치가 적용될 수 있도록 다양한 방식으로 구성 및 운영될 수 있다.
도 2는 본 공개의 실시예에 따른, 장애물의 검출 방법의 예시적인 흐름도를 나타낸다.
도 2에 도시된 바와 같이, 단계 S202에서, 현재 이미지를 획득할 수 있고, 현재 이미지는 소정의 평면에 위치한 적어도 하나의 장애물을 나타내는 적어도 하나의 장애물 대상을 포함할 수 있다.
일부 실시예에서, 현재 이미지는 노변 기기가 수집한 도로의 모니터링 이미지일 수 있다. 일부 구현예에서, 현재 이미지는 노변 기기가 수집한 하나의 사진일 수 있다. 다른 일부 구현예에서, 현재 이미지는 노변 기기가 수집한 비디오 중의 하나의 비디오 프레임일 수도 있다.
노변 기기를 이용하여 수집한 모니터링 이미지는 도로 상의 장애물의 위치를 모니터링 할 수 있다. 일부 실시예에서, 소정의 평면은 지평면일 수 있다. 즉, 현재 이미지 중의 장애물은 지면에 위치한다.
일부 실시예에서, 단안 카메라를 이용하여 현재 이미지를 획득할 수 있다.
일반적으로, 단안 카메라로 획득한 이미지를 이용하여 이미지 중의 대상의 3차원 세계 좌표계 중의 위치를 결정하면 제약이 부족한 문제가 따른다. 다른 제약이 없는 경우, 이미지 중의 대상의 픽셀 좌표는 세계 좌표계 중의 하나의 사선(射線)에 대응한다. 즉, 3차원 세계 좌표계에서 상기 사선의 모든 점은 카메라로 획득한 이미지 중의 픽셀 좌표가 모두 동일하다. 그러나, 이미지에서 특정 평면을 나타내는 방정식을 미리 교정(Calibration)할 수 있는 경우, 단안 카메라를 이용하여 이미지에서 상기 특정 평면에 위치한 대상의 세계 좌표계에서의 위치를 결정할 수 있다.
차량 네크워크를 적용하는 시나리오에서, 촬영되는 이미지는 일반적으로 도로 이미지이므로 이미지 중 지평면을 교정하여 카메라 좌표계에서의 지평면 방정식 Ax+By+Cz+D=0을 얻을 수 있고, 여기서 A, B, C, D는 사전 교정된 계수이고, x, y, z는 카메라 좌표계에서의 3차원 독립 변수이다.
카메라 좌표계에서의 지평면 방정식을 알고 있는 경우, 픽셀 포인트의 픽셀 좌표에 대응하는 사선과 지평면 방정식의 교차점을 계산하면, 지평면에서의 상기 픽셀 포인트의 위치를 얻을 수 있다.
단계 S204에서, 소정의 평면 상의 다수의 기준점의 현재 이미지 중의 현재 좌표 및 다수의 기준점의 템플릿 이미지 중 대응 기준점의 템플릿 좌표를 기반으로, 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정할 수 있다. 여기서, 다수의 기준점이 위치한 평면과 장애물이 위치한 소정의 평면은 동일한 평면이다.
일부 실시예에서, 노변 기기가 사용되기 전에 노변 기기가 초기 외부 매개 변수 상태에서 촬영한 이미지를 획득하여 템플릿 이미지로 할 수 있다. 템플릿 이미지 촬영 시 노변 기기의 초기 외부 매개 변수(즉 오프라인 외부 매개 변수)를 결정할 수 있다. 노변 기기가 사용된 후, 오프라인 외부 매개 변수를 기반으로 노변 기기에 의해 촬영된 이미지를 처리하여 이미지에서 장애물의 3차원 위치를 결정할 수 있다.
외부 환경의 영향으로 인해, 이미지를 수집하는데 사용되는 노변 기기가 흔들리거나 영구적으로 움직일 수 있다. 예를 들면, 강풍이 불거나 중차량이 지나갈 때, 노변 기기의 카메라의 외부 매개 변수가 변경될 수 있으나, 지평면 방정식은 여전히 오프라인으로 결정된 카메라의 초기 외부 매개 변수를 기반으로 교정된다. 이 경우, 카메라의 초기 외부 매개 변수를 기반으로 교정된 지평면 방정식에 의해 결정되는, 이미지 중 장애물 대상의 세계 좌표계에서의 위치는 정확도가 낮아질 수 있다.
노변 기기의 흔들림이나 움직임으로 인한 장애물 위치 검출에 대한 영향을 교정하기 위해, 템플릿 이미지와 현재 이미지 사이의 이미지 변화를 기반으로 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정할 수 있다. 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수는 템플릿 이미지 수집 시 초기 카메라 외부 매개 변수에 대한 현재 이미지 수집 시 현재 카메라 외부 매개 변수의 변화를 반영할 수 있다. 이러한 변환 매개 변수를 이용하면, 외부 매개 변수 변화의 구체적인 값 자체를 별도로 결정할 필요가 없이, 노변 기기가 현재 외부 매개 변수에 의해 수집한 현재 이미지 중의 픽셀 좌표를 오프라인 외부 매개 변수에 의해 수집된 이미지 중 각 픽셀 포인트의 대응하는 좌표로 변환시킬 수 있다.
단계 S206에서는, 단계 S204에서 결정된 변환 매개 변수 및 현재 이미지 중 장애물의 픽셀 좌표를 이용하여 세계 좌표계에서의 장애물의 위치를 결정할 수 있다.
단계 S204에서 결정된 변환 매개 변수를 이용하여, 현재 이미지 중의 장애물의 픽셀 좌표에 대해 좌표 변환을 진행하여, 오프라인 외부 매개 변수에 의해 수집된 템플릿 이미지 중 장애물의 대응하는 픽셀 좌표를 얻을 수 있다.
본 공개에서 제공되는 방법을 이용하면, 이미지 중의 다수의 기준점을 이용하여 노변 기기에 의해 획득한 현재 이미지와 노변 기기가 오프라인 외부 매개 변수 기반으로 획득한 템플릿 이미지 사이의 변환을 결정할 수 있어, 외부 환경에 따른 노변 기기의 외부 매개 변수 변화로 인한 오차를 용이하게 교정할 수 있다. 이로써, 외부 매개 변수는 실제로 변경되었으나 카메라에서 외부 매개 변수가 재교정되지 않음으로 인해, 획득한 이미지 중 장애물의 위치 검출이 받는 불리한 영향을 제거할 수 있다.
도 3은 본 공개의 실시예에 따른, 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계(예를 들면 상기 단계 S204)의 예시적인 흐름도를 나타낸다. 도 3에 도시된 방법을 이용하면, 카메라의 외부 매개 변수 변화를 파악할 필요가 없이 템플릿 좌표를 기반으로 기준점의 현재 좌표를 얻을 수 있으므로, 이미지 처리 방식으로 카메라 외부 매개 변수의 변화로 인한 오차를 교정할 수 있다.
단계 S302에서, 상기 템플릿 이미지 및 상기 현재 이미지를 기반으로, 또한 템플릿 이미지 중 대응 기준점의 템플릿 좌표를 기반으로, 현재 이미지 중 다수의 기준점의 현재 좌표를 결정할 수 있다.
차량 네트워크 시스템에서, 노변 기기가 수집한 템플릿 이미지 중의 다수의 기준점은 노면 상의 표지선(예를 들면 차선, 정지선 또는 회전 표지선) 상의 점이다. 예를 들면, 기준점은 차선, 정지선 또는 회전 표지선의 코너 점일 수 있다. 여기서 말하는 코너 점은 도로 상에서 차선, 정지선 또는 회전 표지선을 나타내기 위한 도형에 포함된 선분(段)의 교차점이다.
도로 상에는 차선 또는 운전 규칙을 나타내는 차선, 정지선, 회전 표지선의 도형이 있음을 이해할 수 있다. 이러한 표지선의 도형은 실제 사용 시나리오에서 일반적으로 고정된다. 따라서, 지면 상의 표지선의 도형을 이용하여 기준점을 결정할 수 있다.
당업자는 본 공개에서 제공되는 방법을 다른 시나리오에 적용할 경우, 실제 상황에 따라 템플릿 이미지 중 다른 고정 패턴 상의 점을 기준점으로 사용할 수도 있음을 이해할 수 있을 것이다.
현재 이미지 중의 기준점의 템플릿 이미지 중의 대응 기준점에 대한 변화를 이용하여 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정할 수 있다. 일부 실시예에서, 광흐름 추적 방법을 이용하여 현재 이미지 중의 각 기준점의, 템플릿 이미지의 대응 기준점에 대한 제1 오프셋을 결정할 수 있다. 템플릿 이미지 중의 기준점의 템플릿 좌표 및 제1 오프셋을 기반으로, 기준점의 현재 좌표를 결정할 수 있다. 광흐름 추적 방법을 이용하여 현재 이미지 중의 기준점의 위치를 용이하게 결정할 수 있다.
광흐름 추적법은 이미지 중의 점의 운동을 추적하는데 사용될 수 있다. 그 중, 광흐름은 두 프레임의 이미지 사이에서 목표물, 장면 또는 카메라의 움직임으로 인해 발생하는 목표물의 움직임일 수 있다. 광흐름은 일정 시간 간격 내에서 움직임에 의해 발생한 이미지 변화를 반영할 수 있으므로, 이미지 점 상의 움직임 방향 및 움직임 속도를 결정할 수 있다.
광흐름 추적법을 이용하여, 현재 이미지 중 다수의 기준점의, 템플릿 이미지 중 대응 기준점에 대한 움직임을 결정할 수 있고, 또한 다수의 기준점이 템플릿 이미지 중의 대응하는 위치에서 현재 이미지 중의 위치까지 이동한 제1 오프셋을 결정할 수 있다. 대응 기준점의, 템플릿 이미지 중의 템플릿 좌표를 알고 있는 경우, 대응 기준점의 템플릿 좌표와, 제1 오프셋에 의해 결정된 움직임 벡터를 이용하여 기준점의 현재 이미지 중의 현재 좌표를 얻을 수 있다.
단계 S304에서, 다수의 기준점의 현재 좌표와 대응 기준점의 템플릿 좌표 사이의 변환을 기반으로 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정할 수 있다. 그 중, 변환 매개 변수는 현재 이미지 중의 다수의 기준점이 위치한 평면을 템플릿 이미지 중 대응 기준점이 위치한 평면으로 변환하는데 사용될 수 있다.
현재 이미지와 템플릿 이미지 사이의 기준점의 위치 차이는 외부 환경 영향으로 인한 카메라 외부 매개 변수 변화로 인해 발생되는 것이다. 다시 말하면, 세계 좌표계 중의 카메라에 회전 및/또는 평행 이동이 발생함에 따라, 이미지 중의 기준점의 위치가 변경된다. 따라서, 좌표 변환 방식을 이용하여 기준점이 위치한 평면의 변환 매개 변수를 계산하여 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수로 할 수 있다.
일부 실시예에서, 변환 매개 변수는 호모그래피 매트릭스일 수 있다. 그 중, 호모그래피 매트릭스는 이미지 수집 기기의 회전 또는 평면 사이의 변환 관계를 설명하는데 사용될 수 있다. 본 공개의 실시예에서, 기준점은 지면에 위치한다. 따라서, 기준점의 템플릿 좌표 및 지면 좌표를 이용하여 현재 이미지 중의 지평면과 템플릿 이미지 중의 지평면의 변환 관계를 계산할 수 있다. 일부 구현예에서, 호모그래피 변환 매개 변수는 8개 자유도를 갖는 3*3차원 호모그래피 매트릭스일 수 있다. 기준점의 좌표는 2개의 독립 변수를 포함하는 2차원 픽셀 좌표를 나타낼 수 있음을 고려하면, 템플릿 이미지 중의 기준점 및 현재 이미지 중의 대응 기준점을 한 쌍의 매칭점으로 간주할 경우, 적어도 4개의 매칭점 쌍을 이용하여 호모그래피 매트릭스를 계산할 수 있다. 일부 예시에서, 4쌍보다 많은 매칭점을 사용하여 호모그래피 매트릭스를 계산할 수 있다. 이 경우, 호모그래피 매트릭스의 계수를 계산하는 과정은 과 결정 방정식을 푸는 과정으로 전환될 수 있고, 과 결정 방정식의 최소 제곱 해를 이용하여 호모그래피 매트릭스의 계수를 결정할 수 있다. 계산 과정에서 이용한 매칭점 쌍의 수가 많을수록, 계산을 통해 얻는 호모그래피 매트릭스의 정확도가 더 높다.
도 4는 본 공개의 실시예에 따른, 다수의 기준점의 현재 좌표와 대응 기준점의 템플릿 좌표를 기반으로 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계(예를 들면 상술한 단계 S304)의 예시적인 흐름도를 나타낸다. 도 4에서 나타낸 방법은 오차가 비교적 큰 기준점을 제거하여, 변환 매개 변수의 정확도를 높일 수 있다.
일부 경우에, 촬영된 도로 이미지에는 이동하는 보행자 및 차량이 존재하므로, 템플릿 이미지에서 결정된 일부 기준점이 가려질 수 있다. 이 경우, 광흐름 추적 방법을 이용하여 결정한 현재 이미지 중의 기준점의 좌표는 정확하지 않을 수 있다. 따라서, 일부 실시예에서, 다수의 기준점의 현재 좌표 및 대응 기준점의 템플릿 좌표에 의해 형성된 매칭점 쌍을 이용하여 계산한 호모그래피 매트릭스의 계수는 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수로 직접 결정되지 않는다. 도 4에서 나타낸 방법을 이용하여 다수의 기준점을 선별하여, 상기 변환 매개 변수를 결정하는데 적용되는 다수의 기준점의 서브 세트를 얻을 수 있다.
도 4에 도시된 바와 같이, 단계 S401에서, 다수의 기준점의 현재 좌표 및 템플릿 좌표를 이용하여 후보 변환 매개 변수를 결정할 수 있다.
일부 실시예에서, 변환 매개 변수가 호모그래피 매트릭스인 것을 예로 들면, 다수의 기준점의 현재 좌표 및 대응 기준점의 템플릿 좌표를 이용하여 형성된 매칭점 쌍을 이용하여 호모그래피 매트릭스 중의 계수를 계산하여 후보 변환 매개 변수로 할 수 있다.
단계 S402에서, 후보 변환 매개 변수를 이용하여 다수의 기준점의 현재 좌표에 대해 좌표 변환을 진행하여, 다수의 기준점의 제1 변환 좌표를 얻을 수 있다.
이상적인 상황에서, 후보 변환 매개 변수를 계산하기 위한 매칭점 쌍의 좌표가 정확하다면, 후보 변환 매개 변수를 이용하여 다수의 기준점의 현재 좌표에 대해 좌표 변환을 진행하여 얻은 제1 변환 좌표는 템플릿 이미지 중 대응 기준점의 템플릿 좌표와 동일해야 한다. 그러나, 광흐름 추적 방법을 이용하여 결정한 기준점의, 현재 이미지 중의 현재 좌표가 비교적 큰 오차가 존재하는 경우, 단계 S402에서 얻은 기준점의 제1 변환 좌표와 템플릿 좌표 사이에도 비교적 큰 오차가 존재한다.
단계 S403에서, 다수의 기준점의 제1 변환 좌표의, 대응하는 템플릿 좌표에 대한 재투영 오차를 결정할 수 있다.
단계 S404에서, 단계 S403에서 결정된 재투영 오차를 이용하여 다수의 기준점의 제1 서브 세트를 결정할 수 있고, 제1 서브 세트 중의 기준점은 오차 임계 값보다 작은 재투영 오차를 가진다.
단계 S405에서, 제1 서브 세트 중의 기준점의 현재 좌표 및 제1 서브 세트 중의 기준점의, 템플릿 이미지 중의 대응 기준점의 템플릿 좌표를 이용하여 변환 매개 변수를 결정할 수 있다.
도 4를 결합하여 설명한 프로세스를 이용하면, 후보 변환 매개 변수를 이용하여 기준점의 현재 좌표를 변환하여, 후보 변환 매개 변수를 이용하여 얻은 템플릿 이미지 중의 기준점의 좌표와 사전 교정된 템플릿 좌표 사이의 차이를 비교하고, 차이가 비교적 큰 기준점을 삭제할 수 있다. 차이가 비교적 작은 기준점을 이용하여 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 다시 계산할 수 있다.
도 5는 본 공개의 실시예에 따른, 다수의 기준점의 현재 좌표와 대응 기준점의 템플릿 좌표를 기반으로 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계(예를 들면 상술한 단계 S304)의 다른 하나의 예시적인 흐름도를 나타낸다. 도 5에 나타낸 방법을 이용하여 오차가 비교적 큰 기준점을 삭제하여, 변환 매개 변수의 정확도를 향상시킬 수 있다.
단계 S501에서, 다수의 기준점 중의 각 기준점에 대해, 현재 이미지 중 상기 기준점을 중심으로 하는 현재 이미지 블록과 템플릿 이미지 중 상기 기준점의 대응 기준점을 중심으로 하는 템플릿 이미지 블록 사이의 유사도를 이용하여, 상기 기준점과 상기 기준점의 대응 기준점 사이의 제2 오프셋을 결정할 수 있다.
일부 실시예에서, 현재 이미지 블록 및 템플릿 이미지 블록은 길이 및 폭이 모두 101픽셀인 이미지 블록일 수 있다. 현재 이미지 블록과 템플릿 이미지 블록 사이의 유사도를 계산하여 상기 기준점의 제2 오프셋을 결정할 수 있다. 일부 구현예에서, 현재 이미지 블록과 템플릿 이미지 블록 사이의 위상 기반 유사도를 계산하여 제2 오프셋을 결정할 수 있다. 당업자라면 이해할 수 있듯이, 기타 임의의 이미지 처리 방법을 이용하여 현재 이미지 블록과 템플릿 이미지 블록 사이의 유사도를 결정할 수 있고, 이러한 유사도가 기준점의 오프셋을 지시할 수 있으면 된다.
단계 S502에서, 제1 오프셋 및 제2 오프셋을 기반으로 다수의 기준점의 제2 서브 세트를 결정할 수 있고, 제2 서브 세트 중의 기준점의 제1 오프셋과 제2 오프셋 사이의 차이는 차이 임계 값보다 작다.
단계 S501에서 결정된 제2 오프셋을 이용하여, 제1 서브 세트 중의 기준점을 추가로 선별할 수 있다. 제1 오프셋과 제2 오프셋 사이의 차이가 차이 임계 값보다 클 경우, 상기 기준점의 위치는 신뢰할 수 없는 것으로 간주할 수 있다. 따라서 변환 매개 변수를 계산할 때 이러한 기준점을 삭제할 수 있다.
단계 S503에서, 제2 서브 세트 중의 기준점의 현재 좌표 및 제2 서브 세트 중의 기준점의, 템플릿 이미지 중의 대응 기준점의 템플릿 좌표를 이용하여 변환 매개 변수를 결정할 수 있다.
일부 실시예에서, 도 4에 나타낸 방법을 이용하여 제1 서브 세트의 기준점을 얻은 후, 제1 서브 세트 중의 기준점에 대해 도 5에서 설명한 단계를 실행하여 제2 서브 세트를 얻을 수 있다. 이 경우, 제2 서브 세트는 제1 서브 세트의 서브 세트일 수 있다.
도 6은 본 공개의 실시예에 따른, 변환 매개 변수 및 현재 이미지 중 장애물 대상의 픽셀 좌표를 이용하여 세계 좌표계에서의 장애물의 위치를 결정하는(예를 들면 상술한 단계 S206) 프로세스의 예시적인 흐름도를 나타낸다. 장애물과 기준점은 동일한 평면에 위치하므로, 기준점 기반으로 계산된 변환 매개 변수를 이용하면, 현재 이미지 중의 장애물 대상 좌표를 템플릿 이미지 상에 변환시켜, 세계 좌표계에서의 장애물의 3차원 좌표를 결정할 수 있다.
단계 S602에서, 현재 이미지에서의 장애물 대상의 제1 좌표를 얻을 수 있다.
일부 실시예에서, 목표 검출 알고리즘을 이용하여 현재 이미지를 처리하여, 현재 이미지에 존재하는, 장애물을 나타내는 장애물 대상을 인식할 수 있다. 차량 네트워크의 응용 시나리오에서, 장애물은 보행자 또는 차량일 수 있다. 일부 구현예에서, 목표 검출 알고리즘을 이용하여 현재 이미지에 존재하는 장애물 대상의 목표 프레임를 인식하고, 목표 프레임에서 장애물 대상을 지시하는 저면 중심점 좌표를 결정하여 제1 좌표로 할 수 있다. 예를 들면, 장애물의 유형을 기반으로, 목표 프레임에서 장애물 대상을 지시하는 저면 중심점 좌표를 결정할 수 있다. 다른 일부 구현예에서, 목표 검출 알고리즘을 구현하기 위한 모델을 훈련시켜, 모델로 하여금 장애물 대상의 저면 중심점의 위치를 학습하도록 하고, 또한 모델의 출력 결과를 이용하여 장애물 대상의 저면 중심점의 위치를 직접 결정할 수 있다.
단계 S604에서, 변환 매개 변수를 기반으로 장애물의 제1 좌표를 변환하여 장애물의 제2 좌표를 얻을 수 있다.
도 1 내지 도 5 중 적어도 하나의 도면을 결합하여 설명한 방법으로 결정한 변환 매개 변수를 이용하여, 현재 이미지 중 장애물 대상의 제1 좌표를 기반으로 장애물 대상의 템플릿 이미지 중의 제2 좌표를 결정할 수 있다. 이러한 방법을 이용하여 카메라 외부 매개 변수 변화로 인한 이미지 중 장애물 대상의 위치가 정확하지 않은 문제를 제거할 수 있다.
단계 S606에서, 장애물 대상의 제2 좌표를 기반으로 세계 좌표계에서의 장애물의 위치를 결정할 수 있다.
상술한 바와 같이, 노변 기기를 사용 전에, 템플릿 이미지 중의 지평면을 교정하였다. 따라서, 카메라 좌표계에서 소정의 평면을 지시하는 방정식을 이용하여 장애물 대상의 제2 좌표를 기반으로 카메라 좌표계에서의 장애물의 위치를 결정할 수 있다. 카메라 좌표계 및 세계 좌표계의 기하학적 변환 관계를 기반으로, 카메라 좌표계에서의 장애물의 위치를 기반으로 세계 좌표계에서의 장애물의 위치를 결정할 수 있다. 기존의 소정의 평면의 방정식을 이용하여, 소정의 평면 상의 장애물의 깊이 정보를 제공할 수 있다.
도 7은 본 공개의 실시예에 따른, 이미지 중의 기준점의 개략도이다. 도 7에 도시된 바와 같이, 도로 상의 표지선 상의 점을 기준점으로 결정할 수 있다. 예를 들면, 점 701, 702, 703, 705은 차선의 코너 점이고, 점 704는 회전 표지선의 코너 점이다.
비록 도 7은 기준점 701~705만 나타냈으나, 당업자는 도 7에 나타낸 표지선 상의 더 많은 점을 기준점으로 결정할 수 있음을 이해할 수 있을 것이다.
도 8a 및 도 8b는 장애물 검출 결과 개략도를 나타낸다.
도 8a는 보정을 하지 않은 상황에서, 2개의 노변 기기를 이용하여 카메라가 흔들리는 상황에서 각각 인식한 도로 상의 장애물을 나타낸다. 블록 801 및 803은 2개의 노변 기기에 의해 각각 검출된 실제 도로 상의 동일한 차량의 검출 위치에 대응하고, 블록 802 및 804는 2개의 노변 기기에 의해 각각 검출된 실제 도로 상의 동일한 다른 차량의 검출 위치에 대응한다. 카메라의 흔들림이 보정되지 않았으므로, 2개의 노변 기기가 수집한 이미지에서 검출된 장애물(차량)의 위치는 상이하다. 이 경우, 2개의 노변 기기에서 획득한 이미지를 결합하면, 교차로에 4대의 차량이 존재하는 것으로 볼 수 있어 실제 상황과 일치하지 않다.
도 8b는 보정을 한 상황에서, 2개의 노변 기기를 이용하여 카메라가 흔들리는 상황에서 인식한 도로 상의 장애물을 나타낸다. 노변 기기의 카메라 흔들림을 보정하였으므로 2개의 노변 기기는 상이한 촬영 각도로 동일한 위치에서 차량 801 및 802를 검출할 수 있다. 따라서 카메라 흔들림으로 인한 검출 오차를 방지한다.
도 9는 본 공개의 실시예에 따른, 장애물의 검출 장치의 개략적인 블록도를 나타낸다. 도 9에 도시된 바와 같이, 장애물의 검출 장치(900)는 이미지 획득 유닛(910), 변환 결정 유닛(920) 및 장애물 위치 결정 유닛(930)을 포함할 수 있다.
이미지 획득 유닛(910)은 현재 이미지를 획득하도록 구성될 수 있으며, 현재 이미지는 소정의 평면에 위치한 적어도 하나의 장애물을 포함한다. 변환 결정 유닛(920)은 소정의 평면 상의 다수의 기준점의 현재 이미지 중의 현재 좌표 및 다수의 기준점의 템플릿 이미지 중 대응 기준점의 템플릿 좌표를 기반으로, 현재 이미지와 템플릿 이미지 사이의 변환 매개 변수를 결정하도록 구성될 수 있다. 장애물 위치 결정 유닛(930)은 변환 매개 변수 및 현재 이미지 중 장애물의 픽셀 좌표를 이용하여 세계 좌표계에서의 장애물의 위치를 결정하도록 구성될 수 있다.
여기서 말하는 장애물의 검출 장치(900)의 상기 각 유닛(910~930)의 동작은 각각 상술한 단계 S202~S206의 동작과 유사하므로, 여기서는 설명을 생략한다.
일부 실시예에 따르면, 변환 결정 유닛은, 템플릿 이미지 및 현재 이미지를 기반으로, 또한 템플릿 이미지 중 대응 기준점의 템플릿 좌표를 기반으로, 현재 이미지 중 다수의 기준점의 현재 좌표를 결정하도록 구성된 좌표 결정 서브 유닛; 및 다수의 기준점의 현재 좌표 및 대응 기준점의 템플릿 좌표 사이의 변환을 기반으로 현재 이미지 및 템플릿 이미지 사이의 변환 매개 변수를 결정하도록 구성된 매개 변수 결정 유닛;을 포함할 수 있다.
일부 실시예에 따르면, 좌표 결정 서브 유닛은, 광흐름 추적 방법을 이용하여 현재 이미지 중의 기준점의, 템플릿 이미지의 대응 기준점에 대한 제1 오프셋을 결정하도록 구성된 추적 서브 유닛; 및 기준점의 제1 오프셋 및 템플릿 좌표를 기반으로, 기준점의 현재 좌표를 결정하도록 구성된 오프셋 서브 유닛;을 포함할 수 있다.
일부 실시예에 따르면, 매개 변수 결정 유닛은, 다수의 기준점의 현재 좌표 및 템플릿 좌표를 이용하여 후보 변환 매개 변수를 결정하도록 구성된 후보 변환 결정 서브 유닛; 후보 변환 매개 변수를 이용하여 다수의 기준점의 현재 좌표에 대해 좌표 변환을 진행하여, 다수의 기준점의 제1 변환 좌표를 얻도록 구성된 변환 서브 유닛; 다수의 기준점의 제1 변환 좌표의, 대응하는 템플릿 좌표에 대한 재투영 오차를 결정하도록 구성된 오차 결정 서브 유닛; 다수의 기준점의 제1 서브 세트를 결정하도록 구성되되, 제1 서브 세트 중의 기준점은 오차 임계 값보다 작은 재투영 오차를 갖는 선별 서브 유닛; 및 제1 서브 세트 중의 기준점의 현재 좌표 및 제1 서브 세트 중의 기준점의 상기 템플릿 이미지 중의 대응 기준점의 템플릿 좌표를 이용하여 상기 변환 매개 변수를 결정하도록 구성된 변환 매개 변수 결정 서브 유닛;을 포함할 수 있다.
일부 실시예에 따르면, 매개 변수 결정 유닛은, 다수의 기준점 중의 각 기준점에 대해, 현재 이미지 중 상기 기준점을 중심으로 하는 현재 이미지 블록 및 템플릿 이미지 중 상기 기준점의 대응 기준점을 중심으로 하는 템플릿 이미지 블록 사이의 유사도를 이용하여, 상기 기준점과 상기 기준점의 대응 기준점 사이의 제2 오프셋을 결정하도록 구성된 유사도 결정 서브 유닛; 제1 오프셋 및 제2 오프셋을 기반으로 다수의 기준점의 제2 서브 세트를 결정하도록 구성되되, 제2 서브 세트 중의 기준점의 제1 오프셋과 제2 오프셋 사이의 차이는 차이 임계 값보다 작은 선별 서브 유닛; 및 제2 서브 세트 중의 기준점의 현재 좌표 및 제2 서브 세트 중의 기준점의 템플릿 이미지 중의 대응 기준점의 템플릿 좌표를 이용하여 변환 매개 변수를 결정하도록 구성된 변환 매개 변수 결정 서브 유닛;을 포함할 수 있다.
일부 실시예에 따르면, 장애물 위치 결정 유닛은, 현재 이미지에서의 장애물 대상의 제1 좌표를 결정하도록 구성된 제1 좌표 결정 서브 유닛; 변환 매개 변수를 기반으로 장애물 대상의 제1 좌표를 변환하여 장애물 대상의 제2 좌표를 얻도록 구성된 제2 좌표 결정 서브 유닛; 및 장애물 대상의 제2 좌표를 기반으로 세계 좌표계에서의 장애물의 위치를 결정하도록 구성된 세계 좌표 결정 서브 유닛;을 포함할 수 있다.
본 공개에서 제공되는 장치를 이용하면, 이미지 중의 다수의 기준점을 이용하여, 노변 기기에 의해 획득한 현재 이미지와 노변 기기가 오프라인 외부 매개 변수를 기반으로 획득한 템플릿 이미지 사이의 변환을 결정할 수 있어, 외부 환경으로 인한 노변 기기의 외부 매개 변수 변화를 용이하게 보정하여, 획득한 이미지 중 장애물의 위치 검출에 대한 외부 매개 변수 변화의 불리한 영향을 제거할 수 있다.
본 공개의 실시예는 전자 기기를 더 제공한다. 상기 전자 기기는, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 연결된 메모리;를 포함하고 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서로 하여금 도 1 내지 도 6을 결합하여 설명한 방법을 실행할 수 있도록 한다.
본 공개의 실시예는 상술한 바와 같은 전자 기기를 포함한 노변 기기를 더 제공한다.
본 공개의 실시예는 상술한 바와 같은 전자 기기를 포함한 클라우드 컨트롤 플랫폼을 더 제공한다.
본 공개의 실시예는 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독가능 저장매체를 더 제공하고, 상기 컴퓨터 명령은 상기 컴퓨터로 하여금 도 1 내지 도 6을 결합하여 설명한 방법을 실행하도록 한다.
본 공개의 실시예는 컴퓨터 프로그램 제품을 더 제공하고, 상기 제품은 컴퓨터 프로그램을 포함하고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때 도 1 내지 도 6을 결합하여 설명한 방법을 구현한다.
이하, 도 10을 참조하여 본 공개의 이동 단말기인 전자 기기(1000)의 구조 블록도를 설명한다. 상기 전자 기기(1000)는 본 공개의 각 측면에 따른 하드웨어 기기에 적용될 수 있는 예시이다. 전자 기기는, 랩톱 컴퓨터, 데스크탑 컴퓨터, 워크벤치, 개인 정보 단말기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 그 밖의 다른 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터 기기를 의미한다. 전자 기기는 개인용 디지털 처리 기기, 셀룰러 폰, 스마트 폰, 웨어러블 기기와 그 밖의 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 의미할 수도 있다. 본 명세서에 나타낸 부품, 이들의 연결 및 관계, 및 이들의 기능은 예시일 뿐이며, 본 명세서에서 기술되고 또한/또는 요구된 본 공개의 구현을 한정하는 것을 의도하지 않는다.
도 10에 도시한 바와 같이, 기기(1000)는 컴퓨팅 유닛(1001)을 포함하며, 롬(ROM, 1002)에 저장된 컴퓨터 프로그램 또는 저장 유닛(1008)으로부터 램(RAM, 1003)에 로딩된 컴퓨터 프로그램 명령에 따라, 다양한 적절한 동작과 처리를 수행할 수 있다. RAM(1003)에는 기기(1000)의 동작에 필요한 다양한 프로그램과 데이터가 저장될 수도 있다. 컴퓨팅 유닛(1001), ROM(1002) 및 RAM(1003)은 버스(1004)를 통해 서로 연결된다. 입/출력(I/O) 인터페이스(1005)도 버스(1004)에 연결된다.
기기(1000) 중의 다수의 부품은 I/O인터페이스(1005)에 연결되고, 입력 유닛(1006), 출력 유닛(1007), 저장 유닛(1008) 및 통신 유닛(1009)을 포함한다. 입력 유닛(1006)은 기기(1000)에 정보를 입력할 수 있는 모든 종류의 기기일 수 있고, 입력 유닛(1006)은 입력된 숫자 또는 문자 정보를 수신할 수 있고, 전자 기기의 사용자 설치 및/또는 기능 제어와 관련된 키 신호 입력을 생성할 수 있고, 마우스, 키보드, 터치 스크린, 트랙 패드, 트랙볼, 조이스틱, 마이크 및/또는 리모컨을 포함할 수 있으나 이에 한정되지 않는다. 출력 유닛(1007)은 정보를 나타낼 수 있는 임의의 유형의 기기일 수 있고, 또한 디스플레이, 스피커, 비디오/오디오 출력 단자, 진동기 및/또는 프린터를 포함할 수 있으나 이에 한정되지 않는다. 저장 유닛(1008)은 자기 디스크, 광 디스크를 포함할 수 있으나 이에 한정되지 않는다. 통신 유닛(1009)은 기기(1000)가 인터넷과 같은 컴퓨터 네트워크 및/또는 다양한 전자통신 네트워크를 통해 기타 기기와 정보/데이터를 교환하도록 허용하고, 모뎀, 네트워크 카드, 적외선 통신 기기, 무선 통신 트랜시버 및/또는 칩세트를 포함할 수 있으나 이에 한정되지 않고, 예를 들면 BluetoothTM 기기, 1302.11 기기, WiFi 기기, WiMax 기기, 셀룰러 통신 및/또는 이들의 유사물이다.
컴퓨팅 유닛(1001)은 처리 및 계산 기능을 가진 다양한 범용 및/또는 전용 처리 구성 요소일 수 있다. 컴퓨팅 유닛(1001)의 몇 가지 예는 중앙 처리 유닛(CPU), 그래픽 처리 유닛(GPU), 각종 전용 인공 지능(AI) 계산 칩, 각종 기계 학습 모델 알고리즘을 수행하는 컴퓨팅 유닛, 디지털 신호 프로세서(DSP) 및 임의의 적절한 프로세서, 컨트롤러, 마이크로 컨트롤러 등을 포함하나 이에 한정되지 않는다. 컴퓨팅 유닛(1001)은 본 공개의 실시예에 따른 장애물 검출 방법과 같은 상술한 각 방법 및 처리를 실행한다. 예를 들어, 일부 실시예에서, 장애물 검출은 컴퓨터 소프트웨어 프로그램으로 구현되어 기계 판독 가능 매체, 예를 들면 저장 유닛(1008)에 유형적으로 포함될 수 있다. 일부 실시예에서, 컴퓨터 프로그램의 일부 또는 전부는 ROM(1002) 및/또는 통신 유닛(1009)을 통해 기기(1000)에 로딩 및/또는 설치될 수 있다. 컴퓨터 프로그램은 RAM(1003)에 로딩되어 컴퓨팅 유닛(1001)에 의해 실행될 때, 상술한 방법의 하나 또는 다수의 단계를 수행할 수 있다. 선택적으로 다른 실시예에서, 컴퓨팅 유닛(1001)은 기타 모든 적절한 방법으로(예를 들어, 펌웨어를 통해) 장애물 검출 방법을 실행하도록 구성될 수 있다.
본 명세서에서 상술한 시스템 및 기술의 다양한 실시예는 디지털 전자회로 시스템, 집적회로 시스템, 필드 프로그래머블 게이트 어레이(FPGA), 응용 주문형 집적회로(ASIC), 특정 용도 표준 제품(ASSP), 시스템 온 칩 시스템(SOC), 복합 프로그래머블 로직소자(CPLD), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 결합에서 구현될 수 있다. 이러한 다양한 실시예는 하나 또는 다수의 컴퓨터 프로그램에서 실시되고, 상기 하나 또는 다수의 컴퓨터 프로그램은 적어도 하나의 프로그래머블 프로세서를 포함하는 프로그래머블 시스템에서 실행 및/또는 해석될 수 있고, 상기 프로그래머블 프로세서는 전용 또는 범용 프로그래머블 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하여, 데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치, 및 상기 적어도 하나의 출력 장치로 전송할 수 있다.
본 공개의 방법을 실시하는 프로그램 코드는 하나 또는 다수의 프로그래밍 언어의 임의의 조합으로 작성될 수 있다. 이들 프로그램 코드는 범용 컴퓨터, 전용 컴퓨터 또는 기타 프로그래밍 가능한 데이터 처리 장치의 프로세서나 컨트롤러에 제공되어, 프로그램 코드가 프로세서 또는 컨트롤러에 의해 실행될 때, 흐름도 및/또는 블록도에 규정된 기능/조작이 실시되도록 할 수 있다. 프로그램 코드는 완전히 기계에서 실행되거나, 부분적으로 기계에서 실행될 수 있으며, 독립적인 소프트웨어 패키지로서 부분적으로 기계에서 실행되고 부분적으로 원격 기계에서 실행되거나, 완전히 원격 기계나 서버 상에서 실행될 수 있다.
본 공개의 문맥 상, 기계 판독가능 매체는 유형의 매체일 수 있으며, 명령 실행 시스템, 장치 또는 기기가 사용하거나 또는 명령 실행 시스템, 장치 또는 기기와 결합되어 사용되는 프로그램을 포함하거나 저장할 수 있다. 기계 판독가능 매체는 기계 판독가능 신호 매체 또는 기계 판독가능 저장매체일 수 있다. 기계 판독가능 매체는 전기, 자기, 광학, 전자기, 적외선 또는 반도체 시스템, 장치 또는 기기, 또는 이들의 임의의 적합한 조합을 포함할 수 있으나 이에 한정하지 않는다. 기계 판독가능 매체의 더 구체적인 예시는 하나 또는 다수의 선에 의한 전기적 연결, 휴대용 컴퓨터 디스크, 하드 디스크, 램(RAM), 롬(ROM), 이피롬(EPROM) 또는 플래시 메모리, 광섬유, 휴대용 컴팩트 디스크 판독 전용 메모리(CD-ROM), 광학 저장 기기, 자기 저장 기기 또는 이들의 임의의 적합한 조합을 포함할 수 있다.
사용자와 인터랙티브하고, 여기서 설명된 시스템과 기술을 컴퓨터에서 실시할 수 있도록 하기 위해, 당해 컴퓨터는 사용자에 정보를 표시하기 위한 표시 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터); 및 키보드와 위치 지정 장치(예를 들어, 마우스 또는 트랙 볼)를 구비하며, 사용자는 당해 키보드와 당해 위치 지정 장치를 이용하여 컴퓨터에 입력을 제공할 수 있다. 다른 유형의 장치는 사용자와의 인터랙티브를 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 센싱 피드백(예를 들어, 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있으며, 임의의 형태(소리 입력, 음성 입력 또는 촉각 입력)를 이용하여 사용자로부터 입력을 수신할 수 있다.
여기서 설명된 시스템과 기술을 백 스테이지 부품을 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들어, 응용 서버), 또는 프론트 엔드 부품을 포함하는 컴퓨팅 시스템(예를 들어, 사용자가 본 명세서에서 설명된 시스템 및 기술의 실시형태와 인터랙티브를 진행할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터), 또는 상기와 같은 백 스테이지 부품, 미들웨어 부품 또는 프론트 엔드 부품의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어 통신 네트워크)을 통해, 시스템의 부품을 서로 연결할 수 있다. 통신 네트워크의 예시로서 근거리 통신망(LAN), 광대역 통신망(WAN)과 인터넷을 포함할 수 있다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 이격되며 통상적으로 통신 네트워크를 통해 인터랙티브를 진행한다. 상응하는 컴퓨터에서 작동되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램을 통해 클라이언트와 서버의 관계를 생성한다.
상기 구체적인 실시예는 본 출원의 보호범위를 한정하지 않는다. 본 분야의 통상의 기술자는 설계 요구와 그밖의 다른 요소에 따라 다양하게 수정하거나, 조합하거나, 부분 조합하거나 대체할 수 있음을 이해할 것이다. 본 출원의 사상과 원칙 내에서 진행된 임의의 수정, 균등 교체와 개량 등은 모두 본 공개의 보호 범위 내에 포함되어야 한다.
비록, 도면을 참고하여 본 공개의 실시예 또는 예시를 설명하였으나, 상술한 방법, 시스템 및 기기는 예시적인 실시예 또는 예시일 뿐이고, 본 발명의 범위는 이들 실시예 또는 예시에 한정되지 않으며, 등록된 특허청구범위 및 그것의 균등 범위에 의해 한정된다는 것을 이해하여야 한다. 실시예 또는 예시 중의 각종 요소는 생략되거나 또는 그것의 균등 요소로 대체할 수 있다. 그리고, 본 공개에서 설명한 순서와 다른 순서로 각 단계를 수행할 수 있다. 나아가, 다양한 방식으로 실시예 또는 예시 중의 각종 요소를 조합할 수 있다. 중요한 것은 기술이 발전함에 따라, 여기서 설명한 많은 요소들은 본 공개 이후에 출현되는 군등 요소로 교체할 수 있다는 것이다.
Claims (21)
- 장애물의 검출 방법에 있어서,
현재 이미지를 획득하되, 상기 현재 이미지는 소정의 평면에 위치한 적어도 하나의 장애물을 나타내는 적어도 하나의 장애물 대상을 포함하는 단계;
상기 소정의 평면 상의 다수의 기준점의 현재 이미지 중의 현재 좌표 및 상기 다수의 기준점의 템플릿 이미지 중 대응 기준점의 템플릿 좌표를 기반으로, 상기 현재 이미지와 상기 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계; 및
상기 변환 매개 변수 및 상기 현재 이미지 중 상기 장애물 대상의 픽셀 좌표를 이용하여 세계 좌표계에서의 상기 장애물의 위치를 결정하는 단계;
를 포함하는 장애물의 검출 방법. - 제1항에 있어서,
상기 소정의 평면 상의 다수의 기준점의 현재 이미지 중의 현재 좌표 및 상기 다수의 기준점의 템플릿 이미지 중 대응 기준점의 템플릿 좌표를 기반으로, 상기 현재 이미지와 상기 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계는,
상기 템플릿 이미지 및 상기 현재 이미지를 기반으로, 또한 상기 템플릿 이미지 중 대응 기준점의 템플릿 좌표를 기반으로, 상기 현재 이미지 중 상기 다수의 기준점의 현재 좌표를 결정하는 단계;
상기 다수의 기준점의 상기 현재 좌표와 대응 기준점의 상기 템플릿 좌표 사이의 변환을 기반으로 상기 현재 이미지와 상기 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계;를 포함하는, 장애물의 검출 방법. - 제2항에 있어서,
상기 템플릿 이미지 및 상기 현재 이미지를 기반으로, 또한 상기 템플릿 이미지 중 대응 기준점의 템플릿 좌표를 기반으로, 상기 현재 이미지 중 상기 다수의 기준점의 현재 좌표를 결정하는 단계는,
광흐름 추적 방법을 이용하여 상기 현재 이미지 중의 상기 기준점의, 상기 템플릿 이미지의 대응 기준점에 대한 제1 오프셋을 결정하는 단계;
상기 기준점의 상기 제1 오프셋 및 상기 템플릿 좌표를 기반으로, 상기 기준점의 현재 좌표를 결정하는 단계;를 포함하는, 장애물의 검출 방법. - 제3항에 있어서,
상기 다수의 기준점의 상기 현재 좌표와 대응 기준점의 상기 템플릿 좌표를 기반으로 상기 현재 이미지와 상기 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계는,
상기 다수의 기준점의 상기 현재 좌표 및 상기 템플릿 좌표를 이용하여 후보 변환 매개 변수를 결정하는 단계;
상기 후보 변환 매개 변수를 이용하여 상기 다수의 기준점의 상기 현재 좌표에 대해 좌표 변환하여 상기 다수의 기준점의 제1 변환 좌표를 얻는 단계;
상기 다수의 기준점의 제1 변환 좌표의, 대응하는 템플릿 좌표에 대한 재투영 오차를 결정하는 단계;
상기 다수의 기준점의 제1 서브 세트를 결정하되, 상기 제1 서브 세트 중의 기준점은 오차 임계 값보다 작은 재투영 오차를 갖는 단계; 및
상기 제1 서브 세트 중의 기준점의 현재 좌표 및 상기 제1 서브 세트 중의 기준점의, 상기 템플릿 이미지 중의 대응 기준점의 템플릿 좌표를 이용하여 상기 변환 매개 변수를 결정하는 단계;를 포함하는, 장애물의 검출 방법. - 제3항에 있어서,
상기 다수의 기준점의 상기 현재 좌표와, 대응 기준점의 상기 템플릿 좌표를 기반으로 상기 현재 이미지와 상기 템플릿 이미지 사이의 변환 매개 변수를 결정하는 단계는,
상기 다수의 기준점 중의 각 기준점에 대해, 상기 현재 이미지 중 상기 기준점을 중심으로 하는 현재 이미지 블록 및 상기 템플릿 이미지 중 상기 기준점의 대응 기준점을 중심으로 하는 템플릿 이미지 블록 사이의 유사도를 이용하여, 상기 기준점과 상기 기준점의 대응 기준점 사이의 제2 오프셋을 결정하는 단계;
상기 제1 오프셋 및 상기 제2 오프셋을 기반으로 상기 다수의 기준점의 제2 서브 세트를 결정하되, 상기 제2 서브 세트 중의 기준점의 제1 오프셋과 제2 오프셋 사이의 차이는 차이 임계 값보다 작은 단계; 및
상기 제2 서브 세트 중의 기준점의 현재 좌표 및 상기 제2 서브 세트 중의 기준점의 상기 템플릿 이미지 중의 대응 기준점의 템플릿 좌표를 이용하여 상기 변환 매개 변수를 결정하는 단계;를 포함하는, 장애물의 검출 방법. - 제1항에 있어서,
상기 변환 매개 변수는 호모그래피 매트릭스인, 장애물의 검출 방법. - 제1항에 있어서,
상기 변환 매개 변수 및 상기 현재 이미지 중 상기 장애물 대상의 픽셀 좌표를 이용하여 세계 좌표계에서의 상기 장애물의 위치를 결정하는 단계는,
상기 현재 이미지 중의 상기 장애물 대상의 제1 좌표를 결정하는 단계;
상기 변환 매개 변수를 기반으로 상기 장애물 대상의 상기 제1 좌표를 변환하여, 상기 장애물 대상의 제2 좌표를 얻는 단계; 및
상기 장애물 대상의 제2 좌표를 기반으로 세계 좌표계에서의 상기 장애물의 위치를 결정하는 단계;를 포함하는, 장애물의 검출 방법. - 제7항에 있어서,
상기 장애물 대상의 제2 좌표를 기반으로 세계 좌표계에서의 상기 장애물의 위치를 결정하는 단계는,
카메라 좌표계에서 소정의 평면을 지시하는 방정식을 이용하여, 상기 장애물 대상의 상기 제2 좌표를 기반으로 카메라 좌표계에서의 상기 장애물의 위치를 결정하는 단계;
카메라 좌표계에서의 상기 장애물의 위치를 기반으로 세계 좌표계에서의 상기 장애물의 위치를 결정하는 단계;를 포함하는, 장애물의 검출 방법. - 제1항에 있어서,
상기 장애물은 보행자 또는 차량인, 장애물의 검출 방법. - 제1항에 있어서,
상기 기준점은 차선, 정지선 또는 회전 표지선의 코너 점인, 장애물의 검출 방법. - 장애물의 검출 장치에 있어서,
상기 장치는,
현재 이미지를 획득하도록 구성되되, 상기 현재 이미지는 소정의 평면에 위치한 적어도 하나의 장애물을 나타내는 적어도 하나의 장애물 대상을 포함하는 이미지 획득 유닛;
상기 소정의 평면 상의 다수의 기준점의 현재 이미지 중의 현재 좌표 및 상기 다수의 기준점의 템플릿 이미지 중 대응 기준점의 템플릿 좌표를 기반으로, 상기 현재 이미지와 상기 템플릿 이미지 사이의 변환 매개 변수를 결정하도록 구성된 변환 결정 유닛; 및
상기 변환 매개 변수 및 상기 현재 이미지 중 상기 장애물 대상의 픽셀 좌표를 이용하여 세계 좌표계에서의 상기 장애물의 위치를 결정하도록 구성된 장애물 위치 결정 유닛;을 포함하는, 장애물의 검출 장치. - 제11항에 있어서,
상기 변환 결정 유닛은,
상기 템플릿 이미지 및 상기 현재 이미지를 기반으로, 또한 상기 템플릿 이미지 중 대응 기준점의 템플릿 좌표를 기반으로, 상기 현재 이미지 중 상기 다수의 기준점의 현재 좌표를 결정하도록 구성된 좌표 결정 서브 유닛; 및
상기 다수의 기준점의 상기 현재 좌표와, 대응 기준점의 상기 템플릿 좌표 사이의 변환을 기반으로 상기 현재 이미지와 상기 템플릿 이미지 사이의 변환 매개 변수를 결정하도록 구성된 매개 변수 결정 유닛;을 포함하는 장애물의 검출 장치. - 제12항에 있어서,
상기 좌표 결정 서브 유닛은,
광흐름 추적 방법을 이용하여 상기 현재 이미지 중의 상기 기준점의, 상기 템플릿 이미지의 대응 기준점에 대한 제1 오프셋을 결정하도록 구성된 추적 서브 유닛;
상기 기준점의 상기 제1 오프셋 및 상기 템플릿 좌표를 기반으로, 상기 기준점의 현재 좌표를 결정하도록 구성된, 오프셋 서브 유닛;을 포함하는, 장애물의 검출 장치 - 제13항에 있어서,
상기 매개 변수 결정 유닛은,
상기 다수의 기준점의 상기 현재 좌표 및 상기 템플릿 좌표를 이용하여 후보 변환 매개 변수를 결정하도록 구성된 후보 변환 결정 서브 유닛;
상기 후보 변환 매개 변수를 이용하여 상기 다수의 기준점의 상기 현재 좌표에 대해 좌표 변환하여 상기 다수의 기준점의 제1 변환 좌표를 얻도록 구성된 변환 서브 유닛;
상기 다수의 기준점의 제1 변환 좌표의, 대응하는 템플릿 좌표에 대한 재투영 오차를 결정하도록 구성된 오차 결정 서브 유닛;
상기 다수의 기준점의 제1 서브 세트를 결정하도록 구성되되, 상기 제1 서브 세트 중의 기준점은 오차 임계 값보다 작은 재투영 오차를 갖는 선별 서브 유닛; 및
상기 제1 서브 세트 중의 기준점의 현재 좌표 및 상기 제1 서브 세트 중의 기준점의, 상기 템플릿 이미지 중의 대응 기준점의 템플릿 좌표를 이용하여 상기 변환 매개 변수를 결정하도록 구성된 변환 매개 변수 결정 서브 유닛;을 포함하는, 장애물의 검출 장치 - 제13항에 있어서,
상기 매개 변수 결정 유닛은,
상기 다수의 기준점 중의 각 기준점에 대해, 상기 현재 이미지 중 상기 기준점을 중심으로 하는 현재 이미지 블록과 상기 템플릿 이미지 중 상기 기준점의 대응 기준점을 중심으로 하는 템플릿 이미지 블록 사이의 유사도를 이용하여, 상기 기준점과 상기 기준점의 대응 기준점 사이의 제2 오프셋을 결정하도록 구성된 유사도 결정 서브 유닛;
상기 제1 오프셋 및 상기 제2 오프셋을 기반으로 상기 다수의 기준점의 제2 서브 세트를 결정하도록 구성되되, 상기 제2 서브 세트 중의 기준점의 제1 오프셋과 제2 오프셋 사이의 차이는 차이 임계 값보다 작은 선별 서브 유닛; 및
상기 제2 서브 세트 중의 기준점의 현재 좌표 및 상기 제2 서브 세트 중의 기준점의, 상기 템플릿 이미지 중의 대응 기준점의 템플릿 좌표를 이용하여 상기 변환 매개 변수를 결정하도록 구성된 변환 매개 변수 결정 서브 유닛;을 포함하는 장애물의 검출 장치. - 제11항에 있어서,
상기 장애물 위치 결정 유닛은,
상기 현재 이미지 중의 상기 장애물 대상의 제1 좌표를 결정하도록 구성된 제1 좌표 결정 서브 유닛;
상기 변환 매개 변수를 기반으로 상기 장애물 대상의 상기 제1 좌표를 변환하여, 상기 장애물 대상의 제2 좌표를 얻도록 구성된 제2 좌표 결정 서브 유닛; 및
상기 장애물 대상의 제2 좌표를 기반으로 세계 좌표계에서의 상기 장애물의 위치를 결정하도록 구성된 세계 좌표 결정 서브 유닛;을 포함하는 장애물의 검출 장치. - 전자 기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결되는 메모리를 포함하고,
상기 메모리에 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제10항 중 어느 한 항에 따른 방법을 실행할 수 있도록 하는,
전자 기기. - 노변 기기에 있어서,
제17항에 따른 전자 기기를 포함하는 노변 기기. - 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독가능 저장매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터로 하여금 제1항 내지 제7항 중 어느 한 항에 따른 방법을 실행하도록 하는, 컴퓨터 명령이 저장된 비일시적 컴퓨터 판독가능 저장매체. - 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 명령을 포함하고, 상기 명령이 적어도 하나의 프로세서에 의해 실행될 때, 제1항 내지 제10항에 따른 방법을 구현하는 컴퓨터 판독가능 저장매체에 저장된 컴퓨터 프로그램. - 제17항에 따른 전자 기기를 포함하는 클라우드 컨트롤 플랫폼.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011558835.0 | 2020-12-25 | ||
| CN202011558835.0A CN112560769B (zh) | 2020-12-25 | 2020-12-25 | 用于检测障碍物的方法、电子设备、路侧设备和云控平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220004604A true KR20220004604A (ko) | 2022-01-11 |
Family
ID=75032413
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210178984A KR20220004604A (ko) | 2020-12-25 | 2021-12-14 | 장애물의 검출 방법, 전자 기기, 노변 기기 및 클라우드 컨트롤 플랫폼 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220114813A1 (ko) |
| EP (1) | EP3961583A3 (ko) |
| JP (1) | JP7351892B2 (ko) |
| KR (1) | KR20220004604A (ko) |
| CN (1) | CN112560769B (ko) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113312979B (zh) * | 2021-04-30 | 2024-04-16 | 阿波罗智联(北京)科技有限公司 | 图像处理方法、装置、电子设备、路侧设备及云控平台 |
| CN113819890B (zh) * | 2021-06-04 | 2023-04-14 | 腾讯科技（深圳）有限公司 | 测距方法、装置、电子设备及存储介质 |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10143659A (ja) * | 1996-11-06 | 1998-05-29 | Komatsu Ltd | 物体検出装置 |
| JP2001319218A (ja) * | 2000-02-29 | 2001-11-16 | Hitachi Ltd | 画像監視装置 |
| JP2005182504A (ja) * | 2003-12-19 | 2005-07-07 | Matsushita Electric Ind Co Ltd | 駐車支援システム |
| JP4406381B2 (ja) * | 2004-07-13 | 2010-01-27 | 株式会社東芝 | 障害物検出装置及び方法 |
| JP4297501B2 (ja) * | 2004-08-11 | 2009-07-15 | 国立大学法人東京工業大学 | 移動体周辺監視装置 |
| JP4807277B2 (ja) * | 2007-02-13 | 2011-11-02 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
| JP5034733B2 (ja) * | 2007-07-13 | 2012-09-26 | カシオ計算機株式会社 | 特徴点追跡装置及びプログラム |
| JP4623200B2 (ja) * | 2008-10-27 | 2011-02-02 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| CN101441076B (zh) * | 2008-12-29 | 2010-06-02 | 东软集团股份有限公司 | 一种检测障碍物的方法和装置 |
| JP2010287153A (ja) * | 2009-06-15 | 2010-12-24 | Renesas Electronics Corp | 混雑状況判定装置と混雑状況判定方法並びにプログラム |
| US8417062B2 (en) * | 2009-10-19 | 2013-04-09 | Ut-Battelle, Llc | System and method for stabilization of fisheye video imagery |
| JP5549605B2 (ja) * | 2011-01-13 | 2014-07-16 | 新日鐵住金株式会社 | 視線位置検出装置、視線位置検出方法、及びコンピュータプログラム |
| JP2013061773A (ja) * | 2011-09-13 | 2013-04-04 | Ricoh Co Ltd | 前方障害物検知装置 |
| JP6211407B2 (ja) * | 2013-12-06 | 2017-10-11 | 株式会社デンソーアイティーラボラトリ | 画像検索システム、画像検索装置、検索サーバ装置、画像検索方法、及び画像検索プログラム |
| CN104299244B (zh) * | 2014-09-26 | 2017-07-25 | 东软集团股份有限公司 | 基于单目相机的障碍物检测方法及装置 |
| US10248124B2 (en) * | 2016-07-21 | 2019-04-02 | Mobileye Vision Technologies, Inc. | Localizing vehicle navigation using lane measurements |
| WO2018167891A1 (ja) * | 2017-03-15 | 2018-09-20 | 三菱電機株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| CN108682038B (zh) * | 2018-04-27 | 2021-12-14 | 腾讯科技（深圳）有限公司 | 位姿确定方法、装置及存储介质 |
| CN108830257A (zh) * | 2018-06-29 | 2018-11-16 | 电子科技大学 | 一种基于单目光流的潜在障碍物检测方法 |
| JP7220530B2 (ja) * | 2018-07-18 | 2023-02-10 | アマノ株式会社 | 駐車場管理システム、駐車場管理装置、駐車場管理方法、及びプログラム |
| CN109300159B (zh) * | 2018-09-07 | 2021-07-20 | 百度在线网络技术（北京）有限公司 | 位置检测方法、装置、设备、存储介质及车辆 |
| CN111754580A (zh) * | 2019-03-28 | 2020-10-09 | 阿里巴巴集团控股有限公司 | 一种摄像头标定方法、路侧感知设备和智慧交通系统 |
| JP7334058B2 (ja) * | 2019-05-09 | 2023-08-28 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 幾何パラメータ推定装置、幾何パラメータ推定システム、幾何パラメータ推定方法及びコンピュータプログラム |
| CN110146869B (zh) * | 2019-05-21 | 2021-08-10 | 北京百度网讯科技有限公司 | 确定坐标系转换参数的方法、装置、电子设备和存储介质 |
| CN110213488B (zh) * | 2019-06-06 | 2022-01-18 | 腾讯科技（深圳）有限公司 | 一种定位方法及相关设备 |
| CN110728720B (zh) * | 2019-10-21 | 2023-10-13 | 阿波罗智能技术(北京)有限公司 | 用于相机标定的方法、装置、设备和存储介质 |
| CN111046762A (zh) * | 2019-11-29 | 2020-04-21 | 腾讯科技（深圳）有限公司 | 一种对象定位方法、装置电子设备及存储介质 |
| CN111612760B (zh) * | 2020-05-20 | 2023-11-17 | 阿波罗智联(北京)科技有限公司 | 用于检测障碍物的方法和装置 |
| CN111578839B (zh) * | 2020-05-25 | 2022-09-20 | 阿波罗智联(北京)科技有限公司 | 障碍物坐标处理方法、装置、电子设备及可读存储介质 |
-
2020
- 2020-12-25 CN CN202011558835.0A patent/CN112560769B/zh active Active
-
2021
- 2021-12-14 KR KR1020210178984A patent/KR20220004604A/ko not_active Application Discontinuation
- 2021-12-22 US US17/560,246 patent/US20220114813A1/en active Pending
- 2021-12-23 EP EP21217337.1A patent/EP3961583A3/en active Pending
- 2021-12-24 JP JP2021210732A patent/JP7351892B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN112560769B (zh) | 2023-08-29 |
| JP7351892B2 (ja) | 2023-09-27 |
| US20220114813A1 (en) | 2022-04-14 |
| JP2022034034A (ja) | 2022-03-02 |
| CN112560769A (zh) | 2021-03-26 |
| EP3961583A3 (en) | 2022-06-22 |
| EP3961583A2 (en) | 2022-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110322500B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| KR102407504B1 (ko) | 장애물 검출 방법, 장치, 전자 기기 및 저장 매체 | |
| CN111108342B (zh) | 用于高清地图创建的视觉测程法和成对对准 | |
| CN111325796B (zh) | 用于确定视觉设备的位姿的方法和装置 | |
| US10437252B1 (en) | High-precision multi-layer visual and semantic map for autonomous driving | |
| US10794710B1 (en) | High-precision multi-layer visual and semantic map by autonomous units | |
| CN107748569B (zh) | 用于无人机的运动控制方法、装置及无人机系统 | |
| KR20220004607A (ko) | 목표 검출방법, 전자장치, 노변장치와 클라우드 컨트롤 플랫폼 | |
| EP3968266B1 (en) | Obstacle three-dimensional position acquisition method and apparatus for roadside computing device | |
| CN111462029B (zh) | 视觉点云与高精地图融合方法、装置和电子设备 | |
| US11227395B2 (en) | Method and apparatus for determining motion vector field, device, storage medium and vehicle | |
| CN113989450A (zh) | 图像处理方法、装置、电子设备和介质 | |
| CN111578839B (zh) | 障碍物坐标处理方法、装置、电子设备及可读存储介质 | |
| KR20220004604A (ko) | 장애물의 검출 방법, 전자 기기, 노변 기기 및 클라우드 컨트롤 플랫폼 | |
| CN111079079B (zh) | 数据修正方法、装置、电子设备及计算机可读存储介质 | |
| CN113887400B (zh) | 障碍物检测方法、模型训练方法、装置及自动驾驶车辆 | |
| CN115578433B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| KR20220004939A (ko) | 차선 검출 방법, 장치, 전자기기, 저장 매체 및 차량 | |
| CN110675635A (zh) | 相机外参的获取方法、装置、电子设备及存储介质 | |
| CN112344855A (zh) | 障碍物的检测方法、装置、存储介质和路测设备 | |
| CN112686951A (zh) | 用于确定机器人位置的方法、装置、终端及存储介质 | |
| CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
| JP2023503750A (ja) | ロボットの位置決め方法及び装置、機器、記憶媒体 | |
| CN115578432B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111612851A (zh) | 用于标定相机的方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |