KR20210042274A - 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 - Google Patents

장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 Download PDF

Info

Publication number
KR20210042274A
KR20210042274A KR1020210040407A KR20210040407A KR20210042274A KR 20210042274 A KR20210042274 A KR 20210042274A KR 1020210040407 A KR1020210040407 A KR 1020210040407A KR 20210040407 A KR20210040407 A KR 20210040407A KR 20210042274 A KR20210042274 A KR 20210042274A
Authority
KR
South Korea
Prior art keywords
image
current image
offset
camera
template image
Prior art date
Application number
KR1020210040407A
Other languages
English (en)
Other versions
KR102581429B1 (ko
Inventor
진랑 지아
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210042274A publication Critical patent/KR20210042274A/ko
Application granted granted Critical
Publication of KR102581429B1 publication Critical patent/KR102581429B1/ko

Links

Images

Classifications

    • G06K9/6202—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4084—Scaling of whole images or parts thereof, e.g. expanding or contracting in the transform domain, e.g. fast Fourier transform [FFT] domain scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/431—Frequency domain transformation; Autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

본 출원은 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램을 개시하는바, 스마트 교통 기술분야에 관한 것이다. 구체적인 구현방안으로는, 카메라에 의해 수집된 현재 이미지를 취득하고; 현재 이미지를 사전훈련된 탐지 모델에 입력하여 장애물의 탐지 박스의 위치를 얻고 접지 점의, 현재 이미지에서의 제1 화소 좌표를 결정하고; 현재 이미지와 템플릿 이미지 간의 오프셋을 결정하되, 여기서, 템플릿 이미지는 카메라의 외부 파라미터를 캘리브레이션할 시 사용되는 이미지이고; 오프셋에 기반하여 제1 화소 좌표를 접지 점의 글로벌 좌표로 변환하고; 접지 점의 글로벌 좌표를 장애물의 월드 좌표계에서의 위치로 하여 출력하는 것이다. 당해 실시 방식은 이미지 측면에서 카메라 흔들림 문제를 해결하여 노변 감지 시스템의 강건성을 대폭 향상시키고 계산 리소스를 절약한다.

Description

장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램{METHOD AND APPARATUS FOR DETECTING OBSTACLE, ELECTRONIC DEVICE, STORAGE MEDIUM AND PROGRAM}
본 출원의 실시예는 컴퓨터 기술분야에 관한 것으로, 구체적으로 스마트 교통 기술분야에 관한 것이다.
노변 감지 기술은 노변 센서와 감지 알고리즘에 의해 감지된 장애물을 차량에 송신함으로써 차를 도와 자동운전 기능을 구현하는 기술로서, 현재 노변 감지 센서는 카메라 및 레이저 라이다 등을 포함한다. V2X(vehicle to everything, 차량의 외계와의 정보 교환) 노변 감지 시나리오에서, 카메라에 의해 가시거리 밖의 도로교통 정보를 취득하고자, 통상적으로 카메라 위치를 가로등 대 또는 신호등 대에 설치한다. 카메라가 높을수록 이미지에서 획득되는 시계(視界)가 더 크고 정보량이 더 많으며 노변 감지 능력이 더 강하다. 그러나 카메라가 보다 높은 대에 설치되는 경우, 바람 또는 중형차가 지나감으로 인해 카메라 흔들림이 야기된다. 카메라의 위치가 변화하는 경우, 카메라의 오프라인으로 캘리브레이션된 외부 파라미터를 이용하여 장애물의 3D복원을 수행한다면 흔들림의 오차가 도입되게 되고, 흔들림이 지나차게 큰 경우에는 외부 파라미터가 무효화되고 장애물 위치가 심히 부정확하게 된다. 따라서, 강건하고 안정적인 노변 감지 시스템은 카메라의 흔들림 문제를 해결하여야 한다.
통상의 노변 감지 알고리즘 프레임워크는 통상적으로 오프라인 외부 파라미터를 사용하는데, 카메라가 흔들리는 경우, 오프라인 외부 파라미터를 사용하면 외부 파라미터 무효화에 따른 문제에 직면하게 된다.
카메라 흔들림을 해결하는 일반적인 방법으로는 광학식 흔들림 보정 방법, 기계식 흔들림 보정 방법 및 전자식 흔들림 보정 방법이 있다. 노변 감지의 비용적 제약으로 인해 부가 비용이 필요되는 광학식 흔들림 보정 및 기계식 흔들림 보정은 모두 대규모로 사용될 수 없다. 일반적인 전자식 흔들림 보정은 노변 카메라의 시나리오에 직면하는 경우, 보다 큰 오차를 가지게 되는바, 예를 들면 격렬한 이동의 전경 차폐(foreground occlusion), 특징 점 추출이 강건하지 않은 등의 문제가 있다.
비교적 유행되는 방법으로는, 외부 파라미터의 온라인 캘리브레이션을 수행하는 것인데, 카메라의 외부 파라미터를 실시간으로 계산하여 오프라인 외부 파라미터를 업데이트함으로써 노변 감지 시스템 중의 오프라인 외부 파라미터 무효화 문제를 해결한다. 이러한 방법은 정밀도와 실시간성에 있어서 보다 좋은 하드웨어에 의해서는 수요를 충족시킬 수 있으나 컴퓨팅 파워 소모가 있고 비용이 보다 높다.
장애물을 탐지하는 방법, 장치, 기기, 저장 매체 및 프로그램을 제공한다.
첫 번째 측면으로, 장애물을 탐지하는 방법을 제공하는바, 상기 방법은, 카메라에 의해 수집된 현재 이미지를 취득하는 단계; 상기 현재 이미지를 사전훈련된 탐지 모델에 입력하여 장애물의 탐지 박스의 위치를 얻고 접지 점의, 상기 현재 이미지에서의 제1 화소 좌표를 결정하는 단계; 상기 현재 이미지와 템플릿 이미지 간의 오프셋을 결정하는 단계 - 상기 템플릿 이미지는 카메라의 외부 파라미터를 캘리브레이션할 시 사용되는 이미지임 - ; 상기 오프셋에 기반하여 상기 제1 화소 좌표를 접지 점의 글로벌 좌표로 변환하는 단계; 및 상기 접지 점의 글로벌 좌표를 장애물의 월드 좌표계에서의 위치로 하여 출력하는 단계를 포함한다.
두 번째 측면으로, 장애물을 탐지하는 장치를 제공하는바, 상기 장치는, 카메라에 의해 수집된 현재 이미지를 취득하도록 구성되는 취득 유닛; 상기 현재 이미지를 사전훈련된 탐지 모델에 입력하여 장애물의 탐지 박스의 위치를 얻고 접지 점의, 상기 현재 이미지에서의 제1 화소 좌표를 결정하도록 구성되는 탐지 유닛; 상기 현재 이미지와 템플릿 이미지 간의 오프셋을 결정하도록 구성되는 오프셋 유닛 - 상기 템플릿 이미지는 카메라의 외부 파라미터를 캘리브레이션할 시 사용되는 이미지임 - ; 상기 오프셋에 기반하여 상기 제1 화소 좌표를 상기 접지 점의 글로벌 좌표로 변환하도록 구성되는 변환 유닛; 및 상기 접지 점의 글로벌 좌표를 장애물의 월드 좌표계에서의 위치로 하여 출력하도록 구성되는 출력 유닛을 포함한다.
세 번째 측면으로, 전자 기기를 제공하는바, 상기 전자기기는, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서에 통신적으로 연결되는 메모리를 포함하고, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행됨으로써 상기 적어도 하나의 프로세서가 첫 번째 측면에 따른 어느 한 방법을 수행 가능하도록 한다.
네 번째 측면으로, 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체를 제공하는바, 상기 컴퓨터 명령은 상기 컴퓨터가 첫 번째 측면에 따른 어느 한 방법을 수행하도록 한다.
다섯 번째 측면으로, 매체에 저장된 컴퓨터 프로그램을 제공하는바, 당해 프로그램이 프로세서에 의해 실행되는 경우, 첫 번째 측면에 따른 어느 한 방법이 수행된다.
본 출원의 기술에 따르면, 이미지 측면에서 카메라 흔들림 문제를 해결하여 노변 감지 시스템의 강건성(robustness)을 대폭 향상시키는바, 카메라 흔들림이 존재하는 시나리오에 적용될 수 있다. 그리고 부가적인 새로운 센서를 추가할 필요가 없다. 동시에, 온라인 캘리브레이션 알고리즘에 비해 비용이 절감되고, 원래의, 온라인 캘리브레이션에 소모되던 계산 리소스를 절약하여 다른 응용 및 계산을 지원할 수 있다.
본 부분에서 서술하는 내용은 본 개시의 실시예의 핵심적인 또는 중요한 특징을 표기하고자 하는 것이 아니고 본 개시의 범위를 한정하기 위한 것도 아님을 이해하여야 한다. 본 개시의 다른 특징은 하기의 발명의 상세한 내용에 의해 이해하기 수월해질 것이다.
첨부 도면은 본 방안을 더 잘 이해하기 위한 것으로, 본 출원을 한정하지 않는다.
도 1은 본 출원의 일 실시예가 응용될 수 있는 예시적인 시스템 아키텍처 도면이다.
도 2는 본 출원에 따른 장애물을 탐지하는 방법의 일 실시예의 흐름도이다.
도 3은 본 출원에 따른 장애물을 탐지하는 방법의 일 응용 시나리오의 개략도이다.
도 4는 본 출원에 따른 장애물을 탐지하는 방법의 다른 실시예의 흐름도이다.
도 5는 본 출원에 따른 장애물을 탐지하는 장치의 일 실시예의 구조 개략도이다.
도 6은 본 출원의 실시예에 따른 장애물을 탐지하는 방법의 전자 기기의 블록도이다.
아래 첨부 도면을 결부하여 본 출원의 시범적 실시예를 설명하고자 하는데, 여기서는 이해를 돕고자 본 출원의 실시예의 다양한 세부사항을 포함하나 이를 단지 시범적인 것으로 간주하여야 한다. 따라서, 당업자라면, 여기서 서술한 실시예는 본 출원의 범위 및 사상에 위배되지 않으면서 다양한 변경 및 수정이 가능하다는 것을 인지하여야 한다. 마찬가지로, 명확함과 간결함을 위해, 아래 서술에서는 공지된 기능 및 구조에 대한 서술을 생략하기로 한다.
도 1은 본 출원의 장애물을 탐지하는 방법 또는 장애물을 탐지하는 장치의 실시예를 적용할 수 있는 예시적인 시스템 아키텍처(100)를 도시한다.
도 1에 도시한 바와 같이, 시스템 아키텍처(100)는 카메라(101, 102, 103), 네트워크(104) 및 서버(105)를 포함할 수 있다. 네트워크(104)는 카메라(101, 102, 103)와 서버(105) 사이에서 통신 링크를 제공하는 매체로서 사용된다. 네트워크(104)는 다양한 연결 유형, 예를 들면 유선, 무선 통신 링크 또는 광섬유 케이블 등을 포함할 수 있다.
사용자는 카메라(101, 102, 103)를 사용하여 네트워크(104)를 통해 서버(105)와 인터랙션하여 메세지 등을 수신 또는 송신할 수 있다.
카메라(101, 102, 103)는 일반적으로 촬상하고 장애물을 인식하는 카메라를 가리킨다. 사거리에서 불법(예를 들면, 실선 차선 변경, 역주행, 바이크 도로 점용, 지시표지 위반, 신호 위반 등) 차량을 스냅샷하는 전자 경찰(electronic police)일 수 있다. 또한 설치 위치가 고속도로, 도도(道道) 및 국도(國道)의 일부 주요 도로구간에 있는, 과속 운전 불법 행위를 스냅샷하는 바요넷 카메라일 수도 있다. 카메라(101, 102, 103)는 또한 주차위반 스냅샷 카메라, 교통흐름 모니터링 카메라, 스카이넷 모니터링 카메라, 이동차량 스냅샷 카메라 등일 수도 있다. 또한 무인차 자동운전을 보조하는 카메라일 수도 있다.
카메라가 도로변에 설치되는 경우, 바람 등의 원인으로 흔들릴 수 있다. 이로써 캘리브레이션된 카메라 외부 파라미터가 부정확하게 된다. 본 출원의 목적은 바로 카메라 흔들림에 따른 장애물 탐지가 부정확한 문제를 해결하고자 하는 것이다.
서버(105)는 다양한 서비스를 제공하는 서버일 수 있는바, 예를 들면 카메라(101, 102, 103)로부터 수집된 장애물 데이터에 대한 분석을 제공하는 백그라운드 분석 서버일 수 있다. 백그라운드 분석 서버는 수신된 장애물 데이터에 대해 분석 등의 처리를 수행하고 처리 결과(예를 들면 장애물 위치)를 무인차에 송신할 수 있다.
부연하면, 서버는 하드웨어일 수도 있고 소프트웨어일 수도 있다. 서버가 하드웨어인 경우에는 복수의 서버로 구성되는 분산 서버 클러스터로 구현될 수도 있고 단일 서버로 구현될 수도 있다. 서버가 소프트웨어인 경우에는 복수의 소프트웨어 또는 소프트웨어 모듈(예를 들면 분산 서비스를 제공하는 복수의 소프트웨어 또는 소프트웨어 모듈)로 구현될 수도 있고 단일 소프트웨어 또는 소프트웨어 모듈로 구현될 수도 있다. 여기서는 구체적으로 한정하지 않는다.
부연하면, 본 출원의 실시예에 의해 제공되는 장애물을 탐지하는 방법은 일반적으로 서버(105)에 의해 수행되고, 상응하게, 장애물을 탐지하는 장치는 일반적으로 서버(105)에 설치된다.
도 1에서의 카메라, 네트워크 및 서버의 수량은 단지 예시적인 것일 뿐임을 이해하여야 한다. 구현의 필요에 따라 임의 수량의 카메라, 네트워크 및 서버를 가질 수 있다.
계속하여 도 2를 참조하면, 본 출원에 따른 장애물을 탐지하는 방법의 일 실시예의 흐름(200)을 도시한다. 당해 장애물을 탐지하는 방법은 하기 단계를 포함한다.
단계(201)에서, 카메라에 의해 수집된 현재 이미지를 취득한다.
본 실시예에서, 장애물을 탐지하는 방법의 수행 주체(예를 들면 도 1에 도시한 서버)는 유선 연결 방식 또는 무선 연결 방식으로 도로변의 카메라로부터 카메라에 의해 수집된 현재 이미지를 수신할 수 있다.
단계(202)에서, 현재 이미지를 사전훈련된 탐지 모델에 입력하여 장애물의 탐지 박스의 위치를 얻고 접지 점의, 현재 이미지에서의 제1 화소 좌표를 결정한다.
본 실시예에서, 탐지 모델은 목표를 탐지하는 신경망인바, 예를 들면 YOLO((You Only Look Once, 심층 신경망에 기반하는 객체 인식 및 위치결정 알고리즘), RCNN(Regions with CNN features, 합성곱 신경망 특징을 가지는 영역) 등이다. 탐지 모델에 의해 장애물의 2D탐지 박스의 위치를 결정할 수 있다. 접지 점은 탐지 박스에서 카메라 측에 근접된 하나의 점이다. 도 3에 도시한 바와 같이, 차량 오른쪽 아래 모서리의 점이 접지 점이다. 탐지 박스에 의해 접지 점의, 현재 이미지에서의 제1 화소 좌표를 결정할 수 있다. 대안으로, 처리를 간략화하고자, 2D탐지 박스의 한 모서리, 예를 들면 왼쪽 윗 모서리 또는 오른쪽 아래 모서리를 접지 점으로 설정할 수 있다. 이때 사용하는 것은 화소 좌표이다. 화소 좌표계는 시각화된 픽처의 좌표계를 가리키는바, 통상적으로 왼쪽 윗 모서리가 원점이고, 우향, 하향이 양의 방향이다.
단계(203)에서, 현재 이미지와 템플릿 이미지 간의 오프셋을 결정한다.
본 실시예에서, 템플릿 이미지는 카메라의 외부 파라미터를 캘리브레이션할 시 사용되는 이미지이다. 카메라 외부 파라미터 캘리브레이션은 카메라를 설치한 후, 일종의 방법으로 월드 좌표계로부터 카메라 좌표계로의 변환 행렬(회전 행렬과 평행이동 벡터로 구성됨)을 얻는 것을 가리키는바, 당해 변환 행렬은 바로 카메라 외부 파라미터이다. 카메라 외부 파라미터는 물체의, 실제 세상에서의 위치를 이미지 중의 화소 위치에 연계시키는 필요 조건인바, 이미지에서의 물체 위치를 위치결정하는 분야, 예컨대 자동운전, 안보 등 분야에 있어서 매우 중요하다.
템플릿 이미지를 기준 참조 이미지로 하고 현재 이미지를 정합할 이미지로 할 수 있다. 다음, 이미지를 정합하는 방법에 의해 현재 이미지와 템플릿 이미지 간의 오프셋을 결정한다. 이미지를 정합하는 방법은 하기 세 가지를 포함할 수 있다.
(1) 정합할 이미지 그레이스케일 정보에 기반하는 정합 방법
전체 이미지의 그레이스케일 정보를 근거로 정합할 이미지와 기준 참조 이미지 간의 유사성 측도를 구축하고 일종의 탐색 알고리즘을 이용하여 유사 측도를 최적값에 도달시키는 변환 모델 파라미터를 찾는다. 직접 정합법으로 지칭되기도 한다.
(2) 정합할 이미지 변환 도메인 내 정보에 기반하는 정합 방법
예를 들면 푸리에 변환, 위상 상관, 월시 변환(Walsh Transform) 등 방법이다.
푸리에 변환이 평행이동(translation), 회전(rotation), 신축(scaling)이 있는 이미지 정합에 사용될 수 있는 것은 다음과 같은 이유때문이다.
(a) 평행이동량을 가지는2개의 이미지에 있어서, 푸리에 변환 후 이들의 위상 관계는 서로 다른데, 이는 타임 도메인 내에서의 평행이동량에 의해 푸리에 변환 도메인 내에서의 위상 관계가 직접 결정되기 때문이고;
(b) 회전량을 가지는 2개의 이미지에 있어서, 푸리에 변환 도메인 내의 회전량은 불변한 채 유지되고;
(c) 스케일 신축을 가지는 2개의 이미지에 있어서, 우선 좌표계 전환을 수행하여 로그 좌표계로 변환하며 이미지의 신축은 이미지 평행이동으로 변환하여 처리될 수 있다.
(3)정합할 이미지 특징 정보에 기반하는 정합 방법
특징에 기반하는 정합 방법은 현재 가장 흔히 사용되는 정합 방법 중 하나로, 당해 알고리즘은 정합할 이미지 중의 점, 선, 가장자리 등 특징 정보만을 추출하면 되는 것으로, 다른 보조 정보가 필요하지 않은바, 계산량을 감소시키고 효율을 향상시키는 동시에, 이미지 그레이스케일의 변화에 대해 일정한 강건성을 가진다.
선택된 서로 다른 특징 정보에 따라, 특징에 기반하는 이미지 정합 방법을 세 종류로 나눈다.
(a)특징 점에 기반하는 매칭
일반적으로 선택된 특징 점은 그 도메인 대비 어떤 특이성을 가지는 것으로 나타나는 화소 점이다. 특징 점은 흔히는 쉽게 추출되나, 특징 점에 포함되는 정보는 상대적으로 보다 적은바, 이의, 이미지에서의 위치 좌표 정보 밖에 반영할 수 없으므로, 2개의 이미지에서 매칭되는 특징 점을 찾는 것이 그 관건이다.
(b)특징 영역에 기반하는 매칭
이미지에서 일부 뚜렷한 영역 정보를 찾아서 특징 영역으로 한다.
(c)특징 가장자리에 기반하는 매칭
이미지에서 가장 뚜렷한 특징은 바로 가장자리이고, 가장자리 특징은 또한 가장 추출하기 쉬운 특징 중 하나이기도 하다. 따라서 가장자리에 기반하는 매칭 방법은 강건성이 보다 강하고 적용 범위가 더 넓다.
본 실시예의 일부 대안적인 구현방식에서, 현재 이미지와 템플릿 이미지 간의 오프셋을 결정하는 단계는, 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 계산하는 단계; 회전 및 신축 계수에 따라 현재 이미지를 회전 및 신축하는 단계; 및 회전 및 신축된 현재 이미지의 템플릿 이미지에 대한 오프셋을 계산하는 단계를 포함한다. 이미지 회전 문제는, 대수 극 좌표변환, 허프 변환, 웨이블릿 변환 및 푸리에 변환 등을 활용하여 변환 도메인 내의 상관계수법 정합을 수행하여 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 계산할 수 있다. 다음, 산출된 회전 및 신축 계수에 따라 현재 이미지를 회전 및 신축한다. 다음, 회전 및 신축된 현재 이미지의 템플릿 이미지에 대한 평행이동을 계산하면, 이것이 오프셋이다. 평행이동을 계산하는 방법은, 회전 및 신축된 현재 이미지를 푸리에 변환하고 템플릿 이미지의 푸리에 변환된 결과를 취득하고; 현재 이미지의 푸리에 변환된 결과 및 템플릿 이미지의 푸리에 변환된 결과에 대하여 정규화 교차 파워 스펙트럼 행렬을 구하고; 파워 스펙트럼 행렬을 역푸리에 변환하여 H행렬을 얻고; H행렬에서 에너지가 가장 큰 점을 찾아 당해 점의 오프셋을 계산하는 것일 수 있다. 푸리에 변환 후, 이미지의 평행이동 성분을 위상으로 변환하여 위상의 최대 매칭 위치를 계산하면, 원시 이미지의 평행이동량을 얻을 수 있는데, 이것이 바로 위상 상관이다. 자동운전 노변 감지의 시나리오에서, 카메라의 흔들림은 회전이 평행이동보다 큰바, 따라서 우선, 회전을 계산하고 회전의 영향을 해소하고나서 나아가 평행이동을 조정하여야 하고, 이로써 오프셋을 계산하는 정확률을 향상킬 수 있으며 나아가 장애물 탐지의 정확률을 향상시킬 수 있다.
본 실시예의 일부 대안적인 구현방식에서, 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 계산하여 오프셋으로 하는바, 평행이동을 더 계산하지 않는다. 서로 다른 응용 시나리오에 있어서 평행이동량을 계산할지 여부를 선택한다. 예를 들면, 자동운전 노변 감지 시나리오에 있어서, 카메라의 흔들림은 회전이 평행이동보다 큰바, 일부 시나리오에서는 심지어는 순수 회전으로 간략화될 수 있고 평행이동을 계산하지 않아도 되는바, 이미지 정합 속도가 향상된다.
단계(204)에서, 오프셋에 기반하여 제1 화소 좌표를 접지 점의 글로벌 좌표로 변환한다.
본 실시예에서, 오프셋에 따라 접지 점의, 현재 이미지에서의 제1 화소 좌표를 접지 점의, 템플릿 이미지에서의 제2 화소 좌표로 변환할 수 있다. 다음, 제2 화소 좌표를 카메라 좌표로 변환하고, 마지막으로, 카메라 좌표를 글로벌 좌표로 변환할 수 있다. 월드 좌표계는 사용자에 의해 정의된 3차원 월드 좌표계를 가리키는바, 어느 한 점을 원점으로 하고, 목표물의, 실제 세계에서의 위치를 서술하기 위하여 도입되었다. 카메라 좌표계는 카메라를 원점으로 하여 구축된 좌표계를 가리키는바, 카메라의 각도에서 물체의 위치를 서술하고자 정의되었고, 월드 좌표계와 화소 좌표계를 커뮤니케이션시키는 중간 일환으로 사용된다. 장애물의 3D세계에서의 위치는 장애물의 월드 좌표계에서의 위치로도 지칭되고, 장애물의 월드 좌표계에서의 위치를 결정하는 과정은 3D복원의 과정으로 지칭된다.
그러나 카메라 외부 파라미터만으로는, 이미지 중의 장애물 화소 좌표로부터 당해 장애물의 글로벌 좌표를 얻을 수가 없는바, 왜냐하면 깊이 정보가 결여되기 때문이고, 레이저 라이다, 적외선 카메라 등 장치에 의해서 깊이 정보를 획득할 수 있다. 깊이 정보에 따라 2D화소 좌표로부터 3D화소 좌표로의 변환을 완성한다. 다시 카메라의 내부 파라미터에 의해, 화소 좌표로부터 카메라 좌표로의 변환을 수행하는데, 화소 좌표로부터 카메라 좌표로의 변환은 종래 기술이므로, 상세한 설명은 생략하기로 한다. 카메라 좌표를 글로벌 좌표로 변환하는 과정은 하기 단계(2043)을 참조할 수 있다.
본 실시예의 일부 대안적인 구현방식에서, 깊이 정보가 결여되는 경우에, 하기 단계를 통해 화소 좌표로부터 글로벌 좌표로의 변환을 구현할 수 있다.
단계(2041)에서, 제1 화소 좌표 및 오프셋에 따라 접지 점의, 템플릿 이미지에서의 제2 화소 좌표를 결정한다.
본 실시예에서, 단계(203)에 의해 결정된 오프셋에 따라 접지 점의, 현재 이미지에서의 제1 화소 좌표를 접지 점의, 템플릿 이미지에서의 제2 화소 좌표로 변환한다.
단계(2042)에서, 제2 화소 좌표를 사전설정된 지면 방정식에 의해 접지 점의 카메라 좌표로 변환한다.
본 실시예에서, 다른 기기를 빌어 깊이 정보를 제공할 수 없는 경우에, 지면 방정식, 즉 지면 법선벡터를 이용하여 깊이 정보를 제공할 수 있는데, 2D화소 좌표로부터 3D화소 좌표로의 변환을 완성할 수 있다. 다음, 카메라의 내부 파라미터에 의해 화소 좌표로부터 카메라 좌표로의 변환을 완성하는데, 화소 좌표로부터 카메라 좌표로의 변환은 종래 기술이므로, 상세한 설명은 생략하기로 한다. 노변 카메라의 설치 높이가 보다 높으므로 카메라에 실시간으로 흔들림이 발생되어 그 외부 파라미터가 변화하는데, 지면 방정식은 카메라 좌표계 아래에 있으므로 또한 지면 방정식을 실시간으로 계산하여야 한다. 동시에, 카메라 시나리오에서 지면 경사 변화가 나타날 수 있으므로, 서로 다른 위치의 지면 방정식은 서로 다르고, 따라서 3D복원의 정밀도를 향상시키기 위해서는 지면 방정식을 구간 별로 계산하여야 하고 동일한 지면 방정식을 전역에 사용할 수 없다. 하기 방식으로 지면 방정식을 계산할 수 있다.
(1) 전역 오프라인의 지면 방정식을 사용하여 실시간으로 계산하는 온라인 구간 별 지면 방정식을 대체한다.
(2) 깊이 맵을 오프라인으로 구축하여 지면 방정식을 대체하는데, 이러한 방법은 매우 정확하게 깊이 정보를 획득할 수 있고 각 화소의 글로벌 좌표를 오프라인으로 산출할 수 있다.
(3) 한 효과적인 구간 별 지면 방정식을 계산하는 방법은 모든 지면 3D점을 X, Y의 좌표 범위에 따라 이들을 서로 다른 격자에 구획하는 것인바, 예를 들면 카메라에 의해 촬영된 지면을 10*20의 그리드로 나누고, 다음, 서로 다른 그리드의 지면 방정식을 계산한다. 3D복원된 장애물 접지 점이 어느 그리드 중에 놓여야 하면 당해 그리드의 지면 방정식을 이용하여 3D복원하는바, 이러한 방법의 우위로는 속도가 빠른 것이다.
지면 방정식의 구체적인 계산 방법은 종래 기술인바, 따라서 상세한 설명은 생략하기로 한다.
단계(2043)에서, 접지 점의 카메라 좌표를 카메라의 외부 파라미터에 의해 접지 점의 글로벌 좌표로 변환한다.
본 실시예에서, 카메라의 외부 파라미터는 회전 행렬과 평행이동 행렬을 포함한다. 회전 행렬과 평행이동 행렬은 어떻게 점을 월드 좌표계로부터 비디오 카메라 좌표계로 변환하는지를 함께 서술한다.
하기 식은 글로벌 좌표
Figure pat00001
를 카메라 좌표
Figure pat00002
로 변환하는 과정으로,
Figure pat00003
는 회전 행렬이고
Figure pat00004
는 평행이동 행렬이다.
Figure pat00005
및
Figure pat00006
는 사전에 오프라인으로 캘리브레이션된 외부 파라미터이다.
Figure pat00007
카메라 좌표계로부터 월드 좌표계로 변환하는 것은 상기 식의 역의 과정이다.
Figure pat00008
본 출원의 상술한 실시예에 의해 제공되는 방법은 이미지 측면에서 카메라 흔들림 문제를 해결하여 노변 감지 시스템의 강건성을 대폭 향상시키는바, 카메라 흔들림이 존재하는 시나리오에 적용될 수 있다. 그리고 부가적인 새로운 센서를 추가할 필요가 없다. 동시에, 온라인 캘리브레이션 알고리즘에 비해 비용이 절감되고, 원래의, 온라인 캘리브레이션에 소모되던 계산 리소스를 절약하여 다른 응용 및 계산을 지원할 수 있다.
단계(205)에서, 접지 점의 글로벌 좌표를 장애물의 월드 좌표계에서의 위치로 하여 출력한다.
본 실시예에서, 접지 점 3D복원에 의해 장애물 3D복원이 완성되었는 바, 따라서 장애물의 월드 좌표계에서의 위치를 얻는다. 이 위치를 장애물의 월드 좌표계에서의 위치로 하여 출력한다.
계속하여 도 3을 참조하면, 도 3은 본 실시예에 따른 장애물을 탐지하는 방법의 응용 시나리오의 일 개략도이다. 도 3의 응용 시나리오에서, 도로변의 카메라는 도로 상의 이미지를 실시간으로 수집하고 수집된 현재 이미지를 서버에 송신한다. 서버는 현재 이미지를 사전훈련된 탐지 모델에 입력하여 장애물의 탐지 박스의 위치를 얻고 접지 점을 결정한다. 차량 오른쪽 아래 모서리에 도시된 것이 바로 결정된 접지 점이다. 평면도에서 탐지 박스는 네개 모서리가 있고, 오른쪽 아래 모서리가 카메라에서 가장 가까운바, 따라서 접지 점으로 결정된다. 이후, 접지 점의, 현재 이미지에서의 제1 화소 좌표를 결정한다. 이미지 정합 방식으로 현재 이미지와 템플릿 이미지 간의 오프셋을 결정할 수 있다. 오프셋에 따라 접지 점이 템플릿 이미지 중의 제2 화소 좌표에 대응됨을 결정한다. 지면 방정식에 의해 접지 점의 제2 화소 좌표를 카메라 좌표로 변환한다. 다음, 오프라인으로 캘리브레이션된 카메라 외부 파라미터를 이용하여 카메라 좌표를 글로벌 좌표로 변환하는바, 즉, 장애물의 위치를 결정할 수 있다.
계속하여 도 4를 참조하면, 본 출원에 따른 장애물을 탐지하는 방법의 다른 실시예의 흐름(400)을 도시한다. 당해 장애물을 탐지하는 방법은 하기 단계를 포함한다.
단계(401)에서, 카메라에 의해 수집된 현재 이미지를 취득한다.
단계(402)에서, 현재 이미지를 사전훈련된 탐지 모델에 입력하여 장애물의 탐지 박스의 위치를 얻고 접지 점의, 현재 이미지에서의 제1 화소 좌표를 결정한다.
단계(401) 내지 단계(402)는 단계(201) 내지 단계(202)와 기본적으로 동일한바, 따라서 상세한 설명은 생략하기로 한다.
단계(403)에서, 현재 이미지 및 템플릿 이미지를 각각 푸리에 멜린 변환하여 상기 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 구하고, 회전 및 신축 계수에 따라 현재 이미지를 회전 및 신축한다.
본 실시예에서, 푸리에 멜린 변환(Fourier-Mellin)에 의해 현재 이미지 및 템플릿 이미지를 대수 극 좌표로 변환하고, 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 구한다. 데카르트 좌표계에서의 회전 및 신축을 대수 극 좌표 좌표계에서의 평행이동으로 변환하고, 위상 상관에 의해 평행이동량을 구하면 신축 배율과 회전 각도를 얻는다. 배율과 회전 각도에 따라 보정하고, 직접적으로 위상 상관에 의해 평행이동량을 구한다. 이로써 2개 이미지의 상대적 변위, 회전 및 신축을 얻게 되고, 이미지 정합에 사용할 수 있다. 푸리에 멜린 변환은 이미지 정합 속도를 향상시킬 수 있다.
단계(404)에서, 현재 이미지의 푸리에 변환된 결과 및 템플릿 이미지의 푸리에 변환된 결과에 대하여 정규화 교차 파워 스펙트럼 행렬을 구한다.
본 실시예에서, 회전 및 신축된 현재 이미지를 푸리에 변환하고 템플릿 이미지의 푸리에 변환된 결과를 취득한다. 템플릿 이미지를 설정한 후 이에 대해 푸리에 변환할 수 있고, 푸리에 변환의 결과를 사용할 수 있도록 저장해둔다. 현재 이미지의 푸리에 변환된 결과 및 템플릿 이미지의 푸리에 변환된 결과에 대하여 정규화 교차 파워 스펙트럼 행렬을 구한다.
단계(405)에서, 교차 파워 스펙트럼 행렬을 역푸리에 변환하여
Figure pat00009
행렬을 얻고
Figure pat00010
행렬에서 에너지가 가장 큰 점을 찾아 당해 점의 오프셋을 계산한다.
본 실시예에서, 파워 스펙트럼 행렬을 역푸리에 변환하여
Figure pat00011
행렬을 얻는다.
Figure pat00012
행렬에서 에너지가 가장 큰 점, 즉 정합 점을 찾아, 당해 점의 오프셋을 계산한다. 교차 파워 스펙트럼 행렬의 푸리에 반전 변환을 구하여 하나의 디랙 함수(임펄스 함수)를 얻고, 함수 피크값 점에 대응되는 좌표를 찾으면, 우리가 구하고자 하는 정합 점을 얻을 수 있다. 실제로, 컴퓨터 처리에서, 연속 도메인은 이산 도메인으로 대체하여야 하는데, 이는 디랙 함수를 이산 시간 단위 임펄스 함수 시퀀스의 형식으로 변환시킨다. 실제 연산에서, 2개의 이미지의 상호 파워 스펙트럼 위상의 반전 변환은, 반드시 2개의 이미지의 정합 점을 대표하는 하나의 상관 피크값과 일부 무상관 피크값을 포함하는바, 상관 피크값은 2개의 이미지 간의 일치 정도를 직접 반영한다. 더 정확히 말해, 상관 피크의 에너지는 중첩 영역이 차지하는 백분율에 대응되고, 비상관 피크는 비중첩 영역이 차지하는 백분율에 대응된다. 당해 방법을 사용하여 오프셋을 계산하는 경우, 계산 과정을 간소화할 수 있고 탐지 시간을 단축시킬 수 있다.
단계(406)에서, 제1 화소 좌표 및 오프셋에 따라 접지 점의, 템플릿 이미지에서의 제2 화소 좌표를 결정한다.
본 실시예에서, 현재 이미지의 2D장애물 탐지 결과의 박스의 위치에 따라, 이전에 산출된 이미지의 오프셋을 당해 장애물의 접지 점 위치의 오프셋량으로 하고 이 오프셋량에 따라 접지 점 위치를 업데이트하는바, 즉, 당해 장애물의 접지 점의, 템플릿 이미지 내에서 위치하는 화소 위치를 얻는다.
단계(407)에서, 제2 화소 좌표를 사전설정된 지면 방정식에 의해 접지 점의 카메라 좌표로 변환한다.
단계(408)에서, 접지 점의 카메라 좌표를 카메라의 외부 파라미터에 의해 접지의 글로벌 좌표로 변환한다.
단계(409)에서, 접지 점의 글로벌 좌표를 장애물의 월드 좌표계에서의 위치로 하여 출력한다.
단계(407) 내지 단계(409)는 단계(204) 내지 단계(205)와 기본적으로 동일한바, 따라서 상세한 설명은 생략하기로 한다.
도 4로부터 알 수 있는바, 도 2에 대응되는 실시예에 비하면, 본 실시예에서의 장애물을 탐지하는 방법의 흐름(400)은 푸리에 멜린 변환에 의해 오프셋을 구하는 단계를 구현한다. 이에 따라, 본 실시예에서 서술하는 방안은 탐지 속도를 가속화하고, 또한 강건하다.
나아가 도 5를 참조하면, 상술한 각 도면에 도시한 방법에 대한 구현으로, 본 출원은 장애물을 탐지하는 장치의 일 실시예를 제공하는바, 당해 장치 실시예는 도 2에 도시한 방법 실시예에 대응되고, 당해 장치는 구체적으로 다양한 전자 기기에 응용될 수 있다.
도 5에 도시한 바와 같이, 본 실시예의 장애물을 탐지하는 장치(500)는 취득 유닛(501), 탐지 유닛(502), 오프셋 유닛(503), 변환 유닛(504), 출력 유닛(505)을 포함한다. 여기서, 취득 유닛(501)은 카메라에 의해 수집된 현재 이미지를 취득하도록 구성된다. 탐지 유닛(502)은 현재 이미지를 사전훈련된 탐지 모델에 입력하여 장애물의 탐지 박스의 위치를 얻고 접지 점의, 현재 이미지에서의 제1 화소 좌표를 결정하도록 구성된다. 오프셋 유닛(503)은 현재 이미지와 템플릿 이미지 간의 오프셋을 결정하도록 구성되고, 여기서, 템플릿 이미지는 카메라의 외부 파라미터를 캘리브레이션할 시 사용되는 이미지이다. 변환 유닛(504)은 오프셋에 기반하여 제1 화소 좌표를 접지 점의 글로벌 좌표로 변환하도록 구성된다. 출력 유닛(505)은 접지 점의 글로벌 좌표를 장애물의 월드 좌표계에서의 위치로 하여 출력하도록 구성된다.
본 실시예에서, 장애물을 탐지하는 장치(500)의 취득 유닛(501), 탐지 유닛(502), 오프셋 유닛(503), 변환 유닛(504), 출력 유닛(505)의 구체적인 처리는 도 2의 대응되는 실시예에서의 단계(201), 단계(202), 단계(203), 단계(204), 단계(205)를 참조할 수 있다.
본 실시예의 일부 대안적인 구현방식에서, 변환 유닛(504)은 나아가, 제1 화소 좌표 및 오프셋에 따라 접지 점의, 템플릿 이미지에서의 제2 화소 좌표를 결정하고 제2 화소 좌표를 사전설정된 지면 방정식에 의해 접지 점의 카메라 좌표로 변환하고 접지 점의 카메라 좌표를 카메라의 외부 파라미터에 의해 접지 점의 글로벌 좌표로 변환하도록 구성된다.
본 실시예의 일부 대안적인 구현방식에서, 오프셋 유닛(503)은 나아가, 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 계산하고 회전 및 신축 계수에 따라 현재 이미지를 회전 및 신축하고 회전 및 신축된 현재 이미지의 템플릿 이미지에 대한 오프셋을 계산하도록 구성된다.
본 실시예의 일부 대안적인 구현방식에서, 오프셋 유닛(503)은 나아가, 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 계산하도록 구성되고, 제1 화소 좌표 및 오프셋에 따라 접지 점의, 템플릿 이미지에서의 제2 화소 좌표를 결정하는 것은, 제1 화소 좌표에 회전 및 신축 계수를 곱하여 접지 점의, 템플릿 이미지에서의 제2 화소 좌표를 얻는 것을 포함한다.
본 실시예의 일부 대안적인 구현방식에서, 오프셋 유닛(503)은 나아가, 현재 이미지 및 템플릿 이미지를 각각 푸리에 멜린 변환하여 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 구하도록 구성된다.
본 실시예의 일부 대안적인 구현방식에서, 오프셋 유닛(503)은 나아가, 회전 및 신축된 현재 이미지를 푸리에 변환하고 템플릿 이미지의 푸리에 변환된 결과를 취득하고 현재 이미지의 푸리에 변환된 결과 및 템플릿 이미지의 푸리에 변환된 결과에 대하여 정규화 교차 파워 스펙트럼 행렬을 구하고 파워 스펙트럼 행렬을 역푸리에 변환하여
Figure pat00013
행렬을 얻고;
Figure pat00014
행렬에서 에너지가 가장 큰 점을 찾아 당해 점의 오프셋을 계산하도록 구성된다.
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독가능 저장 매체를 더 제공한다.
도 6에 도시한 바로는, 본 출원의 실시예에 따른 장애물을 탐지하는 방법의 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크벤치, 개인용 디지털 보조기, 서버, 블레이드 서버, 대형 컴퓨터 및 다른 적합한 컴퓨터와 같은 다양한 형식의 디지털 컴퓨터를 가리키고자 하는 것이다. 전자 기기는 또한, 개인용 디지털 보조기, 셀룰러 폰, 스마트폰, 웨어러블 기기 및 다른 이와 유사한 컴퓨팅 기기와 같은 다양한 형식의 이동 장치를 가리킬 수 있다. 본 명세서에서 제시하는 부품, 이들의 연결과 관계 및 이들의 기능은 단지 예시일 뿐, 본 명세서에서 서술한 및/또는 청구하는 본 출원의 구현을 한정하고자 하는 것이 아니다.
도 6에 도시한 바와 같이, 당해 전자 기기는 하나 또는 복수의 프로세서(601), 메모리(602)를 포함하고, 각 부품을 연결하는 인터페이스는 고속 인터페이스와 저속 인터페이스를 포함한다. 각 부품은 서로 다른 버스를 이용하여 서로 연결되고 공통 메인보드에 장착되거나 또는 필요에 따라 다른 방식으로 장착될 수 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 처리할 수 있는바, 메모리에 저장되어 외부 입력/출력 장치(인터페이스에 커플링된 표시 기기와 같은)에 GUI의 그래픽 정보를 표시하기 위한 명령이 포함된다. 다른 실시 방식에서, 필요하다면 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있고, 각 기기는(예를 들어 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티프로세서 시스템으로서) 일부 필요한 조작을 제공할 수 있다. 도 6은 프로세서(601)를 예시한다.
메모리(602)가 바로 본 출원에 의해 제공되는 비일시적 컴퓨터 판독가능 저장 매체이다. 상기 메모리에는 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있는바, 상기 적어도 하나의 프로세서에 의해 본 출원에 의해 제공되는 장애물을 탐지하는 방법이 수행되도록 한다. 본 출원의 비일시적 컴퓨터 판독가능 저장 매체는 컴퓨터 명령을 저장하고, 당해 컴퓨터 명령은 컴퓨터에 의해 본 출원에 의해 제공되는 장애물을 탐지하는 방법이 수행되도록 한다.
메모리(602)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 본 출원의 실시예의 장애물을 탐지하는 방법에 대응되는 프로그램 명령/모듈(예를 들면, 첨부 도면5에 도시한 취득 유닛(501), 탐지 유닛(502), 오프셋 유닛(503), 변환 유닛(504), 출력 유닛(505))과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행가능 프로그램 및 모듈을 저장할 수 있. 프로세서(601)는 메모리(602)에 저장되는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 응용 및 데이터 처리를 실행하는바, 즉 상술한 방법 실시예에서의 장애물을 탐지하는 방법을 구현한다.
메모리(602)는 프로그램 저장 영역과 데이터 저장 영역을 포함할 수 있는바, 여기서, 프로그램 저장 영역은 운영 체제, 적어도 하나의 기능에 있어서 필요한 응용 프로그램을 저장할 수 있고, 데이터 저장 영역은 장애물을 탐지하는 전자 기기의 사용에 따라 생성되는 데이터 등을 저장할 수 있다. 이 외에도, 메모리(602)는 고속 랜덤 액세스 메모리를 포함할 수도 있고, 비일시적 메모리, 예를 들어 적어도 하나의 자기 디스크 저장 디바이스, 플래시 메모리 디바이스 또는 다른 비일시적 고체 상태 저장 디바이스를 더 포함할 수도 있다. 일부 실시에서, 메모리(602)는 대안적으로 프로세서(601) 대비 원격 설치되는 메모리를 포함하는바, 이러한 원격 메모리는 네트워크를 통해 장애물을 탐지하는 전자 기기에 연결된다. 상술한 네트워크의 실제 예는 인터넷, 기업 내부 네트워크, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하나 이에 한정되지 않는다.
장애물을 탐지하는 방법을 수행하는 전자 기기는 입력 장치(603)와 출력 장치(604)를 더 포함할 수 있다. 프로세서(601), 메모리(602), 입력 장치(603) 및 출력 장치(604)는 버스 또는 다른 방식으로 연결될 수 있고, 도 6은 버스에 의한 연결을 예시한다.
입력 장치(603)는 입력되는 숫자 또는 문자(character) 정보를 수신하고, 장애물을 탐지하는 전자 기기의 사용자 설정 및 기능 제어에 관련되는 키 신호 입력을 발생시킬 수 있는바, 예를 들면 터치 스크린, 숫자 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등의 입력 장치가 있다. 출력 장치(604)는 표시 기기, 보조 조명장치(예를 들어 LED) 및 촉각 피드백 장치(예를 들어 진동 모터) 등을 포함할 수 있다. 당해 표시 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시 방식에서 표시 기기는 터치 스크린일 수 있다.
여기서 서술하는 시스템과 기술의 다양한 실시 방식은 디지털 전자회로 시스템, 집적회로 시스템, 주문형ASIC(주문형 집적회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 구현될 수 있다. 이러한 다양한 실시 방식은 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램가능 프로세서를 포함하는 프로그램가능 시스템에서 실행되거나 및/또는 해석될 수 있고, 당해 프로그램가능 프로세서는 전용의 또는 범용의 프로그램가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터와 명령을 수신하고 데이터와 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치로 전송할 수 있다.
이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드로 지칭되기도 함)은 프로그램가능 프로세서의 기계 명령을 포함하며, 고급 절차 프로그래밍 언어 및/또는 객체지향 프로그래밍 언어, 및/또는 어셈블리어/기계어를 이용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용한 바와 같이, 용어 ‘기계 판독가능 매체’와 ‘컴퓨터 판독가능 매체’는 기계 명령 및/또는 데이터를 프로그램가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 기기, 및/또는 장치(예를 들면 자기 디스크, 광 디스크, 메모리, 프로그램가능 논리 장치(PLD))를 가리키는바, 이는 기계 판독가능 신호로서의 기계 명령을 수신하는 기계 판독가능 매체를 포함한다. 용어 ‘기계 판독가능 신호’는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 가리킨다.
사용자와의 인터랙션을 제공하기 위해, 여기서 서술하는 시스템과 기술을 컴퓨터에서 실시할 수 있는바, 당해 컴퓨터는 사용자한테 정보를 표시하기 위한 표시 장치(예를 들면 음극선관(CRT) 또는 액정 디스플레이(LCD) 모니터) 및 키보드와 포인팅 장치(예를 들면 마우스 또는 트랙볼)를 구비하고, 사용자는 당해 키보드와 당해 포인팅 장치를 통해 입력을 컴퓨터에 제공할 수 있다. 다른 종류의 장치 또한 사용자와의 인터랙션을 제공하는 데 사용될 수 있는바, 예를 들면 사용자한테 제공되는 피드백은 임의 형식의 감각 피드백(예를 들어 시각 피드백, 청각 피드백 또는 촉각 피드백)일 수 있고, 임의 형식(소리 입력, 음성 입력 또는 촉각 입력을 포함함)으로 사용자로부터의 입력이 수신될 수 있다.
여기서 서술하는 시스템과 기술을 백스테이지 부품을 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버로서), 미들웨어 부품을 포함하는 컴퓨팅 시스템(예를 들면 애플리케이션 서버), 프론트엔드 부품을 포함하는 컴퓨팅 시스템(예를 들면 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비하는 사용자 컴퓨터가 있고, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 네트워크 브라우저를 통해 여기서 서술하는 시스템 및 기술의 실시 방식과 인터랙션할 수 있음), 또는 이러한 백그라운드 부품, 미들웨어 부품 또는 프런트 엔드 부품의 임의 조합을 포함하는 컴퓨팅 시스템에서 실시할 수 있다. 임의 형식 또는 매체의 디지털 데이터 통신(예를 들면 통신 네트워크)으로 시스템의 부품을 서로 연결시킬 수 있다. 통신 네트워크의 예시는 근거리 통신망(LAN), 광대역 통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있고, 통상적으로 통신 네트워크를 통해 인터랙션한다. 상응한 컴퓨터에서 실행되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램에 의해 클라이언트와 서버의 관계가 발생한다.
본 출원의 실시예에 따른 기술 방안은, 이미지 측면에서 카메라 흔들림 문제를 해결하여 노변 감지 시스템의 강건성을 대폭 향상시키는바, 카메라 흔들림이 존재하는 시나리오에 적용될 수 있다. 그리고 부가적인 새로운 센서를 추가할 필요가 없다. 동시에, 온라인 캘리브레이션 알고리즘에 비해 비용이 절감되고, 원래의, 온라인 캘리브레이션에 소모되던 계산 리소스를 절약하여 다른 응용 및 계산을 지원할 수 있다.
위에서 제시한 다양한 형식의 흐름을 적용하여 단계를 재정렬, 증가 또는 삭제할 수 있음을 이해하여야 한다. 예를 들면, 본 출원에 기재된 각 단계는 병렬로 수행될 수도 있고, 순차로 수행될 수도 있고, 서로 다른 순서로 실행될 수도 있는바, 본 출원에서 개시하는 기술 방안에 대한 기대 결과를 구현할 수 있기만 하면 되는 것으로, 본 명세서는 이에 대해 한정하지 않는다.
상술한 구체적인 실시 방식은 본 출원의 보호 범위를 한정하지 않는다. 당업자라면, 설계 요구 및 다른 요소에 따라 다양한 수정, 조합, 서브 조합 및 치환이 가능하다는 것을 알아야 할 것이다. 본 출원의 사상과 원칙 내에서 행하는 임의의 수정, 등가적 치환 및 개량 등은 모두 본 출원의 보호 범위에 포함되어야 한다.

Claims (15)

  1. 장애물을 탐지하는 방법으로서,
    카메라에 의해 수집된 현재 이미지를 취득하는 단계;
    상기 현재 이미지를 사전훈련된 탐지 모델에 입력하여 장애물의 탐지 박스의 위치를 얻고 접지 점의, 상기 현재 이미지에서의 제1 화소 좌표를 결정하는 단계 - 상기 접지 점은 상기 탐지 박스에서 카메라 측에 근접된 하나의 점임 - ;
    상기 현재 이미지와 템플릿 이미지 간의 오프셋을 결정하는 단계 - 상기 템플릿 이미지는 카메라의 외부 파라미터를 캘리브레이션할 시 사용되는 이미지임 - ;
    상기 오프셋에 기반하여 상기 제1 화소 좌표를 상기 접지 점의 글로벌 좌표로 변환하는 단계; 및
    상기 접지 점의 글로벌 좌표를 장애물의 월드 좌표계에서의 위치로 하여 출력하는 단계를 포함하는, 장애물을 탐지하는 방법.
  2. 제1항에 있어서,
    상술한, 상기 오프셋에 기반하여 상기 제1 화소 좌표를 상기 접지 점의 글로벌 좌표로 변환하는 단계는,
    상기 제1 화소 좌표 및 상기 오프셋에 따라 상기 접지 점의, 상기 템플릿 이미지에서의 제2 화소 좌표를 결정하는 단계;
    상기 제2 화소 좌표를 사전설정된 지면 방정식에 의해 상기 접지 점의 카메라 좌표로 변환하는 단계; 및
    상기 접지 점의 카메라 좌표를 상기 카메라의 외부 파라미터에 의해 상기 접지 점의 글로벌 좌표로 변환하는 단계를 포함하는, 장애물을 탐지하는 방법.
  3. 제1항에 있어서,
    상술한, 상기 현재 이미지와 템플릿 이미지 간의 오프셋을 결정하는 단계는,
    상기 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 계산하는 단계;
    상기 회전 및 신축 계수에 따라 상기 현재 이미지를 회전 및 신축하는 단계; 및
    회전 및 신축된 현재 이미지의 템플릿 이미지에 대한 오프셋을 계산하는 단계를 포함하는, 장애물을 탐지하는 방법.
  4. 제2항에 있어서,
    상술한, 상기 현재 이미지와 템플릿 이미지 간의 오프셋을 결정하는 단계는,
    상기 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 계산하는 단계를 포함하고,
    상술한, 상기 제1 화소 좌표 및 상기 오프셋에 따라 상기 접지 점의, 상기 템플릿 이미지에서의 제2 화소 좌표를 결정하는 단계는,
    상기 제1 화소 좌표에 상기 회전 및 신축 계수를 곱하여 상기 접지 점의, 상기 템플릿 이미지에서의 제2 화소 좌표를 얻는 단계를 포함하는, 장애물을 탐지하는 방법.
  5. 제3항 또는 제4항에 있어서,
    상술한, 상기 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 계산하는 단계는,
    상기 현재 이미지 및 템플릿 이미지를 각각 푸리에 멜린 변환하여 상기 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 구하는 단계를 포함하는, 장애물을 탐지하는 방법.
  6. 제3항에 있어서,
    상술한, 회전 및 신축된 현재 이미지의 템플릿 이미지에 대한 오프셋을 계산하는 단계는,
    상기 회전 및 신축된 현재 이미지를 푸리에 변환하고 상기 템플릿 이미지의 푸리에 변환된 결과를 취득하는 단계;
    상기 현재 이미지의 푸리에 변환된 결과 및 상기 템플릿 이미지의 푸리에 변환된 결과에 대하여 정규화 교차 파워 스펙트럼 행렬을 구하는 단계;
    상기 파워 스펙트럼 행렬을 역푸리에 변환하여 H행렬을 얻는 단계; 및
    상기 H행렬에서 에너지가 가장 큰 점을 찾아 당해 점의 오프셋을 계산하는 단계를 포함하는, 장애물을 탐지하는 방법.
  7. 장애물을 탐지하는 장치로서,
    카메라에 의해 수집된 현재 이미지를 취득하도록 구성되는 취득 유닛;
    상기 현재 이미지를 사전훈련된 탐지 모델에 입력하여 장애물의 탐지 박스의 위치를 얻고 접지 점의, 상기 현재 이미지에서의 제1 화소 좌표를 결정하도록 구성되는 탐지 유닛 - 상기 접지 점은 상기 탐지 박스에서 카메라 측에 근접된 하나의 점임 - ;
    상기 현재 이미지와 템플릿 이미지 간의 오프셋을 결정하도록 구성되는 오프셋 유닛 - 상기 템플릿 이미지는 카메라의 외부 파라미터를 캘리브레이션할 시 사용되는 이미지임 - ;
    상기 오프셋에 기반하여 상기 제1 화소 좌표를 상기 접지 점의 글로벌 좌표로 변환하도록 구성되는 변환 유닛; 및
    상기 접지 점의 글로벌 좌표를 장애물의 월드 좌표계에서의 위치로 하여 출력하도록 구성되는 출력 유닛을 포함하는, 장애물을 탐지하는 장치.
  8. 제7항에 있어서,
    상기 변환 유닛은 나아가,
    상기 제1 화소 좌표 및 상기 오프셋에 따라 상기 접지 점의, 상기 템플릿 이미지에서의 제2 화소 좌표를 결정하고;
    상기 제2 화소 좌표를 사전설정된 지면 방정식에 의해 상기 접지 점의 카메라 좌표로 변환하고;
    상기 접지 점의 카메라 좌표를 상기 카메라의 외부 파라미터에 의해 상기 접지 점의 글로벌 좌표로 변환하도록 구성되는, 장애물을 탐지하는 장치.
  9. 제7항에 있어서,
    상기 오프셋 유닛은 나아가,
    상기 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 계산하고;
    상기 회전 및 신축 계수에 따라 상기 현재 이미지를 회전 및 신축하고;
    회전 및 신축된 현재 이미지의 템플릿 이미지에 대한 오프셋을 계산하도록 구성되는, 장애물을 탐지하는 장치.
  10. 제8항에 있어서,
    상기 오프셋 유닛은 나아가,
    상기 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 계산하도록 구성되고,
    상술한, 상기 제1 화소 좌표 및 상기 오프셋에 따라 상기 접지 점의, 상기 템플릿 이미지에서의 제2 화소 좌표를 결정하는 것은,
    상기 제1 화소 좌표에 상기 회전 및 신축 계수를 곱하여 상기 접지 점의, 상기 템플릿 이미지에서의 제2 화소 좌표를 얻는 것을 포함하는, 장애물을 탐지하는 장치.
  11. 제9항 또는 제10항에 있어서,
    상기 오프셋 유닛은 나아가,
    상기 현재 이미지 및 템플릿 이미지를 각각 푸리에 멜린 변환하여 상기 현재 이미지의 템플릿 이미지에 대한 회전 및 신축 계수를 구하도록 구성되는, 장애물을 탐지하는 장치.
  12. 제9항에 있어서,
    상기 오프셋 유닛은 나아가,
    상기 회전 및 신축된 현재 이미지를 푸리에 변환하고 상기 템플릿 이미지의 푸리에 변환된 결과를 취득하고;
    상기 현재 이미지의 푸리에 변환된 결과 및 상기 템플릿 이미지의 푸리에 변환된 결과에 대하여 정규화 교차 파워 스펙트럼 행렬을 구하고;
    상기 파워 스펙트럼 행렬을 역푸리에 변환하여 H행렬을 얻고;
    상기 H행렬에서 에너지가 가장 큰 점을 찾아 당해 점의 오프셋을 계산하도록 구성되는, 장애물을 탐지하는 장치.
  13. 전자 기기로서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 통신적으로 연결되는 메모리를 포함하고,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행됨으로써 상기 적어도 하나의 프로세서가 제1항 내지 제6항 중 어느 한 항의 방법을 실행 가능하도록 하는, 전자 기기.
  14. 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 명령은 상기 컴퓨터에 의해 제1항 내지 제6항 중 어느 한 항의 방법이 수행되도록 하는, 비일시적 컴퓨터 판독가능 저장 매체.
  15. 매체에 저장된 컴퓨터 프로그램으로서,
    당해 프로그램이 프로세서에 의해 실행되는 경우, 제1항 내지 제6항 중 어느 한 항의 방법이 수행되는, 매체에 저장된 컴퓨터 프로그램.
KR1020210040407A 2020-05-20 2021-03-29 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램 KR102581429B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010429060.0 2020-05-20
CN202010429060.0A CN111612760B (zh) 2020-05-20 2020-05-20 用于检测障碍物的方法和装置

Publications (2)

Publication Number Publication Date
KR20210042274A true KR20210042274A (ko) 2021-04-19
KR102581429B1 KR102581429B1 (ko) 2023-09-20

Family

ID=72202030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210040407A KR102581429B1 (ko) 2020-05-20 2021-03-29 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램

Country Status (5)

Country Link
US (1) US11688099B2 (ko)
EP (1) EP3846129A3 (ko)
JP (1) JP7221324B2 (ko)
KR (1) KR102581429B1 (ko)
CN (1) CN111612760B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563817A (zh) * 2023-04-14 2023-08-08 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN116740382A (zh) * 2023-05-08 2023-09-12 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112150558B (zh) * 2020-09-15 2024-04-12 阿波罗智联(北京)科技有限公司 用于路侧计算设备的障碍物三维位置获取方法及装置
CN112101209B (zh) * 2020-09-15 2024-04-09 阿波罗智联(北京)科技有限公司 用于路侧计算设备的确定世界坐标点云的方法和装置
CN112707340B (zh) * 2020-12-10 2022-07-19 安徽有光图像科技有限公司 基于视觉识别的设备控制信号生成方法、装置及叉车
CN112581526B (zh) * 2020-12-11 2024-09-20 北京百度网讯科技有限公司 障碍物检测的测评方法、装置、设备以及存储介质
CN112507956B (zh) * 2020-12-21 2024-06-28 阿波罗智联(北京)科技有限公司 信号灯识别方法、装置、电子设备、路侧设备和云控平台
CN112560769B (zh) * 2020-12-25 2023-08-29 阿波罗智联(北京)科技有限公司 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN112668505A (zh) 2020-12-30 2021-04-16 北京百度网讯科技有限公司 基于路侧相机的外参的三维感知信息获取方法和路侧设备
CN112818990B (zh) * 2021-01-29 2023-08-22 中国人民解放军军事科学院国防科技创新研究院 目标检测框的生成方法、图像数据自动标注方法及系统
CN112991446A (zh) 2021-03-10 2021-06-18 北京百度网讯科技有限公司 图像稳像方法、装置、路侧设备以及云控平台
CN112883909B (zh) * 2021-03-16 2024-06-14 东软睿驰汽车技术（沈阳）有限公司 基于包围盒的障碍物位置检测方法、装置和电子设备
CN113777618B (zh) * 2021-09-13 2024-04-16 广州小鹏自动驾驶科技有限公司 障碍物测距方法、装置、电子设备及可读介质
CN113820698B (zh) * 2021-09-13 2024-04-16 广州小鹏自动驾驶科技有限公司 障碍物测距方法、装置、电子设备及可读介质
CN114494852A (zh) * 2021-12-23 2022-05-13 北京空间机电研究所 用于星载大视场凝视遥感成像的目标信息快速提取方法
CN114529590A (zh) * 2022-01-26 2022-05-24 中国铁道科学研究院集团有限公司电子计算技术研究所 动车组车底故障检测的图像配准方法及系统
CN114596336B (zh) * 2022-03-03 2024-10-29 中国科学院微电子研究所 基于YOLOv3的复杂场景激光跟踪仪靶球球心定位方法及装置
CN114612882A (zh) * 2022-03-16 2022-06-10 苏州挚途科技有限公司 障碍物检测方法、图像检测模型的训练方法及装置
CN115147809B (zh) * 2022-06-30 2023-09-22 阿波罗智能技术(北京)有限公司 一种障碍物检测方法、装置、设备以及存储介质
CN115166721B (zh) * 2022-09-05 2023-04-07 湖南众天云科技有限公司 路侧感知设备中雷达与gnss信息标定融合方法及装置
CN115797467B (zh) * 2023-02-02 2023-07-28 深圳市德驰微视技术有限公司 车辆相机标定结果检测方法、装置、设备及存储介质
CN116863429B (zh) * 2023-07-26 2024-05-31 小米汽车科技有限公司 检测模型的训练方法、可行使区域的确定方法和装置
CN117953065B (zh) * 2024-03-26 2024-06-11 新乡职业技术学院 一种基于图像处理的场地车辆控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876826A (zh) * 2017-05-10 2018-11-23 深圳先进技术研究院 一种图像匹配方法及系统
CN109343061A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 传感器标定方法、装置、计算机设备、介质和车辆
JP2020034559A (ja) * 2018-08-30 2020-03-05 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 動的障害物の位置校正方法、装置、機器、及び記憶媒体

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266452B1 (en) 1999-03-18 2001-07-24 Nec Research Institute, Inc. Image registration method
JP4406381B2 (ja) * 2004-07-13 2010-01-27 株式会社東芝 障害物検出装置及び方法
JP2006041939A (ja) * 2004-07-27 2006-02-09 Victor Co Of Japan Ltd 監視装置及び監視プログラム
JP4254802B2 (ja) * 2006-05-11 2009-04-15 ソニー株式会社 画像処理装置および方法、プログラム並びに記録媒体
JP2008015848A (ja) 2006-07-07 2008-01-24 Kobe Univ 物体領域探索方法，物体領域探索プログラムおよび物体領域探索装置
CN101582161B (zh) * 2009-06-15 2012-11-21 北京航空航天大学 一种基于透视成像模型标定的c型臂图像校正方法
WO2011018999A1 (ja) * 2009-08-12 2011-02-17 日本電気株式会社 障害物検知装置及び方法並びに障害物検知システム
CN101852609B (zh) * 2010-06-02 2011-10-19 北京理工大学 一种基于机器人双目立体视觉的地面障碍物检测方法
US8611692B2 (en) * 2011-09-26 2013-12-17 Northrop Grumman Systems Corporation Automated image registration with varied amounts of a priori information using a minimum entropy method
US8760513B2 (en) * 2011-09-30 2014-06-24 Siemens Industry, Inc. Methods and system for stabilizing live video in the presence of long-term image drift
JPWO2014203687A1 (ja) * 2013-06-17 2017-02-23 コニカミノルタ株式会社 画像処理方法、画像処理装置、および画像処理プログラム
CN103413313B (zh) * 2013-08-19 2016-08-10 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN103837869B (zh) * 2014-02-26 2016-06-01 北京工业大学 基于向量关系的单线激光雷达和ccd相机标定方法
CN104010130B (zh) * 2014-05-05 2017-02-15 中国科学院国家天文台 一种多窗口跟踪的稳像方法
CN104596502B (zh) * 2015-01-23 2017-05-17 浙江大学 一种基于cad模型与单目视觉的物体位姿测量方法
CN108243623B (zh) * 2016-09-28 2022-06-03 驭势科技（北京）有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
JP6972938B2 (ja) * 2017-11-07 2021-11-24 株式会社アイシン 周辺監視装置
JP7040374B2 (ja) 2018-09-14 2022-03-23 トヨタ自動車株式会社 物体検出装置、車両制御システム、物体検出方法及び物体検出用コンピュータプログラム
CN110738183B (zh) * 2019-10-21 2022-12-06 阿波罗智能技术(北京)有限公司 路侧相机障碍物检测方法及装置
CN110962844B (zh) * 2019-10-28 2023-05-30 纵目科技（上海）股份有限公司 一种车辆航向角修正方法及系统、存储介质及终端

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108876826A (zh) * 2017-05-10 2018-11-23 深圳先进技术研究院 一种图像匹配方法及系统
JP2020034559A (ja) * 2018-08-30 2020-03-05 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 動的障害物の位置校正方法、装置、機器、及び記憶媒体
CN109343061A (zh) * 2018-09-19 2019-02-15 百度在线网络技术（北京）有限公司 传感器标定方法、装置、计算机设备、介质和车辆

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563817A (zh) * 2023-04-14 2023-08-08 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN116563817B (zh) * 2023-04-14 2024-02-20 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN116740382A (zh) * 2023-05-08 2023-09-12 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN116740382B (zh) * 2023-05-08 2024-02-20 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
CN111612760A (zh) 2020-09-01
JP2021120864A (ja) 2021-08-19
EP3846129A3 (en) 2021-10-06
JP7221324B2 (ja) 2023-02-13
KR102581429B1 (ko) 2023-09-20
EP3846129A2 (en) 2021-07-07
US20210366155A1 (en) 2021-11-25
US11688099B2 (en) 2023-06-27
CN111612760B (zh) 2023-11-17

Similar Documents

Publication Publication Date Title
KR102581429B1 (ko) 장애물을 탐지하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN109270534B (zh) 一种智能车激光传感器与相机在线标定方法
CN113989450B (zh) 图像处理方法、装置、电子设备和介质
JP7422105B2 (ja) 路側計算装置に用いる障害物３次元位置の取得方法、装置、電子デバイス、コンピュータ可読記憶媒体、及びコンピュータプログラム
CN111767853B (zh) 车道线检测方法和装置
KR102694715B1 (ko) 장애물의 검출 방법, 전자 기기, 노변 기기 및 클라우드 컨트롤 플랫폼
CN111578839B (zh) 障碍物坐标处理方法、装置、电子设备及可读存储介质
CN110675635B (zh) 相机外参的获取方法、装置、电子设备及存储介质
CN116188893A (zh) 基于bev的图像检测模型训练及目标检测方法和装置
US20210295013A1 (en) Three-dimensional object detecting method, apparatus, device, and storage medium
CN116485856B (zh) 一种基于语义分割的无人机图像地理配准方法及相关设备
US11893884B2 (en) Method for acquiring three-dimensional perception information based on external parameters of roadside camera, and roadside device
CN117746133B (zh) 目标检测方法、模型训练方法、装置、设备及存储介质
CN114092771A (zh) 多传感数据融合方法、目标检测方法、装置和计算机设备
US20230053952A1 (en) Method and apparatus for evaluating motion state of traffic tool, device, and medium
CN115937449A (zh) 高精地图生成方法、装置、电子设备和存储介质
CN116129422A (zh) 单目3d目标检测方法、装置、电子设备和存储介质
US11792514B2 (en) Method and apparatus for stabilizing image, roadside device and cloud control platform
CN117671007B (zh) 一种位移监测方法、装置、电子设备及存储介质
US20240331197A1 (en) Method and apparatus for calibrating extrinsic parameters of surround-view cameras on a vehicle, vehicle and storage media
CN118537834A (zh) 车辆感知信息获取方法、装置、设备及存储介质
CN113312979A (zh) 图像处理方法、装置、电子设备、路侧设备及云控平台
CN118155022A (zh) 对象位姿估计模型的训练方法、对象位姿估计方法及其装置
CN116258774A (zh) 路侧相机的偏离检测方法、装置、电子设备及存储介质
CN118882625A (zh) 基于大模型的地图构建方法、车辆控制方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant