KR20210040312A - 장애물 검출 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 - Google Patents

장애물 검출 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20210040312A
KR20210040312A KR1020210038016A KR20210038016A KR20210040312A KR 20210040312 A KR20210040312 A KR 20210040312A KR 1020210038016 A KR1020210038016 A KR 1020210038016A KR 20210038016 A KR20210038016 A KR 20210038016A KR 20210040312 A KR20210040312 A KR 20210040312A
Authority
KR
South Korea
Prior art keywords
obstacle
detection frame
loss
position information
frame
Prior art date
Application number
KR1020210038016A
Other languages
English (en)
Inventor
마오 슈
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210040312A publication Critical patent/KR20210040312A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T3/0031—
    • G06K9/00805—
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 출원은 장애물 검출 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램를 개시하고, 지능형 교통 분야에 관한 것이다. 구체적인 실시방안은 이미지 내의 장애물의 2차원 검출 프레임의 위치 정보 및 3차원 검출 프레임의 위치 정보를 획득하는 단계; 상기 장애물의 3차원 검출 프레임의 위치 정보를 상기 장애물의 2차원 투영 프레임의 위치 정보로 변환하는 단계; 상기 이미지 내의 상기 장애물의 2차원 검출 프레임, 3 차원 검출 프레임 및 2 차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3 차원 검출 프레임의 위치 정보를 최적화하는 단계를 포함한다. 본 출원의 기술방안에 따르면, 이미지 내의 장애물의 2차원 검출 프레임의 위치 정보, 3차원 검출 프레임 및 2차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3차원 검출 프레임의 위치 정보를 최적화함으로써 도로변 감지 장치, 차량 탑재형 감지 장치 또는 기타 감지 장치에 의한 장애물의 3차원 위치의 예측결과의 정확도를 향상시킬 수 있다.

Description

장애물 검출 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램{OBSTACLE DETECTION METHOD AND DEVICE, APPARATUS, AND STORAGE MEDIUM}
본 출원은 지능형 교통 분야에 관한 것으로, 특히 장애물 검출 분야에 관한 것이다.
지능형 교통의 도로변 감지에 있어서, 이미지 내의 장애물의 2D 검출 프레임 및 국제 좌표계에서의 장애물의 3D 위치는 2 차원(2D) 객체 검출 및 3 차원(3D) 객체 검출 알고리즘에 의해 획득될 수 있으며, 그 중, 3D 위치의 정밀도에 의해 도로변 감지의 정밀도가 결정된다. 도로변 카메라의 배치 위치, 각도 및 카메라 내부 파라미터의 다양성으로 인해, 3D 검출 기술에 의해 예측된 장애물의 3D 위치 정밀도가 낮다.
본 출원은 장애물 검출 방법, 장치, 기기, 및 저장 매체를 제공한다.
본 출원의 일 측면에 따르면, 장애물 검출 방법을 제공하고, 상기 방법은,
이미지 내의 장애물의 2차원 검출 프레임의 위치 정보 및 3차원 검출 프레임의 위치 정보를 획득하는 단계;
상기 장애물의 3차원 검출 프레임의 위치 정보를 상기 장애물의 2차원 투영 프레임의 위치 정보로 변환하는 단계;
상기 이미지 내의 상기 장애물의 2차원 검출 프레임, 3 차원 검출 프레임 및 2 차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3 차원 검출 프레임의 위치 정보를 최적화하는 단계를 포함한다.
본 출원의 다른 측면에 따르면, 장애물 검출 장치를 제공하고, 상기 장치는,
이미지 내의 장애물의 2차원 검출 프레임의 위치 정보 및 3차원 검출 프레임의 위치 정보를 획득하는 획득 모듈;
상기 장애물의 3차원 검출 프레임의 위치 정보를 상기 장애물의 2차원 투영 프레임의 위치 정보로 변환하는 변환 모듈;
상기 이미지 내의 상기 장애물의 2차원 검출 프레임, 3 차원 검출 프레임 및 2 차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3 차원 검출 프레임의 위치 정보를 최적화하는 최적화 모듈; 을 포함한다.
본 출원의 기술방안에 따르면, 이미지 내의 장애물의 2차원 검출 프레임의 위치 정보, 3차원 검출 프레임 및 2차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3차원 검출 프레임의 위치 정보를 최적화함으로써 도로변 감지 장치, 차량 탑재형 감지 장치 또는 기타 감지 장치에 의한 장애물의 3차원 위치의 예측결과의 정확도를 향상시킬 수 있다.
여기서 설명된 내용은 본 출원의 실시예의 핵심적인 또는 중요한 특징을 나타내도록 의도되지 않으며, 본 출원의 범위를 제한하도록 의도되지 않는다는 것이 이해되어야 한다. 본 출원의 다른 특징은 다음의 설명으로부터 용이하게 명백해질 것이다.
도면은 본 기술방안을 더욱 잘 이해할수 있기 위한것이지, 본 출원에 대한 한정이 아니다.
도 1은 본 출원의 일 실시예에 따른 장애물 검출 방법의 흐름도이다.
도 2는 2차원 검출 프레임의 개략도이다.
도 3은 3차원 검출 프레임의 개략도이다.
도 4는 본 출원의 또 다른 실시예에 따른 장애물 검출 방법의 흐름도이다.
도 5는 본 출원의 또 다른 실시예에 따른 장애물 검출 방법의 흐름도이다.
도 6은 본 출원의 또 다른 실시예에 따른 장애물 검출 방법의 흐름도이다.
도 7은 본 출원의 또 다른 실시예에 따른 장애물 검출 방법의 응용 예시의 흐름도이다.
도 8은 본 출원의 일 실시예에 따른 장애물 검출 장치의 블록도이다.
도 9는 본 출원의 또 다른 실시예에 따른 장애물 검출 장치의 블록도이다.
도 10은 본 출원의 실시예에 따른 장애물 검출 방법을 구현하기 위한 전자 기기의 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 예시적인 실시예를 설명하고, 이해를 돕기 위해 본 발명의 실시예의 각종 세부사항을 포함하지만 단지 예시적인 것으로 간주하여야 한다. 따라서, 당업자는 본 발명의 범위 및 사상으로부터 벗어나지 않고 본 명세서에 기술된 실시예들에 대한 다양한 변경 및 수정이 이루어질 수 있다는 것을 이해할 것이다. 또한, 공지된 기능 및 구조에 대한 설명은 명확성과 간결성을 위해 다음의 설명에서 생략된다.
도 1은 본 출원의 일 실시예에 따른 장애물 검출 방법의 흐름도이고, 상기 방법은,
이미지 내의 장애물의 2차원 검출 프레임의 위치 정보 및 3차원 검출 프레임의 위치 정보를 획득하는 단계(S101);
상기 장애물의 3차원 검출 프레임의 위치 정보를 상기 장애물의 2차원 투영 프레임의 위치 정보로 변환하는 단계(S102);
상기 이미지 내의 상기 장애물의 2차원 검출 프레임, 3 차원 검출 프레임 및 2 차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3 차원 검출 프레임의 위치 정보를 최적화하는 단계(S103); 를 포함할 수 있다.
본 출원의 실시예에서, 이미지는 동영상 내의 프레임 이미지, 촬영한 사진 등을 포함할 수 있다. 예를 들어, 차량 탑재형 카메라(즉, 카메라라고도 함)에서 촬영한 동영상 내의 프레임 이미지, 휴대폰에서 촬영한 사진 등이다. 이미지에 다양한 유형의 장애물이 포함될 수 있다. 장애물 검출의 방법은 다양하다. 예를 들어, 신경망 등을 이용하여 하나 또는 복수의 장애물을 식별할 수 있는 검출 모델을 훈련할 수 있다. 검출 모델 등을 이용하여 이미지 검출하여 장애물의 2차원 검출 프레임의 위치 정보 및 3차원 검출 프레임의 위치 정보를 획득한다. 2 차원 검출 프레임을 획득하는 장애물 검출 모델과 3차원 검출 프레임을 획득하는 장애물 검출 모델은 동일한 모델 또는 상이한 모델일 수 있다. 2차원 검출 프레임의 위치 정보는 상기 장애물이 위치한 2차원 검출 프레임의 좌표를 포함하고, 예를 들어, 왼쪽 상단의 좌표 및 오른쪽 하단의 좌표를 포함할 수 있다. 3차원 검출 프레임의 위치 정보는 상기 장애물이 위치한 3차원 검출 프레임의 좌표, 치수 및 방위각을 포함할 수 있다.
예를 들어, 도 2에 도시된 바와 같이, 2차원의 장애물 검출 모댈을 이용하여 이미지에서 장애물(A)의 2차원 검출 프레임의 위치 정보[x1,x2,y1,y2]를 식별할 수 있다. 그 중, [x1,y1]은 상기 장애물의 2차원 검출 프레임의 왼쪽 상단의 좌표일 수 있고, [ x2,y2]는 상기 장애물의 2차원 검출 프레임의 오른쪽 하단의 좌표일 수 있다. 다른 예를 들어, 도 3에 도시된 바와 같이, 3차원의 장애물 검출 모댈을 이용하여 이미지에서 장애물(A)의 3차원 검출 프레임의 위치 정보를 식별할 수 있고, 카메라 좌표계에서의 상기 3차원 검출 프레임의 중심점 좌표[x3d,y3d,z3d], 길이 너비 높이[w3d,h3d,l3d], y축의 방위각ry3d을 포함한다.
3차원 검출 프레임의 위치 정보를 투영하여 2차원 투영 프레임의 위치 정보를 획득할 수 있다. 예를 들어, 3차원 검출 프레임이 직육면체이고, 상기 직육면체의 8개의 꼭지점은 대응하는 2차원 투영점을 얻기 위해 투영 공식에 의해 계산될 수 있다. 하나의 투영 공식의 예는 다음과 같다.
x = KX
그 중, K는 카메라 내부 파라미터 매트릭스를 나타내고, x는 2 차원 투영점 좌표[ X, Y ]를 나타내고, X는 3차원점 좌표 [ X, Y, Z ]를 나타낸다.
3차원 검출 프레임의 각 꼭지점에 따라, 대응하는 2차원 투영점을 획득한 후, 이들 2차원 투영점에 따라 2차원 투영 프레임을 획득할 수 있다. 상기 2차원 투영 프레임은 상기 3차원 검출 프레임의 모든 2차원 투영점을 포함할 수 있다. 예를 들어, 3차원 검출 프레임의 8개의 2차원 투영점의 좌표를 이용하여 X축에서 2차원 투영 프레임의 최대값(xmax)및 최소값(xmin)을 획득하고, Y 축에서 2차원 투영 프레임의 최대값(ymax)과 최소값(ymin)을 획득하고, 그 후 2차원 투영 프레임의 위치 정보[xmax, xmin, ymax, ymin]를 획득한다.
그 후, 이미지 내의 장애물의 2차원 검출 프레임의 위치 정보, 3차원 검출 프레임 및 2차원 투영 프레임의 위치 정보 중 하나 또는 복수를 이용하여 손실 함수를 구성한다. 상기 장애물의 3차원 검출 프레임의 좌표 및 축각 등을 조정하여 손실 함수를 이용하여 손실을 계산하여 상기 장애물의 3차원 검출 프레임의 위치 정보를 최적화한다.
본 출원은 이미지 내 장애물의 2차원 검출 프레임의 위치 정보, 3차원 검출 프레임 및 2차원 투영 프레임의 위치 정보를 활용하여, 상기 장애물의 3차원 검출 프레임의 위치 정보를 최적화함으로써 도로변 감지 장치, 차량 탑재형 감지 장치 또는 기타 감지 장치에 의한 장애물의 3차원 위치의 예측결과의 정확도를 향상시킬 수 있다. 예를 들어, 본 출원의 실시 예에 따른 장애물 검출 방법은 도로변에서 3차원 장애물 위치를 감지하는 시나리오에 적용될 수 있으며, 차량 탑재형 카메라 및 기타 감시 카메라와 같은 시나리오에 적용될 수 있다.
도 4는 본 출원의 또 다른 실시예에 따른 장애물 검출 방법의 흐름도이다. 상기 실시예의 장애물 검출 방법은 이전 실시예의 각 단계를 포함할 수 있다.
본 실시예에서, 상기 이미지 내의 상기 장애물의 2차원 검출 프레임, 3 차원 검출 프레임 및 2 차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3 차원 검출 프레임의 위치 정보를 최적화하는 단계(S103)는,
상기 이미지 내의 상기 장애물의 2차원 검출 프레임, 3 차원 검출 프레임 및 2 차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3차원 검출 프레임의 위치 정보에 대해 적어도 하나의 제약 항을 설정하는 단계(S201);
상기 제약 항을 이용하여 손실 함수를 구성하는 단계(S202);
상기 손실 함수를 이용하여 상기 장애물의 3 차원 검출 프레임의 위치 정보를 최적화하는 단계(S203)를 포함할 수 있다.
예측 결과를 분석함으로써, 장애물의 2차원 검출 프레임의 예측 결과는 진릿값에 더 가깝다. 장애물의 2차원 검출 프레임, 3차원 검출 프레임 및 2 차원 투영 프레임의 취치 정보를 이용하여 적어도 하나의 제약 항을 설정함으로써, 장애물의 3차원 위치를 2차원 위치의 예측 결과와 더욱 일치시켜 장애물의 3차원 위치 예측 결과의 정확도를 향상시킬 수 있다.
하나의 가능한 실시방식에서, 상기 제약항은 상기 장애물의 2차원 검출 프레임 및 2차원 투영 프레임의 중심점 좌표에 따라 설정되는 제1 제약 항을 포함한다. 2차원 검출 프레임 및 2차원 투영 프레임의 중심점 좌표를 이용하여 제1 제약 항을 설정하고, 제1 제약 항을 이용하여 손실 함수를 구성하고, 2차원 투영 프레임이 가능한 한2차원 검출 프레임의 중심점에 근접하고, 심지어 겹칠 것으로 기대되어, 도로변 감지 장치, 차량 탑재형 감지 장치 또는 기타 감지 장치가 장애물의 3차원 위치에 대한 예측 결과를 보다 정확하게 예측할 수 있다.
하나의 가능한 실시방식에서, 상기 제약항은 상기 장애물의 2차원 검출 프레임 및 2차원 투영 프레임의 2개의 좌우변의 좌표에 따라 설정되는 제2 제약 항을 포함한다. 2차원 검출 프레임 및 2차원 투영 프레임의 2개의 좌우변 좌표를 이용하여 제2 제약 항을 설정하고, 제2 제약 항을 이용하여 손실 함수를 구성하고, 2차원 투영 프레임이 가능한 한2차원 검출 프레임의 2개의 좌우변에 근접하고, 심지어 겹칠 것으로 기대되어, 도로변 감지 장치, 차량 탑재형 감지 장치 또는 기타 감지 장치가 장애물의 3차원 위치에 대한 예측 결과를 보다 정확하게 예측할 수 있다.
하나의 가능한 실시방식에서, 상기 제약항은 상기 장애물의 3차원 검출 프레임의 투영점 좌표에 따라 설정되는 제3 제약 항을 포함한다. 3차원 검출 프레임의 투영점 좌표를 이용하여 제3 제약 항을 설정하고, 제3 제약 항을 이용하여 손실 함수를 구성하고, 최적화 조정의 정도를 제어하는데 유리하여, 도로변 감지 장치, 차량 탑재형 감지 장치 또는 기타 감지 장치가 장애물의 3차원 위치에 대한 예측 결과의 정밀도를 향상시킬 수 있다.
상기 제1 제약 항, 제2 제약 항, 및 제3 제약 항은 단독적으로 손실 함수를 구성할 수 있지만, 2항 또는 전부를 통합하여 손실 함수를 구성할 수도 있다. 복수의 제약 항을 이용하여 최적해가 만족되어야 하는 조건은 완전히 고려되어야 하며, 최적해의 누락 확률은 감소되고, 획득된 장애물의 3차원 위치 예측 결과는 더 정확하다.
도 5는 본 출원의 또 다른 실시예에 따른 장애물 검출 방법의 흐름도이다. 상기 실시예의 장애물 검출 방법은 상기 임의의 실시예의 각 단계를 포함할 수 있다.
본 실시예에서, 상기 손실 함수를 이용하여 상기 3 차원 검출 프레임의 위치 정보를 최적화하는 단계(S203)는 다음과 같은 단계를 포함할 수 있다.
단계(S301)에서, 장애물의 3차원 검출 프레임의 초기 예측 결과 및 상술한 손실 함수를 이용하여 기준 손실인 초기 손실을 계산한다.
단계(S302)에서, 예측 오차에 따라 초기의 해 공간 범위를 설정한다. 예를 들어, 장애물의 3차원 검출 프레임의 위치 정보가 조정될 수 있는 변수는 3차원 좌표 [X3D, Y3D, Z3D], 및 방위각ry3d를 포함한다. 진릿값의 데이터에 의해 3차원 검출 결과가 미리 확득되고, 진릿값과 예측값의 오차를 계산하고, 오차 평균값[x3dmean, y3dmean, z3dmean, ry3dmean]을 선험, 즉 예측 오차으로 통계한다. 사용시, 진릿값이 없는 데이터에 의해 획득된 초기 3차원 검출 결과는 [x3d,y3d,z3d,ry3d]이다. 이때, x3d의 해 공간은 [x3dmin=x3d-x3dmean, x3dmax=x3d+x3dmean]이고, 나머지 3개의 변수는 유사하다.
y3d의 해 공간은 [y3dmin=y3d-y3dmean, y3dmax=y3d+y3dmean]이다.
z3d의 해 공간은 [z3dmin=z3d-z3dmean, z3dmax=z3d+z3dmean]이다.
ry3d의 해 공간은 [ry3dmin=ry3d-ry3dmean, ry3dmax=ry3d-ry3dmean]이다.
단계(S303)에서, 초기의 해 공간 범위 내에서 랜덤으로 샘플링하여 샘플 포인트에 포함된 3차원 검출 프레임의 한 그룹의 위치 정보를 획득하고, 랜덤으로 샘플링하는 횟수는 m회이다.
단계(S304)에서, 상기 손실 함수에 따라 샘플 포인트에 대응하는 손실을 계산한다. 예를 들어, 이전 단계에서 획득된 샘플 포인트의 3차원 검출 프레임의 한 그룹의 위치 정보를 손실 함수의 공식에 대입하여 상기 샘플 포인트에 대응하는 손실을 획득한다.
단계(S305)에서, 샘플 포인트에 대응하는 손실과 기준 손실을 비교하고, 최소 손실의 샘플 포인트의 3차원 검출 프레임의 위치 정보를 대안 결과로 사용하며, 최소 손실의 샘플 포인트에 대응하는 손실을 새로운 기준 손실로 사용한다. 샘플 포인트에 대응하는 손실과 초기 손실을 처음 비교하고, 샘플 포인트에 대응하는 손실이 초기 손실보다 작은 경우, 상기 샘플 포인트에 대응하는 손실은 새로운 기준 손실로 사용된다. 이후, 새로운 샘플에서 획득된 샘플 포인트에 대응하는 손실과 새로운 기준 손실을 비교할 수 있다. 샘플 포인트에 대응하는 손실이 초기 손실보다 작지 않으면, 기준 손실은 변하지 않도록 유지되며, 다음번에는 비교를 위해 상기 기준 손실을 이용한다. 샘플링마다 샘플링 횟수는 m과 동일할 때까지 1 만큼 증가되고, 재샘플링 횟수에 1을 더한다.
본 출원의 실시예는 3차원 검출 프레임의 초기 해 공간의 랜덤 검색에서 최적해 샘플링 레이트를 증가시키고, 최종 검색 결과는 초기 검출 결과의 정확도 및 정밀도에 비해 크게 개선된다.
도 6은 본 출원의 또 다른 실시예에 따른 장애물 검출 방법의 흐름도이다. 상기 실시예의 장애물 검출 방법은 상기 임의의 실시예의 각 단계를 포함할 수 있다.
본 실시예에서, 단계(S305) 후에, 상기 손실 함수를 이용하여 상기 장애물의 3차원 검출 프레임의 위치 정보를 최적화하는 단계(S203)에서, 단계(S306) 내지 단계(S310)를 n-1회 반복적으로 수행하고, 여기서 n은 재샘플링의 횟수이다.
단계(S306)에서, 전회 재샘플링된 m개의 샘플 포인트에서 손실이 기준 손실보다 작은 샘플 포인트의 분포 범위를 통계하여 새로운 해 공간 범위를 획득한다. 예를 들어, 전회 재샘플링된 m개의 샘플 포인트를 이용하여 3차원 위치 정보에서 중심점 좌표 및 방위각의 최소값 및 최대값을 회득하고, 예측 오차를 이용하여 새로운 해 공간 범위를 획득한다.
단계(S307)에서, 새로운 해 공간 범위 내에서 랜덤으로 샘플링하여 샘플 포인트에 포함된 장애물의 3차원 검출 프레임의 한 그룹의 위치 정보를 획득하고, 랜덤으로 샘플링하는 횟수는 m회이다.
단계(S308)에서, 상기 손실 함수에 따라 샘플 포인트에 대응하는 손실을 계산한다. 예를 들어, 이전 단계에서 획득된 샘플 포인트의 3차원 검출 프레임의 한 그룹의 위치 정보를 손실 함수의 공식에 대입하여 상기 샘플 포인트에 대응하는 손실을 획득한다.
단계(S309)에서, 샘플 포인트에 대응하는 손실과 기준 손실을 비교하고, 최소 손실의 샘플 포인트의 3차원 검출 프레임의 위치 정보를 대안 결과로 사용하며, 최소 손실의 샘플 포인트에 대응하는 손실을 새로운 기준 손실로 사용한다.
단계(S307) 내지 단계(S309)에서, 하나의 샘플 포인트를 샘플링하여 획득할 경우 샘플 포인트에 포함된 장애물의 3차원 검출 프레임의 한 그룹의 위치 정보를 손실 함수에 대입하여 상기 샘플 포인트에 대응하는 손실을 계산한다. 그 후, 이전의 대안 결과와 비교하여 대안 결과 및 기준 손실을 업데이트되는지 여부를 결정한다. 업데이트된 경우, 업데이트된 대안 결과 및 기준 손실은 다음 샘플 포인트의 비교를 위한 기준 값으로 사용된다. 업데이트되지 않은 경우, 유지된 대안 결과 및 기준 손실은 다음 샘플 포인트의 비교를 위한 기준 값으로 사용된다. 다음 샘플 포인트에 포함된 장애물의 3차원 검출 프레임의 한 그룹의 위치 정보를 손실 함수에 대입하여 상기 샘플 포인트에 대응하는 손실을 계산한다. 샘플의 횟수가 m과 동일할 때까지 대안 결과 및 기준 손실을 결정하도록 비교를 계속해서 수행한다.
또한, m개의 샘플 포인트가 샘플링될 때마다, 재샘플링의 횟수는 1만큼 증가되고, 재샘플링의 횟수가 n보다 크거나 같은지 여부를 결정할 수 있다. 재샘플링의 횟수가 n보다 작으면, 재샘플링의 횟수가 n과 동일할 때까지 단계(S306)로 돌아갈 수 있다. 그 중, n이 양의 정수이고, n의 값은 필요에 따라 설정될 수 있다. 일반적으로, n의 값이 클수록 정확도 및 정밀도가 더 높다.
예를 들어, 단계(S303)를 수행한 후, 재샘플링의 횟수는 1이고, 처음 단계(S308)를 수행한 후, 재샘플링의 횟수는 2이고, 이 후, n과 동일할 때까지 단계(S308)를 수행할 때마다, 재샘플링의 횟수에 1을 더한다. 마지막으로 획득된 대안 결과는 장애물의 3차원 검출 프레임이 최적화된 최종 위치 정보로 사용될 수 있다.
본 출원의 실시 예에 따르면, 장애물의 3차원 검출 프레임의 해 공간에 대해 복수회 재샘플링을 수행하고, 최적해 샘플링 레이트를 더 향상시키고, 도로변 감지 장치, 차량 탑재형 감지 장치 또는 기타 감지 장치에 의한 장애물의 3차원 위치의 예측결과의 정확도 및 정밀도를 향상시킨다.
하나의 응용 예시에서, 본 출원의 실시예는 카메라 이미징 원리를 이용하여 기하학적 제약을 구축하고 2차원(two Dimension，2D)검출 프레임 예측 결과 및 3차원(three Dimension，3D)검출 프레임 예측 결과에 대한 균형을 수행하여 3D 검출 결과의 백엔드 최적화를 구현한다.
이미지에 대한 장애물 검출을 수행하여 어느 장애물의 2D 검출 프레임의 위치 정보 및 3D 검출 프레임의 위치 정보를 획득하고, 상기 위치 정보를 최적화 알고리즘에 입력한다. 예를 들어, 최적화 알고리즘의 입력은 2D 검출 프레임 좌표 [x1,x2,y1,y2], 카메라 좌표계에서의 3D 검출 프레임의 중심점 좌표[x3d,y3d,z3d], 길이 너비 높이[w3d,h3d,l3d], y축 방위각ry3d을 포함한다. 또한, 최적화 알고리즘의 입력은 카메라 내부 파라미터 매트릭스p2 및 지면 방정식de_norm을 더 포함한다. 최적화 목표는 x3d, y3d, z3d, ry3d 4개의 자유도이다.
제약 항 1의 경우, 예측 결과를 분석함으로써 2D 검출 프레임 예측 결과가 진릿값에 더 가깝다. 3D 검출 프레임 예측 결과를 이용하여 투영 관계에 따라 2D 검출 프레임을 획득한다. 위치가 정확할 때, 길이 너비 높이[w3d,h3d,l3d]가 최적화 범위에 없어 예측 오차가 있기 때문에, 2D 검출 프레임 및 2D투영 프레임이 완전히 겹칠 수 없지만 2개의 중심점이 겹치할 것으로 기대된다. 따라서, 예시적으로, 제약 항 1(err1)은
err1=|(x1pro+x2pro)-(x1+x2)|+|(y1pro+y2pro)-(y1+y2)|이고，
그 중, [x1pro, x2pro, y1pro, y2pro]는 3D 검출 프레임의 2D투영 프레임의 좌표이고, [x1, x2, y1, y2]는 D 검출 프레임 좌표이다.
제약 항 2의 경우, 중심점 겹침에 기초하여 방위각 편차를 더 제한하기 위해, 제2 항 제약이 2D 검출 프레임 및 2D 투영 프레임의 좌측 및 우측 변이 겹치할 것으로 기대된다. 따라서, 예시적으로, 제약 항 2(err2)는
err2=|x1pro-x1|+|x2pro-x2|이다.
제약 항 3의 경우, 제약 항 1 및 제약 항 2에서 방위각 (±ry)에 의해 생성된 2D 투영 프레임의 값이 동일하다는 점을 고려하고, 3D 검출 프레임의 예측결과의 편차이 일반적으로 크지 않아서, 최적화 정도를 제어하기 위해 제약 항 3(err3)의 예시는
Figure pat00001
이고,
그 중, vi는 초기 3D 검출 프레임의 예측결과의 투영 점 좌표이고,
Figure pat00002
는 조정된 3D 검출 프레임의 예측결과의 투영 점 좌표이다. 예를 들어, 3D 검출 프레임이 직육면체이면, 상기 3D 검출 프레임의 투영 점 좌표는 8개의 2D 좌표를 포함한다. 즉,
Figure pat00003
、
Figure pat00004
는 x축 좌표 및 y축 좌표를 포함하는 벡터이다.
상술한 제약 항에 따르면, 예시적인 손실 함수(err)는,
err=err1+α×err2+ β×err3이고,
그 중, α, β는 하이퍼파라미터이고, 하이퍼파라미터는 사전 설정값일 수 있다.
본 출원의 실시예는 또한 상기 손실 함수에 기초한 최적점을 구할　방법을 제공한다. 먼저, 초기 예측결과에 따라 초기 손실(ol)을 계산한다. x3d, y3d, z3d, ry3d에 대한 예측 오차를 통계하고, 예측 오차에 따라 초기 해 공간을 설정한다. 해 공간에서 m회의 랜덤 샘플링을 수행하여 손실(
Figure pat00005
)을 계산하고 모든
Figure pat00006
점의 분포 범위를 통계하여 새로운 해 공간으로 사용하며, 최소
Figure pat00007
이 획득된 점을 대안 결과로 사용하고
Figure pat00008
을 새로운ol로 사용된다. 상기 단계를 n-1횟 반복하여 최종 결과를 획득한다.
예를 들어, 도 7에 도시된 바와 같이, 상기 최적해를 구할 과정은 다음과 같은 단계를 포함할 수 있다.
단계(S401)에서, 2D 검출 프레임의 위치 정보[x1,x2,y1,y2], 및 3D 검출 프레임의 위치 정보[x3d,y3d,z3d,w3d,h3d,l3d,ry3d], p2, de_norm을 입력한다.
단계(S402)에서, 3D 검출 프레임의 위치 정보를 이용하여 투영을 수행하여 2차원 투영점을 획득한다.
단계(S403)에서, 예측오차[x3dmean, y3dmean, z3dmean, ry3dmean]를 이용하여 초기 해 공간 범위는 예시적으로 아래와 같다.
x3dmin=x3d-x3dmean, x3dmax=x3d+x3dmean
y3dmin=y3d-y3dmean, y3dmax=y3d-y3dmean
z3dmin=z3d-z3dmean, z3dmax=z3d-z3dmean
ry3dmin=ry3d-ry3dmean, ry3dmax=ry3d-ry3dmean
단계(S404)에서, 초기 예측결과([x1,x2,y1,y2],v,[x1pro,x2pro,y1pro,y2pro])에 따라 초기 손실(ol)을 계산한다.
단계(S405)에서, 재샘플링의 횟수는 i<n이면, 해 공간 범위 내에서 랜덤 샘플링을 수행하고 랜덤 샘플링에 의해 획득된 샘플 포인트(
Figure pat00009
)의 값 범위는 예시적으로 아래와 같다.
Figure pat00010
Figure pat00011
；
Figure pat00012
Figure pat00013
랜덤 샘플링을 수행하는 횟수(또는 샘플 포인트의 개수)가 j<m이면, 랜덤 샘플링을 계속해서 수행한다. 하나의 샘플 포인트가 샘플링될 때마다, j+1로 된다. j=m으로 될 때까지 이번 샘플링을 종료하고 i+1로 된다.
단계(S406)에서, 랜덤 샘플링에 의한 각 샘플 포인트의 위치 정보(
Figure pat00014
)를 이용하여 투영하고 2차원 투영 점(
Figure pat00015
)을 획득한다.
단계(S407)에서, 예측 결과 및 투영 점의 좌표를 손실 함수에 입력하여 샘플 포인트에 대응하는 손실(
Figure pat00016
)을 획득한다.
단계(S408)에서, 어느 샘플 포인트에 대응하는 손실이 초기 손실보다 작은 경우(
Figure pat00017
), 더 작은 손실에 대응하는 샘플 포인트의 위치 정보는 대안 결과로 사용되고 예시적으로 아래와 같다.
Figure pat00018
Figure pat00019
Figure pat00020
Figure pat00021
단계(S409)에서, 어느 샘플 포인트에 대응하는 손실이 초기 손실보다 작은 경우, 더 작은 손실은 기준 손실 (
Figure pat00022
) 로 사용된다. 그렇지 않으면, ol이 변하지 않도록 유지한다.
단계(S410)에서, 최소 손실에 대응하는 샘플 포인트의 위치 정보를 이용하여 해 공간 범위를 업데이트하고, 예시적으로 아래와 같다.
Figure pat00023
Figure pat00024
Figure pat00025
Figure pat00026
그 중, n은 재샘플링의 횟수이고, m은 1회당 샘플링의 개수이다.
본 실시예에서, 복수의 제약 항을 이용하여 최적해가 만족되어야 하는 조건은 완전히 고려되어야 하며, 랜덤 검색으로 최적해 샘플링 레이트를 증가시키고, 최종 검색 결과는 초기 해의 정밀도에 비해 크게 개선된다. 본 실시예의 방법은 도로변에서 3차원 장애물 위치를 감지하는 시나리오에 적용될 수 있으며, 차량 탑재형 카메라 및 기타 감시 카메라까지 확장될 수 있다.
도 8은 본 출원의 일 실시예에 따른 장애물 검출 장치의 블록도이다. 상기 장치는
이미지 내의 장애물의 2차원 검출 프레임의 위치 정보 및 3차원 검출 프레임의 위치 정보를 획득하는 획득 모듈(41);
상기 장애물의 3차원 검출 프레임의 위치 정보를 상기 장애물의 2차원 투영 프레임의 위치 정보로 변환하는 변환 모듈(42);
상기 이미지 내의 상기 장애물의 2차원 검출 프레임, 3 차원 검출 프레임 및 2 차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3 차원 검출 프레임의 위치 정보를 최적화하는 최적화 모듈(43); 을 포함할 수 있다.
하나의 가능한 실시방식에서, 도 9에 도시된 바와 같이, 상기 최적화 모듈(43)은
상기 이미지 내의 상기 장애물의 2차원 검출 프레임, 3 차원 검출 프레임 및 2 차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3차원 검출 프레임의 위치 정보에 대해 적어도 하나의 제약 항을 설정하는 제약 항 서브 모듈(51);
상기 제약 항을 이용하여 손실 함수를 구성하는 손실 함수 서브 모듈(52);
상기 손실 함수를 이용하여 상기 장애물의 3 차원 검출 프레임의 위치 정보를 최적화하는 최적화 서브 모듈(53)을 포함한다.
하나의 가능한 실시방식에서, 상기 제약 항은 상기 장애물의 2차원 검출 프레임 및 2차원 투영 프레임의 중심점 좌표에 따라 설정되는 제1 제약 항을 포함한다.
하나의 가능한 실시방식에서, 상기 제약 항은 상기 장애물의 2차원 검출 프레임 및 2차원 투영 프레임의 2개의 좌우변의 좌표에 따라 설정되는 제2 제약 항을 더 포함한다.
하나의 가능한 실시방식에서, 상기 제약 항은 상기 장애물의 3차원 검출 프레임의 투영점 좌표에 따라 설정되는 제3 제약 항을 더 포함한다.
하나의 가능한 실시방식에서, 상기 최적화 서브 모듈은,
장애물의 3차원 검출 프레임의 초기 예측 결과 및 상술한 손실 함수를 이용하여 기준 손실인 초기 손실을 계산하며;
예측 오차에 따라 초기의 해 공간 범위를 설정하며;
초기의 해 공간 범위 내에서 랜덤으로 샘플링하여 샘플 포인트에 포함된 3차원 검출 프레임의 한 그룹의 위치 정보를 획득하고, 랜덤으로 샘플링하는 횟수는 m회이며;
상기 손실 함수에 따라 샘플 포인트에 대응하는 손실을 계산하며;
샘플 포인트에 대응하는 손실과 기준 손실을 비교하고, 최소 손실의 샘플 포인트의 3차원 검출 프레임의 위치 정보를 대안 결과로 사용하며, 최소 손실의 샘플 포인트에 대응하는 손실을 새로운 기준 손실로 사용한다.
하나의 가능한 실시방식에서, 상기 최적화 서브 모듈은 다음과 같은 단계를n-1회 반복적으로 수행하고, 여기서 n은 재샘플링의 횟수이다.
전회 재샘플링된 m개의 샘플 포인트에서 손실이 기준 손실보다 작은 샘플 포인트의 분포 범위를 통계하여 새로운 해 공간 범위를 획득하는 단계;
새로운 해 공간 범위 내에서 m회 랜덤으로 샘플링하여 샘플 포인트에 포함된 장애물의 3차원 검출 프레임의 한 그룹의 위치 정보를 획득하는 단계;
상기 손실 함수에 따라 샘플 포인트에 대응하는 손실을 계산하는 단계;
샘플 포인트에 대응하는 손실과 기준 손실을 비교하고, 최소 손실의 샘플 포인트의 3차원 검출 프레임의 위치 정보를 대안 결과로 사용하며, 최소 손실의 샘플 포인트에 대응하는 손실을 새로운 기준 손실로 사용하는 단계를 포함한다.
본 출원의 실시예에 따른 각 장치 내의 각 모듈의 기능은 상기 방법에서 대응하는 설명을 참조할 수 있으며, 여기서 설명이 생략된다.
본 출원의 실시예에 따르면, 본 출원은 전자 기기 및 판독가능 저장 매체 더 제공한다.
도 10에 도시된 바와 같이, 본 출원의 실시예에 따른 장애물 검출 방법을 구현하기 위한 전자 기기의 블록도이다. 전자 기기는 랩탑 컴퓨터, 데스크탑 컴퓨터, 워크스테이션, 개인용 정보 단말기, 서버, 블레이드 서버, 메인프레임 컴퓨터, 및 다른 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내는 것이다. 전자 기기는 또한 개인 디지털 프로세싱, 셀룰러 전화기, 스마트 폰, 웨어러블 장치, 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수도 있다. 본 명세서에 나타낸 부품, 그들의 연결 및 관계, 및 그들의 기능은 단지 예시적인 것이며, 본 명세서에 설명 및/또는 청구된 본 출원의 구현을 제한하도록 의도되지 않는다.
도10에 도시된 바와 같이, 상기 전자 기기는 하나 또는 복수의 프로세서(901), 메모리(902), 및 고속 인터페이스 및 저속 인터페이스를 포함하는 각 부품을 연결하기 위한 인터페이스를 포함한다. 각 부품은 상이한 버스를 이용하여 상호 연결되고, 공통 마더보드 상에 장착되거나 또는 필요에 따라 다른 방식으로 장착될 수도 있다. 프로세서는 전자 기기 내에서 실행되는 명령을 프로세싱할 수 있고, 외부 입력/출력 장치(예를 들어, 인터페이스에 결합된 디스플레이 장치) 상에 GUI의 그래픽 정보를 디스플레이하기 위해 메모리 또는 메모리 상에 저장된 명령을 포함한다. 다른 실시예에서, 필요에 따라 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 함께 사용할 수 있다. 또한, 복수의 전자 기기를 연결할수 있고, 각 기기는 필요한 동작의 일부를 제공할수 있다 (예를 들어, 서버 어레이, 한 그룹의 블레이드 서버, 또는 멀티 프로세서 시스템). 도 10에서는 하나의 프로세서(901)를 예로 든다.
메모리(902)는 본 출원에서 제공하는 비일시적 컴퓨터 판독가능 저장 매체이다. 상기 메모리에는 적어도 하나의 프로세서에 의해 실행가능한 명령이 저장되고, 상기 적어도 하나의 프로세서가 본 출원에서 제공하는 방법을 수행하게 한다. 본 출원의 비일시적 컴퓨터 판독가능 저장 매체에는 컴퓨터가 본 출원에서 제공하는 방법을 실행하게 하기 위한 컴퓨터 명령이 저장된다.
메모리(902)는 비일시적 컴퓨터 판독가능 저장 매체로서, 본 출원의 실시예에 따른 방법에 대응하는 프로그램 명령/모듈(예를 들어, 도 8에 도시된 획득 모듈(41), 변환 모듈(42), 최적화 모듈(43))과 같은 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행가능 프로그램 및 모듈을 저장하는데 사용될 수 있다. 프로세서(901)는 메모리(902)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행함으로써 서버의 다양한 기능 애플리케이션 및 데이터 처리를 실행하며, 즉 전술한 방법의 실시예에서 제공하는 장애물 검출 방법을 구현한다.
메모리(902)는 프로그램 저장영역 및 데이터 저장영역을 포함할 수 있으며, 프로그램 저장영역은 운영 체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고, 데이터 저장영역은 전자 기기의 사용에 의해 생성된 데이터 등을 저장할 수 있다. 또한, 메모리(902)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 적어도 하나의 자기 디스크 저장 장치, 플래시 메모리 장치, 또는 다른 비일시적 솔리드 스테이트 저장 장치와 같은 비일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(902)는 선택적으로 프로세서(901)에 대해 원격으로 설치된 메모리를 포함할 수 있고, 이들 원격 메모리는 네트워크를 통해 전자 기기에 연결될 수 있다. 이러한 네트워크의 예는 인터넷, 인트라넷, 로컬 영역 네트워크, 이동 통신 네트워크, 및 이들의 조합을 포함하지만, 이에 제한되지 않는다.
장애물 검출 방법을 구현하는 장치 또는 전자 기기는 입력 장치(903) 및 출력 장치(904)를 더 포함할 수 있다. 프로세서(901), 메모리(902), 입력 장치(903), 및 출력 장치(904)는 버스 또는 다른 수단에 의해 연결될 수 있으며, 도 10에서 버스를 통한 연결이 예시되어 있다.
입력 장치(903)는 입력된 숫자 또는 문자 정보를 수신할 수 있을 뿐만 아니라, 장애물 검출 방법의 전자 기기의 사용자 설정 및 기능제어에 관련된 키 신호 입력을 생성할 수 있으며, 예를 들어, 터치 스크린, 키패드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등과 같은 입력 장치다. 출력 장치(904)는 디스플레이 장치, 보조 조명 장치(예를 들어, LED), 및 햅틱 피드백 장치(예를 들어, 진동 모터)등을 포함할 수 있다. 상기 디스플레이 장치는 액정표시장치(LCD), 발광 다이오드(LED) 디스플레이, 및 플라즈마 디스플레이를 포함할 수 있지만, 이에 한정되지 않는다. 일부 실시방식에서, 디스플레이 장치는 터치 스크린일 수 있다.
본 명세서에 기술된 시스템 및 기술의 다양한 실시방식은 디지털 전자 회로 시스템, 집적 회로 시스템, 전용ASIC(특정 용도 지향 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 구현될 수 있다. 이들 다양한 실시예는 하나 또는 복수의 컴퓨터 프로그램에서 구현하는 것을 포함할 수 있으며, 상기 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능한 시스템 상에서 실행 및/또는 해석될 수 있고, 상기 프로그램 가능 프로세서는 전용 또는 일반 프로그램 가능 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하고, 데이터 및 명령을 상기 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치에 송신할 수 있다.
이들 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드로 또한 지칭됨)은 프로그램 가능 프로세서의 기계 명령을 포함하며, 하이 레벨 절차 및/또는 객체 지향 프로그래밍 언어, 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 사용되는 바와 같이, “기계 판독가능 매체”및 “컴퓨터 판독가능 매체”라는 용어는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 컴퓨터 프로그램 제품, 디바이스, 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그래머블 논리 소자(PLD))를 지칭하며, 기계 판독 가능 신호인 기계 명령을 수신하기 위한 기계 판독가능 매체를 포함한다. “기계 판독 가능 신호”라는 용어는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하는데 사용되는 임의의 신호를 지칭한다.
사용자와의 대화를 제공하기 위해, 본 명세서에서 설명된 시스템 및 기술를 컴퓨터 상에서 구현할 수 있으며, 상기 컴퓨터는 사용자에게 정보를 디스플레이하기 위한 디스플레이 장치(예를 들어, 음극선관(CRT) 또는 액정표시장치(LCD) 모니터), 및 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙볼)을 가지고, 사용자는 상기 키보드 및 상기 포인팅 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 다른 종류의 장치도 사용자와의 대화를 제공하기 위해 사용될 수 있으며, 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각적 피드백, 또는 촉각적 피드백) 일 수 있고, 임의의 형태(음향 입력, 음성 입력, 또는 촉각 입력을 포함함)로 사용자로부터의 입력을 수신할 수 있다.
본 명세서에서 설명된 시스템 및 기술은 백그라운드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 컴포넌트를 포함하는 컴퓨팅 시스템 (예를 들어, 애플리케이션 서버), 또는 프론트 엔드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 사용자 컴퓨터이고, 사용자는 상기 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 본 명세서에 기술된 시스템 및 기술의 실시예와 대화할 수 있다), 또는 이러한 백그라운드 컴포넌트, 미들웨어 컴포넌트 또는 프론트 엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크의 예는 근거리 통신망(LAN), 광역통신망(WAN) 및 인터넷을 포함한다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있으며, 통상적으로 통신 네트워크를 통해 대화한다. 클라이언트와 서버 사이의 관계는 대응하는 컴퓨터 상에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램에 의해 생성된다.
본 출원의 실시예의 기술방안에 따르면, 이미지 내의 장애물의 2차원 검출 프레임의 위치 정보, 3차원 검출 프레임 및 2차원 투영 프레임의 위치 정보를 이용하여 손실 함수를 구성하여 상기 장애물의 3차원 검출 프레임의 위치 정보를 최적화하여 장애물의 3차원 위치의 예측결과의 정확도를 향상시킬 수 있다. 예를 들어, 본 출원의 실시 예에 따른 장애물 검출 방법은 도로변에서 3차원 장애물 위치를 감지하는 시나리오에 적용될 수 있으며, 차량 탑재형 카메라 및 기타 감시 카메라와 같은 시나리오에 적용될 수 있다.
전술한 다양한 형태의 흐름을 사용하여, 단계를 재배열, 부가 또는 삭제할 수 있다는 것을 이해해야 한다. 예를 들어, 본 출원에 기재된 각 단계는 본 출원에 개시된 기술안의 원하는 결과를 구현할 수 있는 한, 병렬로 또는 순서로 또는 상이한 순서로 수행될 수 있으며, 본 명세서에서는 제한하지 않는다.
상기 구체적인 실시방식은 본 출원의 청구항을 제한하는 것으로 의도되지 않는다. 다양한 수정, 조합, 서브 조합, 및 대체가 설계 요건 및 다른 요인을 고려하여 이루어질 수 있다는 것은 당업자에게 명백할 것이다. 본 출원의 사상 및 원리 내에서 이루어진 임의의 수정, 동등한 교체, 및 개선 등은 본 출원의 청구 범위 내에 포함된다.

Claims (17)

  1. 장애물 검출 방법에 있어서,
    이미지 내의 장애물의 2차원 검출 프레임의 위치 정보 및 3차원 검출 프레임의 위치 정보를 획득하는 단계;
    상기 장애물의 3차원 검출 프레임의 위치 정보를 상기 장애물의 2차원 투영 프레임의 위치 정보로 변환하는 단계;
    상기 이미지 내의 상기 장애물의 2차원 검출 프레임, 3 차원 검출 프레임 및 2 차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3 차원 검출 프레임의 위치 정보를 최적화하는 단계를 포함하는
    것을 특징으로 하는 장애물 검출 방법.
  2. 제1항에 있어서,
    상기 이미지 내의 상기 장애물의 2차원 검출 프레임, 3 차원 검출 프레임 및 2 차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3 차원 검출 프레임의 위치 정보를 최적화하는 단계는,
    상기 이미지 내의 상기 장애물의 2차원 검출 프레임, 3 차원 검출 프레임 및 2 차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3차원 검출 프레임의 위치 정보에 대해 적어도 하나의 제약 항을 설정하는 단계;
    상기 제약 항을 이용하여 손실 함수를 구성하는 단계;
    상기 손실 함수를 이용하여 상기 장애물의 3 차원 검출 프레임의 위치 정보를 최적화하는 단계를 포함하는
    것을 특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 제약 항은 상기 장애물의 2차원 검출 프레임 및 2차원 투영 프레임의 중심점 좌표에 따라 설정되는 제1 제약 항을 포함하는
    것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 제약 항은 상기 장애물의 2차원 검출 프레임 및 2차원 투영 프레임의 2개의 좌우변의 좌표에 따라 설정되는 제2 제약 항을 더 포함하는
    것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 제약 항은 상기 장애물의 3차원 검출 프레임의 투영점 좌표에 따라 설정되는 제3 제약 항을 더 포함하는
    것을 특징으로 하는 방법.
  6. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 손실 함수를 이용하여 상기 장애물의3 차원 검출 프레임의 위치 정보를 최적화하는 단계는,
    장애물의 3차원 검출 프레임의 초기 예측 결과 및 상기 손실 함수를 이용하여 기준 손실인 초기 손실을 계산하는 단계;
    예측 오차에 따라 초기의 해 공간 범위를 설정하는 단계;
    초기의 해 공간 범위 내에서 랜덤으로 m회 샘플링하여 샘플 포인트에 포함된 3차원 검출 프레임의 한 그룹의 위치 정보를 획득하는 단계;
    상기 손실 함수에 따라 샘플 포인트에 대응하는 손실을 계산하는 단계;
    샘플 포인트에 대응하는 손실과 상기 기준 손실을 비교하고, 최소 손실의 샘플 포인트의 3차원 검출 프레임의 위치 정보를 대안 결과로 사용하며, 최소 손실의 샘플 포인트에 대응하는 손실을 새로운 기준 손실로 사용하는 단계를 포함하는
    것을 특징으로 하는 방법.
  7. 제6항에 있어서,
    상기 손실 함수를 이용하여 상기 장애물의 3차원 검출 프레임의 위치 정보를 최적화하는 단계는,
    전회 재샘플링된 m개의 샘플 포인트에서 손실이 기준 손실보다 작은 샘플 포인트의 분포 범위를 통계하여 새로운 해 공간 범위를 획득하는 단계;
    새로운 해 공간 범위 내에서 랜덤으로 m회 샘플링하여 샘플 포인트에 포함된 장애물의 3차원 검출 프레임의 한 그룹의 위치 정보를 획득하는 단계;
    상기 손실 함수에 따라 샘플 포인트에 대응하는 손실을 계산하는 단계; 및
    샘플 포인트에 대응하는 손실과 상기 기준 손실을 비교하고, 최소 손실의 샘플 포인트의 3차원 검출 프레임의 위치 정보를 대안 결과로 사용하며, 최소 손실의 샘플 포인트에 대응하는 손실을 새로운 기준 손실로 사용하는 단계를 n-1회 반복적으로 수행하되, n은 재샘플링의 횟수인
    것을 특징으로 하는 방법.
  8. 장애물 검출 장치에 있어서,,
    이미지 내의 장애물의 2차원 검출 프레임의 위치 정보 및 3차원 검출 프레임의 위치 정보를 획득하는 획득 모듈;
    상기 장애물의 3차원 검출 프레임의 위치 정보를 상기 장애물의 2차원 투영 프레임의 위치 정보로 변환하는 변환 모듈;
    상기 이미지 내의 상기 장애물의 2차원 검출 프레임, 3 차원 검출 프레임 및 2 차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3 차원 검출 프레임의 위치 정보를 최적화하는 최적화 모듈을 포함하는
    것을 특징으로 하는 장애물 검출 장치.
  9. 제8항에 있어서,
    상기 최적화 모듈은,
    상기 이미지 내의 상기 장애물의 2차원 검출 프레임, 3 차원 검출 프레임 및 2 차원 투영 프레임의 위치 정보를 이용하여 상기 장애물의 3차원 검출 프레임의 위치 정보에 대해 적어도 하나의 제약 항을 설정하는 제약 항 서브 모듈;
    상기 제약 항을 이용하여 손실 함수를 구성하는 손실 함수 서브 모듈;
    상기 손실 함수를 이용하여 상기 장애물의 3 차원 검출 프레임의 위치 정보를 최적화하는 최적화 서브 모듈을 포함하는
    것을 특징으로 하는 장치.
  10. 제9항에 있어서,
    상기 제약 항은 상기 장애물의 2차원 검출 프레임 및 2차원 투영 프레임의 중심점 좌표에 따라 설정되는 제1 제약 항을 포함하는
    것을 특징으로 하는 장치.
  11. 제10항에 있어서,
    상기 제약 항은 상기 장애물의 2차원 검출 프레임 및 2차원 투영 프레임의 2개의 좌우변의 좌표에 따라 설정되는 제2 제약 항을 더 포함하는
    것을 특징으로 하는 장치.
  12. 제11항에 있어서,
    상기 제약 항은 상기 장애물의 3차원 검출 프레임의 투영점 좌표에 따라 설정되는 제3 제약 항을 더 포함하는
    것을 특징으로 하는 장치.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 최적화 서브 모듈은,
    장애물의 3차원 검출 프레임의 초기 예측 결과 및 상술한 손실 함수를 이용하여 기준 손실인 초기 손실을 계산하며;
    예측 오차에 따라 초기의 해 공간 범위를 설정하며;
    초기의 해 공간 범위 내에서 랜덤으로 m회 샘플링하여 샘플 포인트에 포함된 3차원 검출 프레임의 한 그룹의 위치 정보를 획득하며;
    상기 손실 함수에 따라 샘플 포인트에 대응하는 손실을 계산하며;
    샘플 포인트에 대응하는 손실과 기준 손실을 비교하고, 최소 손실의 샘플 포인트의 3차원 검출 프레임의 위치 정보를 대안 결과로 사용하며, 최소 손실의 샘플 포인트에 대응하는 손실을 새로운 기준 손실로 사용하는
    것을 특징으로 하는 장치.
  14. 제13항에 있어서,
    상기 최적화 서브 모듈은
    전회 재샘플링된 m개의 샘플 포인트에서 손실이 기준 손실보다 작은 샘플 포인트의 분포 범위를 통계하여 새로운 해 공간 범위를 획득하는 단계;
    새로운 해 공간 범위 내에서 랜덤으로 m회 샘플링하여 샘플 포인트에 포함된 장애물의 3차원 검출 프레임의 한 그룹의 위치 정보를 획득하는 단계;
    상기 손실 함수에 따라 샘플 포인트에 대응하는 손실을 계산하는 단계;
    샘플 포인트에 대응하는 손실과 상기 기준 손실을 비교하고, 최소 손실의 샘플 포인트의 3차원 검출 프레임의 위치 정보를 대안 결과로 사용하며, 최소 손실의 샘플 포인트에 대응하는 손실을 새로운 기준 손실로 사용하는 단계를 n-1회 반복적으로 수행하되, n은 재샘플링의 횟수인
    것을 특징으로 하는 장치.
  15. 전자 기기에 있어서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 통신 가능하게 연결되는 메모리를 포함하고,
    상기 메모리는 상기 적어도 하나의 프로세서에 의해 실행될 수 있는 명령을 저장하며, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어 상기 적어도 하나의 프로세서에서 제1항의 방법을 수행하게 하는
    것을 특징으로 하는 전자 기기.
  16. 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독가능 저장 매체에 있어서,
    상기 컴퓨터 명령은 상기 컴퓨터가 제1항의 방법을 수행하게 하는
    것을 특징으로 하는 비일시적 컴퓨터 판독가능 저장 매체.
  17. 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램 중의 명령이 프로세서에 의해 실행될 경우, 제1항의 방법을 구현하는 것을 특징으로 하는 컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.
KR1020210038016A 2020-05-29 2021-03-24 장애물 검출 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램 KR20210040312A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010477558.4 2020-05-29
CN202010477558.4A CN111652113B (zh) 2020-05-29 2020-05-29 障碍物检测方法、装置、设备以及存储介质

Publications (1)

Publication Number Publication Date
KR20210040312A true KR20210040312A (ko) 2021-04-13

Family

ID=72344867

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210038016A KR20210040312A (ko) 2020-05-29 2021-03-24 장애물 검출 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US11688177B2 (ko)
EP (1) EP3836017B1 (ko)
JP (1) JP7228623B2 (ko)
KR (1) KR20210040312A (ko)
CN (1) CN111652113B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936458A (zh) * 2021-10-12 2022-01-14 中国联合网络通信集团有限公司 高速公路拥堵判别方法、装置、设备及介质
CN116563817A (zh) * 2023-04-14 2023-08-08 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808186B (zh) * 2021-03-04 2024-01-16 京东鲲鹏(江苏)科技有限公司 训练数据生成方法、装置与电子设备
CN113255906A (zh) * 2021-04-28 2021-08-13 中国第一汽车股份有限公司 一种自动驾驶中回归障碍物3d角度信息方法、装置、终端及存储介质
CN116563818B (zh) * 2023-04-14 2024-02-06 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106441275A (zh) * 2016-09-23 2017-02-22 深圳大学 一种机器人规划路径的更新方法及装置
CN106227218A (zh) * 2016-09-27 2016-12-14 深圳乐行天下科技有限公司 一种智能移动设备的导航避障方法及装置
EP3355214A1 (de) * 2017-01-27 2018-08-01 Carl Zeiss Vision International GmbH Verfahren, recheneinrichtung und computerprogramm zum bereitstellen eines fassungsrandmodells
US10373369B2 (en) * 2017-03-16 2019-08-06 Qualcomm Technologies, Inc. Three-dimensional pose estimation of symmetrical objects
KR20200050246A (ko) 2018-11-01 2020-05-11 삼성전자주식회사 2차원 영상으로부터 3차원 객체를 검출하는 방법 및 장치
CN109737974B (zh) * 2018-12-14 2020-11-27 中国科学院深圳先进技术研究院 一种3d导航语义地图更新方法、装置及设备
CN109948505B (zh) * 2019-03-14 2021-03-30 郑州大学 一种人体三维姿态匹配算法的优化方法
CN113711279A (zh) * 2019-05-14 2021-11-26 英特尔公司 沉浸式媒体的自动点云验证
CN110286387B (zh) * 2019-06-25 2021-09-24 深兰科技（上海）有限公司 应用于自动驾驶系统的障碍物检测方法、装置及存储介质
CN111008935B (zh) 2019-11-01 2023-12-12 北京迈格威科技有限公司 一种人脸图像增强方法、装置、系统及存储介质
CN111079619B (zh) * 2019-12-10 2023-04-18 北京百度网讯科技有限公司 用于检测图像中的目标对象的方法和装置
CN111079685B (zh) 2019-12-25 2022-07-26 电子科技大学 一种3d目标检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936458A (zh) * 2021-10-12 2022-01-14 中国联合网络通信集团有限公司 高速公路拥堵判别方法、装置、设备及介质
CN116563817A (zh) * 2023-04-14 2023-08-08 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质
CN116563817B (zh) * 2023-04-14 2024-02-20 禾多科技（北京）有限公司 障碍物信息生成方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
US11688177B2 (en) 2023-06-27
EP3836017B1 (en) 2024-01-03
JP2021121970A (ja) 2021-08-26
EP3836017A2 (en) 2021-06-16
JP7228623B2 (ja) 2023-02-24
CN111652113B (zh) 2023-07-25
US20210374439A1 (en) 2021-12-02
CN111652113A (zh) 2020-09-11
EP3836017A3 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
KR20210040312A (ko) 장애물 검출 방법, 장치, 기기, 저장 매체 및 컴퓨터 프로그램
US20220270289A1 (en) Method and apparatus for detecting vehicle pose
KR20210078529A (ko) 목표 객체 3d 검출 방법, 장치, 매체 및 디바이스
JP7189270B2 (ja) 三次元物体検出方法、三次元物体検出装置、電子機器、記憶媒体及びコンピュータプログラム
JP7258066B2 (ja) 測位方法、測位装置及び電子機器
KR20210040876A (ko) 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체
EP3842745B1 (en) Method and apparatus for updating point cloud
KR20210052409A (ko) 차선의 확정방법, 포지셔닝 정밀도의 평가방법, 장치, 기기 및 컴퓨터 프로그램
WO2022262160A1 (zh) 传感器标定方法及装置、电子设备和存储介质
CN111578839B (zh) 障碍物坐标处理方法、装置、电子设备及可读存储介质
CN112116655B (zh) 目标对象的位置确定方法和装置
EP3989117A1 (en) Vehicle information detection method and apparatus, method and apparatus for training detection model, electronic device, storage medium and program
EP3904829B1 (en) Method and apparatus for generating information, device, medium and computer program product
JP7351892B2 (ja) 障害物検出方法、電子機器、路側機器、及びクラウド制御プラットフォーム
KR102568948B1 (ko) 장애물 속도를 결정하는 방법, 장치, 전자 기기, 저장 매체 및 프로그램
CN112102417B (zh) 确定世界坐标的方法和装置
CN111260722B (zh) 车辆定位方法、设备及存储介质
US20220404460A1 (en) Sensor calibration method and apparatus, electronic device, and storage medium
US20220044560A1 (en) Roadside sensing method, electronic device, storage medium, and roadside equipment
CN113807239B (zh) 一种点云数据的处理方法、装置、存储介质及电子设备
CN115937383B (zh) 渲染图像的方法、装置、电子设备及存储介质
CN113129437B (zh) 一种标志物的空间坐标确定方法及装置
CN113129361B (zh) 一种可移动设备的位姿确定方法及装置
CN117746388A (zh) 点云标注方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E601 Decision to refuse application