KR102605535B1 - 3차원 물체 검출 방법, 장치, 전자 기기 및 판독 가능 저장 매체 - Google Patents

3차원 물체 검출 방법, 장치, 전자 기기 및 판독 가능 저장 매체 Download PDF

Info

Publication number
KR102605535B1
KR102605535B1 KR1020210037704A KR20210037704A KR102605535B1 KR 102605535 B1 KR102605535 B1 KR 102605535B1 KR 1020210037704 A KR1020210037704 A KR 1020210037704A KR 20210037704 A KR20210037704 A KR 20210037704A KR 102605535 B1 KR102605535 B1 KR 102605535B1
Authority
KR
South Korea
Prior art keywords
image
target object
candidate
dimensional
parameters
Prior art date
Application number
KR1020210037704A
Other languages
English (en)
Other versions
KR20210040849A (ko
Inventor
샤오칭 예
샤오 탕
하오 선
홍우 장
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210040849A publication Critical patent/KR20210040849A/ko
Application granted granted Critical
Publication of KR102605535B1 publication Critical patent/KR102605535B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

본 출원은 3차원 물체 검출 방법, 장치, 전자 기기 및 판독 가능 저장 매체를 개시하는데 이는 컴퓨터 비전 기술분야에 관한 것이다. 구체적인 구현 방안은, 단안 카메라에 의해 수집된 타겟 물체 이미지에 따라, 타겟 물체의 2차원 이미지 파라미터 및 초기 3차원 이미지 파라미터를 결정하고; 3차원 파라미터 섭동 범위 및 상기 타겟 물체의 초기 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정하며; 상기 2차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터에서 타겟 물체의 타겟 3차원 이미지 파라미터를 선택하고, 상기 타겟 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 3차원 검출 결과를 결정하는 것이다. 본 출원의 기술은 3차원 물체 검출 과정에서 원가가 높고 효율이 낮으며 정밀도가 낮은 문제점을 해결하여 단안 카메라를 사용한 고효율 및 고정밀도의 3차원 물체 검출를 구현하고 3차원 물체 검출의 원가를 감소시킨다.

Description

3차원 물체 검출 방법, 장치, 전자 기기 및 판독 가능 저장 매체{THREE-DIMENSIONAL OBJECT DETECTION METHOD AND DEVICE, ELECTRONIC EQUIPMENT AND READABLE STORAGE MEDIUM}
본 출원은 이미지 처리 기술 분야에 관한 것이고, 특히 컴퓨터 비전 기술 분야에 관한 것이며, 구체적으로 3차원 물체 검출 방법, 장치, 전자 기기 및 판독 가능 저장 매체에 관한 것이다.
컴퓨터 비전 기술의 신속한 발전에 따라, 3차원 물체 검출은 비즈니스 및 생활의 각 분야에 널리 응용된다. 예를 들면 도시 규모의 발전과 더불어 차량의 수요가 날로 증가하고 있다. 3차원 차량 검출 기술은 차량 모니터링 제어의 기초이고 스마트 교통, 스마트 도시와 같은 분야에서 매우 중요한 의미를 갖는다.
타겟 3차원 검출 기술은 주로 쌍안 카메라, 레이저 레이더에 의존하고, 복잡도가 높으며, 검출 효율이 낮고, 원가가 높으며 검출 정밀도가 낮은 단점을 갖는다.
3차원 물체 검출 방법, 장치, 전자 기기 및 판독 가능 저장 매체를 제공한다.
제1 양태에 따르면 3차원 물체 검출 방법을 제공하는데,
단안 카메라에 의해 수집된 타겟 물체 이미지에 따라, 타겟 물체의 2차원 이미지 파라미터 및 초기 3차원 이미지 파라미터를 결정하는 단계;
3차원 파라미터 섭동 범위 및 상기 타겟 물체의 초기 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정하는 단계;
상기 2차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터에서 타겟 물체의 타겟 3차원 이미지 파라미터를 선택하고, 상기 타겟 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 3차원 검출 결과를 결정하는 단계를 포함한다.
제2 양태에 따르면 3차원 물체 검출 장치를 제공하는데,
단안 카메라에 의해 수집된 타겟 물체 이미지에 따라, 타겟 물체의 2차원 이미지 파라미터 및 초기 3차원 이미지 파라미터를 결정하기 위한 초기 3차원 파라미터 모듈;
3차원 파라미터 섭동 범위 및 상기 타겟 물체의 초기 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정하기 위한 후보 3차원 파라미터 모듈;
상기 2차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터에서 타겟 물체의 타겟 3차원 이미지 파라미터를 선택하고, 상기 타겟 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 3차원 검출 결과를 결정하기 위한 3차원 최적화 모듈을 포함한다.
제3 양태에 따르면 전자 기기를 제공하고 상기 전자 기기는,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리를 포함하되;
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서가 본 출원의 실시예의 임의의 하나의 3차원 물체 검출 방법을 수행하도록 한다.
제4 양태에 따르면 본 출원의 실시예는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하는데, 상기 컴퓨터 명령은 상기 컴퓨터로 하여금 본 출원의 실시예의 임의의 하나의 3차원 물체 검출 방법을 수행하도록 한다.
제5 양태에 따르면, 본 출원의 실시예는 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 제공하는 바, 상기 컴퓨터 프로그램중의 명령이 실행될 경우, 본 출원의 실시예의 임의의 하나의 3차원 물체 검출 방법이 실행된다.
본 출원의 기술은 3차원 물체 검출 과정에서 원가가 높고 효율이 낮으며 정밀도가 낮은 문제점을 해결하여 단안 카메라를 사용한 고효율 및 고정밀도의 3차원 물체 검출를 구현하고 3차원 물체 검출의 원가를 감소시킨다.
본 명세서에서 설명한 내용은 본 발명의 실시예의 관건적이거나 중요한 특징을 표기하기 위한 것이 아니고 본 발명의 범위를 한정하기 위한 것도 아님을 이해해야 한다. 본 발명의 기타 특징은 아래의 명세서를 통해 용이하게 이해할 수 있을 것이다.
첨부 도면은 본 방안을 더 잘 이해하기 위한 것으로 본 출원을 한정하지 않는다. 여기서,
도 1은 본 출원의 실시예에서 제공하는 3차원 물체 검출 방법의 흐름도이고;
도 2는 본 출원의 실시예에서 제공하는 물체 검출 프레임의 개략도이며;
도 3은 본 출원의 실시예에서 제공하는 3차원 물체 검출 방법의 흐름도이고;
도 4는 본 출원의 실시예에서 제공하는 3차원 물체 검출 방법의 흐름도이며;
도 5는 본 출원의 실시예에서 제공하는 3차원 물체 검출 방법의 흐름도이고;
도 6은 본 출원의 실시예에서 제공하는 3차원 물체 검출 장치의 구조 개략도이며;
도 7은 본 출원의 실시예의 3차원 물체 검출 방법을 구현하는 전자 기기의 블록도이다.
이하, 첨부 도면을 결부하여 본 출원의 예시적인 실시예들을 설명하고자 하며, 이해를 돕기 위해 본 출원의 실시예들의 다양한 세부 사항들이 포함되는데, 이들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 출원의 기술분야의 통상의 지식을 가진 자라면 본 출원의 범위 및 사상을 벗어나지 않으면서 본 명세서에 설명된 실시예들에 대해 다양한 변경 및 수정이 이루어질 수 있음을 알아야 한다. 또한, 명확성 및 간결성을 위해, 공지된 기능 및 구조에 대한 설명은 아래 설명에서 생략된다.
도 1은 본 출원의 실시예에서 제공하는 3차원 물체 검출 방법의 흐름도이다. 본 실시예는 단안 카메라에 의해 수집된 물체의 이미지의 3차원 검출 프레임의 정점에 대한 최적화를 결정하는 상황에 적용될 수 있다. 본 실시예에 개시된 3차원 물체 검출 방법은 전자 기기에 의해 실행될 수 있고, 구체적으로 3차원 물체 검출 장치에 의해 실행될 수 있으며, 상기 장치는 소프트웨어 및/또는 하드웨어의 방식으로 구현될 수 있고, 전자 기기에 배치된다. 도 1을 참조하면 본 실시예에서 제공하는 3차원 물체 검출 방법은 다음과 같은 단계를 포함한다.
단계S110: 단안 카메라에 의해 수집된 타겟 물체 이미지에 따라, 타겟 물체의 2차원 이미지 파라미터 및 초기 3차원 이미지 파라미터를 결정한다.
단안 카메라는 3차원 물체 검출가 필요한 모든 시나리오에 설치될 수 있고, 예를 들면 단안 카메라는 차량 모니터링 제어 시나리오에 설치될 수 있거나 검출 센서로서 자율 주행 차량에 설치될 수 있다. 타겟 물체는 검출할 대상을 지칭하거나, 차량 또는 환경 물체일 수 있다. 타겟 물체 이미지는 타겟 카메라에 의해 수집되고 타겟 물체의 2차원 이미지이다.
도 2를 참조하면 타겟 물체 이미지를 검출하여 타겟 물체 이미지의 2차원 검출 프레임(11) 및 3차원 검출 프레임(12)을 추출하고 3차원 검출 프레임(12)에는 8개의 정점이 있다. 타겟 물체의 2차원 이미지 파라미터는 타겟 물체의 2차원 검출 프레임이 이미지 좌표계에서의 파라미터를 지칭하고, 초기 3차원 이미지 파라미터는 타겟 물체의 3차원 검출 프레임이 이미지 좌표계에서의 초기 파라미터를 지칭한다. 설명해야 할 부분으로는, 초기 3차원 이미지 파라미터가 단안 카메라에 의해 수집된 2차원 이미지에 따라, 결정되므로, 초기 3차원 이미지 파라미터에는 오차가 존재하여 3차원 검출의 정밀도를 높이기 위해 더 최적화하여야 한다.
선택적으로, 단계S110은 타겟 물체 이미지를 이미지 검출 모델의 입력으로 하여 타겟 물체의 2차원 이미지 파라미터 및 3차원 검출 파라미터를 획득하는 단계를 포함한다.
선택 가능한 실시형태에서, 타겟 물체의 3차원 검출 파라미터는 타겟 물체의 크기, 타겟 물체의 중심점이 카메라 좌표계에서의 중심점 카메라 위치와 방향각을 포함한다. 타겟 물체의 3차원 검출 파라미터를 처리하여 타겟 물체의 3차원 검출 프레임의 정점 위치를 획득하여, 상기 초기 3차원 이미지 파라미터로 사용한다.
선택 가능한 실시형태에서, 타겟 물체의 3차원 검출 파라미터는 타겟 물체의 3차원 검출 프레임 정점이 이미지 좌표계에서의 위치를 포함하고, 즉 이미지 검출 모델은 타겟 물체의 2차원 이미지 파라미터 및 초기 3차원 이미지 파라미터를 직접 출력한다.
단계S120: 3차원 파라미터 섭동 범위 및 상기 타겟 물체의 초기 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정한다.
3차원 파라미터 섭동 범위는 타겟 물체의 3차원 검출 프레임의 정점의 섭동 범위를 지칭한다. 도 2를 참조하면 후속 처리를 용이하도록 하기 위해, 3차원 검출 프레임(12)의 2차원 검출 프레임(11)의 저면 정점0, 저면 정점1 및 저면 정점2의 섭동 범위에 유사하게 떨어진다. 구체적으로, 단안 카메라에 의해 수집된 샘플 물체 이미지를 미리 처리하여 상기 3차원 파라미터 섭동 범위를 획득한다. 타겟 물체의 후보 3차원 이미지 파라미터는 타겟 물체의 3차원 검출 프레임 중의 후보 정점의 이미지 파라미터를 지칭하고, 예를 들면 후보 저면 정점의 이미지 위치이다.
구체적으로, 타겟 물체의 3차원 검출 프레임의 초기 정점의 이미지 위치에 따라, 상기 정점의 섭동 범위를 결부하여 복수개의 후보 정점의 이미지 위치를 얻을 수 있다. 초기 저면 정점0의 이미지 위치(u0,vo) 및 u0의 섭동 범위가 [-10,5]이고 vo의 섭동 범위가 [-4,6]인 것을 예로 들면 [u0-10, u0+5] 및 [vo-4,vo+6]에 대응되는 픽셀 영역에서 대응되는 복수개의 후보 정점을 얻을 수 있고, 유사하게 또한 다른 저면 정점의 복수개의 후보 정점을 얻을 수 있다.
단계S130: 상기 2차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터에서 타겟 물체의 타겟 3차원 이미지 파라미터를 선택하고, 상기 타겟 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 3차원 검출 결과를 결정한다.
구체적으로, 2차원 이미지 파라미터 및 후보 3차원 이미지 파라미터를 결부하여 초기 3차원 이미지 파라미터를 최적화하고, 최적화 결과에 따라, 후보 3차원 이미지 파라미터에서 타겟 3차원 이미지 파라미터를 선택하며, 예를 들면 타겟 저면 정점의 이미지 위치를 선택한다. 또한, 타겟 3차원 이미지 파라미터를 카메라 좌표계로 변환시켜 카메라 좌표계에서의 타겟 물체의 3차원 검출 결과를 획득한다. 2차원 이미지 파라미터 및 후보 3차원 이미지 파라미터를 결부하여 오차가 함유된 초기 3차원 이미지 파라미터를 최적화하여 타겟 3차원 이미지 파라미터를 얻고, 상기 알고리즘은 복잡도가 낮으며, 단안 카메라에만 의존하면 물체의 3차원 검출를 구현할 수 있고, 레이저 레이더 또는 쌍안 카메라에 의존하는 3차원 물체 검출 기술에 비해, 원가가 낮으며 효율이 높은 장점을 갖는다.
선택 가능한 실시형태에서, 단계S130은 카메라 내부 파라미터에 따라, 상기 타겟 3차원 이미지 파라미터를 카메라 좌표계로 변환시켜 타겟 3차원 카메라 파라미터를 획득하여 상기 타겟 물체의 3차원 검출 결과로 하는 단계를 포함한다.
카메라 내부 파라미터는 카메라의 초점 거리, 초점 위치일 수 있다. 구체적으로, 카메라 내부 파라미터에 따라, 카메라 좌표계와 이미지 좌표계 사이의 변환 관계를 결정할 수 있고, 양자의 변환 관계에 따라, 타겟 3차원 이미지 파라미터를 타겟 3차원 카메라 파라미터로 변환시킨다.
본 출원의 실시예의 기술적 해결수단은, 단안 카메라에 수집된 타겟 이미지를 검출하여 타겟 물체의 2차원 이미지 파라미터 및 오차가 함유된 초기 3차원 이미지 파라미터를 얻고, 3차원 파라미터 섭동 범위 및 초기 3차원 이미지 파라미터를 결부하여 후보 3차원 이미지 파라미터를 결정하며, 또한 2차원 이미지 파라미터 및 후보 3차원 이미지 파라미터에 따라, 초기 3차원 이미지 파라미터를 최적화하여 타겟 3차원 이미지 파라미터를 얻음으로써, 타겟 3차원 이미지 파라미터에 따라, 카메라 좌표계에서의 3차원 검출 결과를 획득한다. 상기 기술은 단안 카메라에 의해 수집된 물체 이미지의 3차원 검출 프레임의 정점에 대한 최적화를 구현하여 원가가 낮고 효율이 높으며 정확도가 높은 장점을 갖는다.
도 3은 본 출원의 실시예에서 제공하는 3차원 물체 검출 방법의 흐름도이다. 본 실시예는 상기 실시예의 기초 상에서 제출한 하나의 선택적 방안이다. 도 3을 참조하면 본 실시예에서 제공하는 3차원 물체 검출 방법은 다음과 같은 단계를 포함한다.
단계S210: 단안 카메라에 의해 수집된 타겟 물체 이미지에 따라, 타겟 물체의 2차원 이미지 파라미터 및 초기 3차원 이미지 파라미터를 결정한다.
단계S220: 3차원 파라미터 섭동 범위 및 상기 타겟 물체의 초기 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정한다.
단계S230: 물체 저면 정점의 직각 제약에 기반하여, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 선별한다.
단계S210는 네트워크 추정을 통해 결정된 초기 3차원 이미지 파라미터에 오차가 존재하기에 저면 투영을 통해 최적화 타겟을 정의하고, 타겟 물체의 3차원 검출 프레임의 저면 정점을 최적화하면 3차원 검출 프레임의 상부면 정점은 최적화된다.
오차가 존재하기에, 3차원 검출 프레임 중의 초기 저면 정점 사이의 협각은 일반적으로 직각이 아닌 바, 즉 3차원 검출 프레임의 저면이 지면 좌표계에서의 투영은 평행 사변형 또는 불규칙 사변형 일 수 있다. 3차원 검출 프레임의 저면이 지면 좌표계에서 직사각형으로 투영되도록 하기 위하여 직각 제약 최적화를 통해 타겟 저면 정점 사이의 협각이 직각이도록 하고, 즉 지면 좌표계를 중간 교량으로 하여 직접적인 제약 최적화를 진행한다. 구체적으로, 3차원 검출 프레임 중의 후보 저면 정점에 따라 복수개의 후보 저면 정점 그룹을 얻고, 각 후보 저면 정점 그룹은 각 저면 정점을 포함하며, 예를 들면 각 그룹은 모두 저면 정점0, 저면 정점1 및 저면 정점2를 포함한다. 직각 제약을 만족시키는 후보 저면 정점 그룹을 보류하여 후속 처리하고, 직각 제약을 만족시키지 않는 후보 저면 정점 그룹을 필터링한다. 지면 좌표계에서, 직각 제약 조건을 만족시키는 후보 3차원 이미지 파라미터를 선택하여 더 처리하여 3차원 검출의 정확도를 향상시킬 수 있다.
단계S240: 물체 저면 정점에서 2차원 검출 프레임 사이의 거리 제약에 기반하여, 상기 2차원 이미지 파라미터에 따라, 직각 제약을 만족시키는 후보 3차원 이미지 파라미터에서 상기 타겟 3차원 이미지 파라미터를 선택하고, 상기 타겟 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 3차원 검출 결과를 결정한다.
본 출원의 실시예는 또한 3차원 투영과 2차원 검출 프레임의 제약 관계를 결부하여 최적화한다. 직각 제약을 만족시키는 후보 저면 정점 그룹 중의 후보 저면 정점에서 2차원 검출 프레임의 거리를 결정하고, 거리 제약에 따라, 타겟 3차원 이미지 파라미터를 선택한다.
선택 가능한 실시형태에서, 단계S240은 직각 제약을 만족시키는 매 하나의 후보 저면 정점 그룹 중의 후보 저면 정점의 이미지 위치와 상기 2차원 검출 프레임의 이미지 경계에 따라, 상기 후보 저면 정점 그룹에서 상기 2차원 검출 프레임까지의 거리를 결정하는 단계; 거리가 가장 짧은 후보 저면 정점 그룹을 상기 타겟 저면 정점 그룹으로 하고, 상기 타겟 저면 정점 그룹 중의 타겟 저면 정점의 이미지 위치에 따라, 상기 타겟 3차원 이미지 파라미터를 결정하는 단계를 포함한다.
구체적으로, 다음과 같은 거리 제약 손실 함수를 구축할 수 있다.
Loss는 손실값이고, 은 후보 저면 정점 그룹 중의 후보 저면 정점0의 u축 픽셀 위치이고, 은 후보 저면 정점 그룹 중의 후보 저면 정점1의 v축 픽셀 위치이며, 는 후보 저면 정점 그룹 중의 후보 저면 정점2의 u축 픽셀 위치이고, 및 은 각각 2차원 검출 프레임의 u축 최소치 및 u축 최대치이며, 은 2차원 검출 프레임의 v축 최대치이다. 도 2를 참조하면 Loss는 후보 저면 정점 그룹에서 2차원 검출 프레임까지의 거리를 나타낸다.
구체적으로, 값에 따라, 타겟 저면 정점 그룹을 얻은 후, 3차원 검출 프레임의 상부면 정점은 최적화되고, 즉 3차원 검출 프레임이 최적화된 후의 8개의 타겟 정점의 이미지 위치를 획득한다. 8개의 타겟 정점의 이미지 위치를 카메라 좌표계로 변환시키면 타겟 물체의 3차원 검출 결과를 획득한다.
2차원 검출 프레임 사이의 거리가 가장 짧은 후보 저면 정점 그룹을 타겟 저면 정점 그룹으로 하여 타겟 저면 정점 그룹으로 하여금 2차원 검출 프레임과 가장 접근하도록 함으로써, 타겟 물체의 3차원 검출 결과의 정확도를 더 향상시킨다.
본 출원의 실시예의 기술적 해결수단은, 지면 좌표계를 중간 교량으로 하고 저면 직각 제약과 거리 제약을 결부하여 최적화 타겟을 구축하여 타겟 저면 정점 그룹으로 하여금 2차원 검출 프레임과 가장 접근하도록 함으로써, 타겟 물체의 3차원 검출 결과의 정확도를 더 향상시킨다.
도 4는 본 출원의 실시예에서 제공하는 3차원 물체 검출 방법의 흐름도이다. 본 실시예는 상기 실시예의 기초 상에서 제출한 하나의 선택적 방안이다. 도 4를 참조하면 본 실시예에서 제공하는 3차원 물체 검출 방법은 다음과 같은 단계를 포함한다.
단계S310: 단안 카메라에 의해 수집된 타겟 물체 이미지에 따라, 타겟 물체의 2차원 이미지 파라미터 및 초기 3차원 이미지 파라미터를 결정한다.
타겟 물체의 2차원 이미지 파라미터는 타겟 물체의 2차원 검출 프레임의 이미지 파라미터일 수 있고; 타겟 물체의 초기 3차원 이미지 파라미터는 타겟 물체의 3차원 검출 프레임의 초기 정점의 이미지 위치일 수 있으며, 예를 들면 3차원 검출 프레임의 3개의 초기 저면 정점의 이미지 위치일 수 있다.
단계S320: 3차원 파라미터 섭동 범위 및 상기 타겟 물체의 초기 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정한다.
후보 3차원 이미지 파라미터는 3차원 검출 프레임의 각 후보 저면 정점의 이미지 위치이다.
단계S330: 상기 후보 저면 정점의 이미지 위치를 지면 좌표계로 변환시켜 상기 후보 저면 정점의 지면 위치를 획득한다.
선택적으로, 단계S330은 다음과 같은 단계를 포함한다.
단계A: 카메라 내부 파라미터에 따라, 상기 후보 저면 정점의 이미지 위치를 카메라 좌표계로 변환시켜 상기 후보 저면 정점의 카메라 위치를 획득한다.
구체적으로, 다음을 통해 후보 저면 정점의 깊이를 결정할 수 있다.
;
;
Depth = ;
(, )는 후보 저면 정점의 이미지 위치이고, 은 중간 벡터이며, , 및 는 후보 저면 정점의 카메라 위치이고, K는 카메라 내부 파라미터이며, 는 K의 역수이고, Depth는 후보 저면 정점의 깊이이며, a, b, c 및 d는 지면 방정식 ax+by+cz+d=0에 의해 결정되고,
다음을 통해 후보 저면 정점의 카메라 위치를 결정하며,
P c 는 후보 저면 정점의 카메라 위치이다.
단계B: 카메라 좌표계와 지면 좌표계 사이의 변환 관계에 따라, 상기 후보 저면 정점의 카메라 위치를 지면 좌표계로 변환시켜 상기 후보 저면 정점의 지면 위치를 획득한다.
선택적으로, 지면 방정식 및 카메라 좌표계 x축에서의 임의의 위치에 따라, 상기 카메라 좌표계와 지면 좌표계 사이의 변환 관계를 결정한다.
구체적으로, 지면 방정식을 으로 설정하고, 지면 법선 벡터가 이면 지면 좌표계의 z축 법선 벡터는 으로 표시될 수 있으며, 여기서 Norm은 벡터의 정규화를 표시한다. 상응하게, 카메라 좌표계의 x축에서의 임의의 포인트 (1,0,0)를 지면 좌표계로 변환시키는 방법은 =-()* 이고, 를 정규화한다. 마지막으로 지면 좌표계의 y축 벡터는 x, y, z축 벡터가 서로 수직되는 특성을 통해 얻을 수 있고, 이다. 카메라 좌표계에서 지면 좌표계로의 최종 변환 방정식은 이다. 공지된 지면 법선 벡터를 통해, 카메라 좌표계와 지면 좌표계의 변환 관계를 결정할 수 있고, 지면 좌표계를 중간 교량으로 사용하기 위한 기초를 마련한다.
단계S340: 상기 후보 저면 정점의 지면 위치에 따라, 물체 저면 정점의 직각 제약을 만족시키는 후보 저면 정점 그룹을 선택한다.
후보 저면 정점 그룹은 적어도 3개의 후보 저면 정점을 포함하고, 예를 들면 3개의 저면 정점에 대하여 매 하나의 저면 정점의 후보 위치를 각각 결정하여 후보 저면 정점 그룹을 획득한다.
선택적으로, 단계S340은 상기 후보 저면 정점의 지면 위치에 따라, 상기 후보 저면 정점 그룹의 저면 정점의 협각을 결정하는 단계; 상기 후보 저면 정점 그룹의 저면 정점의 협각과 직각 사이의 차이값이 각도 역치보다 작을 경우, 상기 후보 저면 정점 그룹이 물체 저면 정점의 직각 제약을 만족시키는 것을 결정하는 단계를 포함한다. 역치는 일반적으로 [0, 5°] 사이에 있고, 즉 직각 제약을 만족시키는 후보 저면 정점 그룹의 저면 정점의 협각은 [85°, 95°] 사이에 있다.
선택적으로, 상기 방법은 상기 초기 저면 정점의 이미지 위치에 따라, 상기 초기 저면 정점의 깊이를 결정하는 단계; 상기 초기 저면 정점의 깊이에 따라, 상기 각도 역치를 결정하는 단계를 더 포함한다.
초기 저면 정점의 이미지 위치에 카메라 내부 파라미터 및 지면 방정식을 결부하여 초기 저면 정점의 깊이를 결정할 수 있다. 상이한 초기 저면 정점의 깊이가 유사하기에 각 초기 저면 정점의 깊이의 평균값을 타겟 물체의 깊이로 사용할 수 있다. 시각적 인식이 가깝고 멀며 작은 특성을 고려하여 깊이가 작을수록, 역치가 작아지고 역치가 더 엄격해져 3차원 인식 정밀도를 더 향상시킬 수 있다.
단계S350: 물체 저면 정점에서 2차원 검출 프레임 사이의 거리 제약에 기반하여, 상기 2차원 이미지 파라미터에 따라, 직각 제약을 만족시키는 후보 3차원 이미지 파라미터에서 상기 타겟 3차원 이미지 파라미터를 선택하고, 상기 타겟 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 3차원 검출 결과를 결정한다.
구체적으로, 직각 제약을 만족시키는 매 하나의 후보 저면 정점 그룹에 대하여 거리 제약 손실 함수에 따라, 상기 후보 저면 정점 그룹의 거리 제약 손실값을 결정하고, 거리 제약 손실값이 가장 작은 후보 저면 정점 그룹을 타겟 저면 정점 그룹으로 하여 타겟 3차원 이미지 파라미터를 획득한다.
본 출원의 실시예의 기술적 해결수단은, 저면 직각 제약 및 거리 제약을 결부하여 최적화를 진행하는 과정에서, 시각적 특성을 충분히 고려하여 타겟 물체의 3차원 검출 결과의 정확도를 더 향상시킨다.
도 5는 본 출원의 실시예에서 제공하는 3차원 물체 검출 방법의 흐름도이다. 본 실시예는 상기 실시예의 기초 상에서 제출한 하나의 선택적 방안이다. 도 5를 참조하면 본 실시예에서 제공하는 3차원 물체 검출 방법은 다음과 같은 단계를 포함한다.
단계S410: 단안 카메라에 의해 수집된 샘플 물체 이미지에 따라, 샘플 물체의 초기 3차원 이미지 파라미터를 결정한다.
샘플 물체 이미지는 단안 카메라에 의해 수집된 2차원 이미지이고, 샘플 물체 이미지와 타겟 물체 이미지의 물체 종류는 일치하며, 예를 들면 모두 차량이다. 샘플 물체의 초기 3차원 이미지 파라미터는 샘플 물체의 3차원 검출 프레임의 초기 정점의 이미지 위치일 수 있고, 타겟 물체의 초기 3차원 이미지 파라미터와 유사하며, 샘플 물체의 초기 3차원 이미지 파라미터에도 오차가 함유된다.
단계S420: 상기 샘플 물체의 초기 3차원 이미지 파라미터 및 라벨 3차원 이미지 파라미터에 따라, 상기 3차원 파라미터 섭동 범위를 결정한다.
라벨 3차원 이미지 파라미터는 샘플 물체의 진실한 3차원 이미지 파라미터이고, 즉 샘플 물체의 3차원 검출 프레임의 진실한 정점의 이미지 위치이다. 샘플 물체의 3차원 검출 프레임의 매 하나의 정점에 대하여 대응되는 초기 정점의 이미지 위치와 진실한 정점의 이미지 위치 사이의 차이값을 결정하고, 통계를 통해 매 하나의 정점의 이미지 위치 오차 범위를 얻을 수 있으며, 즉 3차원 파라미터 섭동 범위로 사용된다. 통계를 통해 3차원 파라미터 섭동 범위를 정확하게 결정하여 3차원 이미지 파라미터의 섭동에 대한 후속 제어가 용이함으로써 3차원 검출 효율을 향상시킨다.
단계S430: 단안 카메라에 의해 수집된 타겟 물체 이미지에 따라, 타겟 물체의 2차원 이미지 파라미터 및 초기 3차원 이미지 파라미터를 결정한다.
타겟 물체의 2차원 이미지 파라미터는 타겟 물체의 2차원 검출 프레임의 이미지 파라미터이고, 초기 3차원 이미지 파라미터는 타겟 물체의 3차원 검출 프레임의 정점의 이미지 위치이다.
단계S440: 3차원 파라미터 섭동 범위 및 상기 타겟 물체의 초기 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정한다.
구체적으로, 타겟 물체의 3차원 검출 프레임의 초기 정점의 이미지 위치에 따라, 상기 정점의 섭동 범위를 결부하면 복수개의 후보 정점의 이미지 위치, 즉 타겟 물체의 후보 3차원 이미지 파라미터를 얻을 수 있다.
선택 가능한 실시형태에서, 단계S440은 타겟 물체의 섭동 스텝 길이를 결정하는 단계; 상기 타겟 물체의 초기 3차원 이미지 파라미터, 상기 섭동 스텝 길이 및 상기 3차원 파라미터 섭동 범위에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정하는 단계를 포함한다.
구체적으로, 타겟 물체의 섭동 스텝 길이 및 3차원 파라미터 섭동 범위에 따라, 복수개의 섭동값을 결정하고, 타겟 물체의 초기 3차원 이미지 파라미터 및 복수개의 섭동값에 따라, 타겟 물체의 복수개의 후보 3차원 이미지 파라미터를 획득한다.
선택 가능한 실시형태에서, 상기 방법은, 상기 초기 저면 정점의 이미지 위치에 따라, 상기 초기 저면 정점의 깊이를 결정하는 단계; 상기 초기 저면 정점의 깊이에 따라, 상기 타겟 물체의 섭동 스텝 길이를 결정하는 단계를 더 포함한다. 타겟 물체의 깊이가 가까울수록, 섭동 스텝 길이는 길고, 시각적 특성을 충분히 고려하여 섭동 스텝 길이를 합리적으로 결정할 수 있어, 3차원 검출 효율을 더 향상시킬 수 있다.
단계S450: 상기 2차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터에서 타겟 물체의 타겟 3차원 이미지 파라미터를 선택하고, 상기 타겟 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 3차원 검출 결과를 결정한다.
본 출원의 실시예의 기술적 해결수단은, 3차원 파라미터 섭동 범위를 합리적으로 결정하고, 타겟 물체의 깊이에 따라, 타겟 물체의 섭동 스텝 길이를 결정하며, 타겟 물체의 섭동 스텝 길이, 초기 3차원 이미지 파라미터 및 3차원 파라미터 섭동 범위를 결부하여 후보 3차원 이미지 파라미터를 결정하여 후보 3차원 이미지 파라미터의 정확도를 향상시킴으로써, 3차원 검출의 효율과 정밀도를 향상시킬 수 있다.
선택적으로, 단계S420은, 단안 카메라에 의해 수집된 타겟 물체 이미지를 이미지 검출 모델의 입력으로 하여 상기 타겟 물체의 2차원 이미지 파라미터 및 3차원 검출 파라미터를 획득하는 단계 - 상기 3차원 검출 파라미터는 상기 타겟 물체의 크기, 상기 타겟 물체의 중심점이 카메라 좌표계에서의 중심점 카메라 위치와 방향각을 포함함 -; 상기 3차원 검출 파라미터에 따라, 상기 타겟 물체의 3차원 검출 프레임이 이미지 좌표계에서의 정점 위치를 상기 초기 3차원 이미지 파라미터로 결정하는 단계를 포함한다. 3차원 검출 프레임이 이미지 좌표계에서의 정점 위치를 정확하게 결정함으로써, 타겟 물체의 3차원 검출 결과의 정확도를 향상시킨다.
선택적으로, 상기 3차원 검출 파라미터에 따라, 상기 타겟 물체의 3차원 검출 프레임이 이미지 좌표계에서의 정점 위치를 결정하는 단계는, 상기 중심점 카메라 위치 및 카메라 좌표계와 지면 좌표계 사이의 변환 관계에 따라, 지면 좌표계에서의 중심점 지면 위치를 결정하는 단계; 상기 타겟 물체의 크기에 따라, 상기 타겟 물체의 정점과 상기 중심점 사이의 상대적 위치를 결정하는 단계; 상기 타겟 물체의 회전 각도에 따라, 회전 행렬을 구축하는 단계; 상기 중심점 지면 위치, 상기 상대적 위치 및 상기 회전 행렬에 따라, 상기 타겟 물체의 3차원 검출 프레임이 이미지 좌표계에서의 정점 위치를 결정하는 단계를 포함한다.
구체적으로, 중심점 이미지 위치 를 를 통해 지면 좌표계로 변환시켜 중심점 지면 위치 를 얻고,
방향각 ry에 따라, 회전 행렬(로드리게스 공식)을 결정하며,
지면 좌표계에서 3차원 검출 프레임의 정점과 중심점 의 상대적 위치를 결정하고,
지면 좌표계에, 회전 행렬R, 상대적 위치 및 에 따라, 3차원 검출 프레임의 정점이 지면 좌표계에서의 위치를 찾으며,
3차원 검출 프레임의 정점이 지면 좌표계에서의 위치 를 카메라 좌표계로 변환시켜 를 얻고,
는 카메라 좌표계에서 지면 좌표계로의 변환 방정식이고, 는 의 역수이다.
3차원 검출 프레임의 정점이 카메라 좌표계에서의 위치 및 카메라 내부 파라미터에 따라, 3차원 검출 프레임의 정점이 이미지 좌표계에서의 위치를 획득한다.
설명해야 할 부분으로는, 샘플 물체의 3차원 검출 파라미터 방식의 결정 방식은, 타겟 물체의 3차원 검출 파라미터의 결정 방식과 동일하므로 더 반복하지 않는다.
도 6은 본 출원의 실시예에서 제공하는 3차원 물체 검출 장치의 구조 개략도이다. 도 6을 참조하면 본 출원의 실시예는 3차원 물체 검출 장치(500)를 개시하고, 상기 장치(500)는,
단안 카메라에 의해 수집된 타겟 물체 이미지에 따라, 타겟 물체의 2차원 이미지 파라미터 및 초기 3차원 이미지 파라미터를 결정하기 위한 초기 3차원 파라미터 모듈(501);
3차원 파라미터 섭동 범위 및 상기 타겟 물체의 초기 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정하기 위한 후보 3차원 파라미터 모듈(502); 및
상기 2차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터에서 타겟 물체의 타겟 3차원 이미지 파라미터를 선택하고, 상기 타겟 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 3차원 검출 결과를 결정하기 위한 3차원 최적화 모듈(503)을 포함한다.
선택적으로, 상기 3차원 최적화 모듈(503)은,
물체 저면 정점의 직각 제약에 기반하여, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 선별하기 위한 직접 제약 선별 유닛; 및
물체 저면 정점에서 2차원 검출 프레임 사이의 거리 제약에 기반하여, 상기 2차원 이미지 파라미터에 따라, 직각 제약을 만족시키는 후보 3차원 이미지 파라미터에서 상기 타겟 3차원 이미지 파라미터를 선택하기 위한 거리 제약 선별 유닛을 포함한다.
선택적으로, 상기 타겟 물체의 후보 3차원 이미지 파라미터는 상기 3차원 검출 프레임 중의 후보 저면 정점의 이미지 위치이고;
상응하게, 상기 직접 제약 선별 유닛은,
상기 후보 저면 정점의 이미지 위치를 지면 좌표계로 변환시켜 상기 후보 저면 정점의 지면 위치를 획득하기 위한 지면 위치 서브 유닛; 및
상기 후보 저면 정점의 지면 위치에 따라, 물체 저면 정점의 직각 제약을 만족시키는 후보 저면 정점 그룹을 선택하기 위한 직접 제약 선별 서브 유닛을 포함하고; 상기 후보 저면 정점 그룹은 적어도 3개의 후보 저면 정점을 포함한다.
선택적으로, 지면 위치 서브 유닛은 구체적으로,
카메라 내부 파라미터에 따라, 상기 후보 저면 정점의 이미지 위치를 카메라 좌표계로 변환시켜 상기 후보 저면 정점의 카메라 위치를 획득하기 위한 것이고;
카메라 좌표계와 지면 좌표계 사이의 변환 관계에 따라, 상기 후보 저면 정점의 카메라 위치를 지면 좌표계로 변환시켜 상기 후보 저면 정점의 지면 위치를 획득하기 위한 것이다.
선택적으로, 직접 제약 선별 서브 유닛은 구체적으로,
상기 후보 저면 정점의 지면 위치에 따라, 상기 후보 저면 정점 그룹의 저면 정점의 협각을 결정하기 위한 것이고;
상기 후보 저면 정점 그룹의 저면 정점의 협각과 직각 사이의 차이값이 각도 역치보다 작을 경우, 상기 후보 저면 정점 그룹이 물체 저면 정점의 직각 제약을 만족시키는 것을 결정하기 위한 것이다.
선택적으로, 상기 초기 3차원 이미지 파라미터는 상기 타겟 물체의 3차원 검출 프레임 중의 초기 저면 정점의 이미지 위치이고;
상응하게, 상기 직접 제약 선별 서브 유닛은 또한,
상기 초기 저면 정점의 이미지 위치에 따라, 상기 초기 저면 정점의 깊이를 결정하기 위한 것이며;
상기 초기 저면 정점의 깊이에 따라, 상기 각도 역치를 결정하기 위한 것이다.
선택적으로, 상기 타겟 물체의 2차원 이미지 파라미터는 상기 타겟 물체의 2차원 검출 프레임의 이미지 경계이고; 상기 타겟 물체의 후보 3차원 이미지 파라미터는 상기 3차원 검출 프레임 중의 후보 저면 정점의 이미지 위치이며;
상응하게, 상기 거리 제약 선별 유닛은,
직각 제약을 만족시키는 매 하나의 후보 저면 정점 그룹 중의 후보 저면 정점의 이미지 위치와 상기 2차원 검출 프레임의 이미지 경계에 따라, 상기 후보 저면 정점 그룹에서 상기 2차원 검출 프레임까지의 거리를 결정하기 위한 거리 결정 서브 유닛; 및
거리가 가장 짧은 후보 저면 정점 그룹을 상기 타겟 저면 정점 그룹으로 하고, 상기 타겟 저면 정점 그룹 중의 타겟 저면 정점의 이미지 위치에 따라, 상기 타겟 3차원 이미지 파라미터를 결정하기 위한 거리 제약 서브 유닛을 포함한다.
선택적으로, 상기 장치는 섭동 범위 모듈을 더 포함하고, 상기 섭동 범위 모듈은 구체적으로,
단안 카메라에 의해 수집된 샘플 물체 이미지에 따라, 샘플 물체의 초기 3차원 이미지 파라미터를 결정하기 위한 샘플 초기 파라미터 유닛; 및
상기 샘플 물체의 초기 3차원 이미지 파라미터 및 라벨 3차원 이미지 파라미터에 따라, 상기 3차원 파라미터 섭동 범위를 결정하기 위한 섭동 범위 유닛을 포함한다.
선택적으로, 후보 3차원 파라미터 모듈(502)은,
타겟 물체의 섭동 스텝 길이를 결정하기 위한 섭동 스텝 길이 유닛; 및
상기 타겟 물체의 초기 3차원 이미지 파라미터, 상기 섭동 스텝 길이 및 상기 3차원 파라미터 섭동 범위에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정하기 위한 후보 3차원 파라미터 유닛을 포함한다.
선택적으로, 상기 초기 3차원 이미지 파라미터는 상기 타겟 물체의 3차원 검출 프레임 중의 초기 저면 정점의 이미지 위치이고;
상응하게, 상기 섭동 스텝 길이 유닛은 구체적으로,
상기 초기 저면 정점의 이미지 위치에 따라, 상기 초기 저면 정점의 깊이를 결정하기 위한 것이고;
상기 초기 저면 정점의 깊이에 따라, 상기 타겟 물체의 섭동 스텝 길이를 결정하기 위한 것이다.
선택적으로, 초기 3차원 파라미터 모듈(501)은,
단안 카메라에 의해 수집된 타겟 물체 이미지를 이미지 검출 모델의 입력으로 하여 상기 타겟 물체의 2차원 이미지 파라미터 및 3차원 검출 파라미터를 획득하기 위한 것이고; 상기 3차원 검출 파라미터는 상기 타겟 물체의 크기, 상기 타겟 물체의 중심점이 카메라 좌표계에서의 중심점 카메라 위치와 방향각을 포함하는 파라미터 검출 유닛; 및
상기 3차원 검출 파라미터에 따라, 상기 타겟 물체의 3차원 검출 프레임이 이미지 좌표계에서의 정점 위치를 상기 초기 3차원 이미지 파라미터로 결정하기 위한 파라미터 결정 유닛을 포함한다.
선택적으로, 상기 파라미터 결정 유닛은 구체적으로,
상기 중심점 카메라 위치 및 카메라 좌표계와 지면 좌표계 사이의 변환 관계에 따라, 지면 좌표계에서의 중심점 지면 위치를 결정하기 위한 것이고;
상기 타겟 물체의 크기에 따라, 상기 타겟 물체의 정점과 상기 중심점 사이의 상대적 위치를 결정하기 위한 것이며;
상기 타겟 물체의 회전 각도에 따라, 회전 행렬을 구축하기 위한 것이고;
상기 중심점 지면 위치, 상기 상대적 위치 및 상기 회전 행렬에 따라, 상기 타겟 물체의 3차원 검출 프레임이 이미지 좌표계에서의 정점 위치를 결정하기 위한 것이다.
선택적으로, 상기 장치는 지면 방정식 및 카메라 좌표계 x축에서의 임의의 위치에 따라, 상기 카메라 좌표계와 지면 좌표계 사이의 변환 관계를 결정하기 위한 변화 관계 결정 모듈을 더 포함한다.
선택적으로, 상기 3차원 최적화 모듈(503)은 구체적으로 카메라 내부 파라미터에 따라, 상기 타겟 3차원 이미지 파라미터를 카메라 좌표계로 변환시켜 타겟 3차원 카메라 파라미터를 획득하여 상기 타겟 물체의 3차원 검출 결과로 사용하기 위한 것이다.
본 출원의 실시예의 기술적 해결수단은, 단안 이미지의 3차원 물체 검출를 기반으로 2차원 검출 프레임과 3차원 검출 프레임의 정점의 제약 관계 및 지평면 방정식을 결부하여 잘못 추정된 3차원 검출 프레임의 초기 정점을 최적화하여 3차원 검출의 정밀도 및 로버스트성을 향상시킨다.
본 출원의 실시예에 따르면 본 출원은 전자기기 및 판독 가능 저장 매체를 더 제공한다. 본 출원의 실시예에 따르면 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공한다. 당해 컴퓨터 프로그램중의 명령이 실행될 경우, 상기 3차원 물체 검출 방법이 실행된다.
도 7은 본 출원의 실시예의 3차원 물체 검출 방법에 따른 전자 기기의 블록도이다. 전자 기기는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 벤치, 개인용 정보 단말기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 다른 적합한 컴퓨터 등의 다양한 형태의 디지털 컴퓨터를 가리킨다. 전자 기기는 또한 개인용 정보 단말기, 셀룰러 폰, 스마트 폰, 웨어러블 장치 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수 있다. 본 명세서에 도시된 구성 요소, 그들의 연결 및 관계 및 그 기능은 단지 예시에 불과하며, 본 명세서에 기술되거나 청구된 구현을 한정하도록 의도되지 않는다.
도 7에 도시된 바와 같이, 상기 전자 기기는 하나 이상의 프로세서(601), 메모리(602) 및 고속 인터페이스 및 저속 인터페이스를 포함하는 다양한 구성 요소를 연결하기 위한 인터페이스를 포함한다. 다양한 구성 요소는 서로 다른 버스를 사용하여 서로 연결되며 마더 보드에 설치되거나 필요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 외부 입력/출력 장치(예를 들어, 인터페이스에 연결된 디스플레이 장치)에 GUI의 그래픽 정보를 표시하기 위해 메모리에 저장되어 있는 명령을 포함하여 전자 기기 내에서 실행되는 명령을 처리할 수 있다. 다른 실시 방식에서, 필요한 경우, 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 여러 전자 기기를 연결할 수 있고, 각 기기는 단지 몇가지 필요한 기능(예를 들어, 서버 배열, 블레이드 서버 그룹 또는 다중 프로세서 시스템)을 제공할 수 있다. 도 7에서는 프로세서(601)를 예로 한다.
메모리(602)는 본 출원에 의해 제공된 비일시적 컴퓨터 판독 가능 저장 매체이다. 적어도 하나의 프로세서에 의해 본 출원에서 제공하는 3차원 물체 검출 방법을 수행하도록, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장된다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체에는 컴퓨터로 하여금 본 출원에서 제공하는 3차원 물체 검출 방법을 실행하게 하는 컴퓨터 명령이 저장된다.
메모리(602)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능 프로그램, 본 출원의 실시예에서의 3차원 물체 검출 방법에 대응되는 프로그램 명령/모듈과 같은 모듈(예를 들면, 도 6에 도시된 초기 3차원 파라미터 모듈(501), 후보 3차원 파라미터 모듈(502) 및 3차원 최적화 모듈(503))을 저장하기 위해 사용될 수 있다. 프로세서(601)는 메모리(602)에 저장되어 있는 비일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여 서버의 다양한 기능적 응용 프로그램 및 데이터 처리를 실행하고 즉 상기 방법 실시예의 3차원 물체 검출 방법을 구현한다.
메모리(602)는 프로그램을 저장하기 위한 영역 및 데이터를 저장하기 위한 영역을 포함할 수 있고, 여기서 프로그램을 저장하기 위한 영역은 운영 체제 및 적어도 하나의 기능에 필요한 응용 프로그램이 저장될 수 있고; 데이터를 저장하기 위한 영역에는 3차원 물체 검출에 따른 전자 기기를 사용하여 생성된 데이터가 저장될 수 있다. 또한, 메모리(602)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 자기 디스크 저장 장치, 플래시 메모리 장치 또는 다른 비일시적 솔리드 스테이트 저장 장치와 같은 적어도 하나의 비일시적 메모리를 포함할 수 있다. 일부 실시예에서, 메모리(602)는 프로세서(601)에 대해 원격으로 설정된 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 3차원 물체 검출의 전자 기기에 연결될 수 있다. 상기 네트워크의 사례는 인터넷, 인트라넷, 근거리 네트워크, 이동 통신 네트워크 및 이들의 조합을 포함하지만 이에 한정되지는 않는다.
3차원 물체 검출 방법의 전자 기기는 입력 장치(603) 및 출력 장치(604)를 더 포함할 수 있다. 프로세서(601), 메모리(602), 입력 장치(603) 및 출력 장치(604)는 버스를 통해 연결되거나 또는 다른 방식으로 연결될 수 있으며, 도 7은 버스를 통한 연결을 예시한 것이다.
입력 장치(603)는 입력된 숫자 또는 문자 정보를 수신할 수 있고, 3차원 물체 검출의 전자 기기의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있으며, 터치 스크린, 키 패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 이상의 마우스 버튼, 트랙 볼, 조이스틱 및 기타 입력 장치일 수 있다. 출력 장치(604)는 디스플레이 장치, 보조 조명 장치(예를 들어, LED), 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 디스플레이 장치는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있지만, 이에 한정되지는 않는다. 일부 실시 방식에서, 디스플레이 장치는 터치 스크린일 수 있다.
여기서 설명된 시스템 및 기술의 다양한 실시 방식은 디지털 전자 회로, 집적 회로 시스템, 전용 ASIC(애플리케이션 특정 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 이러한 다양한 실시 방식은 하나 이상의 컴퓨터 프로그램에 의해 실시될 수 있고, 상기 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 시스템에 의해 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하며, 데이터 및 명령을 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드라고도 함)에는 프로그램 가능 프로세서의 기계 명령어가 포함되고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리 언어/기계어를 사용하여 이러한 컴퓨터 프로그램을 구현할 수 있다. 본 명세서에서 사용되는 용어 "기계 판독 가능 매체” 및 "컴퓨터 판독 가능 매체”는 프로그램 가능 프로세서에 기계 명령 및/또는 데이터를 제공하기 위해 사용되는 임의의 컴퓨터 프로그램 제품, 장비 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 가리키며, 기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 지칭한다.
사용자와의 상호 작용을 제공하기 위해, 컴퓨터에서 여기에 설명된 시스템 및 기술을 구현할 수 있다. 컴퓨터는 사용자에게 정보를 표시하기 위한 디스플레이 장치(예를 들면 CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터)와 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙 볼)를 포함하고, 사용자는 상기 키보드 및 상기 포인팅 장치를 통해 정보를 입력하여 컴퓨터에 제공할 수 있다. 다른 종류의 장치를 사용하여 사용자와의 상호 작용을 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백) 일 수 있고, 임의의 형태(음성 입력, 스피치 입력 또는 촉각 입력 포함)로 사용자에 의해 발송된 정보를 수신할 수 있다.
여기서 설명된 시스템 및 기술은 백 엔드 구성 요소(예를 들어, 데이터 서버)를 포함하는 컴퓨팅 시스템 또는 미들웨어 구성 요소(예를 들어, 애플리케이션 서버)를 포함하는 컴퓨팅 시스템 또는 프론트 엔드 구성 요소(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 가진 사용자 컴퓨터일 수 있으며, 사용자는 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 여기에 설명된 시스템 및 기술의 구현과 상호 작용할 수 있음)를 포함하는 컴퓨팅 시스템 또는 이러한 백 엔드 구성 요소, 미들웨어 구성 요소 또는 프론트 엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에 의해 구현될 수 있다. 시스템의 구성 요소는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크의 예로는 근거리 통신망(LAN), 광역 통신망(WAN), 블록 체인 네트워크 및 인터넷이 포함된다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버 간의 관계는 해당 컴퓨터에서 실행되고 서로 클라이언트-서버 관계가 있는 컴퓨터 프로그램에 의해 발생된다.
본 출원의 실시예의 기술적 해결수단에 따르면 단안 이미지의 3차원 물체 검출를 기반으로 2차원 검출 프레임과 3차원 검출 프레임의 정점의 제약 관계 및 지평면 방정식을 결부하여 잘못 추정된 3차원 검출 프레임의 초기 정점을 최적화하여 3차원 검출의 정밀도 및 로버스트성을 향상시킨다.
상기에 도시된 다양한 형태의 과정을 통해 단계를 재정렬, 추가 또는 삭제할 수 있다는 것을 이해해야 한다. 예를 들어, 본 출원에 설명된 각 단계들은 병렬, 순차적 또는 상이한 순서로 수행될 수 있으며, 본 출원에 개시된 기술적 해결책이 원하는 결과를 달성할 수만 있으면 별도로 한정되지 않는다.
상기 구체적인 실시 방식은 본 출원의 보호 범위에 대한 제한을 구성하지 않는다. 당업자는 설계 요건 및 다른 요인에 따라 다양한 변형, 조합, 하위 조합 및 대체가 이루어질 수 있다는 것을 이해해야 한다. 본 출원의 원리와 원칙 내에서 이루어진 모든 수정, 동등한 대체 및 개선은 모두 본 출원의 보호 범위에 포함된다.

Claims (22)

  1. 3차원 물체 검출 방법에 있어서,
    단안 카메라에 의해 수집된 타겟 물체 이미지에 따라, 타겟 물체의 2차원 이미지 파라미터 및 초기 3차원 이미지 파라미터를 결정하는 단계 - 상기 2차원 이미지 파라미터는 이미지 좌표계에서의 상기 타겟 물체의 2차원 검출 프레임의 파라미터를 가리키고, 상기 초기 3차원 이미지 파라미터는 이미지 좌표계에서의 상기 타겟 물체의 3차원 검출 프레임의 초기 파라미터를 가리킴 -;
    3차원 파라미터 섭동 범위 및 상기 타겟 물체의 초기 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정하는 단계; 및
    상기 2차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터에서 타겟 물체의 타겟 3차원 이미지 파라미터를 선택하고, 상기 타겟 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 3차원 검출 결과를 결정하는 단계를 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  2. 제1항에 있어서,
    상기 2차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터에서 타겟 물체의 타겟 3차원 이미지 파라미터를 선택하는 단계는,
    물체 저면 정점의 직각 제약에 기반하여, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 선별하는 단계; 및
    물체 저면 정점에서 2차원 검출 프레임 사이의 거리 제약에 기반하여, 상기 2차원 이미지 파라미터에 따라, 직각 제약을 만족시키는 후보 3차원 이미지 파라미터에서 상기 타겟 3차원 이미지 파라미터를 선택하는 단계를 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  3. 제2항에 있어서,
    상기 타겟 물체의 후보 3차원 이미지 파라미터는 상기 3차원 검출 프레임 중의 후보 저면 정점의 이미지 위치이고;
    상응하게, 물체 저면 정점의 직각 제약에 기반하여, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 선별하는 단계는,
    상기 후보 저면 정점의 이미지 위치를 지면 좌표계로 변환시켜 상기 후보 저면 정점의 지면 위치를 획득하는 단계; 및
    상기 후보 저면 정점의 지면 위치에 따라, 물체 저면 정점의 직각 제약을 만족시키는 후보 저면 정점 그룹을 선택하는 단계를 포함하며;
    상기 후보 저면 정점 그룹은 적어도 3개의 후보 저면 정점을 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  4. 제3항에 있어서,
    상기 후보 저면 정점의 이미지 위치를 지면 좌표계로 변환시켜 상기 후보 저면 정점의 지면 위치를 획득하는 단계는,
    카메라 내부 파라미터에 따라, 상기 후보 저면 정점의 이미지 위치를 카메라 좌표계로 변환시켜 상기 후보 저면 정점의 카메라 위치를 획득하는 단계; 및
    카메라 좌표계와 지면 좌표계 사이의 변환 관계에 따라, 상기 후보 저면 정점의 카메라 위치를 지면 좌표계로 변환시켜 상기 후보 저면 정점의 지면 위치를 획득하는 단계를 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  5. 제3항에 있어서,
    상기 후보 저면 정점의 지면 위치에 따라, 물체 저면 정점의 직각 제약을 만족시키는 후보 저면 정점 그룹을 선택하는 단계는,
    상기 후보 저면 정점의 지면 위치에 따라, 상기 후보 저면 정점 그룹의 저면 정점의 협각을 결정하는 단계; 및
    상기 후보 저면 정점 그룹의 저면 정점의 협각과 직각 사이의 차이값이 각도 역치보다 작을 경우, 상기 후보 저면 정점 그룹이 물체 저면 정점의 직각 제약을 만족시키는 것을 결정하는 단계를 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  6. 제5항에 있어서,
    상기 초기 3차원 이미지 파라미터는 상기 타겟 물체의 3차원 검출 프레임 중의 초기 저면 정점의 이미지 위치이고;
    상응하게, 상기 방법은,
    상기 초기 저면 정점의 이미지 위치에 따라, 상기 초기 저면 정점의 깊이를 결정하는 단계; 및
    상기 초기 저면 정점의 깊이에 따라, 상기 각도 역치를 결정하는 단계를 더 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  7. 제2항에 있어서,
    상기 타겟 물체의 2차원 이미지 파라미터는 상기 타겟 물체의 2차원 검출 프레임의 이미지 경계이고; 상기 타겟 물체의 후보 3차원 이미지 파라미터는 상기 3차원 검출 프레임 중의 후보 저면 정점의 이미지 위치이며;
    상응하게, 물체 저면 정점에서 2차원 검출 프레임 사이의 거리 제약에 기반하여, 상기 2차원 이미지 파라미터에 따라, 직각 제약을 만족시키는 후보 3차원 이미지 파라미터에서 상기 타겟 3차원 이미지 파라미터를 선택하는 단계는,
    직각 제약을 만족시키는 매 하나의 후보 저면 정점 그룹 중의 후보 저면 정점의 이미지 위치와 상기 2차원 검출 프레임의 이미지 경계에 따라, 상기 후보 저면 정점 그룹에서 상기 2차원 검출 프레임까지의 거리를 결정하는 단계; 및
    거리가 가장 짧은 후보 저면 정점 그룹을 타겟 저면 정점 그룹으로 하고, 상기 타겟 저면 정점 그룹 중의 타겟 저면 정점의 이미지 위치에 따라, 상기 타겟 3차원 이미지 파라미터를 결정하는 단계를 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  8. 제1항에 있어서,
    3차원 파라미터 섭동 범위 및 상기 타겟 물체의 초기 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정하는 단계 이전에,
    단안 카메라에 의해 수집된 샘플 물체 이미지에 따라, 샘플 물체의 초기 3차원 이미지 파라미터를 결정하는 단계; 및
    상기 샘플 물체의 초기 3차원 이미지 파라미터 및 라벨 3차원 이미지 파라미터에 따라, 상기 3차원 파라미터 섭동 범위를 결정하는 단계를 더 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  9. 제1항에 있어서,
    3차원 파라미터 섭동 범위 및 상기 타겟 물체의 초기 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정하는 단계는,
    타겟 물체의 섭동 스텝 길이를 결정하는 단계; 및
    상기 타겟 물체의 초기 3차원 이미지 파라미터, 상기 섭동 스텝 길이 및 상기 3차원 파라미터 섭동 범위에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정하는 단계를 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  10. 제9항에 있어서,
    상기 초기 3차원 이미지 파라미터는 상기 타겟 물체의 3차원 검출 프레임 중의 초기 저면 정점의 이미지 위치이고;
    상응하게, 타겟 물체의 섭동 스텝 길이를 결정하는 단계는,
    상기 초기 저면 정점의 이미지 위치에 따라, 상기 초기 저면 정점의 깊이를 결정하는 단계; 및
    상기 초기 저면 정점의 깊이에 따라, 상기 타겟 물체의 섭동 스텝 길이를 결정하는 단계를 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  11. 제1항에 있어서,
    단안 카메라에 의해 수집된 타겟 물체 이미지에 따라, 타겟 물체의 2차원 이미지 파라미터 및 초기 3차원 이미지 파라미터를 결정하는 단계는,
    단안 카메라에 의해 수집된 타겟 물체 이미지를 이미지 검출 모델의 입력으로 하여 상기 타겟 물체의 2차원 이미지 파라미터 및 3차원 검출 파라미터를 획득하는 단계 - 상기 3차원 검출 파라미터는 상기 타겟 물체의 크기, 상기 타겟 물체의 중심점이 카메라 좌표계에서의 중심점 카메라 위치와 방향각을 포함함 -; 및
    상기 3차원 검출 파라미터에 따라, 상기 타겟 물체의 3차원 검출 프레임이 이미지 좌표계에서의 정점 위치를 상기 초기 3차원 이미지 파라미터로 결정하는 단계를 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  12. 제11항에 있어서,
    상기 3차원 검출 파라미터에 따라, 상기 타겟 물체의 3차원 검출 프레임이 이미지 좌표계에서의 정점 위치를 결정하는 단계는,
    상기 중심점 카메라 위치 및 카메라 좌표계와 지면 좌표계 사이의 변환 관계에 따라, 지면 좌표계에서의 중심점 지면 위치를 결정하는 단계;
    상기 타겟 물체의 크기에 따라, 상기 타겟 물체의 정점과 상기 중심점 사이의 상대적 위치를 결정하는 단계;
    상기 타겟 물체의 회전 각도에 따라, 회전 행렬을 구축하는 단계; 및
    상기 중심점 지면 위치, 상기 상대적 위치 및 상기 회전 행렬에 따라, 상기 타겟 물체의 3차원 검출 프레임이 이미지 좌표계에서의 정점 위치를 결정하는 단계를 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  13. 제4항에 있어서,
    상기 방법은,
    지면 방정식 및 카메라 좌표계 x축에서의 임의의 위치에 따라, 상기 카메라 좌표계와 지면 좌표계 사이의 변환 관계를 결정하는 단계를 더 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  14. 제1항에 있어서,
    상기 타겟 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 3차원 검출 결과를 결정하는 단계는,
    카메라 내부 파라미터에 따라, 상기 타겟 3차원 이미지 파라미터를 카메라 좌표계로 변환시켜 타겟 3차원 카메라 파라미터를 획득하여 상기 타겟 물체의 3차원 검출 결과로 하는 단계를 포함하는
    것을 특징으로 하는 3차원 물체 검출 방법.
  15. 3차원 물체 검출 장치에 있어서,
    단안 카메라에 의해 수집된 타겟 물체 이미지에 따라, 타겟 물체의 2차원 이미지 파라미터 및 초기 3차원 이미지 파라미터를 결정하기 위한 초기 3차원 파라미터 모듈 - 상기 2차원 이미지 파라미터는 이미지 좌표계에서의 상기 타겟 물체의 2차원 검출 프레임의 파라미터를 가리키고, 상기 초기 3차원 이미지 파라미터는 이미지 좌표계에서의 상기 타겟 물체의 3차원 검출 프레임의 초기 파라미터를 가리킴 -;
    3차원 파라미터 섭동 범위 및 상기 타겟 물체의 초기 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 결정하기 위한 후보 3차원 파라미터 모듈; 및
    상기 2차원 이미지 파라미터에 따라, 상기 타겟 물체의 후보 3차원 이미지 파라미터에서 타겟 물체의 타겟 3차원 이미지 파라미터를 선택하고, 상기 타겟 3차원 이미지 파라미터에 따라, 상기 타겟 물체의 3차원 검출 결과를 결정하기 위한 3차원 최적화 모듈을 포함하는
    것을 특징으로 하는 3차원 물체 검출 장치.
  16. 제15항에 있어서,
    상기 3차원 최적화 모듈은,
    물체 저면 정점의 직각 제약에 기반하여, 상기 타겟 물체의 후보 3차원 이미지 파라미터를 선별하기 위한 직접 제약 선별 유닛; 및
    물체 저면 정점에서 2차원 검출 프레임 사이의 거리 제약에 기반하여, 상기 2차원 이미지 파라미터에 따라, 직각 제약을 만족시키는 후보 3차원 이미지 파라미터에서 상기 타겟 3차원 이미지 파라미터를 선택하기 위한 거리 제약 선별 유닛을 포함하는 것을
    특징으로 하는 3차원 물체 검출 장치.
  17. 제16항에 있어서,
    상기 타겟 물체의 후보 3차원 이미지 파라미터는 상기 3차원 검출 프레임 중의 후보 저면 정점의 이미지 위치이고;
    상응하게, 상기 직접 제약 선별 유닛은,
    상기 후보 저면 정점의 이미지 위치를 지면 좌표계로 변환시켜 상기 후보 저면 정점의 지면 위치를 획득하기 위한 지면 위치 서브 유닛; 및
    상기 후보 저면 정점의 지면 위치에 따라, 물체 저면 정점의 직각 제약을 만족시키는 후보 저면 정점 그룹을 선택하기 위한 직접 제약 선별 서브 유닛을 포함하고; 상기 후보 저면 정점 그룹은 적어도 3개의 후보 저면 정점을 포함하는
    것을 특징으로 하는 3차원 물체 검출 장치.
  18. 제16항에 있어서,
    상기 타겟 물체의 2차원 이미지 파라미터는 상기 타겟 물체의 2차원 검출 프레임의 이미지 경계이고; 상기 타겟 물체의 후보 3차원 이미지 파라미터는 상기 3차원 검출 프레임 중의 후보 저면 정점의 이미지 위치이며;
    상응하게, 상기 거리 제약 선별 유닛은,
    직각 제약을 만족시키는 매 하나의 후보 저면 정점 그룹 중의 후보 저면 정점의 이미지 위치와 상기 2차원 검출 프레임의 이미지 경계에 따라, 상기 후보 저면 정점 그룹에서 상기 2차원 검출 프레임까지의 거리를 결정하기 위한 거리 결정 서브 유닛; 및
    거리가 가장 짧은 후보 저면 정점 그룹을 타겟 저면 정점 그룹으로 하고, 상기 타겟 저면 정점 그룹 중의 타겟 저면 정점의 이미지 위치에 따라, 상기 타겟 3차원 이미지 파라미터를 결정하기 위한 거리 제약 서브 유닛을 포함하는
    것을 특징으로 하는 3차원 물체 검출 장치.
  19. 제15항에 있어서,
    상기 장치는 섭동 범위 모듈을 더 포함하고, 상기 섭동 범위 모듈은 구체적으로,
    단안 카메라에 의해 수집된 샘플 물체 이미지에 따라, 샘플 물체의 초기 3차원 이미지 파라미터를 결정하기 위한 샘플 초기 파라미터 유닛; 및
    상기 샘플 물체의 초기 3차원 이미지 파라미터 및 라벨 3차원 이미지 파라미터에 따라, 상기 3차원 파라미터 섭동 범위를 결정하기 위한 섭동 범위 유닛을 포함하는
    것을 특징으로 하는 3차원 물체 검출 장치.
  20. 전자 기기에 있어서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리를 포함하되;
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고, 상기 명령이 상기 적어도 하나의 프로세서에 의해 실행되어, 상기 적어도 하나의 프로세서에 의해 제1항 내지 제14항 중 어느 한 항에 따른 방법이 수행되도록 하는
    것을 특징으로 하는 전자 기기.
  21. 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 명령은 컴퓨터로 하여금 제1항 내지 제14항 중 어느 한 항에 따른 방법을 수행하도록 하는
    것을 특징으로 하는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체.
  22. 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램중의 명령이 실행될 경우, 제1항 내지 제14항 중 어느 한 항에 따른 방법이 실행되는,
    것을 특징으로 하는 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램.
KR1020210037704A 2020-05-15 2021-03-24 3차원 물체 검출 방법, 장치, 전자 기기 및 판독 가능 저장 매체 KR102605535B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010412462.X 2020-05-15
CN202010412462.XA CN111612753B (zh) 2020-05-15 2020-05-15 三维物体检测方法、装置、电子设备和可读存储介质

Publications (2)

Publication Number Publication Date
KR20210040849A KR20210040849A (ko) 2021-04-14
KR102605535B1 true KR102605535B1 (ko) 2023-11-22

Family

ID=72199998

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210037704A KR102605535B1 (ko) 2020-05-15 2021-03-24 3차원 물체 검출 방법, 장치, 전자 기기 및 판독 가능 저장 매체

Country Status (5)

Country Link
US (1) US11587338B2 (ko)
EP (1) EP3859661A3 (ko)
JP (1) JP7189270B2 (ko)
KR (1) KR102605535B1 (ko)
CN (1) CN111612753B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11987236B2 (en) * 2020-08-31 2024-05-21 Nec Corporation Monocular 3D object localization from temporal aggregation
CN112164143A (zh) * 2020-10-23 2021-01-01 广州小马慧行科技有限公司 三维模型的构建方法、构建装置、处理器和电子设备
CN112509126B (zh) * 2020-12-18 2024-07-12 南京模数智芯微电子科技有限公司 三维物体检测的方法、装置、设备及存储介质
CN112819880B (zh) * 2021-01-07 2024-07-23 北京百度网讯科技有限公司 三维物体检测方法、装置、设备及存储介质
CN112926395A (zh) * 2021-01-27 2021-06-08 上海商汤临港智能科技有限公司 目标检测方法、装置、计算机设备及存储介质
US11854255B2 (en) * 2021-07-27 2023-12-26 Ubkang (Qingdao) Technology Co., Ltd. Human-object scene recognition method, device and computer-readable storage medium
CN113887290A (zh) * 2021-08-31 2022-01-04 际络科技(上海)有限公司 单目3d检测方法、装置、电子设备及存储介质
CN113887289A (zh) * 2021-08-31 2022-01-04 际络科技(上海)有限公司 一种单目三维物体检测方法、装置、设备及产品
CN118447468B (zh) * 2024-07-08 2024-09-20 山西省财政税务专科学校 一种基于相邻目标之间空间关系的单目三维检测方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009032123A (ja) * 2007-07-27 2009-02-12 Hiroshima Industrial Promotion Organization 画像処理装置、画像処理方法およびプログラム
US20200143557A1 (en) * 2018-11-01 2020-05-07 Samsung Electronics Co., Ltd. Method and apparatus for detecting 3d object from 2d image

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3330090B2 (ja) 1998-09-30 2002-09-30 松下電器産業株式会社 臓器境界抽出方法および装置
CN103903246A (zh) * 2012-12-26 2014-07-02 株式会社理光 物体检测方法和装置
US10839234B2 (en) * 2018-09-12 2020-11-17 Tusimple, Inc. System and method for three-dimensional (3D) object detection
CN110969064B (zh) * 2018-09-30 2023-10-27 北京四维图新科技股份有限公司 一种基于单目视觉的图像检测方法、装置及存储设备
CN110517349A (zh) * 2019-07-26 2019-11-29 电子科技大学 一种基于单目视觉和几何约束的3d车辆目标检测方法
CN110765974B (zh) * 2019-10-31 2023-05-02 复旦大学 基于毫米波雷达和卷积神经网络的微动手势识别方法
CN111079619B (zh) * 2019-12-10 2023-04-18 北京百度网讯科技有限公司 用于检测图像中的目标对象的方法和装置
CN111126269B (zh) * 2019-12-24 2022-09-30 京东科技控股股份有限公司 三维目标检测方法、装置以及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009032123A (ja) * 2007-07-27 2009-02-12 Hiroshima Industrial Promotion Organization 画像処理装置、画像処理方法およびプログラム
US20200143557A1 (en) * 2018-11-01 2020-05-07 Samsung Electronics Co., Ltd. Method and apparatus for detecting 3d object from 2d image

Also Published As

Publication number Publication date
EP3859661A2 (en) 2021-08-04
KR20210040849A (ko) 2021-04-14
US11587338B2 (en) 2023-02-21
EP3859661A3 (en) 2022-03-02
CN111612753B (zh) 2021-08-06
JP7189270B2 (ja) 2022-12-13
JP2021119528A (ja) 2021-08-12
CN111612753A (zh) 2020-09-01
US20210209341A1 (en) 2021-07-08

Similar Documents

Publication Publication Date Title
KR102605535B1 (ko) 3차원 물체 검출 방법, 장치, 전자 기기 및 판독 가능 저장 매체
KR102407504B1 (ko) 장애물 검출 방법, 장치, 전자 기기 및 저장 매체
EP3869399A2 (en) Vehicle information detection method and apparatus, electronic device, storage medium and program
US11587332B2 (en) Method, apparatus, system, and storage medium for calibrating exterior parameter of on-board camera
CN112241718B (zh) 车辆信息的检测方法、检测模型的训练方法和装置
US11694445B2 (en) Obstacle three-dimensional position acquisition method and apparatus for roadside computing device
CN111324115B (zh) 障碍物位置检测融合方法、装置、电子设备和存储介质
JP2021101365A (ja) 測位方法、測位装置及び電子機器
US11688177B2 (en) Obstacle detection method and device, apparatus, and storage medium
CN111797745B (zh) 一种物体检测模型的训练及预测方法、装置、设备及介质
CN112184914B (zh) 目标对象三维位置的确定方法、装置和路侧设备
CN110675635B (zh) 相机外参的获取方法、装置、电子设备及存储介质
CN111949816B (zh) 定位处理方法、装置、电子设备和存储介质
CN112509126B (zh) 三维物体检测的方法、装置、设备及存储介质
CN111968071B (zh) 车辆的空间位置生成方法、装置、设备及存储介质
CN111784579B (zh) 制图方法及装置
CN112528846A (zh) 障碍物检测的测评方法、装置、设备以及存储介质
CN111814634B (zh) 一种实时距离确定方法、装置、设备及介质
CN111784659B (zh) 图像检测的方法、装置、电子设备以及存储介质
CN110751205A (zh) 物体关联方法、装置、设备和介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210324

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230620

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20231109

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20231120

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20231120

End annual number: 3

Start annual number: 1

PG1601 Publication of registration