KR20240022986A - 카메라 포즈 정보와 장면 이전 정보의 융합을 이용하여유클리드 공간 내의 객체들의 거리를 추정하는 방법 및 장치 - Google Patents

Abstract

본 발명은 핀홀 카메라뿐만 아니라 어안 렌즈 카메라에 대한 실시간 거리 추정 방법 및 장치(100)를 개시한다. 본 발명은 카메라(160)로부터 객체의 거리를 추정하기 위해 장면 이전 정보뿐만 아니라 카메라 포즈 정보를 이용한다. 카메라 포즈 정보는 내재적 카메라 교정 정보를 본질적으로 이용하는 외재적 카메라 교정의 도움으로 추정된다. 어안 렌즈 카메라 및 임의의 다른 카메라 모델은 획득된 입력 영상에 왜곡을 가져온다. 따라서, 영상 비왜곡 또는 픽셀점 비왜곡의 추가적인 단계가 요구된다. 위의 추가적인 단계는, 임의의 입력 영상 또는 그의 랜덤 픽셀점들에 거리 추정을 적용하기 전에; 입력 영상 또는 그의 픽셀점들이 핀홀 카메라 모델을 따르는 것을 보장하기 위해 필요하다.

Description

카메라 포즈 정보와 장면 이전 정보의 융합을 이용하여 유클리드 공간 내의 객체들의 거리를 추정하는 방법 및 장치{METHODS AND APPARATUS FOR ESTIMATION OF THE DISTANCE OF THE OBJECTS IN EUCLIDEAN SPACE USING FUSION OF CAMERA POSE INFORMATION and SCENE PRIOR INFORMATION'S AND THEREOF}

본 발명은 유클리드 공간에서 객체의 거리 추정에 관한 것이다. 좀더 구체적으로, 본 발명은 카메라 포즈 정보와 장면의 이전 정보를 융합하여 객체들의 거리를 추정하는 방법 및 장치에 관한 것이다.

최근 자율 주행 차량에 대한 관심이 높아지면서 의미론적으로 세그먼트화된 영상에서 개체의 실시간 및 정밀한 거리 추정에 대한 관심이 높아지고 있다. 정확하고 빠른 거리 추정은 자율 주행 차량 및 운전자 지원 시스템의 적절한 경로 계획 및 장애물 회피에 도움이 된다. 거리 추정 방법의 정확도와 대기 시간은 자율 주행 차량의 다른 능동 및 수동 센서의 결정에 큰 영향을 미친다.

KR20180121259A는 카메라가 장착된 올인원(all-in-one) 컴퓨터에서 싱글 카메라로 촬영된 타겟 객체의 영상 정보를 이용하여 싱글 카메라에서 타겟 객체까지의 거리를 검출하는 카메라 탑재형 컴퓨터의 거리 검출 장치 및 그 방법에 관한 것이다. 상기 카메라 탑재형 컴퓨터의 거리 검출 장치는 컴퓨터 모니터에 설치되어 전방에 배치된 타겟 객체를 촬영하여 영상을 획득하는 웹 카메라와, 상기 웹 카메라로부터 영상을 수신하여 영상 정보를 생성하는 영상 처리부와, 상기 웹 카메라로 촬영된 영상에서 초점 거리 및 굴절률에 대응하는 내부 매개변수를 검출하여 저장하는 내부 매개변수 설정부와, 카메라 좌표계와 세계 좌표계 간의 회전 이동 및 평행 이동 변환 관계를 측정하여 저장하는 외부 매개변수 설정부와, 상기 웹 카메라에서 타겟 객체까지의 수평 거리 정보를 수신하여 수신된 정보를 외부 매개변수 저장부에 저장하는 외부 매개변수 입력부와, 상기 웹 카메라로 촬영된 영상에서 타겟 객체를 인식하고, 내부 매개변수 설정부, 외부 매개변수 설정부 및 외부 매개변수 입력부를 통해 입력된 매개변수들을 이용하여 타겟 객체의 특정 높이에서의 특징점의 위치 좌표와 특징점의 위치 좌표 간의 거리를 산출하는 위치 정보 산출부를 포함한다.

Chen, C.H., Chen, T.Y., Huang, D.Y., 및 Feng, K.W.의 “Front vehicle detection and distance estimation using single-lens video camera(단일 렌즈 비디오 카메라를 이용한 전방 차량 검출 및 거리 추정)”라는 제목의 논문(2015)에서는 도시 및 교외 도로에서 하나의 단일 렌즈 자동차 비디오 카메라를 이용한 전방 차량 검출 및 그 거리 추정에 대해 논의하고 있다. 제안된 방법은 주로 도로 영역 검출 및 전방 차량 검출 및 거리 산출로 구성된다. 먼저, Hough 변환을 사용하여, 적절한 직선들이 선택되고 그 교차점들이 소실점을 얻기 위해 활용되는, 선들을 검출한다. 이후, 강한 우측 및 좌측 에지를 추출하여 도로 영역을 분할하기 위한 소실점과 연결하고, 이러한 영역에서 전방 차량의 하부 그림자를 이용하여 차량의 위치를 찾는다. 마지막으로, 자차량과 전방 차량 간의 거리를 차량의 위치 및 소실점에 기초하여 산출한다.

대부분의 종래 기술 알고리즘은 입력 영상에서 특정한 미리 정의된 관심 영역에서 카메라로부터 객체의 거리를 추정하기 위해 회귀 기반 기법을 사용한다.

이 외에도, 종래 기술은 회귀 기반 기법에 따른 직선 상의 점들의 마킹과 이어지는 기존 또는 머신/딥 러닝 기반 방법을 이용한 다항식 계수의 추정에 크게 의존하고 있다.

따라서, 기존의 거리 추정 방법들을 실시간으로 배치하는 것은 이 방법들이 배치 전 많은 작업과 많은 리소스가 필요하고 일반적이지 않은 특성으로 인해 특정 관심 영역에서만 작동할 것이기 때문에 비교적 어려운 작업이다.

전술한 점들은 자율 주행 차량과 같은 시스템에서 종래 기술의 알고리즘 배치를 바람직하지 않게 만든다.

본 발명의 목적은 종래의 핀홀 카메라뿐만 아니라 어안 렌즈 카메라에 대한 실시간 거리 추정 방법을 제공하는 것이다.

본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

본 발명은 카메라 포즈 정보와 장면 이전 정보의 융합을 이용하여 유클리드 공간 내의 객체들의 거리를 추정하는 방법 및 장치를 제공한다.

일 실시예에서, 유클리드 공간에서 객체들의 거리를 추정하기 위한 방법은, 직사각형 그리드 구조의 내부 교차점의 지상 실측 정보 지식을 사용하여 실세계 좌표계에서 메시 그리드를 형성하는 단계; 배치-전 시기 동안 카메라에 의해 캡처된 2D 영상에서 상기 메시 그리드의 대응하는 픽셀 좌표 값들을 마킹하는 단계; 상기 매핑을 위해 마킹된 픽셀 좌표 값들을 저장하는 단계; 수평 및 수직 선들을 피팅함으로써 입력 픽셀점에 대한 수평 및 수직 그리드 id를 추정하는 단계; 상기 그리드 id 값에 기초하여 상기 실세계 좌표계에서 역 매핑하는 단계―상기 역 매핑을 위해, 기존의 지상 실측 정보 값들 및 선형 보간이 사용됨―; 카메라 포즈 정보를 사용하고 알파 블렌딩의 도움으로 장면 이전 지식을 사용하여 추정된 개별 종방향 및 측방향 객체 거리들의 최종 융합을 수행하는 단계;를 포함한다.

상기 2D 영상을 캡처하기 위해 사용되는 상기 카메라가 핀홀 카메라가 아니면, 각각의 객체 픽셀 좌표는 왜곡되지 않는다.

상기 픽셀 세계 좌표들은 다음 수식을 사용하여 추정된다:

여기서,

u, v: 픽셀-좌표들;

X, Y, Z: 세계-좌표들;

s: 축척 계수;

K: 카메라 내재적 행렬;

R: 카메라 회전 행렬; 및

T: 카메라 병진 벡터.

상기 축척 계수 s는 다음 수식들을 사용하여 카메라 내재적 매개변수들, 그 회전 행렬 및 병진 벡터를 사용하여 계산된다:

여기서,

u, v: 픽셀-좌표들;

X, Y, Z: 세계-좌표들;

s: 축척 계수;

K: 카메라 내재적 행렬;

R: 카메라 회전 행렬; 및

T: 카메라 병진 벡터.

상기 추정된 세계 좌표들이 [0.0, 0.0, 0.0]mm에 가까우면, 즉, 다음 기준 0.0mm <= [|XP|, |YP|, |ZP|] < 50.0mm를 충족하면, 상기 좌표들은 병진 벡터 T_pre 및 핀홀 카메라 초점 길이 f_pin으로서 저장된다.

상기 유클리드 거리는 다음 수식을 사용하여 계산된다:

상기 종방향 거리는 다음 수식을 사용하여 계산된다:

상기 측방향 거리는 다음 수식을 사용하여 계산된다:

여기서,

: 세계 좌표계에 대해 카메라 좌표계 원점에서 현재 고려 중인 점의 유클리드 거리(카메라 포즈 정보 사용);

: 세계 좌표계에 대해 대응하는 픽셀점의 세계 좌표들;

: 세계 좌표계에 대한 각각의 카메라 포즈 X, Y, Z 좌표들;

: 세계 좌표계에 대해 카메라 좌표계 원점에서 현재 고려 중인 점의 종방향 거리(카메라 포즈 정보 사용); 및

: 세계 좌표계에 대해 카메라 좌표계 원점에서 현재 고려 중인 점의 측방향 거리(카메라 포즈 정보 사용).

두 방법을 사용하여(즉, 카메라 포즈 정보 및 장면 이전 정보(그리드 매핑)를 사용하여) 상기 추정된 거리들의 융합은 알파 블렌딩을 활용하여 수행되고; 다음 수식들을 사용하여 계산된다:

여기서,

: 카메라 포즈 정보를 사용하여 추정된 종방향 거리;

: 장면 이전 정보(그리드 매핑)를 사용하여 추정된 종방향 거리;

: 카메라 포즈 정보를 사용하여 추정된 측방향 거리;

: 장면 이전 정보(그리드 매핑)를 사용하여 추정된 측방향 거리; 및

: 알파 블렌딩 매개변수.

요약하면, 본 발명의 거리 추정 접근법은 두 가지 방법을 사용하여 추정된 거리들, 즉, 카메라 포즈 정보를 사용한 유클리드 공간에서 유클리드 거리, 및, 추정치 카메라 교정 작업 동안 획득된 사전 지식 정보를 사용하여 추정된 거리의 융합에 기초한다.

본 발명의 방법은 사실상 일반적이다. 입력 영상에 임의의 관심 영역을 요구하지 않으며, 추정될 수 있는 최소 및 최대 거리에 대한 어떠한 제한도 갖지 않는다.

다른 실시예에서, 유클리드 공간에서 객체들의 거리를 추정하기 위한 장치가 제공된다. 상기 장치는, 적어도 하나의 프로세서; 상기 적어도 하나의 프로세서에 통신 가능하게 결합된 카메라; 및 상기 적어도 하나의 프로세서에 통신 가능하게 결합된 메모리를 포함하되, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 장치를: 직사각형 그리드 구조의 내부 교차점의 지상 실측 정보 지식을 사용하여 실세계 좌표계에서 메시 그리드를 형성하고; 배치-전 시기 동안 상기 카메라에 의해 캡처된 2D 영상에서 상기 메시 그리드의 대응하는 픽셀 좌표 값들을 마킹하고; 상기 매핑을 위해 마킹된 픽셀 좌표 값들을 저장하고; 수평 및 수직 선들을 피팅함으로써 입력 픽셀점에 대한 수평 및 수직 그리드 id를 추정하고; 상기 그리드 id 값에 기초하여 상기 실세계 좌표계에서 역 매핑하고―상기 역 매핑을 위해, 기존의 지상 실측 정보 값들 및 선형 보간이 사용됨―; 선형 보간을 사용하여 종방향 및 측방향 객체 거리들을 추정하고; 그리고 카메라 포즈 정보를 사용하고 알파 블렌딩의 도움으로 장면 이전 지식을 사용하여 추정된 개별 종방향 및 측방향 객체 거리들의 최종 융합을 수행하도록 구성하는, 명령들을 저장한다.

본 발명은 종래 기술의 기존의 거리 추정 방법들의 실시간 속도 및 정확도 문제들을 극복한다.

전술한 것은 요약이고, 따라서 필요에 의해, 세부사항의 간략화, 일반화 및 생략을 포함하고; 결과적으로, 본 기술분야의 기술자들은 요약이 단지 예시적이고 본 발명을 어떠한 방식으로든 제한하도록 의도되지 않는다는 것을 인식할 것이다. 또한, 본 기술분야의 기술자들에게 명백할 바와 같이, 본원에 개시된 동작들은 다수의 방식들로 구현될 수도 있고, 그러한 변경들 및 수정들은 본 발명 및 그의 더 넓은 양태들로부터 벗어나지 않고 이루어질 수도 있다. 본 발명의 다른 양태들, 발명의 특징들, 및 이점들은 오직 청구항들에 의해 정의된 바와 같이, 하기의 비제한적인 상세한 설명에서 명백해질 것이다.

본 발명의 상기 및 다른 목적들 및 특징들은 첨부 도면들과 함께 취해진 바람직한 실시예들의 다음의 설명으로부터 명백해질 것이며, 여기서 유사한 참조 번호들은 유사한 특징들을 나타낸다.
도 1은 거리 추정을 위한 외재적 카메라 교정 셋업 및 대응하는 세계 좌표계를 도시한다.
도 2는 카메라-좌표계 원점, 즉 카메라 세계 위치로부터 객체의 종방향 거리, 측방향 거리, 및 유클리드 거리를 산출하기 위한 개략도를 도시한다.
도 3은 에지 디바이스들 상에서의 거리 추정의 방법의 배치 전에 따라야 할 단계들에 대한 흐름도를 도시한다.
도 3a는 거리 추정 그리드의, 카메라에 의해 획득된 2D-영상(여기서 그리드 교차점들의 넘버링은 적색 & 좌측-우측 순서로 행해짐)을 도시한다. 이때, 도 3a에 표기된 ‘Longitudinal’ 및 ‘Lateral‘은 각각 ‘종방향’ 및 ‘측방향’을 의미한다.
도 3b는 도 3a 영상에 대응하는 종방향 및 측방향 거리 추정을 위한 GT(지상 실측 정보) 좌표 값들 그리드 구조를 도시한다. 이때, 도 3b에 표기된 ‘Longitudinal’ 및 ‘Lateral‘은 각각 ‘종방향’ 및 ‘측방향’을 의미한다.
도 3c는 배치-전 및 배치-후 시기 동안 왜곡되지 않은 영상 픽셀점을 획득하기 위한 방법의 흐름도를 도시한다.
도 3d는 종방향 및 측방향 GT 파일의 콘텐츠들을 도시한다.
도 3e는 도 3a 및 도 3b에 도시된 바와 같은 GT 좌표점들의 대응하는 픽셀 값들을 도시한다(넘버링은 행-방식이고, 각각의 행은 도 3a에 도시된 바와 같은 동일한 점 순서화를 따름).
도 3f는 카메라 좌표계 축들(Xc, Yc, Zc)을 도시하며, 세계 점 P의 영상은 p인 반면, 이것은 핀홀 카메라에 의한 p', 주축과 입사 광선 사이의 각도 θ, 영상 점과 주점 사이의 거리 r, 초점 길이 f, 좌표계에서 주점 및 다른 관련 매개변수들로부터 유래하는 영상 점 벡터에 의해 이루어진 센서 평면의 x-축에 대한 각도 φ일 것이다.
도 4a 및 도 4b는 에지 디바이스들 상에서의 거리 추정의 방법의 배치 후에 따라야 할 단계들에 대한 흐름도를 도시한다.
도 4c는 2D 영상의 GT 좌표 값들 그리드 구조에서 샘플 사변형을 도시한다. 이때, 도 4c에 표기된 ‘Longitudinal’ 및 ‘Lateral‘은 각각 ‘종방향’ 및 ‘측방향’을 의미하고, 도 4c에 표기된 ‘Sample Quadrilateral‘은 ‘샘플 사변형’을 의미한다.
도 5는 외재적 카메라 교정 작업을 위해 캡처된 입력 영상에서의 마킹된 점들을 도시한다.
도 6은 도 3a에 도시된 바와 같은 마킹된 점들에 대한 시뮬레이션 결과들을 도시한다. 이때, 도 6에 표기된 ‘Only pose’, ‘Prior Info’, ‘Fusion’, ‘Longitudinal distance from car’ 및 ‘Lateral distance from car’은 각각 ‘포즈 만’, ‘이전 정보’, ‘융합’, ‘차량으로부터 종방향 거리’ 및 ‘차량으로부터 측방향 거리’를 의미한다.
도 7은 본 발명의 일 실시예에 따른 유클리드 공간에서 객체들의 거리를 추정하기 위한 장치를 도시한다.

이제 실시예들 중 일부가 도시되어 있는 첨부 도면들을 참조하여 본 발명의 실시 예들을 보다 상세히 설명할 것이다. 다음의 설명은 본 발명의 실시예들의 예시적인 것으로 의도되며 제한적인 것으로 간주되지 않아야 한다.

단어들 “포함하는(comprising)”, “갖는(having)”, “함유하는(containing)”, 및 “포함하는(including)”, 및 이들의 다른 형태들은, 이들 단어들 중 임의의 하나 다음에 오는 항목 또는 항목들이 그러한 항목 또는 항목들의 포괄적인 목록인 것을 의미하지 않거나, 또는 열거된 항목 또는 항목들만으로 제한되는 것을 의미하지 않는다는 점에서, 동등한 의미로 의도되며 개방형으로 간주된다.

본원 및 첨부된 청구항들에서 사용되는 바와 같이, 단수 형태들(“a”, “an”, 및 “the”)은 문맥이 명확하게 달리 지시하지 않는 한 복수의 지시 대상을 포함한다는 것에 또한 유의해야 한다. 본원에 설명된 것들과 유사하거나 동등한 임의의 시스템들 및 방법들이 본 발명의 실시예들의 실시 또는 테스트에서 사용될 수 있지만, 바람직한 시스템들 및 방법들을 이제 설명한다.

개시된 실시예들은 단지 본 발명의 예시이며, 이는 다양한 형태들로 구현될 수 있다.

도면들에 예시된 요소들은 아래에서 더 상세히 설명되는 바와 같이 상호-동작한다. 그러나, 상세한 설명을 제시하기 전에, 아래의 모든 논의는, 설명되는 특정 구현에 관계없이, 제한적이기보다는 사실상 예시적이라는 것에 유의한다.

본 발명은 핀홀 카메라뿐만 아니라 어안 렌즈 카메라에 대한 실시간 거리 추정 방법을 개시한다. 본 발명은 카메라로부터 객체의 거리를 추정하기 위해 장면 이전 정보뿐만 아니라 카메라 포즈 정보를 이용한다. 카메라 포즈 정보는 내재적 카메라 교정 정보를 본질적으로 이용하는 외재적 카메라 교정의 도움으로 추정된다.

어안 렌즈 카메라 및 임의의 다른 카메라 모델들은 획득된 입력 영상에 왜곡을 가져온다. 따라서, 영상 비왜곡 또는 픽셀점 비왜곡의 추가적인 단계가 요구된다.

위의 추가적인 단계는, 임의의 입력 영상 또는 그의 랜덤 픽셀점들에 거리 추정을 적용하기 전에; 입력 영상 또는 그의 픽셀점들이 핀홀 카메라 모델을 따르는 것을 보장하기 위해 필요하다.

본 발명의 실시예에 따른 거리 추정 방법은 사실상 일반적이고 입력 영상에 임의의 관심 영역을 요구하지 않으며, 추정될 수 있는 최소 및 최대 거리에 대한 어떠한 제한도 갖지 않는다.

본 방법은 종래 기술의 기존의 거리 추정 방법들의 실시간 속도 및 정확도 문제들을 극복한다.

카메라 내재적 및 외재적 매개변수들에 대한 의존도와는 별개로, 본 방법은 어떠한 추가적인 의존도도 갖지 않는다. 이는 실시간 응용들을 위해 에지 디바이스들 상에 배치할 수 있는 높은 자격을 부여하는 수학적 계산들에 의존한다. 낮은 대기 시간과 높은 정확도로 인해 본 발명은 에지 디바이스들과 포트 준비에 친화적이다.

도 1은 거리 추정을 위한 외재적 카메라 교정 셋업 및 대응하는 세계 좌표계를 도시한다.

도 2는 카메라-좌표계 원점, 즉 카메라 세계 위치로부터 객체의 종방향 거리, 측방향 거리, 및 유클리드 거리를 산출하기 위한 개략도를 도시한다.

도 1 및 2를 참조하면, 좌표들(Xw, Yw, Zw)은 Ow에 원점을 갖는 세계 좌표들을 나타내고, 좌표들(Xc, Yc, Zc)은 Oc에 원점을 갖는 카메라 좌표들을 나타낸다. 좌표들(Xc→w, Yc→w, Zc→w)은 Oc→w에 원점을 갖는 세계 좌표계에 대한 카메라 포즈 좌표들을 나타낸다.

보다 구체적으로, 좌표들(Xw, Yw, Zw), 좌표들(Xc, Yc, Zc) 및 좌표들(Xc→w, Yc→w, Zc→w)에 대한 상세한 설명은 다음과 같다.

Oc: 카메라 좌표 원점, Xc: 카메라 좌표 X축, Yc: 카메라 좌표 Y축, Zc: 카메라 좌표 Z축, Oc->w: 세계 좌표계 원점에 대한 카메라 좌표 원점 위치, Xc->w: 세계 좌표계에 대한 카메라 포즈 X 좌표, Yc->w: 세계 좌표계에 대한 카메라 포즈 Y 좌표, Zc->w: 세계 좌표계에 대한 카메라 포즈 Z 좌표, Ow: 세계 좌표 원점, Xw: 세계 좌표 X축, Yw: 세계 좌표 Y축, Zw: 세계 좌표 Z축(단, 좌표들(Xw, Yw, Zw)에서 Z축 음의 값들은 평면으로부터 위로 향함)

제안된 거리 추정 방법에서, 특정 카메라 모델은 모든 교정 매개변수 계산에 대해 고려되었고, 이들 교정 매개변수들은 제안된 방법의 필수 부분이다.

도 3은 에지 디바이스들 상에서의 거리 추정의 방법의 배치 전에 따라야 할 단계들에 대한 흐름도를 도시한다.

도 3을 참조하면, 배치-전 작업 동안, 카메라 내재적 및 외재적 매개변수들만이 고려되었고, 이들에 기초하여, 임의의 다른 추가 센서로부터의 명시적인 지식 없이 카메라 포즈가 추정되었다.

단계(301)에서, 세계 좌표계 원점(Ow)의 픽셀 좌표들이 2D 캡처된 영상으로부터 획득된다. 외재적 카메라 교정을 위한 세계 좌표계의 기준 원점은 [0.0, 0.0, 0.0]mm에 위치된다.

단계(302)에서, 2D 캡처된 영상을 캡처하기 위해 사용되는 카메라가 어안 렌즈 카메라이면, 각각의 객체 픽셀 좌표는 왜곡되지 않아야 한다. 이 단계는 핀홀 카메라에 대해서는 건너뛸 수 있다. 타겟 핀홀 카메라 초점 길이는 (0.004150에서 시작하여) 설정된다.

단계(303)에서, 플래너 호모그래피 행렬(planner homography matrix)의 축척 계수(scale factor) s가 아래에 도시된 바와 같이 수식 (1) 및 (2)를 사용하여, 카메라 내재적 매개변수들, 그 회전 행렬 및 병진 벡터, 즉 어안 렌즈 카메라 외재적 매개변수들을 사용하여 계산된다:

…(1)

…(2)

여기서,

u, v: 픽셀-좌표들;

X, Y, Z: 세계-좌표들;

s: 축척 계수;

K: 카메라 내재적 행렬;

R: 카메라 회전 행렬; 및

T: 카메라 병진 벡터.

단계(304)에서, (세계 좌표계 원점 Ow의) 대응하는 픽셀 좌표들의 세계 좌표들이 아래에 도시된 바와 같이 수식 (3)을 사용하여 추정된다:

…(3)

여기서,

u, v: 픽셀-좌표들;

X, Y, Z: 세계-좌표들;

s: 축척 계수;

K: 카메라 내재적 행렬;

R: 카메라 회전 행렬; 및

T: 카메라 병진 벡터.

단계(305)에서, 상기 추정된 세계 좌표들이 [0.0, 0.0, 0.0]mm에 가까우면(즉, 다음 범위 기준: 0.0mm ≤ [X, Y, Z] < 50.0mm를 충족하는 경우), 세계 좌표들은 병진 벡터 T_pre 및 대응하는 핀홀 카메라 초점 길이 f_pin으로서 저장된다(즉, 다음 범위 기준에 대해: 0.0mm ≤ [X, Y, Z] < 50.0mm를 충족함). 그렇지 않으면, 핀홀 카메라 초점 길이의 값을 휴리스틱하게 조정한 후에, 추정된 세계 좌표들이 [0.0, 0.0, 0.0]에 가까워질 때까지(즉, 다음 범위 기준: 0.0mm ≤ [X, Y, Z] < 50.0mm를 충족할 때까지) 단계들(302 내지 304)을 반복한다.

왜곡되지 않은 어안 렌즈 영상 픽셀점이 왜곡되지 않은 후에 따르게 되는 기하학적 구조의 타겟 핀홀 카메라 초점 길이는 미리 알려져 있지 않다. 이는 왜곡되지 않은 공정 동안 일부 오류를 초래한다(핀홀 초점 길이는 휴리스틱하게 정제되어야 한다). 내재적 교정의 정확도 또한 어안 렌즈 영상의 입력 픽셀점의 왜곡되지 않은 정확도에 영향을 미친다. 이러한 모든 요인들은 영상의 세계 좌표 변환(역 원근 변환)의 정확도에 영향을 미친다. 제안된 접근법 및 실제 지상 실측 정보 값을 사용하여 추정된 거리의 편차가 최소화되도록 하기 위해, 타겟 핀홀 카메라 초점 길이는, 세계 좌표계 원점의 왜곡되지 않은 픽셀-좌표의 역 원근 변환이 [0.0, 0.0, 0.0]mm(이상적인 경우)로 매핑되도록, 휴리스틱하게 추정되어야 한다. 그러나, 실제 시나리오에서는 결코 [0.0, 0.0, 0.0]mm로 매핑되지 않으며, 항상 일부 편차가 있다. 몇몇 실험들 후에 수용 가능한 편차는 세계 좌표계의 각각의 축 상에서 50mm인 것으로 밝혀졌다.

타겟 핀홀 카메라 초점 길이 값은 위의 상기 편차가 세계 좌표계의 각각의 축 상에서 50mm 미만이 되지 않을 때까지 휴리스틱하게 조정된다.

따라서, 제안된 방법은 배치-전 단계 자체에서 타겟 핀홀 카메라 초점 길이의 최적 값을 휴리스틱하게 추정함으로써 추정된 거리 값의 오류를 감소시키려고 시도한다. 이는 배치-후 시기 동안 오류 전파를 완화시킨다.

실세계 좌표계에서 카메라 포즈 정보가 아래에 도시된 바와 같이 수식 (4)를 사용하여 계산된다:

…(4)

여기서,

R: 카메라 회전 행렬; 및

T: 카메라 병진 벡터.

도 3a는 거리 추정 그리드의, 카메라에 의해 획득된 2D-영상을 도시하며, 여기서 그리드 교차점들의 넘버링은 적색 & 좌측-우측 순서로 행해진다.

도 3b는 도 3a에 도시된 영상에 대응하는 종방향 및 측방향 거리 추정을 위한 GT 좌표 값들 그리드 구조를 도시한다.

도 3에 도시된 바와 같이, 내부 교차점의 지상 실측 정보가 이미 알려진 직사각형 그리드 종류의 구조가 사용되었다. 이 지상 실측 정보 지식으로부터, 메시 그리드가 실세계 좌표계에 형성되었다.

위의 상기 메시 그리드 점들의 대응하는 픽셀 좌표 값들은 배치-전 시기 동안 (도 3a에 의해 도시된 바와 같이) 2D-영상에 마킹되었고 이어서 매핑을 위해 저장되었다. 그 다음, 입력 픽셀점에 대해 수평 및 수직 그리드 id가 수평 및 수직 라인들을 피팅함으로써 추정되었다. 그리드 id 값에 기초하여, 역 매핑이 실세계 좌표계에서 행해졌다. 이러한 역 매핑을 위해, 기존의 지상 실측 정보 값들 및 선형 보간이 사용되었다. 선형 보간의 도움으로, 최종 종방향 및 측방향 객체 거리들이 추정되었다. 그 후에 양 접근법들을 사용하여 추정된 거리 값들을 함께 융합하였다.

보다 구체적으로, 단계(401)에서, 거리 지상 실측 정보 값들을 측정하기 위해 기준 거리 추정 그리드 유사 구조를 설정한다.

단계(402)에서, mm 단위로 측정된 종방향 및 측방향 지상 실측 정보 좌표 값들은 (도 3d에 의해 도시된 바와 같이) 두 개의 별개의 텍스트 파일, 즉 “gt_logitudinal_coordinates.txt” 및 “gt_lateral_coordinates.txt”에 저장된다.

단계(403)에서, 거리 추정 그리드 유사 구조의 2D 영상 내의 교차점들이 마킹된다. 이 교차점들은 입력 영상이 내재적 및 외재적 카메라 교정을 위해 사용되는 동일한 카메라를 사용하여 획득된다.

마킹 순서는 영상의 하부-좌측 부분에 위치된 가시적 교차점으로부터 시작하고, 우측을 향해 이동한 다음, 위의 행에 위치된 교차점들을 마킹하기 위해 좌측으로 진행한다.

단계(404)에서, 마킹된 점 픽셀 좌표 값들이 (도 3e에 도시된 바와 같이) 텍스트 파일 “gt_PixelValues.txt”에 저장된다.

도 3c는 배치-전 및 배치-후 시기 동안 왜곡되지 않은 영상 픽셀점을 획득하기 위한 방법의 흐름도를 도시한다.

이제 도 3c를 참조하면, 단계(501)에서, (단계 번호 305에서 추정된 바와 같이) 어안 렌즈 카메라 내재적 매개변수 및 핀홀 카메라 초점 길이(f_pin)를 사용하여, 역 투영이 획득된다.

단계(502)에서, 원근 투영 값이 아래에 도시된 바와 같은 수식 (5)를 사용하여 인입 광선의 방향(도 3f에 도시된 바와 같은, 각도

&

)을 사용하여 추정된다:

r = tan(

)/f_pin …(5)

여기서,

: 주축과 인입 광선 사이의 각도;

r: 영상점과 주점 사이의 거리; 및

f_pin: (단계 번호 305에서 추정된 바와 같은) 핀홀 카메라 초점 길이.

단계(503)에서, 왜곡되지 않은 픽셀점이 아래에 도시된 바와 같은 수식 (6)을 사용하여 계산된다:

여기서,

: 왜곡되지 않은 픽셀점 좌표들;

r: 영상점과 주점 사이의 거리;

: 주점에서 시작되는 영상점 벡터에 의해 만들어지는 센서 평면의 x축에 대한 각도;

: x 방향의 영상 중심 값; 및

: y 방향의 영상 중심 값.

도 3e는 도 3a 및 도 3b에 도시된 바와 같은 GT 좌표점들의 대응하는 픽셀값들을 도시한다. 넘버링은 행 단위이고, 각각의 행은 도 3a에 도시된 바와 같은 동일한 점 순서를 따른다.

도 3f는 카메라 좌표계 축들(Xc, Yc, Zc)을 도시하며, 세계 점 P의 영상은 p인 반면, 이것은 핀홀 카메라에 의한 p', 주축과 입사 광선 사이의 각도

, 영상 점과 주점 사이의 거리 r, 초점 길이 f, 좌표계에서 주점 및 다른 관련 매개변수들로부터 유래하는 영상 점 벡터에 의해 이루어진 센서 평면의 x-축에 대한 각도

일 것이다.

도 4a 및 도 4b는 에지 디바이스들 상에서의 거리 추정의 방법의 배치 후에 따라야 할 단계들에 대한 흐름도를 도시한다.

단계(601)에서, 객체들의 픽셀 좌표들이 의미론적으로 세그먼트화된 입력 영상들로부터 획득되거나 또는 2D 캡처된 입력 영상으로부터 유사한 정보를 생성하는 임의의 다른 모듈로부터 획득된다.

단계(602)에서, 2D 입력 영상을 캡처하기 위해 사용되는 카메라가 어안 렌즈 카메라이면, 핀홀 카메라 초점 길이 f_pin(배치-전 시기 동안 추정됨)을 사용하고, 카메라 내재적 매개변수들을 사용하며, 왜곡되지 않은 것이 각각의 픽셀 좌표에 적용된다. 이 단계는 핀홀 카메라에 대해서는 건너뛸 수 있다.

단계(603)에서, 플래너 호모그래피 행렬(planner homography matrix)의 축척 계수(scale factor) s가 아래에 도시된 바와 같이 수식 (1) 및 (2)에 따라서, 카메라 내재적 매개변수들, 그 회전 행렬 및 병진 벡터를 사용하여 계산된다:

…(1)

…(2)

여기서,

u, v: 픽셀-좌표들;

X, Y, Z: 세계-좌표들;

s: 축척 계수;

K: 카메라 내재적 행렬;

R: 카메라 회전 행렬; 및

T: 카메라 병진 벡터.

단계(604)에서, 대응하는 픽셀 좌표들의 세계 좌표들(X_p, Y_p, Z_p)이 아래와 같이 재현되는 수식 (3)을 사용하여 추정된다:

…(3)

여기서,

u, v: 픽셀-좌표들;

X, Y, Z: 세계-좌표들;

s: 축척 계수;

K: 카메라 내재적 행렬;

R: 카메라 회전 행렬; 및

T: 카메라 병진 벡터.

단계(605)에서, 선형 병진이 배치-전 단계 번호 305 동안 계산된 병진 벡터(T_pre)를 사용하여 각각의 계산된 세계 좌표들에 적용된다. 그런 후, 추정된 세계 좌표들을 선형 병진 동작 후에 업데이트한다.

단계(606)에서, 실세계 좌표계에서 카메라 포즈 정보가 아래에 재현된 바와 같이 수식 (4)를 사용하여 계산된다:

…(4)

여기서,

R: 카메라 회전 행렬; 및

T: 카메라 병진 벡터.

단계(607)에서, 유클리드, 종방향 및 측방향 거리들이 아래에 도시된 바와 같이, 각각 수식 (5), (6), (7) 및 (8)을 사용하여 계산된다:

…(5)

…(6)

…(7)

…(8)

여기서,

: 세계 좌표계에 대해 카메라 좌표계 원점에서 현재 고려 중인 점의 유클리드 거리;

:단계 번호 605에서 추정된 바와 같이 세계 좌표계에 대해 대응하는 픽셀점의 세계 좌표들;

: 단계 번호 606에서 추정된 바와 같이 세계 좌표계에 대한 각각 카메라 포즈 X, Y, Z 좌표들;

: 세계 좌표계에 대해 카메라 좌표계 원점에서 현재 고려 중인 점의 종방향 거리; 및

: 세계 좌표계에 대해 카메라 좌표계 원점에서 현재 고려 중인 점의 측방향 거리.

추가로, 입력 픽셀점에 대해, 수평 및 수직 그리드 id가 수평 및 수직 라인들을 피팅함으로써 추정된다. 그리드 id 값에 기초하여, 역 매핑이 실세계 좌표계에서 행해진다. 이러한 역 매핑을 위해, 기존의 지상 실측 정보 값들 및 선형 보간이 사용된다. 선형 보간의 도움으로, 최종 종방향 및 측방향 객체 거리들이 추정된다. 마지막으로, 두 접근법을 사용하여(즉, 카메라 포즈 정보 및 장면 이전 정보(그리드 매핑)를 사용하여) 추정된 거리 값들이 함께 융합되었다.

보다 구체적으로, 단계(701)에서, 종방향 및 측방향 GT 그리드 점 좌표 값들이 배치-전 단계 동안 저장된 이들의 대응하는 텍스트 파일들(“gt_logitudinal_coordinates.txt” 및 “gt_lateral_coordinates.txt”(도 3d에 의해 도시된 바와 같음))로부터 판독된다. 예를 들면:

마킹된/검출된 2D 픽셀-점 좌표 값들이 배치-전 단계 동안 저장된 텍스트 파일(“gt_PixelValues.txt”(도 3e에 도시된 바와 같음))로부터 판독된다.

단계(702)에서, 2D 캡처된 입력 영상이 어안 렌즈 카메라 영상이면, 왜곡되지 않은 것이 각각의 GT 점의 대응하는 픽셀-점 좌표 값들에 적용된다. 이 단계는 핀홀 카메라에 대해서는 건너뛸 수 있다.

단계(703)에서, (세계 좌표계의) 메시-그리드 구조가 실세계 GT 좌표 값들로부터 생성된다.

단계(704)에서, 네 개의 가장 가까운 이웃 좌표 GT 점 값들(하부-좌측, 하부-우측, 상부-좌측, 상부-우측), 및 이들의 대응하는 2D 픽셀 값들(이들은 연속적인 사변형을 형성할 수 있음)이 선택된다.

단계(705)에서, 왜곡되지 않은 입력 픽셀 좌표가 그리드 ID 번호를 추정하기 위해, 네 개의 서브-삼각형들의 면적을 계산하고 그들의 총 합을 사변형의 총 면적과 비교함으로써 픽셀-점 사변형 중 하나에 매핑된다.

단계(706)에서, LongitudinalDistanceGridMapping가 아래의 서브-단계들을 따름으로써 추정된다:

단계(7061)에서, (상부-좌측, 하부-좌측) 및 (상부-우측, 하부-우측) 사변형 꼭지점군의 y-좌표 차이들의 비를 취함으로써 델타의 값이 추정된다.

단계(7062)에서, y-좌표 값 어레이가 사변형의 좌측 및 우측에 대한 델타 값을 사용함으로써 생성된다. 다음으로, x-좌표 값 어레이가 사변형의 좌측 및 우측에 대한 추정된 접선 및 기울기 값을 활용함으로써 생성된다.

단계(7063)에서, 사변형의 좌측 및 우측에 대한 x- 및 y-좌표 값 어레이들을 사용함으로써, 수평으로 피팅된 선들의 어레이가 생성된다.

단계(7064)에서, 각각의 수평으로 피팅된 선의 수직 거리가 입력 픽셀점 좌표 값들을 이용하여 추정된다.

단계(7065)에서, 추정된 거리가 허용된 임계 값 내에 있는지 여부가 체크된다. 허용된 임계 값은

픽셀 값이다. 그 다음, 모든 자격이 있는 거리 값의 절대값이 어레이에 저장되고 정렬된다.

단계(7066)에서, 최소 거리 값의 y-좌표 그리드 ID 번호가 취해지고, 사변형의 좌측 및 우측의 y-좌표 값의 차이의 최소치인 수평 그리드 해상도 값이 저장된다.

단계(7067)에서, 수평 그리드 해상도 값에 기초하여, 실세계 종방향 GT 좌표 값들에 대한 델타 단계 값이 계산된다.

단계(7068)에서, 실세계 종방향 거리(LongitudinalDistanceGridMapping) 값이 종방향 GT 좌표 및 추정된 델타 단계 값을 사용하여 추정된다.

단계(707)에서, LateralDistanceGridMapping가 아래의 서브-단계들을 따름으로써 추정된다:

단계(7071)에서, (상부-좌측, 상부-우측) 및 (하부-좌측, 하부-우측) 사변형 꼭지점군의 x-좌표 차이들의 비를 취함으로써 델타의 값이 추정된다.

단계(7072)에서, x-좌표 값 어레이가 사변형의 상부 및 하부에 대한 델타 값을 사용함으로써 생성된다. 다음으로, y-좌표 값 어레이가 사변형의 상부 및 하부에 대한 추정된 접선 및 기울기 값을 활용함으로써 생성된다.

단계(7073)에서, 사변형의 상부 및 하부측에 대한 x- 및 y-좌표 값 어레이들을 사용함으로써, 수직으로 피팅된 선들의 어레이가 생성된다.

단계(7074)에서, 각각의 수직으로 피팅된 선의 수직 거리가 입력 픽셀점 좌표 값들을 이용하여 추정된다.

단계(7075)에서, 추정된 거리가 허용된 임계 값 내에 있는지 여부가 체크된다. 허용된 임계 값은

픽셀 값이다. 그 다음, 모든 자격이 있는 거리 값의 절대값이 어레이에 저장되고 정렬된다.

단계(7076)에서, 최소 거리 값의 x-좌표 그리드 ID 번호가 취해지고, 사변형의 상부 및 하부 측의 x-좌표 값의 차이의 최소치인 수직 그리드 해상도 값이 저장된다.

단계(7077)에서, 수직 그리드 해상도 값에 기초하여, 실세계 측방향 GT 좌표 값들에 대한 델타 단계 값이 계산된다.

단계(7078)에서, 실세계 측방향 거리(LateralDistanceGridMapping) 값이 측방향 좌표 및 추정된 델타 단계 값을 사용하여 추정된다.

단계 708에서, 양 방법들을 사용하여(즉, 카메라 포즈 정보 및 장면 이전 정보(그리드 매핑)을 사용하여) 추정된 거리들의 융합이 아래의 수식 (9) 및 (10)에 제시된 바와 같이 알파 블렌딩(여기서, α=0.8)을 활용함으로써 수행되어 정제된 추정된 종방향 및 측방향 거리 값들을 획득한다.

…(9)

…(10)

여기서,

: 단계 번호 607에 도시된 바와 같이 수식 (6)로부터 추정된 종방향 거리;

: 단계 번호 607에 도시된 바와 같이 수식 (7)/(8)(경우에 따라 다름)으로부터 추정된 측방향 거리; 및

: 알파 블렌딩 매개변수.

종래 기술에 존재하는 다른 해결책들 중 어느 것도 거리 추정의 실시간 처리 문제들을 적절히 해결하지 못하고 동시에 안전 임계 자율 주행 차량에 요구되는 정확도를 산출하지 못한다.

본 발명은 종래 기술의 기존의 방법들에 의해 요구되는 바와 같은 다양한 매개변수들을 추정하기 위해 임의의 특수 머신/딥 러닝 훈련 방법들을 요구하지 않는다.

본 방법은 그 고유의 단순한 수학적 단계들 및 매우 제한된 양의 하드웨어 리소스들의 요구 때문에 거리 추정 결과들을 실시간으로 전달할 수 있다.

요약하면, 본 발명의 거리 추정 접근법은 두 가지 방법을 사용하여 추정된 거리들, 즉, i. 카메라 포즈 정보를 사용한 유클리드 공간에서 유클리드 거리, 및 ii. 카메라 교정 작업 동안 획득된 사전 지식 정보를 사용하여 추정된 거리의 융합에 기초한다.

본 발명은 사실상 일반적이며, 정상 핀홀 카메라이든 또는 어안 렌즈 카메라이든 임의의 종류의 카메라에 대해 작동할 수 있다.

본 발명에서, 특정 카메라 모델은 모든 교정 매개변수 계산에 대해 고려되었고, 이들 교정 매개변수들은 제안된 접근법의 필수 부분이다.

본 발명에서, 배치-전 작업 동안, 카메라 내재적 및 외재적 매개변수들만이 고려되었고, 이들에 기초하여, 임의의 다른 추가 센서로부터의 명시적인 지식 없이 카메라 포즈가 추정되었다. 입력 영상으로부터 특정 관심 영역 선택에 대한 요구가 없으며, 본 발명은 전체 영상 해상도에 대해 작용한다.

도 7은 본 발명의 일 실시예에 따른 유클리드 공간에서 객체들의 거리를 추정하기 위한 장치(100)를 도시한다. 유클리드 공간에서 객체들의 거리를 추정하기 위한 장치(100)는 적어도 하나의 프로세서(110), 적어도 하나의 프로세서(110)에 통신 가능하게 결합된 카메라(160) 및 적어도 하나의 프로세서(110)에 통신 가능하게 결합된 메모리(120)를 포함한다. 메모리(120)는 적어도 하나의 프로세서(110)에 의해 실행될 때, 장치(100)가 유클리드 공간에서 객체들의 거리를 추정하도록 구성하는 명령들을 저장한다. 상기 장치는 또한 사용자가 상기 장치와 상호작용할 수 있게 하는 디스플레이(140), 저장 시스템(150) 및 I/O 인터페이스(130)를 포함한다. 도시되지 않았지만 다른 하드웨어 및/또는 소프트웨어 컴포넌트들이 상기 장치와 함께 사용될 수 있음을 이해해야 한다.

본 발명의 방법 및 장치는 배치-전 단계 자체에서 타겟 핀홀 카메라 초점 길이의 최적 값을 휴리스틱적으로 추정함으로써 추정된 거리 값에서 오류를 감소시키고, 이는 배치-전 시기 동안 오류 전파를 완화시킨다. 본 발명은 카메라 교정 동안 획득된 장면 이전 지식이 고려되는 거리 추정의 고유한 방법을 제공한다.

본 발명의 전술한 설명은 통상의 기술자가 현재 최적의 방식으로 간주되는 것을 만들고 사용할 수 있게 하지만, 통상의 기술자들은 본원의 특정 실시예들의 방법 및 상세들의 변형들, 조합들 및 등가물들의 존재를 이해하고 인식할 것이다.

본 발명의 바람직한 실시예들이 설명되고 예시되었지만, 본 발명의 범위를 벗어나지 않고 다양한 변경들이 이루어질 수 있다는 것을 이해할 것이다.

Claims (18)

1. 유클리드 공간에서 객체들의 거리를 추정하기 위한 방법에 있어서, 상기 방법은:
   프로세서(110)에 의해, 직사각형 그리드 구조의 내부 교차점의 지상 실측 정보 지식을 사용하여 실세계 좌표계에서 메시 그리드를 형성하는 단계;
   상기 프로세서(110)에 의해, 배치-전 시기 동안 카메라(160)에 의해 캡처된 2D 영상에서 상기 메시 그리드의 대응하는 픽셀 좌표 값들을 마킹하는 단계;
   메모리(120)에, 상기 매핑을 위해 마킹된 픽셀 좌표 값들을 저장하는 단계;
   상기 프로세서(110)에 의해, 수평 및 수직 선들을 피팅함으로써 입력 픽셀점에 대한 수평 및 수직 그리드 id를 추정하는 단계;
   상기 프로세서(110)에 의해, 상기 그리드 id 값에 기초하여 상기 실세계 좌표계에서 역 매핑하는 단계―상기 역 매핑을 위해, 기존의 지상 실측 정보 값들 및 선형 보간이 사용됨―;
   상기 프로세서(110)에 의해, 선형 보간을 사용하여 최종 종방향 및 측방향 객체 거리들을 추정하는 단계; 및
   상기 프로세서(110)에 의해, 알파 블렌딩을 사용하여 최종 종방향 및 측방향 객체 거리들의 융합을 수행하는 단계;를 포함하는, 방법.
2. 제1항에 있어서,
   상기 2D 영상을 캡처하기 위해 사용되는 상기 카메라(160)가 핀홀 카메라가 아니면, 각각의 객체 픽셀 좌표는 왜곡되지 않는 것을 특징으로 하는, 방법.
3. 제1항에 있어서,
   상기 픽셀 세계 좌표들은 다음 수식을 사용하여 추정되는 것을 특징으로 하는, 방법:
   

   

   
   여기서,
   u, v: 픽셀-좌표들;
   X, Y, Z: 세계-좌표들;
   s: 축척 계수;
   K: 카메라 내재적 행렬;
   R: 카메라 회전 행렬; 및
   T: 카메라 병진 벡터.
4. 제3항에 있어서,
   상기 축척 계수 s는 다음 수식들을 사용하여 카메라 내재적 매개변수들, 그 회전 행렬 및 병진 벡터를 사용하여 계산되는 것을 특징으로 하는, 방법:
   

   

   
   

   

   
   여기서,
   u, v: 픽셀-좌표들;
   X, Y, Z: 세계-좌표들;
   s: 축척 계수;
   K: 카메라 내재적 행렬;
   R: 카메라 회전 행렬; 및
   T: 카메라 병진 벡터.
5. 제1항에 있어서,
   상기 추정된 세계 좌표들이 [0.0, 0.0, 0.0]에 가까우면, 즉, 세계 좌표들이 다음 기준 0.0 mm <= [|XP|, |YP|, |ZP|] < 50.0mm을 충족하면(여기서, [|XP|, |YP|, |ZP|]는 상기 세계 좌표계 원점 OW의 상기 2D 캡처된 영상에서 대응하는 픽셀 좌표들의 추정된 세계 좌표들임), 상기 좌표들은 병진 벡터 T_pre 및 핀홀 카메라 초점 길이 f_pin으로서 저장되는 것을 특징으로 하는, 방법.
6. 제1항에 있어서,
   상기 유클리드 거리는 다음 수식을 사용하여 계산되는 것을 특징으로 하는, 방법:
   

   

   
   여기서,
   

   

   :세계 좌표계에 대해 카메라 좌표계 원점에서 현재 고려 중인 점의 유클리드 거리(카메라 포즈 정보 사용);
   

   

   : 세계 좌표계에 대한 카메라 포즈 X 좌표;
   

   

   : 세계 좌표계에 대한 카메라 포즈 Y 좌표;
   

   

   : 세계 좌표계에 대한 카메라 포즈 Z 좌표;
   

   

   : 현재 고려 중인 점의 세계 좌표계에 대한 X 좌표;
   

   

   : 현재 고려 중인 점의 세계 좌표계에 대한 Y 좌표; 및
   

   

   : 현재 고려 중인 점의 세계 좌표계에 대한 Z 좌표.
7. 제1항에 있어서,
   상기 종방향 거리는 다음 수식을 사용하여 계산되는 것을 특징으로 하는, 방법:
   

   

   
   여기서,
   

   

   : 세계 좌표계에 대해 카메라 좌표계 원점에서 현재 고려 중인 점의 종방향 거리(카메라 포즈 정보 사용);
   

   

   : 세계 좌표계에 대한 카메라 포즈 X 좌표; 및
   

   

   : 현재 고려 중인 점의 세계 좌표계에 대한 X 좌표.
8. 제1항에 있어서,
   상기 측방향 거리는 다음 수식들을 사용하여 계산되는 것을 특징으로 하는, 방법:
   

   

   
   
   여기서,
   

   

   : 세계 좌표계에 대해 카메라 좌표계 원점에서 현재 고려 중인 점의 측방향 거리(카메라 포즈 정보 사용);
   

   

   : 세계 좌표계에 대한 카메라 포즈 Y 좌표; 및
   

   

   : 현재 고려 중인 점의 세계 좌표계에 대한 Y 좌표.
9. 제1항에 있어서,
   두 방법을 사용하여(즉, 카메라 포즈 정보 및 장면 이전 정보(그리드 매핑)를 사용하여) 상기 추정된 거리들의 융합은 알파 블렌딩을 활용하여 수행되고; 다음 수식들을 사용하여 계산되는 것을 특징으로 하는, 방법:
   

   

   
   

   

   
   여기서,
   

   

   : 카메라 포즈 정보를 사용하여 추정된 종방향 거리;
   

   

   : 장면 이전 정보(그리드 매핑)를 사용하여 추정된 종방향 거리;
   

   

   : 카메라 포즈 정보를 사용하여 추정된 측방향 거리;
   

   

   : 장면 이전 정보(그리드 매핑)를 사용하여 추정된 측방향 거리; 및
   

   

   : 알파 블렌딩 매개변수.
10. 유클리드 공간에서 객체들의 거리를 추정하기 위한 장치(100)에 있어서, 상기 장치(100)는:
    적어도 하나의 프로세서(110);
    상기 적어도 하나의 프로세서(110)에 통신 가능하게 결합된 카메라(160); 및
    상기 적어도 하나의 프로세서(110)에 통신 가능하게 결합된 메모리(120)를 포함하되,
    상기 메모리(120)는, 상기 적어도 하나의 프로세서(110)에 의해 실행될 때, 상기 장치(100)를:
    직사각형 그리드 구조의 내부 교차점의 지상 실측 정보 지식을 사용하여 실세계 좌표계에서 메시 그리드를 형성하고;
    배치-전 시기 동안 상기 카메라(160)에 의해 캡처된 2D 영상에서 상기 메시 그리드의 대응하는 픽셀 좌표 값들을 마킹하고;
    상기 매핑을 위해 마킹된 픽셀 좌표 값들을 저장하고;
    수평 및 수직 선들을 피팅함으로써 입력 픽셀점에 대한 수평 및 수직 그리드 id를 추정하고;
    상기 그리드 id 값에 기초하여 상기 실세계 좌표계에서 역 매핑하고―상기 역 매핑을 위해, 기존의 지상 실측 정보 값들 및 선형 보간이 사용됨―;
    선형 보간을 사용하여 종방향 및 측방향 객체 거리들을 추정하고; 그리고
    카메라 포즈 정보를 사용하고 알파 블렌딩의 도움으로 장면 이전 지식을 사용하여 추정된 개별 종방향 및 측방향 객체 거리들의 최종 융합을 수행하도록 구성하는, 명령들을 저장하는 것을 특징으로 하는, 장치.
11. 제10항에 있어서,
    상기 2D 영상을 캡처하기 위해 사용되는 상기 카메라가 핀홀 카메라가 아니면, 각각의 객체 픽셀 좌표는 왜곡되지 않는 것을 특징으로 하는, 장치.
12. 제10항에 있어서,
    상기 픽셀의 세계 좌표들은 다음 수식을 사용하여 추정되는 것을 특징으로 하는, 장치:
    

    

    
    여기서,
    u, v: 픽셀-좌표들;
    X, Y, Z: 세계-좌표들;
    s: 축척 계수;
    K: 카메라 내재적 행렬;
    R: 카메라 회전 행렬; 및
    T: 카메라 병진 벡터.
13. 제10항에 있어서,
    상기 축척 계수 s는 다음 수식들을 사용하여 카메라 내재적 매개변수들, 그 회전 행렬 및 병진 벡터를 사용하여 계산되는 것을 특징으로 하는, 장치:
    

    

    
    

    

    
    여기서,
    u, v: 픽셀-좌표들;
    X, Y, Z: 세계-좌표들;
    s: 축척 계수;
    K: 카메라 내재적 행렬;
    R: 카메라 회전 행렬; 및
    T: 카메라 병진 벡터.
14. 제10항에 있어서,
    상기 추정된 세계 좌표들이 [0.0, 0.0, 0.0]에 가까우면, 즉, 다음 기준 0.0 mm <= [|XP|, |YP|, |ZP|] < 50.0mm을 충족하면(여기서, [|XP|, |YP|, |ZP|]는 상기 세계 좌표계 원점 OW의 상기 2D 캡처된 영상에서 대응하는 픽셀 좌표들의 추정된 세계 좌표들임), 상기 좌표들은 병진 벡터 T_pre 및 핀홀 카메라 초점 길이 f_pin으로서 저장되는 것을 특징으로 하는, 장치.
15. 제10항에 있어서,
    상기 유클리드 거리는 다음 수식을 사용하여 계산되는 것을 특징으로 하는, 장치:
    

    

    
    여기서,
    

    

    :세계 좌표계에 대해 카메라 좌표계 원점에서 현재 고려 중인 점의 유클리드 거리(카메라 포즈 정보 사용);
    

    

    : 세계 좌표계에 대한 카메라 포즈 X 좌표;
    

    

    : 세계 좌표계에 대한 카메라 포즈 Y 좌표;
    

    

    : 세계 좌표계에 대한 카메라 포즈 Z 좌표;
    

    

    : 현재 고려 중인 점의 세계 좌표계에 대한 X 좌표;
    

    

    : 현재 고려 중인 점의 세계 좌표계에 대한 Y 좌표; 및
    

    

    : 현재 고려 중인 점의 세계 좌표계에 대한 Z 좌표.
16. 제10항에 있어서,
    상기 종방향 거리는 다음 수식을 사용하여 계산되는 것을 특징으로 하는, 장치:
    

    

    
    여기서,
    

    

    : 세계 좌표계에 대해 카메라 좌표계 원점에서 현재 고려 중인 점의 종방향 거리(카메라 포즈 정보 사용);
    

    

    : 세계 좌표계에 대한 카메라 포즈 X 좌표; 및
    

    

    : 현재 고려 중인 점의 세계 좌표계에 대한 X 좌표.
17. 제10항에 있어서,
    상기 측방향 거리는 다음 수식들을 사용하여 계산되는 것을 특징으로 하는, 장치:
    

    

    
    
    여기서,
    

    

    : 세계 좌표계에 대해 카메라 좌표계 원점에서 현재 고려 중인 점의 측방향 거리(카메라 포즈 정보 사용);
    

    

    : 세계 좌표계에 대한 카메라 포즈 Y 좌표; 및
    

    

    : 현재 고려 중인 점의 세계 좌표계에 대한 Y 좌표.
18. 제10항에 있어서,
    두 방법을 사용하여(즉, 카메라 포즈 정보 및 장면 이전 정보(그리드 매핑)를 사용하여) 상기 추정된 거리들의 융합은 알파 블렌딩을 활용하여 수행되고; 다음 수식들을 사용하여 계산되는 것을 특징으로 하는, 장치:
    

    

    
    

    

    
    여기서,
    

    

    : 카메라 포즈 정보를 사용하여 추정된 종방향 거리;
    

    

    : 장면 이전 정보(그리드 매핑)를 사용하여 추정된 종방향 거리;
    

    

    : 카메라 포즈 정보를 사용하여 추정된 측방향 거리;
    

    

    : 장면 이전 정보(그리드 매핑)를 사용하여 추정된 측방향 거리; 및
    

    

    : 알파 블렌딩 매개변수.
    
    

Images