KR20210095925A

KR20210095925A - 카메라 측위

Info

Publication number: KR20210095925A
Application number: KR1020217019918A
Authority: KR
Inventors: 후쥔 바오; 궈펑 장; 자오양 황; 옌 쉬
Original assignee: 저지앙 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2019-05-27
Filing date: 2020-05-22
Publication date: 2021-08-03
Also published as: JP2022513868A; CN112001968A; CN112001968B; WO2020238790A1

Abstract

본 발명은 카메라 측위 방법, 장치 및 기록 매체를 제공하는바, 상기 방법은, 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 취득하는 것; 상기 사전 확률에 기반하여 상기 이미지 템플릿과 같은 크기의 처리 대기 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행함으로써 목표 이미지를 얻는 것; 및 상기 목표 이미지에 기반하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 확정하는 것을 포함한다.

Description

카메라 측위

본 발명은 컴퓨터 시각의 분야에 관한 것인바, 구체적으로는 카메라 측위 방법, 장치 및 기록 매체에 관한 것이다.

시각적 측위는 광범위한 응용 분야를 가지고 있다. 실제 응용 환경에 있어서, 물체 이동 등과 같은 요인은 시각적 측위의 정밀도에 영향을 줄 가능성이 있으며, 심지어 시각적 측위의 실패로 직접 이어질 수 있다.

본 발명은 카메라 측위 방법, 장치 및 기록 매체를 제공한다.

본 발명의 실시예의 제1 양태에 따르면, 카메라 측위 방법을 제공하는바, 상기 방법은,

이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 취득하는 것;

상기 사전 확률에 기반하여 상기 이미지 템플릿과 같은 크기의 처리 대기 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행함으로써 목표 이미지를 얻는 것; 및

상기 목표 이미지에 기반하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 확정하는 것을 포함한다.

본 발명의 실시예의 제2 양태에 따르면, 카메라 측위 장치를 제공하는바, 상기 장치는,

이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 취득하기 위한 취득 모듈;

상기 사전 확률에 기반하여 상기 이미지 템플릿과 같은 크기의 처리 대기 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행함으로써 목표 이미지를 얻기 위한 실행 모듈; 및

상기 목표 이미지에 기반하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 확정하기 위한 측위 모듈을 구비한다.

본 발명의 실시예의 제3 양태에 따르면, 컴퓨터 판독 가능 기록 매체를 제공하는바, 상기 기록 매체에는 컴퓨터 프로그램이 기억되어 있으며, 상기 컴퓨터 프로그램은 상술한 제1 양태에 기재된 카메라 측위 방법을 실행한다.

본 발명의 실시예의 제4 양태에 따르면, 카메라 측위 장치를 제공하는바, 상기 장치는 프로세서; 및 상기 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 구비한다. 여기서, 상기 프로세서는 상기 메모리에 기억되어 있는 실행 가능 명령을 호출하여 제1 양태에 기재된 카메라 측위 방법을 실현한다.

본실시예에 있어서, 먼저, 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 취득하고, 사전 확률에 기반하여 이미지 템플릿과 같은 크기의 처리 대기 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행함으로써 목표 이미지를 얻으며, 목표 이미지에 기반하여 카메라의 세계 좌표계 내의 절대 위치 자세를 확정할 수 있다. 카메라가 이미지를 수집하는 장면에서의 물체의 이동이 이동 가능 기계 디바이스 상의 카메라를 측위하는 결과에 주는 영향을 저감하여, 카메라 측위의 정확성을 향상시켰다.

상기의 일반적인 설명 및 이하의 상세한 설명은 예시적 및 설명적인 것일 뿐, 본 발명을 한정하려는 것이 아님을 이해해야 한다.

도 1은 본 발명의 예시적인 일 실시예에 따른 카메라 측위 방법을 나타내는 플로우 챠트이다.
도 2는 본 발명의 예시적인 일 실시예에 따른 단계 110을 나타내는 플로우 챠트이다.
도 3은 본 발명의 예시적인 일 실시예에 따른 이미지 템플릿을 나타내는 모식도이다.
도 4는 본 발명의 예시적인 일 실시예에 따른 단계 120을 나타내는 플로우 챠트이다.
도 5는 본 발명의 예시적인 다른 일 실시예에 따른 카메라 측위 방법을 나타내는 플로우 챠트이다.
도 6은 본 발명의 예시적인 일 실시예에 따른 단계 150을 나타내는 플로우 챠트이다.
도 7은 본 발명의 예시적인 일 실시예에 따른 복수의 절대 위치 자세를 보이는 모식도이다.
도 8은 본 발명의 예시적인 일 실시예에 따른 보정 위치 자세를 확정하는 과정을 나타내는 모식도이다.
도 9는 본 발명의 예시적인 일 실시예에 따른 최적화 후의 위치 자세 맵을 나타내는 모식도이다.
도 10은 본 발명의 예시적인 다른 일 실시예에 따른 카메라 측위 방법을 나타내는 플로우 챠트이다.
도 11은 본 발명의 예시적인 일 실시예에 따른 단계 230을 나타내는 플로우 챠트이다.
도 12A∼12B는 본 발명의 예시적인 일 실시예에 따른 자기 주의력 메커니즘을 나타내는 모식도이다.
도 13A는 본 발명의 예시적인 일 실시예에 따른 처리 대기 이미지를 나타내는 모식도이다.
도 13B는 본 발명의 예시적인 일 실시예에 따른 가중치 값을 조정한 후의 특징 추출 이미지를 나타내는 모식도이다.
도 14는 본 발명의 예시적인 다른 일 실시예에 따른 카메라 측위 방법 플로우 챠트이다.
도 15는 본 발명의 예시적인 일 실시예에 따른 목표 신경망을 나타내는 아키텍처도다.
도 16은 본 발명의 예시적인 일 실시예에 따른 카메라 측위 장치를 나타내는 블록도이다.
도 17은 본 발명의 예시적인 일 실시예에 따른 취득 모듈을 나타내는 블록도이다.
도 18은 본 발명의 예시적인 일 실시예에 따른 실행 모듈을 나타내는 블록도이다.
도 19는 본 발명의 예시적인 일 실시예에 따른 측위 모듈을 나타내는 블록도이다.
도 20은 본 발명의 예시적인 다른 일 실시예에 따른 카메라 측위 장치를 나타내는 블록도이다.
도 21은 본 발명의 예시적인 일 실시예에 따른 제2 확정 모듈을 나타내는 블록도이다.
도 22는 본 발명의 예시적인 다른 일 실시예에 따른 카메라 측위 장치를 나타내는 블록도이다.
도 23은 본 발명의 예시적인 일 실시예에 따른 취득 모듈을 나타내는 블록도이다.
도 24는 본 발명의 예시적인 일 실시예에 따른 실행 모듈을 나타내는 블록도이다.
도 25는 본 발명의 예시적인 일 실시예에 따른 측위 모듈을 나타내는 블록도이다.
도 26은 본 발명의 예시적인 다른 일 실시예에 따른 카메라 측위 장치를 나타내는 블록도이다.
도 27은 본 발명의 예시적인 일 실시예에 따른 전자 디바이스의 구성을 나타내는 모식도다.

여기서 예시적인 실시예를 상세하게 설명하고 그 예를 도면에 나타낸다. 이하의 설명에서 도면을 언급할 경우, 특히 명기하지 않는 한, 서로 다른 도면 내의 같은 부호는 같거나 유사한 요소를 나타낸다. 이하의 예시적인 실시예에서 설명하는 실시 형태는 본 발명과 일치하는 모든 실시 형태를 나타내는 것이 아니다. 반대로, 이들은 첨부된 특허 청구의 범위에 서술된 본 발명의 몇몇의 양태와 일치하는 장치와 방법의 단순한 예일뿐이다.

본 발명에서 사용되는 용어는 특정 실시예를 설명하는 것만을 목적으로 하고 있을뿐, 본 발명을 한정하는 것을 의도하는 것이 아니다. 본 발명 및 첨부된 특허 청구의 범위에서 사용되는 "일종”, "상기”, "당해” 등의 단수형은 문맥이 다른 의미를 명확히 나타내지 않는 한, 복수형도 포함하는 것을 의도하고 있다. 본 명세서에서 사용되는 "및/또는”이라는 용어는 하나 또는 복수의 관련되게 열거된 아이템의 임의의 하나 또는 모든 가능한 조합을 포함하는 것을 나타냄을 이해해야 한다.

본 발명에서는 제1, 제2, 제3 등의 용어를 사용하여 다양한 정보를 기술하지만, 이러한 정보는 이러한 용어에 의해 한정되어서는 안됨을 이해해야 한다. 이러한 용어는 같은 종류의 정보를 서로 구별하기 위하여서만 사용된다. 예를 들면, 본 개시의 범위에서 벗어나지 않는 전제 하에서, 제1 정보는 제2 정보라고도 불릴 수 있으며, 마찬가지로, 제2 정보는 제1 정보라고도 불릴 수 있다. 문맥에 따라 본 명세서에서 사용되는 "만약”이라는 단어는 "… 경우”, “… 면” 또는 "… 것에 응답하여”라고 해석할 수 있다.

본 발명의 실시예는 카메라 측위 방법을 제공하는바, 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률에 기반하여, 이미지 템플릿과 같은 크기의 처리 대기 이미지 내의 일부의 픽셀점을 파기하여 목표 이미지를 얻을 수 있고, 또한 목표 이미지에 기반하여 카메라의 절대 위치 자세를 확정할 수 있기에, 카메라가 이미지를 수집하는 장면에서의 물체의 이동이 카메라 측위 결과에 주는 영향을 줄이고, 카메라 측위의 정확성 및 정밀도를 향상시켰다.

본 발명의 실시예에 의해 제공되는 카메라 측위 방법은 이동 가능 기계 디바이스에 적용될 수 있으며, 이동 가능 기계 디바이스 상에 장착된 카메라에 대해 측위를 실행할 수 있다. 이동 가능 기계 디바이스는 카메라가 장착된 드론, 무인 차량, 로봇 등을 포함하지만, 이에 한정되지 않는다.

이동 가능 기계 디바이스가 이동하므로, 이에 따라 디바이스 상에 장착된 카메라의 위치 자세도 바뀌게 된다. 카메라 측위의 정확성은 이동 가능 기계 디바이스가 다양한 태스크를 실행할 때의 정확도를 향상시킬 수 있다. 예를 들면, 무인 차량에 장착된 카메라에 의해 수집된 차량의 전방 환경의 이미지에 기반하여, 카메라의 현재의 측위 정보를 확정할 수 있으며, 카메라의 측위 정보에 기반하여 차량의 현재의 측위 정보를 측위하고, 또한 당해 무인 차량에 대해 경로 계획, 궤적 추적, 충돌 경고 등 중의 적어도 하나의 스마트 운전 제어를 실행할 수 있다.

도 1에 나타낸 바와 같이, 본 발명의 실시예에 의해 제공되는 카메라 측위 방법은 이하의 단계 110~130을 포함할 수 있다.

단계 110에 있어서, 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 취득한다.

본 발명의 실시예에 있어서, 이미지 템플릿은 현재의 장면에 대응되는 이미지 템플릿과 같은 크기의 이미지 내의 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 기록하기 위한 템플릿일 수 있다. 이동 가능 물체는 버스, 차량, 사람, 자전거, 트럭, 오토바이, 동물 등의 스스로 이동할 수 있거나, 제어 하에서 이동할 수 있는 다양한 물체를 포함하지만 이에 한정되지 않는다. 사전 확률이란 과거에 수집된 현재의 장면과 같거나 유사한 이미지를 분석하여 얻은 당해 이미지 내의 각 픽셀점이 이동 가능 물체에 속하는 확률을 나타낸 것이다. 특정 픽셀점에 대응하는 사전 확률이 상대적으로 높으면, 당해 장면에 대해 수집한 이미지 내의 당해 픽셀점의 위치에서 이동 가능 물체가 출현할 가능성이 상대적으로 높은 것을 의미하고, 반대로, 특정 픽셀점에 대응하는 사전 확률이 상대적으로 낮으면, 당해 장면에 대해 수집한 이미지 내의 당해 픽셀점의 위치에서 이동 가능 물체가 출현할 가능성이 상대적으로 낮은 것을 의미한다. 당해 이미지 템플릿은 수집된 이미지 내의 서로 다른 픽셀점의 위치에서 이동 가능 물체가 출현하는 선험적인 가능성을 반영할 수 있다.

현재의 장면과 같거나 유사한 장면에 대해 수집한 이미지 세트에 대해, 상술한 이미지 세트 중의 각 이미지 내의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 확률을 분석하여, 당해 확률을 현재의 장면에 대응하는 이미지 템플릿 내의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률로 사용한다.

예를 들면, 현재의 장면이 무인 차량이 도시의 메인 스트리트에서 주행하는 장면일 경우, 무인 차량에 장착된 카메라에 대해 측위를 실행하면, 현재의 장면과 같거나 유사한 장면에서 수집한 이미지 세트는 당해 도시의 메인 스트리트의 적어도 하나의 이미지를 포함할 수 있다.

단계 120에 있어서, 상기 사전 확률에 기반하여 상기 이미지 템플릿과 같은 크기의 처리 대기 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행함으로써 목표 이미지를 얻는다.

처리 대기 이미지는 이동 가능 기계 디바이스 상에 장착된 카메라를 통해 당해 이동 가능 기계 디바이스의 이동 과정에서 수집한 적어도 하나의 이미지일 수 있다. 이동 가능 기계 디바이스는 현재의 장면에 대응하는 이미지 템플릿 내의 각 픽셀점에 대응하는 사전 확률에 따라, 이동 가능 기계 디바이스 상에 장착된 카메라에 의해 수집된 이미지 템플릿과 같은 크기의 적어도 하나의 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행함으로써 목표 이미지를 얻을 수 있다.

본 발명의 실시예에 있어서, 일부의 픽셀점을 파기하는 조작은, 카메라에 의해 수집된 이미지 템플릿과 같은 크기의 적어도 하나의 이미지 내의 사전 확률의 샘플링값이 미리 설정된 값보다 큰 픽셀점을 전부 파기하거나 일부를 무작위로 파기하는 것을 포함하지만 이에 한정되지 않는다.

단계 130에 있어서, 상기 목표 이미지에 기반하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 확정한다.

예를 들면, 이동 가능 기계 디바이스는 목표 이미지에 기반하여 회귀 손실 함수를 이용하여, 카메라의 세계 좌표계 내의 절대 위치 자세를 확정할 수 있다. 여기서, 회귀 손실 함수는 평균 자승 오차 손실 함수(L2 손실 함수 등), 평균 절대 오차(L1 손실 함수 등), 평활 평균 절대 오차 손실 함수(Huber 손실 함수 등), 대수 쌍곡선 코사인 손실 함수 또는 분위 손실 함수 등일 수 있다.

상술한 실시예에 있어서, 이동 가능 기계 디바이스는 현재의 장면에 대응하는 이미지 템플릿 내의 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 결합시켜, 현재의 장면에서 이동 가능 기계 디바이스 상에 장착된 카메라에 의해 수집된 적어도 하나의 이미지에 대해 일부의 픽셀점의 파기를 실행하여 목표 이미지를 얻고, 목표 이미지를 이용하여 카메라의 절대 위치 자세를 확정할 수 있으며, 현재의 장면에서 물체의 이동이 카메라 측위에 주는 악영향을 효과적으로 줄임으로써, 카메라 측위의 정확성 및 정밀도를 향상시켰다.

이동 가능 기계 디바이스 상에 장착된 카메라의 경우, 그 위치 자세가 이동 가능 기계 디바이스의 이동 및/또는 카메라의 위치 조정 등의 요인에 의해 변경될 수 있으며, 따라서 카메라에 대해 측위를 실행할 필요가 있다. 본 발명의 발명자는 카메라에 의해 수집된 이미지의 시야 내에 물체의 이동이 존재하면, 당해 물체의 이동이 카메라에 의해 수집된 이미지의 해당하는 부분의 화질이 저하되게 하는바, 예를 들면 이미지가 희미해지고, 지터 등이 나타나며, 이러한 저품질의 부분이 수집된 이미지의 특징 전체의 품질에 영향을 주고, 심지어 이미지 전체 특징에 기반한 카메라 측위의 정확성 및 정밀도에 영향을 주는 것을 발견했다. 그렇지만, 수집된 이미지 내의 일부의 움직이지 않거나 고정된 물체는 반대로 카메라 측위에 도움이 되고 있다.

따라서, 본 발명의 실시예는 선험적 지식을 참조하여 수집된 이미지 내의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 확률(즉, 사전 확률)을 확정하고, 확정된 확률에 기반하여 수집된 이미지에 대해 일부의 픽셀점의 파기를 실행하는바, 예를 들면 일부의 이동 가능 물체가 출현하는 사전 확률이 상대적으로 높은 픽셀점을 파기함으로써, 이러한 픽셀점의 이미지 전체의 품질에 대한 악영향을 줄이고, 따라 국부의 픽셀점을 파기한 후의 이미지의 품질 전체적으로 기초를 두는 카메라 측위의 정밀도 개선에 유리하다.

몇몇의 옵션의 실시예에 있어서, 단계 110은 전자 디바이스에 의해 실행될 수 있는데, 당해 전자 디바이스는 이동 가능 기계 디바이스일 수도 있고, 클라우드 플랫폼 등의 신경망을 트레이닝하는 전자 디바이스일 수도 있으나, 본 발명은 이것으로 한정하지 않는다. 도 2에 나타낸 바와 같이, 단계 110은 단계 111~113을 포함할 수 있다.

단계 111에 있어서, 현재의 장면에 관련되는 소정의 이미지 세트 중의 각 이미지에 대해 픽셀 수준의 시맨틱 분할을 실행한다.

본 발명의 실시예에 있어서, 현재의 장면에 관련되는 소정의 이미지 세트는 현재의 장면과 같거나 유사한 장면에서 수집된 복수의 이미지를 포함할 수 있다. 전자 디바이스는 소정의 이미지 세트 중의 각 이미지에 존재하는 내용을 검색하여, 각 이미지의 픽셀 수준의 시맨틱 분할 결과를 얻을 수 있다. 예를 들면, 현재의 장면이 무인 차량이 도시의 메인 스트리트에서 주행하는 장면일 경우, 현재의 장면에 관련되는 소정의 이미지 세트는 도 3에 나타낸 이미지 m₁, m₂, ..., m_N을 포함할 수 있다.

단계 112에 있어서, 픽셀 수준의 시맨틱 분할의 결과에 기반하여 상기 각 이미지 내의 이동 가능 물체에 속하는 제1 픽셀점 및 배경에 속하는 제2 픽셀점을 확정한다.

옵션으로서, 배경은 이미지 내의 움직이지 않는 물체일 수 있으며, 예를 들면 이미지 내의 이동 가능 물체로 확정된 물체 이외의 기타 물체일 수 있으며, 예를 들면 하늘, 건물, 나무, 도로 등일 수 있다.

단계 113에 있어서, 소정의 이미지 세트 중의 각 이미지 내의 제1 픽셀점 및 제2 픽셀점의 통계 분포에 기반하여, 상기 소정의 이미지 세트 중의 이미지와 같은 크기의 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 확정한다.

본 발명의 실시예에 있어서, 전자 디바이스는 현재의 장면에 관련되는 소정의 이미지 세트 중의 각 이미지 내의 이동 가능 물체에 속하는 제1 픽셀점 및 배경에 속하는 제2 픽셀점의 통계 분포에 기반하여, 현재의 장면에 대응하는 이미지 템플릿을 얻는바, 예를 들면 도 3 내의 이미지 템플릿 M을 얻고, 현재의 장면에서 수집된 이미지 템플릿과 같은 크기의 이미지 내의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 기록한다.

본 발명의 실시예에 있어서, 이미지 템플릿에 기록한 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률은 하나의 통계 분포 범위에 있어서 하나의 고정된 값이 아니다. 후속으로 상기 사전 확률에 기반하여 상기 이미지 템플릿과 같은 크기의 처리 대기 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행할 때에, 매회에 사전 확률의 통계 분포 범위에 기반하여 다른 픽셀점을 파기하고, 다른 목표 이미지를 얻을 수 있다. 또한, 복수의 서로 다른 목표 이미지에 기반하여 카메라의 절대 위치 자세를 확정하여, 특히 대규모 도시 교통의 장면에서 더 좋은 카메라 측위 결과를 얻을 수 있다.

옵션으로서, 이미지 템플릿에 포함되어 있는 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률은 가우스 분포에 의거할 수 있으며, 식 1에 나타낸 것과 같다.

식1

여기서,

는 이미지 템플릿 내의

번째 행의 픽셀점을 나타내고,

는 이미지 템플릿 내의

번째 열의 픽셀점을 나타내며,

는 픽셀점 좌표에 대응하고, 픽셀점

의 수학적인 기대치는

이며,

이고, 여기서,

는 픽셀점의 수량이며, 픽셀점

의 분산은

이고,

이며,

는 픽셀점

의 사전 확률이다.

몇몇의 옵션의 실시예에 있어서, 예를 들면 도 4에 나타낸 바와 같이, 단계 120은 단계 121∼단계 122를 포함할 수 있다.

단계 121에 있어서, 상기 처리 대기 이미지에 포함되어 있는 적어도 일부의 픽셀점에 대응하는 사전 확률에 대해 샘플링을 실행한다.

카메라에 의해 수집된 적어도 하나의 처리 대기 이미지의 경우, 각 처리 대기 이미지 내의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률의 분포는 가우스 분포를 충족시킨다.

적어도 하나의 처리 대기 이미지 중의 각각의 처리 대기 이미지에 대해, 이동 가능 기계 디바이스는 당해 처리 대기 이미지에 포함되어 있는 적어도 일부의 픽셀점에 대응하는 사전 확률에 대해 샘플링을 실행함으로써, 이번 샘플링한 후의 당해 처리 대기 이미지 내의 적어도 일부의 픽셀점에 대응하는 사전 확률의 샘플링값을 얻을 수 있다.

단계 122에 있어서, 상기 처리 대기 이미지 내에서 사전 확률의 샘플링값이 미리 설정된 한계값보다 큰 픽셀점을 삭제함으로써, 이번의 샘플링에 대응하는 목표 이미지를 얻는다.

이번의 샘플링 결과 중에서, 처리 대기 이미지 1 내의 픽셀점 1의 사전 확률의 샘플링값이 미리 설정된 한계값보다 크면, 픽셀점 1이 이동 가능 물체에 속하는 것으로 간주하고, 이동 가능 기계 디바이스는 처리 대기 이미지 1 내에서 픽셀점 1을 삭제하여, 처리 대기 이미지 1의 이번 샘플링에 대응하는 목표 이미지를 얻는다.

적어도 하나의 처리 대기 이미지 중의 각각의 처리 대기 이미지에 대해, 이동 가능 기계 디바이스는 당해 처리 대기 이미지에 대해 상술한 방식에 따라 사전 확률의 샘플링값이 미리 설정된 한계값보다 큰 픽셀점을 전부 삭제하거나, 또는 사전 확률의 샘플링값이 미리 설정된 한계값보다 큰 픽셀점을 무작위로 일부 삭제하여, 처리 대기 이미지의 이번 샘플링에 대응하는 목표 이미지를 얻을 수 있다.

몇몇의 옵션의 실시예에 있어서, 이동 가능 기계 디바이스는 처리 대기 이미지 내의 픽셀점에 대응하는 사전 확률에 대해 샘플링 복수 회 실행하면, 같은 처리 대기 이미지 내의 같은 픽셀점에 대응하는 사전 확률의 매회 샘플링값을 다르게 할 수 있으므로, 일부의 픽셀점을 파기하는 조작을 실행한 후에 얻어진 복수의 목표 이미지 사이에 적어도 하나의 다른 픽셀점이 존재하도록 할 수 있다.

예를 들면, 첫 번째로 샘플링할 때에 처리 대기 이미지 1 내의 픽셀점 1에 대응하는 사전 확률의 샘플링값은 P₁이고, 두 번째로 샘플링할 때에 처리 대기 이미지 1 내의 픽셀점 1에 대응하는 사전 확률의 샘플링값이 P₂이며, 미리 설정된 한계값은 T이다. 여기서, P₁ <T <P₂이다. 그러면, 첫 번째로 샘플링한 후에 얻은 목표 이미지는 픽셀점 1을 유지하고, 두 번째로 샘플링한 후에 얻은 목표 이미지는 픽셀점 1을 삭제할 필요가 있다.

상술한 과정을 통하여, 이동 가능 기계 디바이스가 같은 처리 대기 이미지 내의 픽셀점에 대응하는 사전 확률에 대해 샘플링을 복수 회 실행하도록 하며, 이에 따라 복수의 서로 다른 목표 이미지를 얻어 카메라 측위에 사용함으로써, 최종으로 얻은 카메라 측위의 정확성의 확보에 유리하다.

몇몇의 옵션의 실시예에 있어서, 단계 130은 상기 처리 대기 이미지를 목표 신경망에 입력하고, 상기 카메라의 세계 좌표계 내의 절대 위치 자세를 얻는 것을 포함할 수 있다.

이동 가능 기계 디바이스는 처리 대기 이미지를 목표 신경망에 입력하며, 목표 신경망을 이용하여 당해 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 직접 출력할 수 있다.

상술한 실시예에 있어서, 이동 가능 기계 디바이스는 이미지 템플릿 내의 각 픽셀점이 이동 가능 물체에 속하는 사전 확률에 기반하여, 처리 대기 이미지 내의 사전 확률이 미리 설정된 값보다 큰 적어도 일부의 픽셀점을 파기함으로써, 카메라 측위의 정확성을 향상시켰다.

몇몇의 옵션의 실시예에 있어서, 처리 대기 이미지가 상기 카메라에 의해 수집된 시간의 전후성, 즉, 시계열을 가진 k 프레임의 이미지(k는 2이상의 정수임)를 포함하면, 도 5에 나타낸 바와 같이, 상기 방법은 단계 140∼150을 더 포함한다.

단계 140에 있어서, 상기 k 프레임의 이미지에 기반하여 상기 카메라가 상기 k 프레임의 이미지를 촬영할 때의 상대 위치 자세를 확정한다.

본 발명의 실시예에 있어서, 이동 가능 기계 디바이스는 시각적 주행 거리 측정 방법을 통해 카메라가 k 프레임의 이미지를 수집할 때의, k∼1 프레임의 이미지를 수집할 때에 대한 상대 위치 자세를 확정할 수 있다.

단계 150에 있어서, 상기 카메라의 상대 위치 자세 및 절대 위치 자세에 기반하여 상기 카메라의 보정 위치 자세를 확정한다.

본 발명의 실시예에 있어서, 이동 가능 기계 디바이스는 카메라가 k 프레임의 이미지 내의 시계열 상에서 가장 앞에 위치하는 일 프레임의 이미지(제1 프레임의 이미지라고도 불림)를 수집할 때의 세계 좌표계 내의 절대 위치 자세를 참조하여, 제1 프레임의 이미지와 인접하는 제2 프레임의 이미지를 수집할 때의 카메라 상대 위치 자세 및 절대 위치 자세에 기반하여, 카메라의 보정 위치 자세를 확정할 수 있다.

후속에서 이동 가능 기계 디바이스는 보정 위치 자세에 기반하여 카메라의 위치 자세를 조정함으로써, 장면에서 물체의 이동이 카메라 측위에 주는 영향을 줄일 수 있으며, 이동 가능 기계 디바이스가 다양한 태스크를 실행하는 정확도의 확보에 유리하다.

몇몇의 옵션의 실시예에 있어서, 도 6에 나타낸 바와 같이, 단계 150은 구체적으로 단계 151∼153을 포함할 수 있다.

단계 151에 있어서, 상기 절대 위치 자세의 확정성 확률을 확정한다.

본 발명의 실시예에 있어서, 확정성 확률은 상기 절대 위치 자세의 결과에 대한 정확도의 평가이다. 확정성 확률이 높을 수록, 절대 위치 자세의 결과가 정확한 것을 의미하며, 그렇지 않으면 절대 위치 자세의 결과가 정확하지 않은 것을 의미한다.

이동 가능 기계 디바이스는 몬테 카를로법 등의 랜덤 샘플링 방법을 채용하여, 카메라에 의해 수집된 시계열을 가진 k 프레임의 이미지에 대응하는 사전 확률에 대해 샘플링을 실행하여, 복수 회의 샘플링의 샘플링 결과를 얻을 수 있다. k는 2이상의 정수다.

예를 들면 도 7에 나타낸 바와 같이, 이미지 템플릿 M에 포함되어 있는 각 픽셀점의 사전 확률에 기반하여, 현재 이미지에 대해 샘플링을 복수 회 실행하여, 매회의 샘플링에 대응하는 목표 이미지에 기반하여 당해 현재 이미지에 대응하는 복수의 절대 위치 자세를 각각 확정할 수 있다.

현재 이미지에 대응하는 복수의 절대 위치 자세에 기반하여 현재 이미지에 대응하는 절대 위치 자세의 확정성 확률을 확정한다. 예를 들면, 현재 이미지에 대응하는 복수의 절대 위치 자세 사이의 차이가 상대적으로 크면, 현재 이미지에 대응하는 절대 위치 자세의 확정성 확률이 상대적으로 낮다고 확정할 수 있고, 반대의 경우는 현재 이미지에 대응하는 절대 위치 자세의 확정성 확률이 상대적으로 높다고 확정할 수 있다.

단계 152에 있어서, 상기 절대 위치 자세의 확정성 확률에 기반하여 상기 상대 위치 자세의 제1 가중치 및 상기 절대 위치 자세의 제2 가중치를 확정한다.

본 발명의 실시예에 있어서, 카메라에 의해 수집된 시계열을 가진 k 프레임의 이미지에 대해, 이동 가능 기계 디바이스는 각 프레임의 이미지에 대응하는 절대 위치 자세의 확정성 확률에 기반하여 각 프레임의 이미지에 대응하는 상대 위치 자세의 제1 가중치 및 각 프레임의 이미지에 대응하는 절대 위치 자세의 제2 가중치를 확정할 수 있다.

예를 들면, 현재 이미지에 대응하는 절대 위치 자세의 확정성 확률이 상대적으로 높으면, 당해 현재 이미지에 대응하는 절대 위치 자세의 제2 가중치를 늘릴 수 있고, 현재 이미지에 대응하는 절대 위치 자세의 확정성 확률이 상대적으로 낮으면, 당해 현재 이미지에 대응하는 상대 위치 자세의 제1 가중치를 늘릴 수 있다.

단계 153에 있어서, 상기 상대 위치 자세, 상기 제1 가중치, 상기 절대 위치 자세 및 상기 제2 가중치에 기반하여 상기 카메라의 보정 위치 자세를 확정한다.

본 발명의 실시예에 있어서, 예를 들면 도 8에 나타낸 바와 같이, 시계열을 가진 k 프레임의 이미지 내의 제1 프레임의 이미지에 대응하는 절대 위치 자세를 참고하여, 슬라이딩 윈도우의 방식을 채용하여 순차로 이동시켜, 제2 프레임의 이미지에 대응하는 상대 위치 자세, 제1 가중치, 절대 위치 자세 및, 제2 가중치에 기반하여, 제2 프레임의 이미지 제1 프레임의 이미지에 대한 보정 위치 자세를 확정한다.

본 발명의 실시예에 있어서, 상대 위치 자세가 상대적으로 정확하면, 상대 위치 자세의 가중치를 늘릴 수 있고, 절대 위치 자세가 상대적으로 정확하면, 절대 위치 자세의 가중치를 늘릴 수 있다. 이렇게 하여, 상대 위치 자세 및 절대 위치 자세가 각각 서로 다른 가중치를 가지도록 하여 보정 위치 자세를 확정함으로써, 보정 위치 자세가 상대적으로 정확해지도록 할 수 있는데, 즉, 카메라 측위가 상대적으로 정확해지도록 할 수 있다.

위치 자세를 보정함으로써, 최종으로 확정되는 카메라의 위치 자세 맵에 대해 최적화를 실행하며, 최적화 후의 위치 자세 맵은 도 9에 나타낸 바와 같다. 도 9 내의 삼각형은 카메라가 각 프레임의 이미지를 수집할 때의 절대 위치 자세를 나타내고, 화살표가 붙은 선분은 상대 위치 자세를 나타내며, 원은 슬라이딩 윈도우를 나타낸다. 도 9 내의 보정 후의 절대 위치 자세와 상대 위치 자세는 화살표 방향에 따라 순서대로 도 8 내의 왼쪽 상측 모서리에서 오른쪽 하측 모서리까지의 절대 위치 자세와 상대 위치 자세에 대응된다.

상술한 실시예에 있어서, VO(Visual Odometry, 시각적 주행 거리 측정) 방법을 채용하여 확정된 위치 자세를 이미지에 대응하는 상대 위치 자세로 사용할 수 있다. 여기서, VO 방법은 상술한 k 프레임의 이미지를 분석하여 카메라의 위치와 자세를 확정한다. k 프레임의 이미지에 대해 특징 매칭 등의 방법을 실행하여 카메라의 인접하는 프레임 사이의 움직임을 추정하고, 카메라가 다음 일 프레임의 이미지를 수집할 때의, 앞에 1프레임의 이미지를 수집할 때에 대한 상대 위치 자세를 얻을 수 있다.

또한, 본 발명의 실시예에 있어서, 절대 위치 자세와 상대 위치 자세를 결합하여 위치 자세 보정을 실행함으로써, 카메라 측위의 정밀도를 더 향상시켰다.

하나의 실시예에 있어서, 본 발명에 의해 제공되는 카메라 측위 방법은 또한 클라우드 플랫폼, 신경망 훈련 플랫폼 등과 같은 신경망을 트레이닝하는 전자 디바이스에 적용될 수 있다. 전자 디바이스를 이용하여 당해 방법을 채용하여 신경망에 대해 훈련을 실행하여 목표 신경망을 얻는다. 그 후, 이미지를 목표 신경망에 입력한 후, 당해 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 얻을 수 있다.

도 10에 나타낸 바와 같이, 본 발명의 실시예에 의해 제공되는 카메라 측위 방법은 이하의 단계 210∼230을 포함할 수 있다.

단계 210에 있어서, 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 취득한다.

소정의 이미지 세트 중의 각 이미지 내에서, 이동 가능 물체에 속하는 픽셀점이 이미 알려져 있다. 전자 디바이스는 상술한 각 이미지에 기반하여, 각 이미지 내의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 확률을 분석하여, 이러한 확률을 각 이미지와 같은 크기의 이미지 템플릿 내의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률로 확정할 수 있다.

단계 220에 있어서, 상기 사전 확률에 기반하여 상기 이미지 템플릿과 같은 크기의 처리 대기 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행함으로써 목표 이미지를 얻는다.

처리 대기 이미지는 적어도 하나의 샘플 이미지일 수 있고, 전자 디바이스는 이미지 템플릿 내의 각 픽셀점에 대응하는 사전 확률에 따라, 적어도 하나의 샘플 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행함으로써 목표 이미지를 얻을 수 있다.

본 발명의 실시예에 있어서, 일부의 픽셀점을 파기하는 조작은 적어도 하나의 샘플 이미지 내의 사전 확률의 샘플링값이 미리 설정된 값보다 큰 픽셀점에 대해 모두 파기하는 조작 또는 무작위로 일부를 파기하는 조작을 실행하는 것을 포함하지만, 이에 한정되지 않는다.

단계 230에 있어서, 상기 목표 이미지에 기반하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 확정한다.

전자 디바이스는 얻은 목표 이미지에 기반하여, 회귀 손실 함수를 이용하여, 적어도 하나의 샘플 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 확정할 수 있다.

여기서, 회귀 손실 함수는 평균 자승 오차 손실 함수(예를 들면, L2 손실 함수), 평균 절대 오차(예를 들면, L1 손실 함수), 평활 평균 절대 오차 손실 함수(예를 들면, Huber 손실 함수), 대수 쌍곡선 코사인 손실 함수 또는 분위 손실 함수 등일 수 있다.

몇몇의 옵션의 실시예에 있어서, 단계 210은 신경망을 트레이닝하는 전자 디바이스에 의해 실행될 수 있으며, 실행 과정은 도 2 내의 단계 110의 실행과 같으므로, 여기에서는 반복적으로 설명하지 않는다.

몇몇의 옵션의 실시예에 있어서, 단계 220은 신경망을 트레이닝하는 전자 디바이스에 의해 실행될 수 있으며, 실행하는 과정은 도 4 내의 단계 120의 실행 과정과 같으므로, 여기에서는 반복적으로 설명하지 않는다.

몇몇의 옵션의 실시예에 있어서, 단계 230은 신경망을 트레이닝하는 전자 디바이스에 의해 실행될 수 있는데, 예를 들면 도 11에 나타낸 바와 같이, 단계 230은 단계 231∼233을 포함할 수 있다.

단계 231에 있어서, 신경망을 이용하여 상기 목표 이미지의 특징 파라미터를 추출하여 특징 추출 이미지를 얻는다.

신경망은 적어도 하나의 목표 이미지로부터 각 목표 이미지의 특징 파라미터를 추출함으로써, 각 목표 이미지에 대응하는 특징 추출 이미지를 얻을 수 있다.

단계 232에 있어서, 상기 신경망의 미리 설정된 공간 차원 및/또는 미리 설정된 채널 차원 상에서, 상기 특징 추출 이미지 내의 배경에 속하는 제2 픽셀점에 대응하는 가중치 값을 증가시킨다.

신경망은 미리 설정된 공간 차원과 미리 설정된 채널 차원과의 적어도 하나의 차원 상에서, 자기 주의력 메커니즘에 따라 특징 추출 이미지 내의 배경에 속하는 제2 픽셀점의 가중치 값을 증가시킬 수 있다.

예를 들면 도 12A에 나타낸 바와 같이, 신경망은 H(높이)ХW(폭)ХC(채널)의 특정 특징 추출 이미지에 대해 공간 자기 주의력 메커니즘 변환을 실행한 후, 동일한 채널 상의 이미지 HХWХ1을 얻으며. 또한, 예를 들면 도 12B에 나타낸 바와 같이, 신경망은 HХWХC의 특정 특징 추출 이미지에 대해 채널 자기 주의력 메커니즘 변환를 실행한 후, 동일한 높이와 폭의 이미지 1Х1ХC를 얻는다.

신경망은 자기 주의력 메커니즘을 통해, 이동 가능 물체에 속하는 제1 픽셀점의 정보를 가능한 무시하며, 배경에 속하는 제2 픽셀점의 정보에 더 주목한다.

신경망의 미리 설정된 공간 차원 및 미리 설정된 채널 차원 상에서, 도 13A에 나타낸 이미지 내에서 실선의 박스에 의해 둘러 싸인 제2 픽셀점의 가중치 값을 증가하여, 도 13B에 나타낸 이미지를 얻는다. 도 13B에 나타낸 이미지 내에서 실선의 박스에 의해 둘러싸인 픽셀점의 그레이값은 도 13B에 나타낸 이미지 내의 기타 일부의 픽셀점의 그레이값보다 높다.

본 발명의 실시예에 있어서, 도 13A에 나타낸 이미지에서, 점선의 박스에 의해 둘러 싸인 픽셀점은 이동 가능 물체인 자동차에 속하며, 그 전의 단계 210을 통하여 도 13A에 나타낸 이미지와 같은 크기의 이미지 템플릿 내의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 취득하고, 단계 220을 통하여 도 13A에 나타낸 이미지 내의 사전 확률의 샘플링값이 미리 설정된 한계값보다 큰 픽셀점의 모두 또는 일부를 파기할 수 있다.

또한 단계 232을 통하여, 두 개의 차원 상에서 이동할 수 없는 물체에 속하는 가중치 값을 증가함으로써, 신경망이 교통 표식이나 전선주 등의 이동할 수 없거나 또는 이동 확률이 상대적으로 낮은 물체에 더 주목하도록 하며, 카메라가 이미지를 수집하는 장면에서의 물체의 이동이 이동 가능 기계 디바이스 상의 카메라를 측위하는 결과에 주는 영향을 줄임으로써, 신경망 카메라 측위에 대한 정확성 및 정밀도를 향상시켜, 측위 검출 결과의 신뢰성을 향상시켰다.

단계 233에 있어서, 신경망을 이용하여 가중치 값을 조정한 후의 특징 추출 이미지를 분석하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 상기 절대 위치 자세를 얻는다.

본 발명의 실시예에 있어서, 신경망은 평균 자승 오차 함수, 절대치 오차 함수 등과 같은 회귀 손실 함수를 사용하여, 가중치 값을 조정한 후의 특징 추출 이미지를 분석하여 적어도 하나의 샘플 이미지를 수집하는 카메라의 세계 좌표 시스템 내의 절대 위치 자세를 얻을 수 있다.

몇몇의 옵션의 실시예에 있어서, 예를 들면 도 14에 나타낸 바와 같이, 신경망의 훈련을 실행하는 과정에 있어서, 상술한 카메라 측위 방법은 단계 240을 더 포함한다.

단계 240에 있어서, 상기 절대 위치 자세와 미리 확정된 상기 처리 대기 이미지의 상기 카메라의 위치 자세의 실제값 사이의 차이에 기반하여, 신경망 네트워크 파라미터를 조정하여 목표 신경망을 트레이닝한다.

본 발명의 실시예에 있어서, 본 단계는 신경망을 트레이닝하는 전자 디바이스에 의해 실행될 수 있다. 카메라가 이미지 템플릿과 같은 크기의 적어도 하나의 샘플 이미지를 수집할 때의 위치 자세의 실제값은 이미 알려져 있으며, 전자 디바이스는 신경망에 의해 출력된 적어도 하나의 샘플 이미지를 수집하는 카메라의 세계 좌표 시스템 내의 절대 위치 자세와 이미 알려진 위치 자세의 실제값 사이의 차이에 기반하여, 신경망 네트워크 파라미터를 조정하고, 당해 신경망의 손실 함수를 최소화하여, 최종으로 필요한 목표 신경망을 트레이닝할 수 있다.

몇몇의 옵션의 실시예에 있어서, 본 발명의 실시예는 상술한 카메라 측위 방법에 기반하여, 목표 신경망의 아키텍처를 더 제공하는바, 예를 들면 도 15에 나타낸 바와 같이, Probabilistic Dropout Module(일부 픽셀점 파기 모듈), Feature Ectractor Module(특징 추출 모듈), Self-attention Module(자기 주의력 모듈) 및 Regressor Module(회귀 모듈)을 포함한다.

여기서, 목표 신경망의 훈련 과정에 있어서, 적어도 하나의 샘플 이미지를 일부 픽셀점 파기 모듈의 입력값으로 확정하고, 일부 픽셀점 파기 모듈은 순서대로 접속된 적어도 5개의 서브 네트워크에 의해 구성될 수 있다. 각 서브 네트워크는 합성곱 계층, Relu 계층, 플링 계층 등의 미리 설정된 순서에 따라 설치한 네트워크 유닛을 채용하여 단독적으로 구현될 수 있다.

제1 서브 네트워크는 적어도 하나의 샘플 이미지 내의 각 이미지에 대해 각각 픽셀 수준의 시맨틱 분할을 실행할 수 있고, 제2 서브 네트워크는 픽셀 수준의 시맨틱 분할의 결과에 기반하여 각 샘플 이미지 내의 상기 이동 가능 물체에 속하는 제1 픽셀점 및 배경에 속하는 제2 픽셀점을 확정할 수 있으며, 제3 서브 네트워크는 각 샘플 이미지 내의 상기 제1 픽셀점 및 상기 제2 픽셀점의 통계 분포에 기반하여 샘플 이미지와 같은 크기의 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 상기 이동 가능 물체가 출현하는 사전 확률을 확정할 수 있고, 제4 서브 네트워크는 적어도 하나의 샘플 이미지에 포함되어 있는 적어도 일부의 픽셀점에 대응하는 사전 확률에 대해 샘플링을 실행하여, 이번의 샘플링의 샘플링 결과를 얻을 수 있고, 제5 서브 네트워크는 이번의 샘플링 결과에 기반하여 적어도 하나의 샘플 이미지 내에서 사전 확률의 샘플링값이 미리 설정된 한계값 T보다 큰 픽셀점을 삭제하여 상기 목표 이미지를 얻을 수 있다.

특징 추출 모듈은 합성곱 계층, Relu 계층, 플링 계층 등의 미리 설정된 순서에 따라 설치한 네트워크 유닛을 미리 설정된 구성에 따라 적층 설계하여 얻을 수 있으며, Probabilistic Dropout Module에 의해 얻은 목표 이미지의 특징 파라미터를 추출하여 특징 추출 이미지를 얻을 수 있다.

자기 주의력 모듈은 마찬가지로 적어도 두 개의 단독적인 제5 서브 네트워크 및 제6 서브 네트워크에 의해 구성될 수 있으며, 각 서브 네트워크는 합성곱 계층, Relu 계층, 플링 계층 등의 미리 설정된 순서에 따라 설치한 네트워크 유닛을 포함한다. 여기서, 제5 서브 네트워크는 미리 설정된 공간 차원을 주목하고, 제6 서브 네트워크는 미리 설정된 채널 차원을 주목할 수 있으며, 상술한 두 개의 서브 네트워크를 거친 후의 특징 추출 이미지 내의 배경에 속하는 제2 픽셀점의 가중치 값을 조정할 수 있다. 본 발명의 실시예는 제5 서브 네트워크 및 제6 서브 네트워크의 전후 순서에 대해 한정하지 않는다.

회귀 모듈은 제7 서브 네트워크를 포함할 수 있고, 제7 서브 네트워크는 합성곱 계층, Relu 계층, 플링 계층 등의 미리 설정된 순서에 따라 설치한 네트워크 유닛을 포함할 수 있으며, 제7 서브 네트워크는 자기 주의력 모듈에 의해 출력된 이미지를 입력값으로 하고, 이미 알려진 적어도 하나의 샘플 이미지를 수집하는 카메라의 위치 자세를 출력값으로 한다. 제7 서브 네트워크는 하나의 회귀 손실 함수에 대응한다. 당해 회귀 손실 함수는 평균 자승 오차 손실 함수(예를 들면, L2 손실 함수), 평균 절대 오차(예를 들면, L1 손실 함수), 평활 평균 절대 오차 손실 함수(예를 들면, Huber 손실 함수), 대수 쌍곡선 코사인 손실 함수 및 분위 손실 함수 등을 포함할 수 있다.

상술한 실시예에 있어서, 최종으로 얻은 목표 신경망은 샘플 이미지 내의 이동 가능 물체에 대한 주목도를 줄이고, 샘플 이미지 내의 배경에 속하는 픽셀점을 상대적으로 많이 주목하는바, 즉, 움직이지 않거나 고정된 물체 정보를 상대적으로 많이 주목함으로써, 이동 가능 물체에 대응하는 픽셀점의 이미지 전체의 화질에 대한 영향을 줄이고, 목표 신경망의 신뢰성을 향상시켰다.

본 발명은 전술한 방법의 실시예에 대응하여 카메라 측위 장치의 실시예를 더 제공한다.

본 발명의 실시예는 카메라 측위 장치를 더 제공하는바, 이동 가능 기계 디바이스에 적용될 수 있다. 이동 가능전자 디바이스가 이동하므로, 이에 따라 이동 가능 기계 디바이스 상에 장착된 카메라의 위치 자세가 변하게 된다. 카메라 측위가 높은 정확성은 이동 가능 기계 디바이스가 다양한 태스크를 실행할 때의 정확도를 향상시킬 수 있다.

도 16은 본 발명의 예시적인 일 실시예에 따른 카메라 측위 장치의 블록도이며, 도 16에 나타낸 바와 같이, 당해 장치는 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 취득하기 위한 취득 모듈(310); 상기 사전 확률에 기반하여 상기 이미지 템플릿과 같은 크기의 처리 대기 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행함으로써 목표 이미지를 얻기 위한 실행 모듈(320); 및 상기 목표 이미지에 기반하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 확정하기 위한 측위 모듈(330)을 구비한다.

몇몇의 실시예에 있어서, 예를 들면 도 17에 나타낸 바와 같이, 상기 취득 모듈(310)은, 소정의 이미지 세트 중의 각 이미지에 대해 픽셀 수준의 시맨틱 분할을 실행하기 위한 분할 서브 모듈(311); 픽셀 수준의 시맨틱 분할의 결과에 기반하여 상기 각 이미지 내의 이동 가능 물체에 속하는 제1 픽셀점 및 배경에 속하는 제2 픽셀점을 확정하기 위한 제1 확정 서브 모듈(312); 및 상기 각 이미지 내의 상기 제1 픽셀점 및 상기 제2 픽셀점의 통계 분포에 기반하여, 상기 소정의 이미지 세트 중의 이미지와 같은 크기의 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 상기 이동 가능 물체가 출현하는 상기 사전 확률을 확정하기 위한 제2 확정 서브 모듈(313)을 구비한다.

몇몇의 실시예에 있어서, 예를 들면 도 18에 나타낸 바와 같이, 상기 실행 모듈(320)은, 상기 처리 대기 이미지에 포함되어 있는 적어도 일부의 픽셀점에 대응하는 상기 사전 확률에 대해 샘플링을 실행하기 위한 샘플링 서브 모듈(321) 및 상기 처리 대기 이미지 내에서 사전 확률의 샘플링값이 미리 설정된 한계값보다 큰 픽셀점을 삭제함으로써 상기 목표 이미지를 얻기 위한 실행 서브 모듈(322)을 구비한다.

몇몇의 실시예에 있어서, 샘플링 회수가 복수 회일 경우, 일부의 픽셀점을 파기하는 조작을 실행한 후에 얻어진 복수의 목표 이미지 사이에는 적어도 하나의 다른 픽셀점이 존재한다.

몇몇의 실시예에 있어서, 도 19에 나타낸 바와 같이, 상기 측위 모듈(330)은 상기 처리 대기 이미지를 상기 목표 신경망에 입력하고, 상기 처리 대기 이미지 카메라의 세계 좌표계 내의 상기 절대 위치 자세를 얻기 위한 제2 측위 서브 모듈(331)을 구비한다.

몇몇의 실시예에 있어서, 상기 처리 대기 이미지는 상기 카메라에 의해 수집된 시계열을 가진 적어도 두 개의 프레임의 이미지를 포함하며, 예를 들면 도 20에 나타낸 바와 같이, 상기 장치는 상기 적어도 두 개의 프레임의 이미지에 기반하여 상기 카메라가 상기 적어도 두 개의 프레임의 이미지를 촬영할 때의 상대 위치 자세를 확정하기 위한 제1 확정 모듈(340) 및 상기 카메라의 상대 위치 자세와 상기 절대 위치 자세에 기반하여 상기 카메라의 보정 위치 자세를 확정하기 위한 제2 확정 모듈(350)을 더 구비한다.

몇몇의 실시예에 있어서, 예를 들면 도 21에 나타낸 바와 같이, 상기 제2 확정 모듈(350)은 상기 절대 위치 자세의 확정성 확률을 확정하기 위한 제3 확정 서브 모듈(351); 상기 확정성 확률에 기반하여 상기 상대 위치 자세의 제1 가중치 및 상기 절대 위치 자세의 제2 가중치를 확정하기 위한 제4 확정 서브 모듈(352); 및 상기 상대 위치 자세, 상기 제1 가중치, 상기 절대 위치 자세 및 상기 제2 가중치에 기반하여 상기 카메라의 보정 위치 자세를 확정하기 위한 제5 확정 서브 모듈(353)을 더 구비한다.

몇몇의 옵션의 실시예에 있어서, 본 발명은 전자 디바이스에 적용될 수 있는 카메라 측위 장치를 더 제공하는바, 당해 전자 디바이스는 신경망을 트레이닝하여, 목표 신경망을 얻을 수 있다. 그 후, 이미지를 목표 신경망에 입력한 후에, 당해 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 얻을 수 있다.

도 22는 본 발명의 예시적인 일 실시예에 따른 카메라 측위 장치를 나타낸 블록도이며, 도 22에 나타낸 바와 같이, 당해 장치는 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 취득하기 위한 취득 모듈(410); 상기 사전 확률에 기반하여 상기 이미지 템플릿과 같은 크기의 처리 대기 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행함으로써 목표 이미지를 얻기 위한 실행 모듈(420); 및 상기 목표 이미지에 기반하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 확정하기 위한 측위 모듈(430)을 구비한다.

몇몇의 실시예에 있어서, 예를 들면 도 23에 나타낸 바와 같이, 상기 취득 모듈(410)은, 소정의 이미지 세트 중의 각 이미지에 대해 픽셀 수준의 시맨틱 분할을 실행하기 위한 분할 서브 모듈(411); 픽셀 수준의 시맨틱 분할의 결과에 기반하여 상기 각 이미지 내의 이동 가능 물체에 속하는 제1 픽셀점 및 배경에 속하는 제2 픽셀점을 확정하기 위한 제1 확정 서브 모듈(412); 및 상기 각 이미지 내의 상기 제1 픽셀점 및 상기 제2 픽셀점의 통계 분포에 기반하여, 상기 소정의 이미지 세트 중의 이미지와 같은 크기의 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 상기 이동 가능 물체가 출현하는 상기 사전 확률을 확정하기 위한 제2 확정 서브 모듈(413)을 구비한다.

몇몇의 실시예에 있어서, 예를 들면 도 24에 나타낸 바와 같이, 상기 실행 모듈(420)은, 상기 처리 대기 이미지에 포함되어 있는 적어도 일부의 픽셀점에 대응하는 상기 사전 확률에 대해 샘플링을 실행하기 위한 샘플링 서브 모듈(421) 및 상기 처리 대기 이미지 내에서 사전 확률의 샘플링값이 미리 설정된 한계값보다 큰 픽셀점을 삭제함으로써 상기 목표 이미지를 얻기 위한 실행 서브 모듈(422)을 구비한다.

몇몇의 실시예에 있어서, 예를 들면 도 25에 나타낸 바와 같이, 상기 측위 모듈(430)은 신경망을 이용하여 상기 목표 이미지의 특징 파라미터를 추출하여 특징 추출 이미지를 얻기 위한 제1 처리 서브 모듈(431); 상기 신경망의 미리 설정된 공간 차원 및/또는 미리 설정된 채널 차원 상에서, 상기 특징 추출 이미지 내의 배경에 속하는 제2 픽셀점에 대응하는 가중치 값을 증가하기 위한 제2 처리 서브 모듈(432) 및 신경망을 이용하여 가중치 값을 조정한 후의 특징 추출 이미지를 분석하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 상기 절대 위치 자세를 얻기 위한 제1 측위 서브 모듈(433)을 구비한다.

몇몇의 실시예에 있어서, 예를 들면 도 26에 나타낸 바와 같이, 상기 장치는 상기 절대 위치 자세와 상기 처리 대기 이미지를 수집하는 상기 카메라의 위치 자세의 미리 확정된 실제값 사이의 차이에 기반하여, 신경망 네트워크 파라미터를 조정하여 목표 신경망을 트레이닝하기 위한 훈련 모듈(440)을 더 구비한다.

장치의 실시예의 경우, 기본적으로 방법의 실시예에 대응되므로, 관련되는 부분에 대하여는 방법의 실시예의 설명 일부를 참조하면 된다. 이상에서 설명한 장치의 실시예는 단지 모식적인 것이며, 그 중에서 분리된 부품으로 설명된 유닛은 물리적으로 분리될 수도 있고 분리되지 않을 수도 있으며, 유닛으로 나타낸 부품은 물리적인 유닛이거나 물리적인 유닛이 아닐 수도 있다. 즉, 하나의 장소에 배치될 수도 있고, 복수의 네트워크 유닛에 분포될 수도 있다. 실제 필요에 따라 그 중의 일부 또는 모든 모듈을 선택하여 본 발명의 구성 목적을 실현할 수 있다. 당업자는 창조적인 작업 없이 본 발명의 구성을 이해하여 실행할 수 있다.

본 발명의 실시예는 컴퓨터 판독 가능 기록 매체를 더 제공하는바, 기록 매체에는 컴퓨터 프로그램이 기억되어 있으며, 컴퓨터 프로그램은 상술한 임의의 카메라 측위 방법을 실행한다.

본 발명의 실시예는 카메라 측위 장치를 더 제공하는바, 당해 장치는 프로세서; 및 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 구비하며, 여기서, 프로세서는 메모리에 기억되어 있는 실행 가능 명령을 호출하여 상술한 임의의 카메라 측위 방법을 실현한다.

본 발명의 실시예에 의해 제공되는 카메라 측위 장치는 상술한 임의의 실시예에 의해 제공되는 방법을 실현할 수 있다. 당해 카메라 측위 장치는 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률에 기반하여, 이미지 템플릿과 같은 크기의 처리 대기 이미지 내의 일부의 픽셀점을 파기하고, 또한 얻은 목표 이미지에 기반하여 카메라의 절대 위치 자세를 확정할 수 있으며, 카메라가 이미지를 수집하는 장면에서의 물체의 이동이 이동 가능 기계 디바이스 상의 카메라를 측위하는 결과에 주는 영향을 줄임으로써, 카메라 측위의 정확성을 향상시켰다.

본 발명의 실시예에 의해 제공되는 카메라 측위 장치는 이동 가능 기계 디바이스에 적용될 수 있으며, 이동 가능 기계 디바이스 상에 장착된 카메라에 대해 측위를 실행할 수 있다. 이동 가능 기계 디바이스가 이동하므로, 이에 따라 디바이스 상에 장착된 카메라의 위치 자세도 바뀌게 된다. 카메라 측위의 정확성은 이동 가능 기계 디바이스가 다양한 태스크를 실행할 때의 정확도를 향상시킬 수 있다. 예를 들면, 무인 차량에 장착된 카메라에 의해 수집된 차량의 전방 환경의 이미지에 기반하여, 카메라의 현재의 측위 정보를 확정할 수 있고, 카메라의 측위 정보에 기반하여 차량 현재의 측위 정보를 측위할 수 있으며, 또한 당해 무인 차량에 대해, 경로 계획, 궤적 추적, 충돌 경고 등 중의 적어도 하나가 스마트 운전 제어를 실행할 수 있다.

본 발명에 의해 제공되는 카메라 측위 장치는 또한 클라우드 플랫폼, 신경망 훈련 플랫폼 등의 신경망을 트레이닝하는 전자 디바이스에 적용될 수 있다. 전자 디바이스를 이용하여 당해 방법을 채용하여 신경망을 트레이닝하여 목표 신경망을 얻는다. 그 후, 이미지를 목표 신경망에 입력한 후, 당해 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 얻을 수 있다.

도 27은 예시적인 일 실시예에 따른 전자 디바이스(2700)의 구성을 나타내는 모식도이다. 도 27에 나타낸 바와 같이, 당해 전자 디바이스(2700)는 이동 가능 기계 디바이스 및 신경망을 트레이닝하는 클라우드 플랫폼을 구비한다.

도 27을 참조하면, 전자 디바이스(2700)는 처리 컴포넌트(2722)를 포함하고, 또한 당해 처리 컴포넌트(2722)는 하나 또는 복수의 프로세서; 및 메모리(2732)를 대표로 하는 메모리 리소스를 구비하며, 메모리(2732)는 처리 컴포넌트(2722)에 의해 실행될 수 있는 애플리케이션 프로그램 등과 같은 명령을 기억한다. 메모리(2732)에 기억되는 애플리케이션 프로그램은 각각 일 세트의 명령에 대응하는 하나 또는 하나 이상의 모듈을 구비할 수 있다. 또한, 처리 컴포넌트(2722)는 명령을 실행함으로써 상술한 임의의 카메라 측위 방법을 실시하도록 구성된다.

전자 디바이스(2700)는 전자 디바이스(2700)의 전원 관리를 실행하도록 구성되는 전원 컴포넌트(2726); 전자 디바이스(2700)를 네트워크에 접속하도록 구성되는 유선 또는 무선 네트워크 인터페이스(2750); 및 입력/출력(I/O) 인터페이스(2758)를 더 구비할 수 있다. 전자 디바이스(2700)는 Windows Server^TM, Mac OS X^TM, Unix^TM, Linux^TM, FreeBSD^TM 등과 같은 메모리(2732)에 기억된 운영 체제에 기반하여 동작할 수 있다. 전자 디바이스(2700)가 이동 가능 기계 디바이스일 경우, 전자 디바이스(2700)는 이미지를 수집하기 위한 카메라를 더 포함한다. 전자 디바이스(2700)가 신경망을 트레이닝하는 클라우드 플랫폼일 경우, 전자 디바이스는 당해 입력/출력 인터페이스(2758)를 통해 이동 가능 기계 디바이스와 통신할 수 있다.

당업자는 명세서를 검토하여 여기에 개시된 본 발명을 실시한 후, 본 발명의 기타 실시 형태를 용이하게 생각해낼 수 있다. 본 발명은 본 발명이 임의의 변형, 용도 또는 적응적 변경을 커버하는 것을 의도하고 있다. 이러한 변형, 용도 또는 적응적 변경은 본 발명의 일반 원리를 따르며, 본 발명에 개시되지 않은 본 기술 분야의 상식 또는 종래의 기술적 수단을 포함한다. 명세서 및 실시예는 예시적인 것으로만 간주해야 하며, 본 발명의 진정한 범위 및 사상은 이하의 특허 청구의 범위에 의해 지적된다.

상기는 본 발명의 바람직한 실시예일뿐, 본 발명을 한정하기 위하여 사용되는 것이 아니다. 본 발명의 사상과 원리의 범위 내에서 행하여진 어떠한 수정, 동등의 치환, 개량 등은 모두 본 발명의 보호 범위에 포함된다 할 것이다.

Claims

카메라 측위 방법으로서,
이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 취득하는 것;
상기 사전 확률에 기반하여 상기 이미지 템플릿과 같은 크기의 처리 대기 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행함으로써 목표 이미지를 얻는 것; 및
상기 목표 이미지에 기반하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 확정하는 것을 포함하는
것을 특징으로 하는, 카메라 측위 방법.
제1항에 있어서,
상기 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 취득하는 것은,
소정의 이미지 세트 중의 각 이미지에 대해 픽셀 수준의 시맨틱 분할을 실행하는 것;
픽셀 수준의 시맨틱 분할의 결과에 기반하여 상기 각 이미지 내의 이동 가능 물체에 속하는 제1 픽셀점 및 배경에 속하는 제2 픽셀점을 확정하는 것; 및
상기 각 이미지 내의 상기 제1 픽셀점 및 상기 제2 픽셀점의 통계 분포에 기반하여, 상기 소정의 이미지 세트 중의 이미지와 같은 크기의 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 상기 이동 가능 물체가 출현하는 상기 사전 확률을 확정하는 것을 포함하는
것을 특징으로 하는, 카메라 측위 방법 방법.
제1항 또는 제2항에 있어서,
상기 사전 확률에 기반하여 상기 처리 대기 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행함으로써 목표 이미지를 얻는 것은,
상기 처리 대기 이미지에 포함되어 있는 적어도 일부의 픽셀점에 대응하는 사전 확률에 대해 샘플링을 실행하는 것; 및
상기 처리 대기 이미지 내에서 사전 확률의 샘플링값이 미리 설정된 한계값보다 큰 픽셀점을 삭제함으로써 상기 목표 이미지를 얻는 것을 포함하는
것을 특징으로 하는, 카메라 측위 방법 방법.
제3항에 있어서,
샘플링 회수가 복수 회일 경우, 일부의 픽셀점을 파기하는 조작을 실행한 후에 얻어진 복수의 목표 이미지 사이에는 적어도 하나의 다른 픽셀점이 존재하는
것을 특징으로 하는, 카메라 측위 방법 방법.
제1항 내지 제4항 중 어느 한 항에 있어서,
상기 목표 이미지에 기반하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 확정하는 것은,
신경망을 이용하여 상기 목표 이미지의 특징 파라미터를 추출하여 특징 추출 이미지를 얻는 것;
상기 신경망의 미리 설정된 공간 차원 및/또는 미리 설정된 채널 차원 상에서, 상기 특징 추출 이미지 내의 배경에 속하는 제2 픽셀점에 대응하는 가중치 값을 증가하는 것; 및
상기 신경망을 이용하여 가중치 값을 조정한 후의 특징 추출 이미지를 분석하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 상기 절대 위치 자세를 얻는 것을 포함하는
것을 특징으로 하는, 카메라 측위 방법 방법.
제5항에 있어서,
상기 신경망을 이용하여 가중치 값을 조정한 후의 특징 추출 이미지를 분석하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 상기 절대 위치 자세를 얻은 후에, 상기 카메라 측위 방법은,
상기 절대 위치 자세와 상기 처리 대기 이미지를 수집하는 상기 카메라의 위치 자세의 미리 확정된 실제값 사이의 차이에 기반하여, 상기 신경망 네트워크 파라미터를 조정하여 목표 신경망을 트레이닝하여 얻는 것을 더 포함하는
것을 특징으로 하는, 카메라 측위 방법 방법.
제6항에 있어서,
상기 목표 이미지에 기반하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 확정하는 것은,
상기 처리 대기 이미지를 상기 목표 신경망에 입력하여, 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 상기 절대 위치 자세를 얻는 것을 포함하는
것을 특징으로 하는, 카메라 측위 방법 방법.
제1항 내지 제7항 중 어느 한 항에 있어서,
상기 처리 대기 이미지는 상기 카메라에 의해 수집된 시계열을 가진 적어도 두 개의 프레임의 이미지를 포함하고,
상기 목표 이미지에 기반하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 확정한 후에, 상기 카메라 측위 방법은,
상기 적어도 두 개의 프레임의 이미지에 기반하여 상기 카메라가 상기 적어도 두 개의 프레임의 이미지를 촬영할 때의 상대 위치 자세를 확정하는 것; 및
상기 카메라의 상대 위치 자세와 상기 절대 위치 자세에 기반하여 상기 카메라의 보정 위치 자세를 확정하는 것을 더 포함하는
것을 특징으로 하는, 카메라 측위 방법 방법.
제8항에 있어서,
상기 카메라의 상대 위치 자세와 상기 절대 위치 자세에 기반하여 상기 카메라의 보정 위치 자세를 확정하는 것은,
상기 절대 위치 자세의 확정성 확률을 확정하는 것;
상기 확정성 확률에 기반하여 상기 상대 위치 자세의 제1 가중치 및 상기 절대 위치 자세의 제2 가중치를 확정하는 것; 및
상기 상대 위치 자세, 상기 제1 가중치, 상기 절대 위치 자세 및 상기 제2 가중치에 기반하여 상기 카메라의 보정 위치 자세를 확정하는 것을 포함하는
것을 특징으로 하는, 카메라 측위 방법 방법.
카메라 측위 장치로서,
이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 이동 가능 물체가 출현하는 사전 확률을 취득하기 위한 취득 모듈;
상기 사전 확률에 기반하여 상기 이미지 템플릿과 같은 크기의 처리 대기 이미지에 대해 일부의 픽셀점을 파기하는 조작을 실행함으로써 목표 이미지를 얻기 위한 실행 모듈; 및
상기 목표 이미지에 기반하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 절대 위치 자세를 확정하기 위한 측위 모듈을 구비하는
것을 특징으로 하는, 카메라 측위 장치.
제10항에 있어서,
상기 취득 모듈은,
소정의 이미지 세트 중의 각 이미지에 대해 픽셀 수준의 시맨틱 분할을 실행하기 위한 분할 서브 모듈;
픽셀 수준의 시맨틱 분할의 결과에 기반하여 상기 각 이미지 내의 이동 가능 물체에 속하는 제1 픽셀점 및 배경에 속하는 제2 픽셀점을 확정하기 위한 제1 확정 서브 모듈; 및
상기 각 이미지 내의 상기 제1 픽셀점 및 상기 제2 픽셀점의 통계 분포에 기반하여, 상기 소정의 이미지 세트 중의 이미지와 같은 크기의 이미지 템플릿에 포함되어 있는 복수의 픽셀점 중의 각 픽셀점의 위치에서 상기 이동 가능 물체가 출현하는 상기 사전 확률을 확정하기 위한 제2 확정 서브 모듈을 구비하는
것을 특징으로 하는, 카메라 측위 장치 장치.
제10항 또는 제11항에 있어서,
상기 실행 모듈은,
상기 처리 대기 이미지에 포함되어 있는 적어도 일부의 픽셀점에 대응하는 사전 확률에 대해 샘플링을 실행하기 위한 샘플링 서브 모듈; 및
상기 처리 대기 이미지 내에서 사전 확률의 샘플링값이 미리 설정된 한계값보다 큰 픽셀점을 삭제함으로써 상기 목표 이미지를 얻기 위한 실행 서브 모듈을 구비하는
것을 특징으로 하는, 카메라 측위 장치 장치.
제12항에 있어서,
샘플링 회수가 복수 회일 경우, 일부의 픽셀점을 파기하는 조작을 실행한 후에 얻어진 복수의 목표 이미지 사이에는 적어도 하나의 다른 픽셀점이 존재하는
것을 특징으로 하는, 카메라 측위 장치 장치.
제10항 내지 제13항 중 어느 한 항에 있어서,
상기 측위 모듈은,
용건 우 신경망을 이용하여 상기 목표 이미지의 특징 파라미터를 추출하여 특징 추출 이미지를 얻기 위한 제1 처리 서브 모듈;
상기 신경망의 미리 설정된 공간 차원 및/또는 미리 설정된 채널 차원 상에서, 상기 특징 추출 이미지 내의 배경에 속하는 제2 픽셀점에 대응하는 가중치 값을 증가하기 위한 제2 처리 서브 모듈; 및
상기 신경망을 이용하여 가중치 값을 조정한 후의 특징 추출 이미지를 분석하여 상기 처리 대기 이미지를 수집하는 카메라의 세계 좌표계 내의 상기 절대 위치 자세를 얻기 위한 제1 측위 서브 모듈을 구비하는
것을 특징으로 하는, 카메라 측위 장치 장치.
제14항에 있어서,
상기 절대 위치 자세와 상기 처리 대기 이미지를 수집하는 상기 카메라의 위치 자세의 미리 확정된 실제값 사이의 차이에 기반하여, 상기 신경망 네트워크 파라미터를 조정하여 목표 신경망을 트레이닝하기 위한 훈련 모듈을 더 구비하는
것을 특징으로 하는, 카메라 측위 장치 장치.
제15항에 있어서,
상기 측위 모듈은,
상기 처리 대기 이미지를 상기 목표 신경망에 입력하고, 상기 처리 대기 이미지 카메라의 세계 좌표계 내의 상기 절대 위치 자세를 얻기 위한 제2 측위 서브 모듈을 구비하는
것을 특징으로 하는, 카메라 측위 장치 장치.
제10항 내지 제16항 중 어느 한 항에 있어서,
상기 처리 대기 이미지는 상기 카메라에 의해 수집된 시계열을 가진 적어도 두 개의 프레임의 이미지를 포함하고,
상기 카메라 측위 장치는,
상기 적어도 두 개의 프레임의 이미지에 기반하여 상기 카메라가 상기 적어도 두 개의 프레임의 이미지를 촬영할 때의 상대 위치 자세를 확정하기 위한 제1 확정 모듈; 및
상기 카메라의 상대 위치 자세와 상기 절대 위치 자세에 기반하여 상기 카메라의 보정 위치 자세를 확정하기 위한 제2 확정 모듈을 더 구비하는
것을 특징으로 하는, 카메라 측위 장치 장치.
제17항에 있어서,
상기 제2 확정 모듈은,
상기 절대 위치 자세의 확정성 확률을 확정하기 위한 제3 확정 서브 모듈;
상기 확정성 확률에 기반하여 상기 상대 위치 자세의 제1 가중치 및 상기 절대 위치 자세의 제2 가중치를 확정하기 위한 제4 확정 서브 모듈; 및
상기 상대 위치 자세, 상기 제1 가중치, 상기 절대 위치 자세 및 상기 제2 가중치에 기반하여 상기 카메라의 보정 위치 자세를 확정하기 위한 제5 확정 서브 모듈을 더 구비하는
것을 특징으로 하는, 카메라 측위 장치 장치.
컴퓨터 판독 가능 기록 매체로서,
상기 컴퓨터 판독 가능 기록 매체에는 컴퓨터 프로그램이 기억되어 있으며,
상기 컴퓨터 프로그램은 제1항 내지 제9항 중 어느 한 항에 기재된 카메라 측위 방법을 실행하는
것을 특징으로 하는, 컴퓨터 판독 가능 기록 매체.
전자 디바이스로서,
프로세서; 및
상기 프로세서에 의해 실행 가능한 명령을 기억하기 위한 메모리를 구비하되,
상기 프로세서는 상기 메모리에 기억되어 있는 실행 가능 명령을 호출하여 제1항 내지 제9항 중 어느 한 항에 기재된 카메라 측위 방법을 실현하는
것을 특징으로 하는, 전자 디바이스.