KR20210108897A

KR20210108897A - 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법, 장치 및 전자 기기

Info

Publication number: KR20210108897A
Application number: KR1020210023809A
Authority: KR
Inventors: 실리 첸; 자오량 리유
Original assignee: 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date: 2020-02-25
Filing date: 2021-02-23
Publication date: 2021-09-03
Also published as: CN111275827B; EP3872762A1; KR102432561B1; CN111275827A; US20210264635A1; US11574414B2; JP2021136028A; JP7150074B2

Abstract

본 출원은 에지를 기반으로 하는 증강현실 3차원 추적 등록방법, 장치, 전자 기기 및 저장 매체를 제공하고, 컴퓨터 시각 처리 분야에 관한 것이다. 구체적인 구현 방안은, 3차원 물체의 이미지에서의 초기화 자세를 획득하는 단계; 초기화 자세를 통해, 3차원 물체 윤곽의 에지렛 특징을 추출하는 단계; 추출된 에지렛 특징을 그룹으로 분할하고, 각 그룹을 기본단위로 하여 이미지에서 검색하여, 각 그룹의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아내는 단계; 및 모든 그룹에서 찾아낸 매칭 포인트를 기반으로, 3차원 물체의 자세를 계산하는 단계; 를 포함한다. 본 출원의 방안은 빠르고 견실하게 3차원 물체의 정밀 자세를 계산할 수 있고, 알고리즘 계산의 복잡도가 낮고, 계산 기기의 하드웨어에 대한 요구가 비교적 낮으며, 복수의 기기에서 AR 3차원 물체 추적 전시를 할 수 있다.

Description

에지를 기반으로 하는 증강현실 3차원 추적 등록 방법, 장치 및 전자 기기{EDGE-BASED THREE-DIMENSIONAL TRACKING AND REGISTRATION METHOD AND APPARATUS FOR AUGMENTED REALITY, AND ELECTRONIC DEVICE}

본 출원은 컴퓨터 시각 처리 분야에 관한 것으로, 특히 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법, 장치, 전자 기기 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.

3차원 물체 등록 추적 알고리즘은 증강현실(Augmented Reality, AR)기술 제품의 중요한 알고리즘이다. 현실 중의 3차원 물체를 추적하려면, 먼저 당해 3차원 물체가 휴대폰, 카메라 등 이미지 수집 기기에 대한 초기 상대 자세를 결정한다. 당해 초기 상대 자세를 획득하는 과정을 등록이라고 한다.

관련 기술에서, 통상적인 등록 방법은 2개의 단계로 나눈다. 제1 단계는, 먼저 템플릿 매칭 방법으로 전체 이미지에서 타겟 물체를 검색하고, 대체적인 자세를 획득한다. 제2 단계는 제1 단계의 결과를 기반으로 자세 교정을 수행하고, 정밀 자세를 획득한다. 여기서, 제2 단계에서 자주 사용하는 방법은 일반적으로 하기의 두 가지 종류를 사용한다. 제1 종은 에지의 매칭을 기반으로 정밀 자세를 계산하고, 제2 종은 딥 러닝 방법을 기반으로 정밀 자세를 계산한다.

그러나, 현재 존재하고 있는 문제는, 상기 제1 종의 방법은 속도가 빠르지만, 일부 복잡한 환경(백그라운드가 난잡하고 가려지는 등)에서 견실하지 않고, 찾아낸 에지렛(Edgelet) 특징이 정확하게 매칭되는 경우가 비교적 적으므로, 매칭 포인트가 효력을 잃기 쉽고, 제2 종의 방법은 비교적 견실하나, 정밀 자세를 계산하는 속도가 비교적 느리다.

본 출원은 일정한 정도에서 관련 기술 중 적어도 하나의 기술과제를 해결하려는 것을 취지로 한다.

이로하여, 본 출원의 첫 번째 목적은, 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법을 제공하고, 당해 방법은 빠르고 견실하게 3차원 물체의 정밀 자세의 계산을 구현할 수 있고, 알고리즘 계산 복잡도가 낮으며, 계산 기기의 하드웨어에 대한 요구가 비교적 낮고, 복수의 기기에서 AR 3차원 물체 추적 전시를 할 수 있다.

본 출원의 두 번째 목적은, 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치를 제공하는 것이다.

본 출원의 세 번째 목적은, 전자 기기를 제공하는 것이다.

본 출원의 네 번째 목적은, 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하는 것이다.

본 출원의 다섯 번째 목적은, 비일시적 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램을 제공하는 것이다.

상기 목적에 도달하기 위해, 본 출원의 제1 측면 실시예에서 제공하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법은,

3차원 물체의 이미지에서의 초기화 자세를 획득하는 단계;

초기화 자세를 통해, 3차원 물체 윤곽의 에지렛 특징을 추출하는 단계;

추출된 에지렛 특징을 그룹으로 분할하고, 각 그룹을 기본단위로 하여 이미지에서 검색하여, 각 그룹의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아내는 단계; 및

모든 그룹에서 찾아낸 매칭 포인트를 기반으로, 3차원 물체의 자세를 계산하는 단계; 를 포함한다.

본 출원의 일 실시예에 따르면, 상기 초기화 자세를 통해, 상기 3차원 물체 윤곽의 에지렛 특징을 추출하는 단계는, 상기 초기화 자세를 통해, 상기3차원 물체의 모델을 투영하고, 모델 투영 이미지를 계산하는 단계; 상기 모델 투영 이미지 중의 대상의 가시 에지를 인식하고, 가시 에지를 따라 일정한 간격으로 샘플링 포인트를 분배하는 단계; 및 상기 샘플링 포인트 및 상기 샘플링 포인트이 모델 선분에서의 법선 방향을 상기 3차원 물체 윤곽의 에지렛 특징으로 하는 단계; 를 포함한다.

본 출원의 일 실시예에 따르면, 상기 추출된 에지렛 특징을 그룹으로 분할하는 단계는, 상기 3차원 물체 윤곽 전체의 기하학적 구조를 기반으로, 추출된 에지렛 특징을 그룹으로 분할하는 단계 - 각 그룹 내의 각 에지렛 특징의 법선 방향은 일치하거나 법선 방향 사이의 협각은 제1 소정 범위 내에 있고, 상기 각 그룹은 모두 자체의 평균 법선 벡터를 구비함 - ; 를 포함한다.

본 출원의 일 실시예에 따르면, 상기 각 그룹을 기본단위로 하여 이미지에서 검색하여, 각 그룹 내의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아내는 단계는, 각 그룹을 기본단위로 하여, 상기 각 그룹의 평균 법선 벡터 방향을 따라 이미지에서 검색하여, 상기 각 그룹 내의 각 에지렛 특징의 매칭 포인트를 찾아내는 단계를 포함한다.

본 출원의 일 실시예에 따르면, 상기 각 그룹의 평균 법선 벡터 방향을 따라 이미지에서 검색하여, 상기 각 그룹 내의 각 에지렛 특징의 매칭 포인트를 찾아내는 단계는, 현재 그룹의 평균 법선 벡터 방향을 따라, 제2 소정 범위 내의 상기 이미지에서 양방향 검색을 수행하는 단계; 상기 현재 그룹 내의 각 에지렛 특징을 각 검색 위치에서 매칭하여, 상기 현재 그룹 내의 각 에지렛 특징의 상기 각 검색 위치에서의 매칭 포인트를 찾아내는 단계; 및 상기 각 검색 위치에서, 매칭 포인트가 제일 많은 검색 위치를 상기 현재 그룹의 최적 매칭 위치로 선택하고, 상기 최적 매칭 위치에서의 매칭 포인트를 에지렛 특징에 대응하는 매칭 포인트로 하는 단계; 를 포함한다.

본 출원의 일 실시예에 따르면, 상기 현재 그룹 내의 각 에지렛 특징을 각 검색 위치에서 매칭하여, 상기 현재 그룹 내의 각 에지렛 특징의 상기 각 검색 위치에서의 매칭 포인트를 찾아내는 단계는, 상기 현재 그룹 내의 각 에지렛 특징의 검색 위치에서, 상기 현재 그룹의 평균 법선 벡터 방방을 따른 기울기 값이 미리 설정된 역치보다 큰 기울기 극단 포인트를 찾아내어 후보 포인트로 하는 단계; 및 상기 후보 포인트에서, 기울기 방향과 상기 현재 그룹의 평균 법선 벡터 방향 사이의 협각이 제일 작은 후보 포인트를 선택하여, 상기 각 에지렛 특징의 상기 검색 위치에서의 매칭 포인트로 하는 단계; 를 포함한다.

상기 목적에 도달하기 위해, 본 출원의 제2 측면 실시예에서 제공하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치는,

3차원 물체의 이미지에서의 초기화 자세를 획득하기 위한 초기화 자세 획득 모듈;

상기 초기화 자세를 통해, 상기 3차원 물체 윤곽의 에지렛 특징을 추출하기 위한 특징 추출 모듈;

추출된 에지렛 특징을 그룹으로 분할하기 위한 분할 모듈;

각 그룹을 기본단위로 하여 이미지에서 검색하여, 각 그룹 내의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아내기 위한 매칭 포인트 검색 모듈; 및

모든 그룹에서 찾아낸 매칭 포인트를 기반으로, 상기 3차원 물체의 자세를 계산하기 위한 자세 계산 모듈; 을 포함한다.

상기 목적에 도달하기 위해, 본 출원의 제3 측면 실시예에서 제공하는 전자 기기는, 적어도 하나의 프로세서; 및 상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리; 를 포함하고, 상기 메모리에는 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 수행되어, 상기 적어도 하나의 프로세서가 본 출원의 제1 측면의 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법을 수행하도록 한다.

상기 목적에 도달하기 위해, 본 출원의 제4 측면 실시예는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하고, 상기 컴퓨터 명령은 상기 컴퓨터가 본 출원의 제1 측면의 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법을 수행하도록 한다.

상기 목적에 도달하기 위해, 본 출원의 제5 측면 실시예는 비일시적 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램은 상기 컴퓨터가 본 출원의 제1 측면의 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법을 수행하도록 한다.

상기 출원 중의 실시예는 아래와 같은 우점 또는 유익한 효과를 구비한다. 3차원 물체의 이미지에서의 초기화 자세를 통해, 3차원 물체 윤곽의 에지렛 특징을 추출하고, 추출된 에지렛 특징을 그룹으로 분할하고, 각 그룹을 기본단위로 하여 이미지에서 검색하여, 각 그룹 내의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아내고, 모든 그룹에서 찾아낸 매칭 포인트를 기반으로, 3차원 물체의 정밀 자세를 계산한다. 전체 추적 등록 과정에서, 3차원 물체 윤곽의 에지렛 특징을 그룹으로 분할하고, 각 그룹을 기본단위로 하여 이미지에서 검색 및 매칭하여, 이미지에서 찾아낸 에지렛 특징이 정확히 매칭한 수량을 확보하고, 찾아낸 매칭 포인트의 유효성을 보증함으로, 본 출원의 추적 등록 방법이 일부 복잡한 화경(백그라운드가 난잡하고 가려지는 등)에서도 견실성을 구비하는 동시에 계산 속도도 보증할 수 있다. 따라서, 빠르고 견실하게 계산하여 3차원 물체의 정밀 자세를 획득하고, 알고리즘 계산의 복잡도가 낮고, 계산 기기 하드웨어에 대한 요구가 비교적 낮으며, 복수의 기기에서 AR 3차원 물체 추적 전시를 할 수 있다. 종래 기술에서 3차원 물체 추적 등록 알고리즘의 계산 속도와 견실성을 겸용하지 못하는 문제를 극복한다.

상기 선택 가능한 방식이 구비한 기타 효과는 아래의 설명에서 구체 실시예와 결합하여 설명한다.

도면은 본 방안을 더 잘 이해하는데 사용되고, 본 출원을 한정하지 않는다.
도1은 본 출원의 일 실시예에 따른 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법의 흐름도이다.
도2는 본 출원의 일 실시예에 따른 각 그룹의 평균 법선 벡터 방향에 따라 이미지에서 검색하여, 각 그룹 내의 각 에지렛 특징의 매칭 포인트를 찾아내는 흐름도이다.
도3은 본 출원의 일 실시예에 따른 현재 그룹 내의 각 에지렛 특징이 각 검색 위치에서의 매칭 포인트를 찾아내는 구조 개략도이다.
도4는 본 출원의 일 실시예에 따른 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치의 구조 개략도이다.
도5는 본 출원의 실시예에 따른 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법의 전자 기기의 블록도이다.

아래 도면과 결합하여 본 출원의 예시적인 실시예를 설명한다. 여기에서는 이해를 돕기 위해 본 출원의 실시예의 다양한 세부 사항을 포함하고, 실시예들은 단지 예시적인 것으로 간주되어야 한다. 때문에 이 발명에 속하는 기술 분야의 통상 지식을 가진 자는 본 출원의 범위 및 사상을 벗어나지 않고 실시예에 다양한 변경과 수정을 할 수 있다는 것을 인식해야 한다. 동시에 정확성과 간결성을 위해 아래의 설명에서는 공지 기능과 구조에 대한 설명은 생략한다.

본 출원은 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법, 장치, 전자 기기 및 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 제공하고, 본 출원은 종래 기술에서 3차원 물체 추적 등록 알고리즘의 계산 속도와 견실성을 겸용하지 못하는 문제를 해결하였다. 구체적으로, 아래의 도면을 참조하여 본 출원 실시예의 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법, 장치, 전자 기기 및 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체를 설명한다.

도1은 본 출원의 일 실시예에 따른 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법의 흐름도이다. 설명해야 할 것은, 본 출원의 실시예의 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법은 본 출원의 실시예의 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치에 적용될 수 있고, 당해 장치는 전자 기기에 구성될 수 있다. 여기서, 당해 전자 기기는 디스플레이를 구비한 다양한 전자 기기, 모바일 단말일 수 있다. 예를 들면, 스마트 폰, 테블릿PC 또는 AR기기일 수 있다. 설명해야 할 것은, 당해 전자 기기는 이미지 수집 장치를 구비한다.

도1에 도시한 바와 같이, 당해 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법은 단계 S110 내지 S130을 포함한다.

S110에서, 3차원 물체의 이미지에서의 초기화 자세를 획득한다.

본 출원의 실시예에서, 3차원 물체가 인식될 경우, 당해 3차원 물체를 추적할 수 있다. 당해 3차원 물체를 추적할 것이 결정될 경우, 먼저 3차원 물체의 이미지에서의 초기화 자세를 획득할 수 있다. 초기화 자세는 3차원 물체가 이미지에서의 대체적인 위치와 자세로 이해할 수 있다.

여기서, LineMod(선함수)알고리즘을 통해 3차원 물체의 이미지에서의 초기화 자세를 획득할 수 있다.

예를 들면, LineMod 알고리즘을 기반으로, 이미지의 기울기 정보를 사용하여, 3차원 물체 표면의 법선 방향 특징을 결합하여 템플릿 매칭의 기초로 하고, 3차원 물체의 이미지에서의 초기화 자세를 획득할 수 있다.

S120에서, 초기화 자세를 통해, 3차원 물체 윤곽의 에지렛 특징을 추출한다.

본 출원의 실시예에서, 3차원 물체의 이미지에서의 초기화 자세를 획득한 후, 상기 초기화 자세를 통해, 상기3차원 물체의 모델을 투영하고, 모델 투영 이미지를 계산할 수 있고, 다음 모델 투영 이미지 중의 대상의 가시 에지를 인식하고, 가시 에지를 따라 일정한 간격으로 샘플링 포인트를 분배하고, 샘플링 포인트 및 샘플링 포인트가 모델 선분에서의 법선 방향을 3차원 물체 윤곽의 에지렛 특징(moving edge) 으로 한다.

투영하는 방법으로 3차원 물체의 모델을 투영하여, 모델 투영 이미지를 계산한다. 투영 방법은 원근 투영 방법, 정투영 방법 등을 포함하나 이에 한정되지 않는다.

S130에서, 추출된 에지렛 특징을 그룹으로 분할하고, 각 그룹을 기본단위로 하여 이미지에서 검색하여, 각 그룹의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아낸다.

즉, 3차원 물체 윤곽의 에지렛 특징을 추출한 후, 상기 3차원 물체 윤곽 전체의 기하학적 구조를 기반으로, 추출된 에지렛 특징을 그룹으로 분할하고, 그룹을 기반으로 이미지에서 검색 매칭할 수 있다. 본 출원의 실시예에서, 3차원 물체 윤곽 전체의 기하학적 구조를 기반으로, 추출된 에지렛 특징을 부동한 그룹으로 분할할 수 있다. 각 그룹 내의 각 에지렛 특징의 법선 방향은 일치하거나, 법선 방향 사이의 협각은 제1 소정 범위 내에 있고, 각 그룹은 모두 자체의 평균 법선 벡터를 구비한다.

추출된 에지렛 특징을 그룹으로 분할한 후, 각 그룹을 기본단위로 하여, 각 그룹의 평균 법선 벡터 방향에 따라 이미지에서 검색하여, 각 그룹 내의 각 에지렛 특징의 매칭 포인트를 찾아낸다.

3차원 물체 윤곽 전체의 기하학적 구조는 인접한 에지렛 사이의 법선 벡터 협각, 요철 상황 등을 포함하나, 이에 한정되지 않는다.

즉, 3차원 물체 윤곽 전체의 인접한 에지렛 사이의 법선 벡터 협각 또는 요철 상황와 같은 기하학적 구조에 따라, 추출된 에지렛 특징을 부동한 그룹으로 분할하고, 각 그룹 내의 각 에지렛 특징의 법선 방향은 일치하거나, 법선 방향 사이의 협각은 제1 소정 범위(당해 제1 소정 범위는 각 그룹 내의 에지렛 특징의 법선 방향을 기본적으로 일치하게 할수 있는 것으로 이해할 수 있다.)내에 있고, 각 그룹은 모두 자체의 평균 법선 벡터를 구비하고, 각 그룹을 기본단위로 하여, 각 그룹의 평균 법선 벡터 방향에 따라 이미지에서 검색하여, 각 그룹 내의 각 에지렛 특징의 매칭 포인트를 찾아낸다.

본 출원의 실시예에서, 당해 매칭 방법은, 평균 방향에 따라, 일정한 범위 내에서 양방향 검색을 수행하고, 각 검색 위치에서 그룹의 에지렛 특징을 부근에서 매칭하고, 몇 개의 매칭 포인트가 있는지 살펴본다. 마지막으로, 매칭 포인트가 제일 많은 위치를 당해 그룹의 최적 매칭 위치로 선택하고, 당해 위치의 각 에지렛 특징의 매칭 포인트를 그들 각자의 매칭 포인트로 결정한다.

본 출원의 일 실시예에서, 도2에 도시한 바와 같이, 상기 각 그룹의 평균 법선 벡터 방향에 따라 이미지에서 검색하여, 각 그룹 내의 각 에지렛 특징의 매칭 포인트를 찾아내는 구체적인 구현 과정은 단계 S210 내지 S230을 포함한다.

S210에서, 현재 그룹의 평균 법선 벡터 방향에 따라 제2 소정 범위 내의 이미지에서 양방향 검색을 수행한다.

즉, 추출된 에지렛 특징을 부동한 그룹으로 분할하고, 각 그룹은 현재 그룹의 평균 법선 벡터 방향에 따라, 일정한 범위 내에서 양방향 검색을 수행한다. 검색 스텝 길이는 단위 픽셀이다.

S220에서, 현재 그룹 내의 각 에지렛 특징을 각 검색 위치에서 매칭하여, 현재 그룹 내의 각 에지렛 특징의 각 검색 위치에서의 매칭 포인트를 찾아낸다.

본 출원의 실시예에서, 현재 그룹 내의 각 에지렛 특징의 검색 위치에서, 현재 그룹의 평균 법선 벡터 방향을 따른 기울기 값이 미리 설정된 역치보다 큰 기울기 극단 포인트를 찾아내어 후보 포인트로 하고, 다음 후보 포인트에서, 기울기 방향과 현재 그룹의 평균 법선 벡터 방향 사이의 협각이 제일 작은 후보 포인트를 선택하여, 각 에지렛 특징의 검색 위치에서의 매칭 포인트로 한다.

기울기의 일반 공식 또는 기울기의 중간값 차분 공식을 통해, 현재 그룹의 평균 법선 벡터 방향에 따른 기울기 값을 계산할 수 있다.

즉, 기울기의 일반 공식 또는 기울기의 중간값 차분 공식을 통해, 현재 그룹의 평균 법선 벡터 방향에 따른 기울기 값을 계산한 후, 현재 그룹 내의 각 에지렛 특징의 검색 위치에서, 기울기 도면 중 평균 법선 벡터에 따른 기울기 값이 미리 설정된 역치보다 큰 기울기 극단 포인트를 찾아낼 수 있다. 예를 들면, 어느 한 픽셀 포인트의 기울기 값이 충분히 크고, 법선 벡터 방향의 양쪽 픽셀의 기울기 값보다 크고, 후보 포인트로 하며, 다음 후보 포인트에서, 기울기 방향과 현재 그룹의 평균 법선 벡터 사이의 협각(예를 들면, 0~90도)이 제일 작은 후보 포인트를 선택하여 각 에지렛 특징의 검색 위치에서의 매칭 포인트로 한다.

S230, 각 검색 위치에서, 매칭 포인트가 제일 많은 검색 위치를 현재 그룹의 최적 매칭 위치로 선택하고, 최적 매칭 위치에서의 매칭 포인트를 에지렛 특징에 대응하는 매칭 포인트로 한다.

즉, 현재 그룹 내의 각 에지렛 특징의 각 검색 위치에서의 매칭 포인트를 찾아낸 후, 각 검색 위치에서, 매칭 포인트가 제일 많은 검색 위치를 현재 그룹의 최적 매칭 위치로 선택하고, 최적 매칭 위치에서의 매칭 포인트를 에지렛 특징에 대응하는 매칭 포인트로 할 수 있다.

예를 들면, 도3에 도시한 바와 같이, S1은 이미지 중의 정확한 에지 위치이고, L1, L2, L3, L4, L5는 각각 현재 그룹 내의 각 에지렛 특징의 검색 위치이고, 화살표는 현재 그룹의 평균 법선 벡터 방향이며, 각 "+" 부호는 각 검색 위치에 대응하는 그룹 내의 각 에지렛의 중심 위치이다. L1, L2, L3, L4, L5에서, 현재 그룹의 평균 법선 벡터 방향을 따른 기울기 값이 미리 설정된 역치보다 큰 기울기 극단 포인트를 찾아내어 후보 포인트로 하고, 다음 후보 포인트에서, 기울기 방향과 현재 그룹의 평균 법선 벡터 방향 사이의 협각이 제일 작은 후보 포인트를 선택하여, 각 에지렛 특징의 검색 위치에서의 매칭 포인트로 한다. 예를 들면, S1이 정확한 에지 위치이므로, 당해 현재 그룹이 그 평균 법선 벡터 방향을 따라 L1, L2, L3, L4, L5 검색 위치에서 검색하여 매칭할 경우, 검색 위치L3에서 에지렛 특징을 매칭할 수 있는 점이 제일 많다는 것을 발견했다. 이 때, 당해 검색 위치L3을 당해 그룹의 최적 매칭 위치로 할 수 있고, 당해 검색 위치L3에서의 각 에지렛 특징의 매칭 포인트를 당해 에지렛 특징의 매칭 포인트로 한다.

S140에서, 모든 그룹에서 찾아낸 매칭 포인트를 기반으로, 3차원 물체의 자세를 계산한다.

본 출원의 실시예에서, 모든 그룹에서 찾아낸 매칭 포인트를 기반으로, RANSAC 알고리즘 및 IRLS 알고리즘을 결합하는 방식으로 3차원 물체의 정밀 자세를 계산할 수 있다.

본 출원의 실시예의 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법은, 3차원 물체의 이미지에서의 초기화 자세를 획득할 수 있고, 초기화 자세를 통해, 3차원 물체 윤곽의 에지렛 특징을 추출한 후, 추출된 에지렛 특징을 그룹으로 분할하고, 각 그룹을 기본단위로 하여 이미지에서 검색하여, 각 그룹 내의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아내고, 모든 그룹에서 찾아낸 매칭 포인트를 기반으로, 3차원 물체의 자세를 계산한다. 당해 방법은 전체 추적 등록 과정에서, 3차원 물체 윤곽의 에지렛 특징을 그룹으로 분할하고, 각 그룹을 기본단위로 하여 이미지에서 검색 및 매칭함으로써, 이미지에서 찾아낸 에지렛 특징이 정확하게 매칭되는 수량을 확보하고, 찾아낸 매칭 포인트의 유효성을 보증하므로, 본 출원의 추적 등록 방법이 일부 복잡한 환경(백그라운드가 난잡하고 가려지는 등)에서도 견실성을 구비하는 동시에 계산 속도도 보증할 수 있어, 빠르고 견실하게 3차원 물체의 정밀 자세를 계산하고, 알고리즘 계산의 복잡도가 낮고, 계산 기기 하드웨어에 대한 요구가 비교적 낮으며, 복수의 기기에서 AR 3차원 물체 추적 전시를 할 수 있다.

상기 몇가지 실시예에서 제공하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법에 대응하게, 본 출원의 일 실시예는 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치를 더 제공하고, 본 출원의 실시예에서 제공하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치가 상기 몇가지 실시예에서 제공하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법과 서로 대응되므로, 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법의 실시 방식도 본 실시예에서 제공하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치에 적용할 수 있다. 본 실시예에서 더는 상세하게 설명하지 않는다. 도4는 본 출원의 일 실시예에 따른 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치의 구조 개략도이다.

도4에 도시한 바와 같이, 당해 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치(400)는, 초기화 자세 획득 모듈(410), 특징 추출 모듈(420), 분할 모듈(430), 매칭 포인트 검색 모듈(440) 및 자세 계산 모듈(450)을 포함한다.

초기화 자세 획득 모듈(410)은 3차원 물체의 이미지에서의 초기화 자세를 획득한다.

특징 추출 모듈(420)은 상기 초기화 자세를 통해, 상기 3차원 물체 윤곽의 에지렛 특징을 추출한다. 예시로서, 상기 특징 추출 모듈(420)은 구체적으로, 상기 초기화 자세를 통해, 상기 3차원 물체의 모델을 투영하고, 모델 투영 이미지를 계산하고, 상기 모델 투영 이미지 중의 대상의 가시 에지를 인식하고, 가시 에지에 따라 일정한 간격으로 샘플링 포인트를 분배하고, 상기 샘플링 포인트 및 상기 샘플링 포인트의 모델 선분에서의 법선 방향을 상기 3차원 물체 윤곽의 에지렛 특징으로 한다.

분할 모듈(430)은 추출된 에지렛 특징을 그룹으로 분할한다. 예시로서, 상기 분할 모듈(430)은 구체적으로, 상기 3차원 물체 윤곽 전체의 기하학적 구조를 기반으로, 추출된 에지렛 특징을 그룹으로 분할한다. 각 그룹 내의 각 에지렛 특징의 법선 방향은 일치하거나, 법선 방향 사이의 협각은 제1 소정 범위 내에 있고, 상기 각 그룹은 모두 자체의 평균 법선 벡터를 구비한다.

매칭 포인트 검색 모듈(440)은 각 그룹을 기본단위로 하여 이미지에서 검색하여, 각 그룹 내의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아낸다. 예시로서, 상기 매칭 포인트 검색 모듈은 구체적으로, 각 그룹을 기본단위로 하여, 상기 각 그룹의 평균 법선 벡터 방향에 따라 이미지에서 검색하여, 상기 각 그룹 내의 각 에지렛 특징의 매칭 포인트를 찾아낸다.

본 출원의 실시예에서, 상기 매칭 포인트 검색 모듈(440)은 구체적으로, 상기 현재 그룹의 평균 법선 벡터 방향을 따라, 제2 소정 범위 내의 상기 이미지에서 양방향 검색을 수행하고, 상기 현재 그룹 내의 각 에지렛 특징을 각 검색 위치에서 매칭하여, 상기 현재 그룹 내의 각 에지렛 특징의 상기 각 검색 위치에서의 매칭 포인트를 찾아내고, 상기 각 검색 위치에서, 매칭 포인트가 제일 많은 검색 위치를 상기 현재 그룹의 최적 매칭 위치로 선택하고, 상기 최적 매칭 위치에서의 매칭 포인트를 에지렛 특징에 대응하는 매칭 포인트로 한다.

본 출원의 실시예에서, 상기 매칭 포인트 검색 모듈(440)은 구체적으로, 상기 현재 그룹 내의 각 에지렛 특징의 검색 위치에서, 상기 현재 그룹의 평균 법선 벡터 방방을 따른 기울기 값이 미리 설정된 역치보다 큰 기울기 극단 포인트를 찾아내어 후보 포인트로 하고, 상기 후보 포인트에서, 기울기 방향과 상기 현재 그룹의 평균 법선 벡터 방향 사이의 협각이 제일 작은 후보 포인트를 선택하여, 상기 각 에지렛 특징의 상기 검색 위치에서의 매칭 포인트로 한다.

자세 계산 모듈(450)은 모든 그룹에서 찾아낸 매칭 포인트를 기반으로, 상기 3차원 물체의 자세를 계산한다.

본 출원의 실시예의 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치는, 3차원 물체의 이미지에서의 초기화 자세를 획득할 수 있고, 초기화 자세를 통해, 3차원 물체 윤곽의 에지렛 특징을 추출한 후, 추출된 에지렛 특징을 그룹으로 분할하고, 각 그룹을 기본단위로 하여 이미지에서 검색하여, 각 그룹 내의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아내고, 모든 그룹에서 찾아낸 매칭 포인트를 기반으로, 3차원 물체의 자세를 계산한다. 이로하여, 전체 추적 등록 과정에서, 3차원 물체 윤곽의 에지렛 특징을 그룹으로 분할하고, 각 그룹을 기본단위로 하여 이미지에서 검색 및 매칭함으로써, 이미지에서 찾아낸 에지렛 특징이 정확하게 매칭되는 수량을 확보하고, 찾아낸 매칭 포인트의 유효성을 보증함으로, 본 출원의 추적 등록 방법이 일부 복잡한 환경(백그라운드가 난잡하고 가려지는 등)에서도 견실성을 구비하는 동시에 계산 속도도 보증할 수 있고, 빠르고 견실하게 3차원 물체의 정밀 자세를 계산하고, 알고리즘 계산의 복잡도가 낮고, 계산 기기 하드웨어에 대한 요구가 비교적 낮으며, 복수의 기기에서 AR 3차원 물체 추적 전시를 할 수 있다.

본 출원의 실시예에 따르면, 본 출원의 실시예는 전자 기기 및 판독 가능 저장 매체를 더 제공한다.

본 출원의 실시예에 따르면, 본 출원의 실시예는 비일시적 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공하고, 상기 컴퓨터 프로그램은 상기 컴퓨터가 본 출원의 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법을 수행하도록 한다.

도5에 도시한 바와 같이, 도5는 본 출원의 실시예의 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법의 전자 기기의 블록도이다. 전자 기기는 복수 형식의 디지털 컴퓨터를 나타낸다. 예를 들면, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크스테이션, 개인 정보 단말(PAD), 서버, 블레이드 서버, 메인 프레임 및 기타 적합한 컴퓨터일 수 있다. 전자 기기는 복수 형식의 모바일 장치를 나타낸다. 예를 들면 개인 정보 단말(PAD), 셀룰러 폰, 스마트 폰, 웨어러블 기기 및 기타 유사한 컴퓨팅 장치일 수 있다. 본 출원에 나타난 컴포넌트, 이들의 연결와 관계, 및 기능은 단지 예시적인 것 뿐이며, 본 출원에서 설명 및/또는 요구한 본 출원의 구현을 한정하려는 것은 아니다.

도5에 도시한 바와 같이, 당해 전자 기기에는, 하나 또는 복수의 프로세서(501), 메모리(502) 및 각 컴포넌트를 연결하기 위한 고속 인터페이스와 저속 인터페이스를 포함하는 인터페이스를 포함한다. 각 컴포넌트는 서로 다른 버스를 이용하여 서로 연결되고, 공동 메인보드에 장착될 수 있고 수요에 의해 기타 방식으로 장착될 수도 있다. 프로세서는 메모리 또는 메모리 상에 저장되어 외부의 입력 / 출력 장치 (예를 들면, 인터페이스에 결합된 디스플레이 기기)에 GUI의 그래픽 정보를 표시하기 위한 명령을 포함한, 전자 기기 내에서 실행 가능한 명령을 처리할 수 있다. 기타 실시 방식에서, 필요에 따라, 복수의 프로세서 및/또는 복수의 버스를 복수의 메모리와 같이 사용할 수 있다. 마찬가지로, 복수의 전자 기기를 연결할 수 있고. 각 전자 기기는 일부 필요한 동작(예를 들면, 서버 어레이, 한 그룹의 블레이드 서버 또는 멀티 프로세서 시스템)을 제공한다. 도5에서는 하나의 프로세서(501)를 예로 든다.

메모리(502)는 본 출원에서 제공하는 비일시적 컴퓨터 판독 가능 저장 매체이다. 상기 메모리에는 적어도 하나의 프로세서에 의해 수행 가능한 명령이 저장되어 있고, 상기 적어도 하나의 프로세서가 본 출원에서 제공하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법을 실행할 수 있게 한다. 본 출원의 비일시적 컴퓨터 판독 가능 저장 매체에는 컴퓨터 명령이 저장되어 있고, 당해 컴퓨터 명령은 컴퓨터가 본 출원에서 제공하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법을 실행하게 한다.

메모리(502)는 비일시적 컴퓨터 판독 가능 저장 매체로서, 비일시적 소프트웨어 프로그램, 비일시적 컴퓨터 실행 가능한 프로그램 및 모듈을 저장하는데 사용된다. 예를 들면, 본 출원의 실시예 중의 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법에 대응하는 프로그램 명령/모듈(예를 들면, 도4에 도시한 바와 같은, 초기화 자세 획득 모듈(410), 특징 추출 모듈(420), 분할 모듈(430), 매칭 포인트 검색 모듈(440) 및 자세 계산 모듈(450))일 수 있다. 프로세서(501)는 메모리(502)에 저장된 비일시적 소프트웨어 프로그램, 명령 및 모듈을 작동시켜, 서버의 복수의 기능 응용 및 데이터 처리를 실행한다. 즉 상기 방법 실시예의 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법을 구현한다.

메모리(502)는 프로그램 저장영역과 데이터 저장영역을 포함할 수 있고, 프로그램 저장영역은 운영체제, 적어도 하나의 기능에 필요한 애플리케이션 프로그램을 저장할 수 있고, 데이터 저장영역은 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법의 전자 기기의 사용에 의해 생성된 데이터 등을 저장할 수 있다. 이 외에, 메모리(502)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 비일시적 메모리, 예를 들면 적어도 하나의 자기 디스크 메모리, 플래시 메모리 또는 기타 비일시적 솔리드 스테이트 메모리를 더 포함할 수 있다. 일부 실시예에서, 메모리(502)는 선택적으로 프로세서(501)에 대해 원격으로 설치되는 메모리를 포함하고, 이러한 원격 메모리는 네트워크를 통해 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법의 전자 기기에 연결될 수 있다. 상기 네트워크의 구현예는 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하나 이에 한정되지 않는다.

에지를 기반으로 하는 증강현실 3차원 추적 등록 방법의 전자 기기는 입력 장치(503) 및 출력 장치(504)를 더 포함할 수 있다. 프로세서(501), 메모리(502), 입력 장치(503) 및 출력 장치(504)는 버스 또는 기타 방식을 통해 연결될 수 있고, 도 5에서는 버스를 통해 연결되는 것을 예로 한다.

입력 장치(503)는 입력된 숫자 또는 문자 정보를 수신할 수 있고, 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법의 전자 기기의 사용자 설정 및 기능 제어와 관련되는 키 신호 입력을 생성할 수 있고, 예를 들어, 터치 스크린, 키보드, 마우스, 트랙패드, 터치패드, 포인팅 스틱, 하나 또는 복수의 마우스 버튼, 트랙볼, 조이스틱 등 입력 장치이다. 출력 장치(504)는 디스플레이 기기, 보조 조명 장치(예를 들면, LED)와 촉각 피드백 장치(예를 들면, 진동 모터) 등을 포함할 수 있다. 당해 디스플레이 기기는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있으나 이에 한정되지 않는다. 일부 실시예에서, 디스플레이 기기는 터치 스크린일 수 있다.

여기서 설명하는 시스템과 기술의 여러 가지 실시형태는 디지털 전자회로 시스템, 집적회로 시스템, 전용 ASIC(특정 용도 지향 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에서 실현될 수 있다. 이러한 여러 가지 실시형태는 하나 또는 복수의 컴퓨터 프로그램에서 실시되는 것을 포함할 수 있고, 당해 하나 또는 복수의 컴퓨터 프로그램은 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템에서 실행 및/또는 해석되며, 당해 프로그래밍 가능 프로세서는 전용 또는 일반 프로그래밍 가능 프로세서일 수 있으며, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치에서 데이터와 명령을 수신할 수 있고, 데이터와 명령을 당해 저장 시스템, 당해 적어도 하나의 입력 장치 및 당해 적어도 하나의 출력 장치에 전송할 수 있다.

이러한 컴퓨팅 프로그램(프로그램, 소프트웨어, 소프트웨어 애플리케이션 또는 코드라고도 한다)은 프로그래밍 가능 프로세서의 기계 명령을 포함하고, 고급 절차 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 이용하여 이러한 컴퓨팅 프로그램을 실시할 수 있다. 본 명세서에서 사용한 용어 “기계 판독 가능 매체”와 “컴퓨터 판독 가능 매체”는 기계 명령 및/또는 데이터를 프로그래밍 가능 프로세서에 제공하는 임의의 컴퓨터 프로그램 제품, 기기 및/또는 장치(예를 들면 자기 디스크, 광 디스크, 메모리, 프로그래밍 가능 로직 장치(PLD))를 가리키고, 기계 판독 가능 신호인 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 “기계 판독 가능 신호”는 기계 명령 및/또는 데이터를 프로그래밍 가능 프로세서에 제공하는 임의의 신호를 가리킨다.

사용자와의 대화를 제공하기 위해, 여기서 설명된 시스템 및 기술은 컴퓨터 상에서 구현할 수 있으며, 당해 컴퓨터는 사용자에게 정보를 디스플레이하는 디스플레이 장치(예를 들면 CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터); 및 키보드와 지향 장치(예를 들면, 마우스 또는 트랙볼)를 구비하고, 사용자는 당해 키보드와 당해 지향 장치를 통해 컴퓨터에 입력을 제공할 수 있다. 기타 유형의 장치도 사용자와의 대화에 사용될 수 있는 바, 예를 들면 사용자에게 제공된 피드백은 임의의 형식의 감각 피드백(예를 들면 시각적 피드백, 청각적 피드백 또는 촉각적 피드백)일 수 있고, 임의의 형식(음향 입력, 음성 입력 또는 촉각 입력을 포함)에 의해 사용자로부터의 입력을 수신할 수 있다.

여기서 설명한 시스템과 기술을 백그라운드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들면 데이터 서버), 또는 미들웨어 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들면 애플리케이션 서버), 또는 프론트 엔드 컴포넌트를 포함하는 컴퓨팅 시스템(예를 들면 그래픽 사용자 인터페이스 또는 네트워크 브라우저를 구비한 사용자 컴퓨터이며, 사용자는 당해 그래픽 사용자 인터페이스 또는 당해 네트워크 브라우저를 통해 여기서 설명한 시스템과 기술의 실시형태와 대화할 수 있다), 또는 이러한 백그라운드 컴포넌트, 미들웨어 컴포넌트 또는 프론트 엔드 컴포넌트의 임의의 조합을 포함하는 컴퓨팅 시스템에서 실시될 수 있다. 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들면 통신 네트워크)를 통해 시스템의 컴포넌트를 서로 연결할 수 있다. 통신 네트워크의 예시는 근거리 통신망 (LAN), 광역 통신망 (WAN), 및 인터넷을 포함한다.

컴퓨터 시스템은 클라이언트와 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 떨어져 있으며, 통신 네트워크를 통해 서로 대화한다. 대응하는 컴퓨터에서 운행되고 서로 클라이언트-서버 관계를 가지는 컴퓨터 프로그램에 의해 클라이언트와 서버의 관계를 생성한다.

본 출원의 실시예의 기술방안에 따르면, 3차원 물체의 이미지에서의 초기화 자세를 획득할 수 있고, 초기화 자세를 통해, 3차원 물체 윤곽의 에지렛 특징을 추출한 후, 추출된 에지렛 특징을 그룹으로 분할하고, 각 그룹을 기본단위로 하여 이미지에서 검색하여, 각 그룹 내의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아내고, 모든 그룹에서 찾아낸 매칭 포인트를 기반으로, 3차원 물체의 자세를 계산한다. 당해 방법은 3차원 물체의 초기화 자세를 통해, 3차원 물체 윤곽의 에지렛 특징을 추출함으로써, 추출된 에지렛 특징을 그룹으로 분할하고, 이미지에서 검색하여 각 그룹 내의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아내고, 빠르고 견실하게 3차원 물체의 정밀 자세를 계산하고, 알고리즘 계산의 복잡도가 낮고, 계산 기기의 하드웨어에 대한 요구가 비교적 낮으며, 복수의 기기에서 AR 3차원 물체 추적 전시를 할 수 있다.

이해해야 할 것은, 상기 복수 형식의 흐름에 의해, 단계를 재정열, 추가 또는 삭제할 수 있다. 예를 들면, 본 출원에 기재한 각 단계는 병행하여 또는 순차적으로 실행할 수도 있고, 서로 다른 순서로 실행할 수도 있다. 본 출원에서 개시한 기술 방안이 원하는 결과만 구현할 수 있으면 본 출원에서는 이에 한정하지 않는다.

상기 구체적인 실시 방식은 본 출원의 보호 범위를 한정하지 않는다. 본 발명이 속하는 기술 분야의 통상의 기술자는 설계 요구 및 기타 요소에 의해 여러가지 수정, 조합, 서브 조합 및 대체가 이루어질 수 있음을 이해해야 한다. 본 출원의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 대체 및 개선은 본 출원의 보호 범위에 포함된다.

Claims

에지를 기반으로 하는 증강현실 3차원 추적 등록 방법에 있어서,
3차원 물체의 이미지에서의 초기화 자세를 획득하는 단계;
상기 초기화 자세를 통해, 상기 3차원 물체 윤곽의 에지렛 특징을 추출하는 단계;
추출된 에지렛 특징을 그룹으로 분할하고, 각 그룹을 기본단위로 하여 이미지에서 검색하여, 각 그룹의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아내는 단계; 및
모든 그룹에서 찾아낸 매칭 포인트를 기반으로, 상기 3차원 물체의 자세를 계산하는 단계; 를 포함하는,
것을 특징으로 하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법.
제1항에 있어서,
상기 초기화 자세를 통해, 상기 3차원 물체 윤곽의 에지렛 특징을 추출하는 단계는,
상기 초기화 자세를 통해, 상기 3차원 물체의 모델을 투영하고, 모델 투영 이미지를 계산하는 단계;
상기 모델 투영 이미지 중의 대상의 가시 에지를 인식하고, 가시 에지를 따라 일정한 간격으로 샘플링 포인트를 분배하는 단계; 및
상기 샘플링 포인트 및 상기 샘플링 포인트의 모델 선분에서의 법선 방향을 상기 3차원 물체 윤곽의 에지렛 특징으로 하는 단계; 를 포함하는,
것을 특징으로 하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법.
제1항에 있어서,
상기 추출된 에지렛 특징을 그룹으로 분할하는 단계는,
상기 3차원 물체 윤곽 전체의 기하학적 구조를 기반으로, 추출된 에지렛 특징을 그룹으로 분할하는 단계 - 각 그룹 내의 각 에지렛 특징의 법선 방향은 일치하거나 법선 방향 사이의 협각은 제1 소정 범위 내에 있고, 상기 각 그룹은 모두 자체의 평균 법선 벡터를 구비함 - ; 를 포함하는,
것을 특징으로 하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법.
제1항에 있어서,
상기 각 그룹을 기본단위로 하여 이미지에서 검색하여. 각 그룹 내의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아내는 단계는,
각 그룹을 기본단위로 하여, 상기 각 그룹의 평균 법선 벡터 방향을 따라 이미지에서 검색하여, 상기 각 그룹 내의 각 에지렛 특징의 매칭 포인트를 찾아내는 단계를 포함하는,
것을 특징으로 하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법.
제4항에 있어서,
상기 각 그룹의 평균 법선 벡터 방향을 따라 이미지에서 검색하여, 상기 각 그룹 내의 각 에지렛 특징의 매칭 포인트를 찾아내는 단계는,
현재 그룹의 평균 법선 벡터 방향을 따라, 제2 소정 범위 내의 상기 이미지에서 양방향 검색을 수행하는 단계;
상기 현재 그룹 내의 각 에지렛 특징을 각 검색 위치에서 매칭하여, 상기 현재 그룹 내의 각 에지렛 특징의 상기 각 검색 위치에서의 매칭 포인트를 찾아내는 단계; 및
상기 각 검색 위치에서, 매칭 포인트가 제일 많은 검색 위치를 상기 현재 그룹의 최적 매칭 위치로 선택하고, 상기 최적 매칭 위치에서의 매칭 포인트를 에지렛 특징에 대응하는 매칭 포인트로 하는 단계; 를 포함하는,
것을 특징으로 하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법.
제5항에 있어서,
상기 현재 그룹 내의 각 에지렛 특징을 각 검색 위치에서 매칭하여, 상기 현재 그룹 내의 각 에지렛 특징의 상기 각 검색 위치에서의 매칭 포인트를 찾아내는 단계는,
상기 현재 그룹 내의 각 에지렛 특징의 검색 위치에서, 상기 현재 그룹의 평균 법선 벡터 방방을 따른 기울기 값이 미리 설정된 역치보다 큰 기울기 극단 포인트를 찾아내어 후보 포인트로 하는 단계; 및
상기 후보 포인트에서, 기울기 방향과 상기 현재 그룹의 평균 법선 벡터 방향 사이의 협각이 제일 작은 후보 포인트를 선택하여, 상기 각 에지렛 특징의 상기 검색 위치에서의 매칭 포인트로 하는 단계; 를 포함하는,
것을 특징으로 하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법.
에지를 기반으로 하는 증강현실 3차원 추적 등록 장치에 있어서,
3차원 물체의 이미지에서의 초기화 자세를 획득하기 위한 초기화 자세 획득 모듈;
상기 초기화 자세를 통해, 상기 3차원 물체 윤곽의 에지렛 특징을 추출하기 위한 특징 추출 모듈;
추출된 에지렛 특징을 그룹으로 분할하기 위한 분할 모듈;
각 그룹을 기본단위로 하여 이미지에서 검색하여, 각 그룹 내의 각 에지렛 특징에 대응하는 매칭 포인트를 찾아내기 위한 매칭 포인트 검색 모듈; 및
모든 그룹에서 찾아낸 매칭 포인트를 기반으로, 상기 3차원 물체의 자세를 계산하기 위한 자세 계산 모듈; 을 포함하는,
것을 특징으로 하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치.
제7항에 있어서,
상기 특징 추출 모듈은 구체적으로,
상기 초기화 자세를 통해, 상기 3차원 물체의 모델을 투영하고, 모델 투영 이미지를 계산하고;
상기 모델 투영 이미지 중의 대상의 가시 에지를 인식하고, 가시 에지에 따라 일정한 간격으로 샘플링 포인트를 분배하고;
상기 샘플링 포인트 및 상기 샘플링 포인트이 모델 선분에서의 법선 방향을 상기 3차원 물체 윤곽의 에지렛 특징으로 하는,
것을 특징으로 하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치.
제7항에 있어서,
상기 분할 모듈은 구체적으로,
상기 3차원 물체 윤곽 전체의 기하학적 구조를 기반으로, 추출된 에지렛 특징을 그룹으로 분할하고, 각 그룹 내의 각 에지렛 특징의 법선 방향은 일치하거나 법선 방향 사이의 협각은 제1 소정 범위 내에 있고, 상기 각 그룹은 모두 자체의 평균 법선 벡터를 구비하는,
것을 특징으로 하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치.
제7항 내지 제9항 중 어느 한 항에 있어서,
상기 매칭 포인트 검색 모듈은 구체적으로,
각 그룹을 기본단위로 하여, 상기 각 그룹의 평균 법선 벡터 방향에 따라 이미지에서 검색하여, 상기 각 그룹 내의 각 에지렛 특징의 매칭 포인트를 찾아내는,
것을 특징으로 하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치.
제10항에 있어서,
상기 매칭 포인트 검색 모듈은 구체적으로,
현재 그룹의 평균 법선 벡터 방향을 따라, 제2 소정 범위 내의 상기 이미지에서 양방향 검색을 수행하고;
상기 현재 그룹 내의 각 에지렛 특징을 각 검색 위치에서 매칭하여, 상기 현재 그룹 내의 각 에지렛 특징의 상기 각 검색 위치에서의 매칭 포인트를 찾아내고;
상기 각 검색 위치에서, 매칭 포인트가 제일 많은 검색 위치를 상기 현재 그룹의 최적 매칭 위치로 선택하고, 상기 최적 매칭 위치에서의 매칭 포인트를 에지렛 특징에 대응하는 매칭 포인트로 하는,
것을 특징으로 하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치.
제11항에 있어서,
상기 매칭 포인트 검색 모듈은 구체적으로,
상기 현재 그룹 내의 각 에지렛 특징의 검색 위치에서, 상기 현재 그룹의 평균 법선 벡터 방방을 따른 기울기 값이 미리 설정된 역치보다 큰 기울기 극단 포인트를 찾아내어 후보 포인트로 하고;
상기 후보 포인트에서, 기울기 방향과 상기 현재 그룹의 평균 법선 벡터 방향 사이의 협각이 제일 작은 후보 포인트를 선택하여, 상기 각 에지렛 특징의 상기 검색 위치에서의 매칭 포인트로 하는,
것을 특징으로 하는 에지를 기반으로 하는 증강현실 3차원 추적 등록 장치.
전자 기기에 있어서,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 가능하게 연결되는 메모리; 를 포함하고,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 수행 가능한 명령이 저장되어 있고, 상기 명령은 상기 적어도 하나의 프로세서에 의해 수행되어, 상기 적어도 하나의 프로세서가 제1항 내지 제6항 중 어느 한 항의 에지를 기반으로 하는 증강현실 3차원 추적 등록 방법을 수행하도록 하는,
것을 특징으로 하는 전자 기기.
컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체에 있어서,
상기 컴퓨터 명령은 상기 컴퓨터가 제1항 내지 제6항 중 어느 한 항의 에지를 기반으로 하는 증강 현실 3차원 추적 등록 방법을 수행하도록 하는,
것을 특징으로 하는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장 매체.
비일시적 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램에 있어서,
상기 컴퓨터 프로그램은 상기 컴퓨터가 제1항 내지 제6항 중 어느 한 항의 에지를 기반으로 하는 증강 현실 3차원 추적 등록 방법을 수행하도록 하는,
것을 특징으로 하는 비일시적 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램.