KR101942646B1 - 영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치 - Google Patents

Abstract

영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치가 개시된다. 본 발명의 일 실시예에 따른 실시간 카메라 자세 추정 방법은 카메라에 의해 객체를 포함하는 이미지들이 실시간으로 촬영되면 배후 처리에서 상기 촬영된 이미지들 중 어느 하나의 이미지에서의 상기 객체에 대한 키포인트들과 상기 객체에 대해 미리 저장된 키포인트들 간의 1차 매칭을 수행하는 단계; 전면 처리에서 상기 촬영된 이미지들과 상기 배후 처리로부터 수신된 1차 매칭 결과에 기초하여 상기 객체의 키포인트들에 대한 2차 매칭을 수행하는 단계; 및 상기 전면 처리에서 상기 2차 매칭 결과를 이용하여 상기 카메라의 자세를 실시간으로 추정하는 단계를 포함하며, 상기 전면 처리와 상기 배후 처리는 병렬적으로 수행되는 것을 특징으로 한다.

Description

영상 특징점 기반의 실시간 카메라 자세 추정 방법 및 그 장치 {Feature point-based real-time camera pose estimation method and apparatus therefor}

본 발명은 실시간 카메라 자세를 추정하는 기술에 관한 것으로서, 보다 구체적으로 영상 특징점의 획득 과정과 추적 및 카메라 자세 계산 처리를 병렬 구조(parallel process)로 구성하여 시스템의 안정성과 실시간성을 향상시킬 수 있는 방법 및 그 장치에 관한 것이다.

기존의 영상 특징 기반의 객체 추적(object tracking)이나 카메라 자세 추정(camera pose estimation) 방법은, 대상 객체(object)의 영상 특징 데이터와 현재 카메라 단말의 입력 영상에서 영상 특징점(feature point)을 검출(detection), 매칭(matching), 추적(tracking) 후, 카메라 자세를 추정(pose estimation)까지의 과정을 직렬적으로 처리한다.

이러한 직렬적 처리의 기존 방법은 다수의 야외 건물에 대한 영상 데이터와 같이 다수의 객체 혹은 영상 데이터 생성 공간이 방대할 경우 영상 특징 검출 및 매칭에 소요되는 시간이 기하급수적으로 상승하고, 직렬적 처리 방식인 경우 영상 특징 검출과 매칭 처리 과정의 병목 현상(bottle-neck effect)으로 인해 그 실시간성 획득에 불리한 구조를 가지고 있다.

따라서, 시스템의 안정성과 실시간성을 향상시키면서 실시간 카메라 자세를 추정할 수 있는 방법의 필요성이 대두된다.

본 발명의 실시예들은, 영상 특징점의 획득 과정과 추적 및 카메라 자세 계산 처리를 병렬 구조(parallel process)로 구성하여 시스템의 안정성과 실시간성을 향상시킬 수 있는 방법 및 그 장치를 제공한다.

본 발명의 실시예들은, 영상 특징 기반 카메라 자세 추정 파이프라인(pipeline)의 계산량 복잡도를 다수의 병렬화 구조로 분리 후 계산 속도를 최적화함으로써, 시스템의 실시간성을 보장하고 카메라 추정 자세를 안정화시킬 수 있는 방법 및 그 장치를 제공한다.

본 발명의 일 실시예에 따른 실시간 카메라 자세 추정 방법은 카메라에 의해 객체를 포함하는 이미지들이 실시간으로 촬영되면 배후 처리에서 상기 촬영된 이미지들 중 어느 하나의 이미지에서의 상기 객체에 대한 키포인트들과 상기 객체에 대해 미리 저장된 키포인트들 간의 1차 매칭을 수행하는 단계; 전면 처리에서 상기 촬영된 이미지들과 상기 배후 처리로부터 수신된 1차 매칭 결과에 기초하여 상기 객체의 키포인트들에 대한 2차 매칭을 수행하는 단계; 및 상기 전면 처리에서 상기 2차 매칭 결과를 이용하여 상기 카메라의 자세를 실시간으로 추정하는 단계를 포함하며, 상기 전면 처리와 상기 배후 처리는 병렬적으로 수행되는 것을 특징으로 한다.

나아가, 본 발명의 일 실시예에 따른 실시간 카메라 자세 추정 방법은 상기 2차 매칭 결과의 키포인트들 중에서 오류 포인트를 제거하는 단계를 더 포함하고, 상기 추정하는 단계는 상기 오류 포인트가 제거된 상기 2차 매칭 결과를 이용하여 상기 카메라의 자세를 실시간으로 추정할 수 있다.

상기 2차 매칭을 수행하는 단계는 상기 촬영된 이미지들과 상기 1차 매칭 결과에 기초하여 상기 객체의 키포인트들에 대한 2차 매칭을 수행함으로써, 상기 객체의 키포인트들을 트래킹하고, 상기 추정하는 단계는 상기 트래킹된 키포인트들을 이용하여 상기 카메라의 자세를 실시간으로 추정할 수 있다.

상기 2차 매칭을 수행하는 단계는 상기 촬영된 이미지들과 상기 1차 매칭 결과에 기초한 광학 플로우(optical flow) 알고리즘을 이용하여 상기 2차 매칭을 수행할 수 있다.

상기 1차 매칭을 수행하는 단계는 상기 이미지들을 촬영하는 시점의 위치 정보와 상기 카메라의 방향을 포함하는 센서 데이터를 이용하여 상기 객체에 대한 정보를 파싱하고, 상기 파싱된 객체에 대해 미리 저장된 키포인트들과 상기 어느 하나의 이미지에서의 상기 객체에 대한 키포인트들 간의 1차 매칭을 수행할 수 있다.

본 발명의 일 실시예에 따른 실시간 카메라 자세 추정 장치는 카메라에 의해 객체를 포함하는 이미지들이 실시간으로 촬영되면 상기 촬영된 이미지들 중 어느 하나의 이미지에서의 상기 객체에 대한 키포인트들과 상기 객체에 대해 미리 저장된 키포인트들 간의 1차 매칭을 수행하는 배후 처리부; 및 상기 촬영된 이미지들과 상기 배후 처리로부터 수신된 1차 매칭 결과에 기초하여 상기 객체의 키포인트들에 대한 2차 매칭을 수행하고, 상기 2차 매칭 결과를 이용하여 상기 카메라의 자세를 실시간으로 추정하는 전면 처리부를 포함하며, 상기 전면 처리부와 상기 배후 처리부는 병렬적으로 수행되는 것을 특징으로 한다.

상기 전면 처리부는 상기 2차 매칭 결과의 키포인트들 중에서 오류 포인트를 제거하고, 상기 오류 포인트가 제거된 상기 2차 매칭 결과를 이용하여 상기 카메라의 자세를 실시간으로 추정할 수 있다.

상기 전면 처리부는 상기 촬영된 이미지들과 상기 1차 매칭 결과에 기초하여 상기 객체의 키포인트들에 대한 2차 매칭을 수행함으로써, 상기 객체의 키포인트들을 트래킹하고, 상기 트래킹된 키포인트들을 이용하여 상기 카메라의 자세를 실시간으로 추정할 수 있다.

상기 전면 처리부는 상기 촬영된 이미지들과 상기 1차 매칭 결과에 기초한 광학 플로우(optical flow) 알고리즘을 이용하여 상기 2차 매칭을 수행할 수 있다.

상기 배후 처리부는 상기 이미지들을 촬영하는 시점의 위치 정보와 상기 카메라의 방향을 포함하는 센서 데이터를 이용하여 상기 객체에 대한 정보를 파싱하고, 상기 파싱된 객체에 대해 미리 저장된 키포인트들과 상기 어느 하나의 이미지에서의 상기 객체에 대한 키포인트들 간의 1차 매칭을 수행할 수 있다.

본 발명의 실시예들에 따르면, 영상 특징점의 획득 과정과 추적 및 카메라 자세 계산 처리를 병렬 구조(parallel process)로 구성하여 시스템의 안정성과 실시간성을 향상시킬 수 있다.

예컨대, 본 발명의 실시예들에 따르면, 영상 특징 기반 카메라 자세 추정 파이프라인(pipeline)의 계산량 복잡도를 다수의 병렬화 구조로 분리 후 계산 속도를 최적화함으로써, 시스템의 실시간성을 보장하고 카메라 추정 자세를 안정화시킬 수 있다.

이러한, 본 발명은 실시간 카메라 자세 추정을 필요로 하는 증강현실 응용 분야에 적용 가능하고, 모바일 단말기에서 카메라 자세를 검출하고 추적하는 다양한 응용 분야에 적용될 수 있다.

도 1은 가상현실 프레임워크를 설명하기 위한 일 예시도를 나타낸 것이다.
도 2는 SfM 프로세스의 각 단계에 대한 결과의 일 예시도를 나타낸 것이다.
도 3은 AR 콘텐츠 시각화 결과에 대한 일 예를 나타낸 것이다.
도 4는 본 발명의 일 실시예에 따른 실시간 카메라 자세 추정 방법을 설명하기 위한 도면을 나타낸 것이다.
도 5는 실외 가상현실 프레임워크에 대한 프로세싱 결과의 예시도를 나타낸 것이다.

이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

본 발명의 실시예들은, 영상 기반의 증강현실 시스템에서 영상 특징점(feature point)의 획득 과정과 추적 및 카메라 자세 계산 처리를 병렬 구조화(parallel process)하여 시스템의 안정성과 실시간성을 향상시키는 것을 그 요지로 한다. 즉, 본 발명의 실시예들은, 영상 특징 기반 카메라 자세 추정 파이프라인(pipeline)의 계산량의 복잡도를 다수의 병렬화 구조로 분리하여 계산속도를 최적화하여 시스템의 실시간성을 보장하고 추정 자세를 안정화할 수 있다.

여기서, 본 발명은 병목 현상의 주된 처리과정을 배후 처리(background processing)하고 이 결과로 생성되는 데이터를 실시간 전면 처리(foreground processing) 수단으로 전송하여 카메라 자세 획득(또는 추정)의 실시간성을 보장할 수 있다.

이러한 본 발명은 문화 유적(cultural heritage site)에 대한 올인원(all-in-one) 실외 가상현실 프레임워크로 사용될 수 있으며, 가상현실 프레임워크는 컴퓨터 비젼 기반 가상현실 기술과 온톨로지 기반 데이터 저작(data-authoring) 기술을 이용하여 구현될 수 있다.

본 발명에 의해 구현된 프레임워크를 이용하여, 카메라 자세 추정을 위한 3D 시각 데이터를 생성하고, 가상현실 콘텐츠와 문화 유적을 연결할 수 있다. 그리고, 본 발명은 멀티 쓰레딩 카메라 트래킹을 구현할 수 있고, 모바일 증강 현실(AR; augmented reality) 어플리케이션에 대한 추정 모델을 구현할 수도 있다.

본 발명의 프레임워크는 일 실시예로, 컴퓨터 기반 가상현실 기술과 온톨로지 기반 데이터 파싱 기술을 문화 유적 도메인과 연결함으로써, 구현될 수 있으며, 프레임워크는 시간 데이터 생성 모듈, AR 콘텐츠 저작 모듈 및 실시간 AR 콘텐츠 시각화 모듈의 세가지 기능 모듈로 구성될 수 있다.

각각의 모듈은 외부 문화 유적 예를 들어, 문화재 건물 등을 적용하기 위해 구현될 수 있다.

도 1은 가상현실 프레임워크를 설명하기 위한 일 예시도를 나타낸 것으로, 상술한 프레임워크에 대한 전반적인 프로시저를 나타낸 것이다.

도 1을 참조하여, 가상현실 프레임워크에 대한 시간 데이터 생성 모듈, AR 콘텐츠 저작 모듈 및 실시간 AR 콘텐츠 시각화 모듈 각각에 대해 상세히 설명하면 다음과 같다.

A. 시각 데이터 생성 모듈

해당 모듈에서는, 3D 키포인트와 2D 키프레임이 SfM(structure-from-motion) 파이프라인에 의해 자동으로 생성된다. 도 1에 도시된 바와 같이, RGB 이미지(captured images)와 이미지가 촬영되는 시점의 센서 데이터(예를 들어, GPS 데이터, 디지털 콤파스 데이터, 모션 데이터 등)(sensor inf.) 그리고 위치 정보가 입력 데이터로 사용될 수 있다. 해당 모듈은 데이터 획득(data acquisition) 후 SfM 파이프라인을 시작할 수 있다.

특징점 추출과 매칭 프로세스에서, ORB(Oriented FAST and Rotated BRIEF) 특징점과 실시간 모바일 어플리케이션에서 계산 비용을 줄이기 위한 디스크립터(descriptor)가 사용될 수 있다. 비록, ORB 특징점이 SIFT (Scale Invariant Feature Transform) 및 SURF (Speeded Up Robust Features)와 같은 컴플렉스 특징점에 보다 빠르지만, 스케일 불변 조건(scale invariant conditions)과 심한 관점 변화에 국한될 수 있다.

ORB 특징점의 특성을 보상하기 위하여, 본 발명에서는 특징 매칭 프로세스에 대한 센서-퓨전 기법을 적용할 수 있다. 마지막으로, Bundler 방법을 이용하여 3D 키포인트들과 2D 키프레임들을 3D 좌표로 재구성한다.

SfM 프로세스 후에, 살아남은 3D 키포인트들과 2D 키프레임들은 3D 좌표로 재구성될 수 있다.

도 2는 SfM 프로세스의 각 단계에 대한 결과의 일 예시도를 나타낸 것으로, 도 2a는 ORB 키포인트 추출과 매칭 프로세스에 대한 일 예를 나타낸 것이고, 도 2b는 3D 키포인트와 2D 키프레임이 3D로 재구성되어 생성된 시각 데이터의 결과를 나타낸 것이다.

즉, 시각 데이터 생성 모듈은 입력 데이터 예를 들어, 촬영된 이미지, 위치 정보, 좌표 정보 등을 이용하여 촬영된 이미지의 3D 키포인트와 2D 키프레임을 생성하고, 생성된 3D 키포인트와 키프레임을 이용하여 시각 데이터를 생성할 수 있다. 구체적으로, 시각 데이터 생성 모듈은 영상을 여러 개 촬영하고, 이 촬영된 영상들 예를 들어, 이미지 시퀀스 또는 비디오의 영상들 중 선택된 적어도 하나 이상의 영상으로부터 2D 키프레임(또는 2D 이미지)을 선택하고, 선택된 2D 키프레임의 영상 특징점을 추출한 후 매칭 관계를 확인하여 3D 키포인트로 복원함으로써, 입력 영상에 대한 시각 데이터를 생성할 수 있다.

이렇게 생성된 입력 영상과 입력 영상에 대한 시각 데이터는 미리 구성된 데이터베이스에 저장될 수 있으며, 입력 영상에 포함된 객체 예를 들어, 문화재 건물에 대한 정보 또한 문화재 건물의 3D 키포인트들이 구성하는 좌표와 함께 매칭되어 저장될 수도 있다.

B. AR 콘텐츠 저작(contents authoring) 모듈

한편, 콘텐츠 검색 프로세스가 실외 환경에서 AR 어플리케이션을 지원하기 위하여 만들어질 수 있다. 실외 AR을 지원하기 위해, AR 콘텐츠가 먼저 만들어져야 한다. 이러한 저작 프로세스에서, AR 콘텐츠는 가상 콘텐츠 뿐만 아니라 이전 단계에서 설정된 시각 데이터에 대한 정보를 포함할 수 있다.

그런 다음 AR 콘텐츠는 조건에 따라 적절한 방법을 사용하여 사용자의 클라이언트 또는 디바이스로 파싱(contents parsing)될 수 있다. 검색 프로세스의 각 부분에 대해 설명하면 다음과 같다.

콘텐츠 저작 프로세스에서, 다음과 같은 이슈가 고려될 수도 있다. 이종 구조(heterogeneous structures)를 가지는 몇몇 로우 데이터베이스가 있을 수 있으며, 몇몇 관련 데이터베이스의 가상 콘텐츠를 수집하기 위하여, 데이터베이스를 모을 수도 있다(aggregate).

이종 데이터베이스의 가상 콘텐츠를 모으기 위하여, 본 발명은 집계 방법으로 온톨리지를 적용하고, 적절한 데이터 모델을 사용할 수 있다. 다음, 통합된 가상 콘텐츠를 이전 단계의 인식 데이터와 매핑한다. 이 프로세스에서 AR 콘텐츠 데이터베이스를 구축하기 위하여 미리 구현된 메타데이터 스킴(metadata scheme)을 사용할 수 있다(E. Kim, J. Kim, W. Woo, "5W1H-Based Metadata Schema for Context-Aware Augmented-Reality Application in Cultural Heritage Domain", Digital Heritage Conference, 2015).

여기서, 메타데이터 스킴은 AR 콘텐츠 데이터베이스의 청사진 역할을 하며 데이터-파싱 프로세스를 지원할 수 있다.

데이터-파싱 프로세스(contents parsing)에서, AR 콘텐츠는 데이터베이스(AR content DB)에서 사용자의 클라이언트 또는 기기로 파싱될 수 있다. AR 콘텐츠의 가상 콘텐츠와 인식 데이터는 별도로 파싱될 수 있으며, 파싱 프로세스는 오프 사이트와 온 사이트 중 어느 하나로 만들어질 수 있다.

이 때, 가상 콘텐츠 및 인식 데이터의 파싱 방법은 기기의 네트워크 대역폭, 메모리 및 계산 능력을 고려하여 결정될 수 있다.

오프 사이트 파싱의 경우 오프라인 작업을 지원하지만 충분한 기기 메모리를 요구하고 콘텐츠 업데이트를 보장하지 않는 반면, 온 사이트 파싱은 최신 콘텐츠를 보장하지만 네트워크 연결에 따라 달라질 수 있다. 따라서, AR 어플리케이션 환경에 따라, 적절한 파싱 방법이 사용될 수 있다. 베이스라인으로, 전반적인 파싱 프로세스는 오프라인으로 수행될 수 있다. 즉, 사용자 기기에 파싱 프로세스가 이미 저장되어 있을 수 있다.

AR 콘텐츠 저작 모듈에 의해 저작되는 AR 콘텐츠는 해당 객체 예를 들어, 문화재 건물의 3D 키포인트들 각각과 임의의 좌표계 상에서의 3D 좌표 정보가 매칭되어 AR 콘텐츠 데이터베이스에 저장될 수 있다.

그리고, 인식 데이터는 카메라를 통해 촬영된 영상으로부터 영상에 포함된 피사체 또는 객체에 대한 정보를 DB 파싱을 통해 검색한 결과물로, 촬영되는 객체에 대한 검색 결과 데이터를 의미할 수 있다. 예컨대, 촬영되는 객체가 인정전인 경우 해당 객체를 인정전으로 인식할 수 있는 데이터를 인식 데이터라고 할 수 있다.

C. AR 콘텐츠 시각화 모듈

콘텐츠 시각화 모듈은 3D 시각 데이터와 콘텐츠 저작 결과를 통합하고, AR 콘텐츠를 모바일 기기의 현재 6DoF(자유도) 카메라 자세로 시각화한다. 모든 AR 콘텐츠의 3D 포지션은 카메라로 촬영되는 영상과 같은 로컬 좌표 시스템 내에 위치할 수 있다.

콘텐츠 시각화 모듈은 현재 카메라 포지션에 의해 각 AR 콘텐츠의 상대적인 3D 포지션과 회전을 추정할 수 있으며, 따라서 안정적인 카메라 트래킹을 통해 실시간으로 강건한 카메라 자세를 추정하는 것이 매우 중요하다.

본 발명은 실시간으로 6DoF 카메라 자세를 추정하기 위하여, 센서-퓨전 특징점 매칭을 사용할 수 있다.

먼저, 현재 촬영된 이미지로부터 ORB 특징점과 디스크립터를 추출하고, 센서 정보를 이용하여 최근접 키프레임을 정의한다. 즉, 기기의 카메라에 의해 촬영되는 영상들인 키프레임을 GPS 포지션(위치)과 디지털 콤파스 센서의 방향에 따라 필터링함으로써, 촬영되는 영상들에서 최근접 키프레임을 찾을 수 있다. 최근접 키프레임을 찾은 후에, 현재 입력 이미지와 최근접 키프레임 간의 ORB 디스크립터를 매칭시키고, 3D와 2D 대응(또는 일치, 매칭)을 통한 Perspective-n-Point 알고리즘을 사용하여 카메라의 6DoF를 계산할 수 있다. 물론, 3D와 2D의 매칭을 통하여 카메라의 6DoF를 계산하는 방법이 Perspective-n-Point 알고리즘으로 한정되지 않으며, 3D와 2D의 매칭을 통하여 카메라의 6DoF를 계산할 수 있는 모든 알고리즘이 사용될 수 있다.

이와 같이, AR 콘텐츠 시각화 모듈은 카메라의 6DoF를 계산함으로써, 마침내, 본 발명은 현재 카메라 포지션과 회전을 고려하여 AR 콘텐츠를 적절하게 증대(augment)시킬 수 있다. 도 3은 AR 콘텐츠 시각화 결과에 대한 일 예를 나타낸 것으로, 도 3a는 서로 다른 카메라 뷰포인트와 위치에 따른 AR 콘텐츠 시각화 결과를 나타낸 것이며, 도 3b는 트래킹된 3D 키포인트를 보여주고 대응 로컬 좌표계의 3D 축을 시각화한 것이다.

본 발명에 따른 카메라 자세 추정 기술은 카메라 검출과 트래킹을 위해, 병렬 트래킹과 자세 추정 방법을 사용한다. 본 발명에 대한 프로세스는 멀티 쓰레딩 기술을 통해 두 개의 다른 부분 예를 들어, 전면 쓰레드와 배후 쓰레드로 구성될 수 있다. 여기서, 전면 쓰레드는 카메라의 자세를 추정하고, 배후 쓰레드는 특징점을 추가할 수 있다.

즉, 본 발명에 따른 방법은 도 4에 도시된 바와 같이, 배후 쓰레드(background thread)에서 전면 쓰레드(foreground thread)에서 공유되는 이미지(share image)를 이용하여 ORB 특징 추출(keypoint extraction)과 매칭(keypoint matching)을 위한 프로세스를 수행하고, 전면 쓰레드에서 배후 쓰레드로부터 전송된 공유 이미지에 대한 매칭 정보 즉, 촬영되는 이미지에 대한 새로운 키포인트 정보(add new keypoints)가 수신되면 특징점의 3D와 2D 매칭(또는 대응)을 사용하여 기기의 카메라 자세를 추정한다.

여기서, 전면 쓰레드는 광학 플로우(optical flow) 알고리즘을 이용하여 촬영되는 이미지(grap image)에 포함되는 객체에 대한 현재 ORB 키포인트를 트래킹할 수 있다.

이 때, 오류 포인트를 제거하는 것이 매우 중요하며, 이는 축적된 오류가 카메라 자세의 정확성에 영향을 주기 때문이다. 정확한 카메라 자세를 유지하기 위하여, 전면 쓰레드는 카메라 자세로부터 재투영 픽셀 거리를 계산함으로써, 오류 포인트를 제거(outlier removal)할 수 있다.

즉, 전면 쓰레드는 카메라로부터 촬영되는 이미지들을 순차적으로 수신하고, 일정 주기로 수신되는 이미지(share image)를 배후 쓰레드로 제공함으로써, 배후 쓰레드에서 일정 주기로 수신되는 이미지에서 키포인트를 추출하고, 추출된 키포인트와 해당 이미지에 포함된 객체 예를 들어, 문화재 건물에 대해 DB에 미리 저장된 3D 키포인트 간의 키포인트 매칭을 수행한다.

여기서, 배후 쓰레드는 기기의 센서에 의해 센싱된 센싱 정보 예를 들어, 위치 정보, 디지털 콤파스 정보 등을 이용하여 전면 쓰레드로부터 수신되는 이미지에 포함된 객체를 식별함으로써, 식별된 객체에 대해 미리 저장된 3D 키포인트들과 수신된 이미지의 키포인트 간의 매칭을 수행할 수 있다.

배후 쓰레드는 키포인트 매칭 결과에 대한 광학 플로우 알고리즘을 이용하여 공유 이미지에 포함된 객체에 대한 1차 매칭(coarse matching)을 수행함으로써, 1차 매칭 결과에 대한 새로운 키포인트들을 전면 쓰레드로 제공한다. 여기서, 배후 쓰레드에서 전면 쓰레드로 전송되는 1차 매칭 결과는 객체에 대한 키포인트 정보, 키포인트 매칭에 따른 키포인트 좌표 정보, 또는 디스크립터 등을 포함할 수 있다.

전면 쓰레드는 촬영되는 이미지들(또는 영상)에 포함된 객체에 대해 광학 플로우 알고리즘을 이용하여 2차 매칭(fine matching)을 수행함으로써, ORB 키포인트들을 트래킹하고 이를 통해 카메라의 자세를 추정(pose estimation)한다. 여기서, 전면 쓰레드는 일정 주기 단위로 배후 쓰레드에서 수신되는 객체에 대한 1차 매칭 결과와 광학 플로우 알고리즘을 이용하여 카메라로 촬영되는 객체에 대한 2차 매칭을 수행함으로써, 카메라의 자세를 실시간으로 추정하고, 이를 이용하여 촬영되는 객체에 AR 콘텐츠를 시각화할 수 있다.

본 발명에서의 전면 쓰레드는 배후 쓰레드보다 몇배 예를 들어, 10배 정도 빠르기 때문에 전면 쓰레드는 순차적으로 촬영되는 이미지들에서 10장 단위로 한장씩 배후 쓰레드로 제공하고, 배후 쓰레드에서 키포인트 매칭을 수행하더라도 전면 쓰레드에서 실시간으로 안정적인 트래킹을 수행할 수 있다.

상술한 바와 같이, 본 발명에 따른 카메라 자세 추정 기술은 오프라인 프로세싱에 의해 데이터베이스에 문화재 건물을 포함하는 객체, 해당 객체에 대한 키포인트 좌표 정보, 저작된 AR 콘텐츠 등이 이미 데이터베이스에 저장되어 있는 상태에서, 카메라를 구비한 기기 예를 들어, 스마트폰의 카메라에서 실시간으로 촬영되는 객체에 대한 키포인트 추출과 DB에 미리 저장된 객체에 대한 키포인트 간의 매칭을 배후 쓰레드에서 수행하고, 전면 쓰레드에서 실시간으로 촬영되는 객체에 대한 매칭을 광학 플로우를 이용하여 수행하면서 배후 쓰레드에서 수행된 키포인트 매칭 결과를 이용함으로써, 시스템의 안정성과 실시간성을 향상시키면서 카메라 자세를 실시간으로 추정할 수 있다.

도 5는 실외 가상현실 프레임워크에 대한 프로세싱 결과의 예시도를 나타낸 것으로, 도 5a는 문화재 건물에 대해 생성된 3D 키포인트와 키프레임을 나타낸 것이고, 도 5b는 카메라 자세 추정과 트래킹 프로세서에서 키포인트들을 나타낸 것이며, 도 5c는 로컬 좌표계의 축에 드로잉된 AR 콘텐츠 시각화의 예를 보여준 것이고, 도 5d는 스마트폰에서의 데모(demonstration)를 보여준 것이다.

도 5를 통해 알 수 있듯이, 본 발명에 따른 방법은 객체 정보, 객체의 키포인트 정보, 로컬 좌표에서의 키포인트 좌표 정보, 디스크립터, 저작된 AR 콘텐츠가 오프라인 프로세싱에 의해 데이터베이스에 미리 저장된 상태에서, 카메라에서 촬영되는 객체에 대한 자세를 배후 쓰레드를 이용한 특징점 추출 및 1차 매칭과 전면 쓰레드를 이용한 카메라 자세 추정을 수행함으로써, 시스템의 안정성과 실시간성을 향상시킬 수 있고, 카메라 자세 추정을 빠르게 계산하기 때문에 AR 콘텐츠를 실시간으로 객체에 증강시킬 수 있다는 것을 알 수 있다.

이상에서 설명된 시스템 또는 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 시스템, 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (10)

1. 카메라에 의해 객체를 포함하는 이미지들이 실시간으로 촬영되면 배후 처리에서 상기 촬영된 이미지들 중 어느 하나의 이미지에서의 상기 객체에 대한 키포인트들과 상기 객체에 대해 미리 저장된 키포인트들 간의 1차 매칭을 수행하는 단계;
   전면 처리에서 상기 촬영된 이미지들과 상기 배후 처리로부터 수신된 1차 매칭 결과에 기초하여 상기 객체의 키포인트들에 대한 2차 매칭을 수행하는 단계; 및
   상기 전면 처리에서 상기 2차 매칭 결과를 이용하여 상기 카메라의 자세를 실시간으로 추정하는 단계
   를 포함하며,
   상기 전면 처리와 상기 배후 처리는
   병렬적으로 수행되고,
   상기 전면 처리는
   상기 촬영된 이미지들 중 일정 주기의 이미지를 상기 어느 하나의 이미지로 상기 배후 처리로 제공하며,
   상기 1차 매칭을 수행하는 단계는
   상기 이미지들을 촬영하는 시점의 상기 카메라의 위치 정보와 상기 카메라의 방향을 포함하는 센서 데이터를 이용하여 상기 객체에 대한 정보를 파싱하고, 상기 파싱된 객체에 대해 미리 저장된 키포인트들과 상기 어느 하나의 이미지에서의 상기 객체에 대한 키포인트들 간의 1차 매칭을 수행하며,
   상기 2차 매칭을 수행하는 단계는
   상기 촬영된 이미지들과 상기 일정 주기 단위로 수신되는 1차 매칭 결과에 기초하여 상기 객체의 키포인트들에 대한 2차 매칭을 수행함으로써, 상기 객체의 키포인트들을 트래킹하고,
   상기 추정하는 단계는
   상기 트래킹된 키포인트들을 이용하여 상기 카메라의 자세를 실시간으로 추정하는 것을 특징으로 하는 실시간 카메라 자세 추정 방법.
   
2. 제1항에 있어서,
   상기 2차 매칭 결과의 키포인트들 중에서 오류 포인트를 제거하는 단계
   를 더 포함하고,
   상기 추정하는 단계는
   상기 오류 포인트가 제거된 상기 2차 매칭 결과를 이용하여 상기 카메라의 자세를 실시간으로 추정하는 것을 특징으로 하는 실시간 카메라 자세 추정 방법.
   
3. 삭제
4. 제1항에 있어서,
   상기 2차 매칭을 수행하는 단계는
   상기 촬영된 이미지들과 상기 1차 매칭 결과에 기초한 광학 플로우(optical flow) 알고리즘을 이용하여 상기 2차 매칭을 수행하는 것을 특징으로 하는 실시간 카메라 자세 추정 방법.
   
5. 삭제
6. 카메라에 의해 객체를 포함하는 이미지들이 실시간으로 촬영되면 상기 촬영된 이미지들 중 어느 하나의 이미지에서의 상기 객체에 대한 키포인트들과 상기 객체에 대해 미리 저장된 키포인트들 간의 1차 매칭을 수행하는 배후 처리부; 및
   상기 촬영된 이미지들과 상기 배후 처리로부터 수신된 1차 매칭 결과에 기초하여 상기 객체의 키포인트들에 대한 2차 매칭을 수행하고, 상기 2차 매칭 결과를 이용하여 상기 카메라의 자세를 실시간으로 추정하는 전면 처리부
   를 포함하며,
   상기 전면 처리부와 상기 배후 처리부는
   병렬적으로 수행되고,
   상기 전면 처리부는
   상기 촬영된 이미지들 중 일정 주기의 이미지를 상기 어느 하나의 이미지로 상기 배후 처리부로 제공하며,
   상기 배후 처리부는
   상기 이미지들을 촬영하는 시점의 상기 카메라의 위치 정보와 상기 카메라의 방향을 포함하는 센서 데이터를 이용하여 상기 객체에 대한 정보를 파싱하고, 상기 파싱된 객체에 대해 미리 저장된 키포인트들과 상기 어느 하나의 이미지에서의 상기 객체에 대한 키포인트들 간의 1차 매칭을 수행하며,
   상기 전면 처리부는
   상기 촬영된 이미지들과 상기 일정 주기 단위로 수신되는 1차 매칭 결과에 기초하여 상기 객체의 키포인트들에 대한 2차 매칭을 수행함으로써, 상기 객체의 키포인트들을 트래킹하고, 상기 트래킹된 키포인트들을 이용하여 상기 카메라의 자세를 실시간으로 추정하는 것을 특징으로 하는 실시간 카메라 자세 추정 장치.
   
7. 제6항에 있어서,
   상기 전면 처리부는
   상기 2차 매칭 결과의 키포인트들 중에서 오류 포인트를 제거하고, 상기 오류 포인트가 제거된 상기 2차 매칭 결과를 이용하여 상기 카메라의 자세를 실시간으로 추정하는 것을 특징으로 하는 실시간 카메라 자세 추정 장치.
   
8. 삭제
9. 제6항에 있어서,
   상기 전면 처리부는
   상기 촬영된 이미지들과 상기 1차 매칭 결과에 기초한 광학 플로우(optical flow) 알고리즘을 이용하여 상기 2차 매칭을 수행하는 것을 특징으로 하는 실시간 카메라 자세 추정 장치.
   
10. 삭제

Images