KR20120038616A - 마커리스 실감형 증강현실 제공 방법 및 시스템 - Google Patents

Abstract

구조적인 문제로 인해 실감형 학습 시스템의 페이지 자세 추정 성능이 저하되어 학습효과를 향상시키기 위해 증강된 멀티미디어 요소들이 불안정한 자세 추정으로 인해 사용자에게 불편함을 주어 오히려 학습 효과를 저해하는 상황이 올 수 있다. 이에 본 발명에서는, 마커리스(marker-less) 기술을 이용한 실감형 학습 시스템의 구조적인 문제를 해결하고자 하며, 구체적으로 책이나 소책자와 같이 비교적 평면적인 인쇄물에 대한 마커리스 실감형 학습 시스템에서 적응적 키프레임 방법을 사용하여 변화된 환경에서 대상 물체의 자세 추정 성능을 향상시키기 위한 기술을 제공하고자 한다.

Description

마커리스 실감형 증강현실 제공 방법 및 시스템{METHOD AND SYSTEM FOR PROVIDING MARKER-LESS IMMERSIVE AUGMENTED REALITY}

본 발명은 마커리스(marker-less) 실감형 증강현실 기술에 관한 것으로, 특히 책이나 소책자와 같이 비교적 평면적인 인쇄물에 대한 마커리스 실감형 학습 시스템에서 적응적 키프레임(adaptive key-frame) 기법을 사용하여 변화된 환경에서 대상 물체의 자세 추정 성능을 향상시키는데 적합한 마커리스 실감형 증강현실 제공 방법 및 시스템에 관한 것이다.

실감형 학습 시스템은 웹 카메라 또는 캠코더를 통해 촬영된 영상에서 마커(marker) 정보를 포함하는 영상정보를 추출하여 해당 물체의 자세를 추정한 후 추정된 자세 정보를 이용하여 소리, 2D나 3D 가상 객체, 동영상 등의 멀티미디어 콘텐츠를 입력 실사 영상과 정합하여 보여줌으로써 학습자에게 혼합현실(mixed reality) 학습을 가능하도록 하고, 이로써 사용자에게 몰입감과 실제감을 더하여 학습효과 향상에 도움을 줄 수 있는 시스템을 말한다.

이러한 실감형 시스템에서의 자세추정을 위해서는, 마커를 이용한 마커 기반 실감형 학습 시스템, 또는 입력 영상에 인위적인 마커가 포함되어 있지 않은 자연영상을 이용한 마커리스(marker-less) 기반 실감형 학습 시스템이 선택적으로 적용될 수 있다.

실감형 학습 시스템은 크게 저작 단계와 사용 단계로 구분되는데, 저작 단계는 실감형 학습을 위한 실감형 콘텐츠를 저작하는 과정으로써, 실감형 학습 시스템에서 사용할 책의 각 페이지 및 마커를 학습하는 단계와, 학습된 대상(페이지 및 마커)에 가상 객체, 사운드, 동영상 등의 멀티미디어 콘텐츠를 증강하는 단계, 사용자와의 인터랙션 및 스토리를 통한 이벤트 발생 및 처리 등 증강현실 실감형 학습 콘텐츠 저작을 위한 단계 등을 포함한다.

사용 단계는 콘텐츠와 함께 배포된 실감형 학습 뷰어를 실 사용자가 학교나 가정과 같은 현장에서 학습을 위해 사용하는 과정으로서, 콘텐츠 제작을 담당하는 회사 또는 판매자에 의해 수행되는 저작 단계와는 달리, 학교나 가정에서 실감형 학습 시스템을 이용하여 학습을 수행하는 학습자에 의해 수행된다. 이러한 사용 단계는 저작단계가 선행되어야 사용을 할 수가 있다.

그런데, 저작 단계에서 실감형 학습 콘텐츠를 제작하는 제작자는 사용 단계에서 실제 시스템을 사용하는 학습자의 사용환경을 알 수 없기 때문에, 저작 단계에서의 사용환경, 예를 들어 조명, 카메라센서 등의 환경과 사용 단계에서의 환경이 다를 경우, 이러한 구조적인 문제로 인해 실감형 학습 시스템의 페이지 자세 추정 성능이 저하될 수 있다.

이에 따라, 학습효과를 향상시키기 위한 증강된 멀티미디어 요소들에 대한 불안정한 자세 추정이 수반되어 사용자들에게 오히려 학습 역효과를 줄 수 있다.

이에, 본 발명의 실시예에서는, 마커리스(marker-less) 기술을 이용한 실감형 학습 시스템의 구조적인 문제를 해결하고자 한다.

구체적으로, 본 발명의 실시예에서는, 책이나 소책자와 같이 비교적 평면적인 인쇄물에 대한 마커리스 실감형 학습 시스템에서 적응적 키프레임(adaptive key-frame) 기법을 사용하여 변화된 환경에서 대상 물체의 자세 추정 성능을 향상시킬 수 있는 마커리스 실감형 증강현실 기술을 제안하고자 한다.

본 발명의 과제를 해결하기 위한 마커리스 실감형 증강현실 방법에 따르면, 카메라로부터 학습 대상에 대한 영상이 수집되면 수집되는 상기 영상에서 특징점을 추출하는 과정과, 추출되는 상기 특징점에 대한 매칭 결과에 따라 상기 영상의 현재 페이지가 올바른 페이지인지를 판단하는 과정과, 상기 현재 페이지가 잘못된 페이지이면, 상기 현재 페이지를 인식한 후, 상기 현재 페이지에 대한 페이지 자세를 추정하는 과정과, 상기 현재 페이지가 올바른 페이지라면, 상기 페이지 인식 과정 없이 상기 현재 페이지에 대한 페이지 자세를 추정하는 과정과, 상기 현재 페이지에 대한 자세 추정이 올바른지를 판단하는 과정과, 상기 자세 추정이 올바르다고 판단되면, 상기 현재 페이지에 대한 키프레임(key-frame)을 업데이트하는 과정과, 상기 키프레임을 업데이트한 후 상기 현재 페이지에 대응하는 기 설정된 콘텐츠를 로딩하는 과정과, 로딩되는 상기 콘텐츠를 상기 현재 페이지에 정합하여 콘텐츠가 증강된 영상을 생성하는 과정과, 생성되는 상기 증강된 영상을 화면에 출력하는 과정을 포함할 수 있다.

여기서, 상기 특징점 추출은, FAST 코너 검출기 알고리즘이 적용될 수 있다.

또한, 상기 자세 추정이 올바른지의 판단은, 추정된 자세를 바탕으로 투영된 특징점들의 매칭 결과를 통해 판단될 수 있다.

또한, 상기 키프레임을 업데이트하는 과정은, 상기 현재 페이지의 움직임 점수, 면적 점수, 직교 점수, 폐쇄 점수를 각각 구하는 과정과, 상기 움직임 점수, 면적 점수, 직교 점수, 폐쇄 점수의 각각의 가중치의 합을 계산하는 과정과, 상기 가중치의 합을 계산한 결과를 통해 현재 키프레임의 점수를 유추하고 유추되는 상기 현재 키프레임의 점수와 기 저장된 키프레임의 점수를 비교하는 과정과, 상기 현재 키프레임의 점수가 크면 키프레임 업데이트를 통해 상기 현재 키프레임을 키프레임으로 선정하는 과정을 포함할 수 있다.

또한, 상기 학습 대상에 대한 영상은, 인쇄물의 페이지에 대한 영상을 포함할 수 있다.

본 발명의 과제를 해결하기 위한 마커리스 실감형 증강현실 시스템에 따르면, 카메라에 의해 촬영된 학습 대상에 대한 영상을 수집하는 영상 수집부와, 상기 영상 수집부를 통해 수집된 영상에서 특징점을 추출하는 특징점 추출부와, 상기 특징점 추출부를 통해 특징점이 추출된 영상 내의 임의의 페이지를 인식하는 페이지 인식부와, 상기 페이지 인식부를 통해 인식된 페이지의 위치 및 자세를 추정하는 페이지 추적부와, 현재 수집된 영상을 새로운 키프레임으로 업데이트하는 키프레임 업데이트부와, 인식된 페이지와 매칭되는 콘텐츠를 불러들여 추정된 페이지 자세로 콘텐츠를 증강시키는 콘텐츠 증강부와, 기 제작된 콘텐츠들이 저장되는 콘텐츠 데이터베이스를 포함할 수 있다.

본 발명의 실시예에 의하면, 저작 단계 내에 포함된 학습 단계와, 실제 사용 단계가 분리된 실감형 학습 시스템에서, 학습 단계에서 페이지를 학습하기 위해 사용된 이미지를 실사용 단계에서 키프레임(key-frame)으로 사용하여 페이지 자세를 추정하는 종래의 기술은 판매자에 의해 수행되는 학습 단계와 구매자(사용자)가 수행하는 환경, 예를 들어 카메라, 조명, 명암 등이 달라 페이지의 위치 추정이 올바르게 되지 않는 문제점을 사용자 환경에 맞게 키프레임을 업데이트하여 해결함으로써, 고품질의 페이지 자세 추정을 가능하게 하여 더욱 실감나는 학습을 제공할 수 있는 장점이 있다.

도 1은 본 발명의 실시예에 따른 적응적 키프레임을 이용한 마커리스(Marker-less) 실감형 증강현실 시스템의 저작 단계에서 페이지 학습을 위한 학습기의 전체 흐름도를 예시한 도면,
도 2는 본 발명의 실시예에 따른 적응적 키프레임을 이용한 마커리스 실감형 증강현실 제공 시스템의 블록 구성도,
도 3은 본 발명의 실시예에 따른 적응적 키프레임을 이용한 마커리스 실감형 증강현실 제공 과정을 설명하는 흐름도,
도 4는 도 3의 키프레임 업데이트 과정의 구체적인 흐름도,
도 5는 본 발명의 실시예에 따른 키프레임이 업데이트되는 과정을 예시한 도면,
도 6은 본 발명의 실시예에 따라 이미지 상에 나타난 페이지가 급격한 움직임에 의해 흐려진 것을 예시한 도면,
도 7은 본 발명의 실시예에 따라 도 6의

의 계산을 위한 각 부분을 예시한 도면,
도 8은 본 발명의 실시예에 따라 이미지 상에 나타난 페이지의 법선 벡터를 예시한 도면,
도 9는 본 발명의 실시예에 따라 이미지 상의 페이지가 손바닥에 의해 가려진 경우를 예시한 도면
도 10은 본 발명의 실시예에 따른 적응적 키프레임을 이용한 마커리스 실감형 학습 시스템의 구동 예시도.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 도면부호는 동일 구성 요소를 지칭한다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

본 발명은 상술한 자연영상에서 특징점을 추출해 대상 물체의 자세를 추정하는 마커리스(marker-less) 기반 실감형 학습 시스템의 문제점을 해결하기 위하여, 저작단계에서 각 페이지를 학습할 때 사용한 키프레임(key-frame)이 아닌 사용단계에서 사용자의 환경에 적합한 키프레임을 실시간으로 획득한 후 그 키프레임을 이용해 대상 물체의 자세를 추정하여 자세 추정 성능을 향상시키는 방법을 제공하는 데 그 목적이 있다.

본 발명은, 상기 문제점을 해결하기 위해 제안된 것으로, 저작단계와 사용단계가 분리된 상용화를 위한 실감형 학습 시스템에서, 마커를 이용하지 않고도 실사 영상 내에 포함된 텍스쳐에서 추출된 특징점들과 저장된 키프레임의 특징점들 사이의 매칭 결과를 통해 페이지 인식 및 자세를 추정하는 적응적 키프레임 기반 마커리스 실감형 증강현실 제공 시스템 및 그 방법을 제공하여 페이지 자세 추정 성능을 높이는 데 목적이 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명하기로 한다.

도 1은 본 발명에 따른 적응적 키프레임을 이용한 마커리스(marker-less) 실감형 증강현실 시스템의 저작 단계에서 학습기의 페이지 학습 과정의 전체 흐름도를 나타낸 것이다.

도 1에 도시한 바와 같이, 학습할 이미지를 학습기로 불러들인 후(S100), 이미지 내 학습할 영역을 지정할 수 있다(S102).

이후, 학습하려는 대상, 예를 들어 인쇄물의 페이지의 실제 크기를 설정된 단위, 예를 들어 밀리미터(mm) 단위로 입력하고(S104), 학습을 수행한 후(S106) 학습된 데이터를 저장할 수 있다(S108).

이와 같이 저장된 데이터는, 이후 저작도구를 통해 콘텐츠를 제작할 때와 제작된 콘텐츠를 뷰어에서 동작 시킬 때(사용 단계), 그리고 후술하는 도 2에서와 같이, 페이지의 인식과 위치 및 자세를 추정하는 경우에 사용될 수 있다.

도 2는 본 발명의 실시예에 따른 적응적 키프레임을 이용한 마커리스 실감형 증강현실 제공 시스템의 구성 블록도로서, 영상 수집부(200), 특징점 추출부(202), 페이지 인식부(204), 페이지 추적부(206), 키프레임 업데이트부(208), 콘텐츠 증강부(210), 콘텐츠 DB(Data-Base) 등을 포함할 수 있다.

도 2에 도시한 바와 같이, 영상 수집부(200)는 도시 생략된 카메라에 의해 촬영된 학습 대상에 대한 영상, 예를 들어 인쇄물의 페이지에 대한 영상을 수집하는 역할을 할 수 있다.

특징점 추출부(202)는 영상 수집부(200)를 통해 수집된 영상에서 특징점을 추출하는 역할을 할 수 있다.

페이지 인식부(204)는 특징점 추출부(202)를 통해 특징점이 추출된 영상 내의 임의의 페이지를 인식하는 역할을 할 수 있다.

페이지 추적부(206)는 페이지 인식부(204)를 통해 인식된 페이지의 위치 및 자세를 추정하는 역할을 할 수 있다.

키프레임 업데이트부(208)는 현재 수집된 영상을 새로운 키프레임으로 업데이트하는 역할을 할 수 있다.

콘텐츠 증강부(210)는 인식된 페이지와 매칭되는 콘텐츠를 불러들여 추정된 페이지 자세로 콘텐츠를 증강시키는 역할을 할 수 있다.

콘텐츠 DB(212)에는 미리 제작된 콘텐츠들이 저장될 수 있으며, 이렇게 저장된 콘텐츠들은 필요에 따라 콘텐츠 증강부(210)에 의해 취사 선택될 수 있다.

도 3은 본 발명의 실시예에 따른 적응적 키프레임을 이용한 마커리스 실감형 증강현실 제공 과정을 설명하는 흐름도이다.

도 3에 도시한 바와 같이, 도시 생략된 카메라로부터 학습 대상에 대한 영상, 예를 들어 인쇄물의 페이지에 대한 영상이 영상 수집부(200)를 통해 수집되면(S310), 영상 수집부(200)는 해당 영상을 특징점 추출부(202)로 제공할 수 있다.

특징점 추출부(202)에서는 영상 수집부(200)를 통해 수집된 영상에서 특징점을 추출할 수 있다(S302). 이때의 특징점 추출은, 예를 들면 FAST 코너 검출기(FAST corner detector) 알고리즘이 적용될 수 있다.

후술하는 페이지 인식 및 자세 추정에 앞서, 현재 인식된 페이지가 올바른 페이지인지를 판단할 수 있다(S304). 올바른 페이지인지 또는 잘못된 페이지인지를 판단하는 기준은, 특징점 매칭 결과에 따를 수 있다. 예컨대, 초기 특징점 매칭수와 매칭률이 일정 수준 이하인지 이상인지를 판단하여 잘못 인식된 페이지로 간주하거나 올바른 페이지로 간주할 수 있다.

현재 페이지가 잘못된 페이지이면, 페이지 인식부(204)를 통해 현재 페이지를 인식한 후(S306), 페이지 추적부(206)를 통해 페이지 자세를 추정할 수 있다(S308). 즉, 초기 특징점 매칭수와 매칭률이 일정 수준 이하인 것으로 판단되었으므로, 현재 페이지가 인식될 때까지 그 이후 이미지 프레임에 대해 상술한 페이지 인식 과정을 다시 수행할 수 있다. 현재 페이지가 잘못된 페이지인 것으로 판단된 경우에는 페이지 자세 추정 실패로 기록될 수 있다.

반면, 현재 페이지가 올바른 페이지라면, 페이지 인식부(204)의 페이지 인식 과정 없이 페이지 자세 추정 과정(S308)으로 바로 진행할 수 있다. 즉, 초기 특징점 매칭수와 매칭률이 일정 수준 이상인 것으로 판단되었으므로, 인식된 페이지가 올바르다고 간주하여 초기 특징점 매칭 결과로 초기 자세를 추정하고, 이후 이미지 프레임에 대해서는 페이지 인식 과정 없이 페이지 추적 과정으로 바로 진행할 수 있다.

이때, 페이지 추적을 위해서는 거친-섬세한(coarse-to-fine) 두 단계의 특징점 매칭을 통해 반복적인 방법으로 자세를 추정할 수 있으며, 페이지 인식은 랜덤마이즈드 트리의 변형 버전인 랜덤마이즈드 포레스트를 이용하여 페이지 인식 및 초기 특징점 매칭을 동시에 수행할 수 있다.

이와 같은 페이지의 자세가 추정된 후, 자세 추정이 올바른지를 판단할 수 있다(S310). 자세 추정이 올바른지의 판단은 추정된 자세를 바탕으로 투영된 특징점들의 매칭 결과를 통해 판단할 수 있는데, 예를 들어 페이지 자세 추정 실패가 연속적으로 일정 수 이상 계속된다면, 인식된 페이지가 올바른 페이지가 아니라고 판단(사용자가 페이지 변경 등)하고, 페이지 인식 실패를 기록할 수 있다. 이후에는 상술한 랜덤마이즈드 포레스트를 이용한 페이지 인식 과정을 다시 수행할 수 있다.

자세 추정이 올바르다고 판단되면, 키프레임 업데이트부(208)는 사용자의 환경에 더 적합하고, 페이지 인식 및 추적 성능 향상을 위해 키프레임을 업데이트할 수 있다(S312). 이러한 키프레임 업데이트에 관한 상세한 설명은 아래에 기술하기로 한다.

키프레임 업데이트 후 콘텐츠 증강부(210)는 콘텐츠 DB(212)로부터 해당 페이지에 맞는 미리 제작된 콘텐츠를 불러 들여 페이지 추적부(206)에서 추정된 자세에 맞춰 가상의 콘텐츠를 정합하여 콘텐츠가 증강된 영상을 생성할 수 있다(S314).

끝으로, 생성된 영상(증가된 영상)을 화면에 출력할 수 있다(S316).

도 4는 상술한 도 3의 마커리스 실감형 증강현실 제공 방법에서 키프레임 업데이트 과정(S312)의 상세 흐름도이다.

페이지의 자세를 추정하는 페이지 추적 과정(S308)에서, 키프레임에서 추출된 특징점들의 이미지 패치를 이용하기 때문에, 페이지 자세 추정 성능은 키프레임이 얼마나 그 페이지를 잘 설명하느냐로 결정될 수 있다. 따라서, 현재 페이지를 가장 잘 나타낼 수 있는 이미지를 키프레임으로 선택하여야 올바른 페이지 자세 추정이 가능하다.

현재 페이지를 잘 나타내는 이미지를 선정하기 위해 다음과 같은 네 가지 조건이 충족 되어야 한다.

첫째, 인접한 이미지 프레임내에서 해당 페이지의 움직임이 최소화 되어야 한다. 이는 움직임으로 인해 이미지의 흐림을 차단하기 위해서이다. 이것을 움직임 점수(movement score)로 나타내고 점수가 1에 가까울수록 움직임이 적은 것을 나타낼 수 있다(S400).

둘째, 이미지에서 페이지가 나타난 면적이 넓어야 하고, 페이지의 많은 부분이 이미지에 나타나야 한다. 이것을 면적 점수(area score)로 나타낼 수 있다(S402).

셋째, 이미지에 나타난 페이지가 카메라가 보는 방향과 수직으로 만나야 하고, 이를 직교 점수(orthogonal score)로 나타낼 수 있다(S404).

끝으로, 위의 조건을 모두 충족하더라도 이미지내의 페이지에 다른 물체에 의한 가림이 발생하면, 추출될 특징점을 가려 특징점 매칭을 통한 페이지 자세 추정이 어려우므로, 페이지를 가리는 물체가 없어야 한다. 이를 폐쇄 점수(occlusion score)로 나타낼 수 있다(S406).

단계(S408)에서는 상술한 네 가지 조건을 점수화 하여 각 점수의 가중치 합을 계산할 수 있다(S408). 가중치 합을 통해 현재 키프레임의 점수를 알 수 있다.

이후, 기존 키프레임의 점수와 현재 키프레임의 점수를 비교할 수 있는데(S410), 이러한 비교 결과, 현재 키프레임의 점수가 더 높은 것으로 판단될 경우(S412), 키프레임 업데이트를 통해 현재 프레임을 키프레임으로 선정할 수 있다(S414).

최종적으로, 새로운 키프레임에 대응하는 2차원 평면 상의 점들로 구성된 월드맵을 생성할 수 있다(S416).

이하에서는, 상술한 키프레임 업데이트 과정을 수학식과 함께 보다 구체적으로 설명하기로 한다.

먼저, t번째 이미지 프레임의 전체 점수

는 다음과 같이 네 가지 조건들(움직임 점수, 면적 점수, 직교 점수, 폐쇄 점수)을 점수화한

,

,

,

의 점수들의 가중치 합으로 나타나고 다음 [수학식 1]과 같이 표현될 수 있다.

[수학식 1]에서

는 시간상 연속된 두 이미지 프레임

와

사이에 이미지 내의 페이지의 움직임을 나타낼 수 있다. 움직임이 적다면 움직임으로 인한 이미지 흐림이 생길 가능성이 낮아지므로 다음 [수학식 2]와 같이 높은 점수를 얻을 수 있다.

[수학식 1]에서

는 페이지가 t번째 이미지 프레임에서 얼마나 잘 보여지는지를 측정하는 척도로써, 이미지 전체에서 페이지 부분이 차지하는 면적과 페이지 전체 면적 중 이미지에 나타나는 면적의 가중치 합으로 다음 [수학식 3]과 같이 표현될 수 있다.

[수학식 1]에서

는 페이지가 카메라가 보는 방향과 직교하는지를 판단하기 위한 척도로써, 카메라 z 벡터와 페이지의 법선 벡터의 내적을 다음 [수학식 4]와 같이 취해 점수화할 수 있다.

[수학식 1]에서

는 t번째 이미지 프레임

에 나타난 페이지가 다른 물체에 의해 가려진 정도를 나타내는 척도로써, 특징점들의 매칭 결과로써 점수화할 수 있다. 즉, 다음 [수학식 5]와 같이,

에서 매칭된 특징점의 수(

)를, 키프레임에서 추출되어 월드 맵을 구성하는 전체 특징점 수(

)로 나눈 것으로 표현할 수 있다.

도 5는 상술한 도 3 및 도 4의 과정들의 결과로써, 키프레임이 업데이트 되는 과정을 예시적으로 보여준다. 도 5에서 이미지상의 좌측 상단의 숫자는 해당 이미지 프레임의

를 나타낼 수 있다.

도 6은 이미지상에 나타난 페이지가 급격한 움직임에 의해 흐려지는 경우를 예시한 것이며, 이는

에 영향을 줄 수 있다.

도 7은 상술한 과정에서

의 계산을 위한 각 부분을

(10),

(20),

(30) 화면으로 예시한 것이다.

도 8은 이미지상에 나타난 페이지의 법선 벡터을 예시적으로 나타낸 것으로, 이는

에 영향을 줄 수 있다.

도 9는 이미지상의 페이지가 손바닥에 의해 가려진 경우를 예시적으로 표현한 도면이다. 이는 상술한

에 영향을 줄 수 있다.

도 10은 상술한 적응적 키프레임을 이용한 마커리스 실감형 학습 시스템의 구동을 예시적으로 표현한 것이다.

도 10은, 마커를 사용하지 않고 자연영상에서 추출된 특징점들과 키프레임의 특징점간의 매칭 결과로 페이지의 자세를 추정하고, 추정된 페이지 자세로 가상의 캐릭터를 증강시킨 결과이다.

200: 영상 수집부
202: 특징점 추출부
204: 페이지 인식부
206: 페이지 추적부
208: 키프레임 업데이트부
210: 콘텐츠 증강부
212: 콘텐츠 DB(Data-Base)

Claims (1)

1. 카메라로부터 학습 대상에 대한 영상이 수집되면 수집되는 상기 영상에서 특징점을 추출하는 과정과,
   추출되는 상기 특징점에 대한 매칭 결과에 따라 상기 영상의 현재 페이지가 올바른 페이지인지를 판단하는 과정과,
   상기 현재 페이지가 잘못된 페이지이면, 상기 현재 페이지를 인식한 후, 상기 현재 페이지에 대한 페이지 자세를 추정하는 과정과,
   상기 현재 페이지가 올바른 페이지라면, 상기 페이지 인식 과정 없이 상기 현재 페이지에 대한 페이지 자세를 추정하는 과정과,
   상기 현재 페이지에 대한 자세 추정이 올바른지를 판단하는 과정과,
   상기 자세 추정이 올바르다고 판단되면, 상기 현재 페이지에 대한 키프레임(key-frame)을 업데이트하는 과정과,
   상기 키프레임을 업데이트한 후 상기 현재 페이지에 대응하는 기 설정된 콘텐츠를 로딩하는 과정과,
   로딩되는 상기 콘텐츠를 상기 현재 페이지에 정합하여 콘텐츠가 증강된 영상을 생성하는 과정과,
   생성되는 상기 증강된 영상을 화면에 출력하는 과정을 포함하는
   마커리스(marker-less) 실감형 증강현실 제공 방법.
   

Images