KR20090001572A - 증강현실 구현 장치 및 이에 사용되는 마커 - Google Patents

Abstract

본 발명은, 촬영기 및 디스플레이 장치와 통신하며 복수의 마커가 의미하는 영상 정보에 관한 데이터베이스를 보유하고 있고 상기 촬영기로부터 촬영 정보를 수신하고 마커로부터 제시된 위치 기준으로 사용자 머리의 위치와 방향이 계산되어 실상과 가상을 정합하며, 정합된 영상을 디스플레이하는 상기 디스플레이 장치로 전송하는 메인 영상처리기를 구비하며, 촬영기에 의하여 촬영되는 영역에 마커가 존재하여 마커가 촬영되면 상기 마커의 위치에 상기 마커에 의하여 정하여진 가상의 영상이 상기 디스플레이 장치에 디스플레이되도록 하는 증강현실(augmented reality) 구현 장치에 있어서, 상기 마커는 일측이 개방된 포켓형 프레임(400)에 복수의 투명 필름(404)을 삽입하여 결합할 수 있게 형성되고, 상기 포켓형 프레임에 삽입되는 투명 필름은 각각 다른 의미 세트(set)를 나타내는 복수의 영역으로 가상 구획되어 있고, 서로 다른 영역에 특정 의미를 표시하기 위한 표식디자인이 표시된 복수의 투명 필름을 동시에 상기 포켓형 프레임에 삽입하여 조합함으로써 마커를 구현하여 구현된 마커에 의하여 가상의 영상이 정하여지는 것을 그 특징으로 하는 증강현실 구현 장치에 관한 것이다.

증강현실, 마커

Description

증강현실 구현 장치 및 이에 사용되는 마커{A device for implementing augmented reality}

도 1은 종래의 비전기반 증강현실 장치의 구성도이다

도 2 및 도 3는 두부장착 디스플레이 장치를 설명하기 위한 도면들로서, 도 2는 전체 사시도이고, 도 3은 평면도이다.

도 4는 본 발명의 일 실시예의 마커의 개략도이다.

도 5 내지 도 6은 본 발명의 일 실시예의 마커에 삽입하는 투명 필름의 개략도이다.

도 7은 본 발명의 일 실시예의 마커를 구성하는 원리를 설명하기 위한 개략평면도이다.

<도면의 주요 부호에 관한 설명>

400 : 포켓형 프레임 402 : 필름 삽입구

404 : 투명 필름

본 발명은 증강현실 시스템(augmented reality system)에 관한 것으로, 특히 마커를 사용하여 보다 효과적으로 증강현실을 구현할 수 있는 방법에 관한 것이다. 일반적으로, 증강현실이란 상용 비디오 촬영기로 촬영한 비디오 영상에 그래픽스에 의해 생성한 가상 객체(virtual object)를 비디오 촬영기의 움직임에 맞도록 삽입함으로써, 그 가상 객체가 비디오 영상 내에서 마치 이전부터 존재하였던 것처럼 보이게 하는 기술이다. 최근 증강현실에 대한 관심이 높아지면서 증강현실은 많은 연구자들에 의해 연구되고 있다. 여러 분야에서의 응용 방법이 연구되었고, 개발을 위한 기술도 발전되고 있다. 증강현실 구현을 위한 하드웨어와 소프트웨어의 발전으로 좀더 넓은 분야에 응용되고 있는 실정이다.

한편, 모델링을 위해 많은 모델링 소프트웨어가 존재하고 있으며, 이러한 소프트웨어를 이용하여 모델링 작업이 이루어지고 있었다. 그러나, 종래에 제시된 많은 모델링 소프트웨어는 많은 반복 사용과 훈련이 수반된 전문지식이 습득되어야 이용이 가능하였고, 복잡하면서도 물체의 공간적 위치를 직관적으로 이해하기 힘들게 프로그램되어 있어서 간단한 훈련만으로는 일반인 및 초보자가 사용하기에는 어렵다는 문제점이 있었다.

일반적으로, 가상현실에는 몰입형 가상현실(Immersive VR), 탁상형 가상현실 (Desktop VR) 및 증강현실(Augmented Reality)이 있는데, 이 중에서, 증강현실이란 사용자가 보고 있는 실사 영상에 컴퓨터에서 생성한 가상 영상을 정확하게 정합하는 사용자 인터페이스 기술이다. 이러한 증강현실을 통하면 사용자에게 보다 향상된 현실감 및 인지도를 제공할 수 있게 된다.

이러한 증강현실을 구현하기 위해서, 촬영기 또는 추적 대상체의 움직임을 정확하게 추정하는 것은 중요한 핵심 기술로서, 이 증강현실의 구현방법은 일반적으로 크게 두 가지 방법으로 나누어진다. 첫째는 실세계에 존재하는 물체로부터 수집된 특징점들을 이용하는 것으로, 이는 증강현실 분야에서는 궁극적으로 지향하고 있는 방법이지만, 여전히 물체로부터 수집된 특징점 정보가 적거나 조명과 같은 환경 조건이 불안정할 경우에는 성능이 크게 떨어지는 단점이 있다. 둘째는 미리 알고 있는 마커를 이용하는 것으로, 이는 일반적으로 전자에 비해 안정된 성능을 가진다. 여기서, 마커는 원래 실세계에 존재하지 않는 물체지만, 촬영기 또는 추적 대상체의 움직임의 정확한 추정을 위해 인위적으로 실세계에 삽입된 물체이다. 그런데 이러한 마커는 사용하는 때마다 일부러 제작하는 번거로움이 있다.

이러한 마커를 이용한 비전기반 증강현실 장치를 도 1을 참조하여 설명한다. 도 1은 종래의 비전기반 증강현실 장치의 구성도이다. 도 1에 도시된 종래의 비전기반 증강현실 장치은 육안으로 보이는 마커(VM)가 표시되어 있는 추적 대상체(TO)를 촬영하는 촬영기(11)와, 상기 촬영기(11)에 의한 추적 대상체에 표시된 마커 영상에 근거해서 상기 마커의 영상내에서의 위치를 감시하여 상기 추적 대상체의 위 치 및 방향을 추적하고, 이러한 추적 대상체 영상에 사전에 준비된 가상 영상을 렌더링하여 새로운 영상을 생성하는 영상 처리기(12)와, 상기 영상 처리기(12)로부터의 영상을 화면으로 출력하는 출력장치 내지 디스플레이 장치(13)를 포함한다.

이 때, 촬영기나 디스플레이 장치는 두부장착 디스플레이(HMD) 장치로 합쳐진 것이 주로 사용된다. 도 2 및 도 3는 두부장착 디스플레이 장치를 설명하기 위한 도면들로서, 도 2는 전체 사시도이고, 도 3은 평면도이다.

도 2 및 도 3을 참고하면, 프레임(100)은 안경테 형태를 하는데, 헬멧형태를 하여도 상관없다. 프레임(100) 앞 바깥쪽에는 화상 촬영기(10)가 설치된다. 사람이 프레임(100)을 착용한 상태에서 얼굴을 움직이면 촬영기(10)가 바라보는 방향도 변하여 시야에 따른 실사영상이 촬영기에 찍히게 된다. 즉, 착용자가 시각으로 볼 수 있는 모습들이 가상의 눈 위치에 설치된 촬영기를 통해서 영상으로 만들어진다.

촬영기(10)에 찍힌 실사영상은 영상저장장치(12)에 저장될 수 있는데, 영상저장장치(12)는 이러한 실사영상 외에도 컴퓨터(30)에 의해 만들어진 가상영상을 컴퓨터로부터 다운로드 받아 저장할 수 있도록 설치된다. 영상저장장치(12)는 갈아 끼울 수 있도록 프레임(100)에 탈부착 가능하게 설치된다.

타인으로부터 송신되어 오는 실사영상을 수신하여 이를 영상저장장치(12)에 저장하거나, 영상저장장치에 저장된 실사영상을 타인에게 송신함으로써 여럿이 실사영상을 공유할 수 있도록 하는 무선송수신 장치(미도시)가 더 설치되면 좋다.

접안 디스플레이(eye-direct display, 20)는 화상 촬영기(10)에 찍히는 실사영상과 영상저장장치(12)에 저장되어 있는 가상영상을 정합하여 증강현실(augmented reality)을 출력한다. 영상저장장치(12)에 저장되어 있는 여러개의 가상영상 중에서 어떠한 가상영상이 접안 디스플레이(20)에 출력되는지는 컨트롤러(미도시)를 통한 선택에 의해 결정된다.

이러한 종래의 증강현실 장치에서는, 육안으로 보이는 마커를 이용하여 촬영된 영상 중 마커가 존재하는 위치 및 방향 등을 해석하여 가상의 영상을 정합하여 정확하고 빠르게 증강현실을 구현할 수 있게 된다. 예를 들어, 사람, 동물, 인형, 식물, 애니메이션, 자연물 등 다양한 형태의 가상 영상을 정합할 수 있으나, 여기서 사용되는 마커는 실제 환경속에 존재하지 않는 인위적인 부가물로서 이를 일부러 제작하여야 한다는 번거로움이 있다.

그런데, 어떤 가상영상은 구분 가능한 복수의 정보의 총체로서 하나의 영상이 이루어지게 된다. 예를 들면, 사람 형태의 가상영상은, (캐릭터명, 헤어스타일, 윗옷종류, 윗옷색상, 아래옷종류, 아래옷색상, 신발, 동작내용) 등의 7가지 열(column)으로 이루어진 정보의 총체로서 하나의 영상이 정하여지게 된다. 이러한 경우 각각의 열에 대하여 10가지 중 하나를 선택할 수 있다고 하여도 이러한 다양한 사람 형태를 제대로 표현하기 위하여 필요한 마커의 수는 10⁷ 즉 일천만 개라는 엄청난 수에 달하게 될 것이기 때문에 마커를 제작하고 분류 정리하는데 엄청난 노력이 필요하게 될 것이다.

본 발명은, 마커를 감지하여 추적 대상체를 신속 정확하게 추적할 수 있도록 구현하는 증강현실 장치에서 투명 필름 상의 도형, 기호, 문자 등의 표식디자인을 통하여 마커를 구현하되, 투명 필름의 전체 영역을 복수의 서로 다른 영역으로 구분하고 영역별로 서로 다른 정보를 표시하도록 사전에 미리 정해 놓고, 복수의 투명필름을 겹쳐 놓은 상태로 마커를 구성함으로써, 구획된 복수의 영역에 관한 다수 세트의 표식디자인들을 상호 자유자재로 조합함으로써 수많은 세트의 마커를 간단하게 구현할 수 있게 하여, 사용과 조작이 간편하고 보다 신속하고 정확하게 다양한 증강현실의 구현이 가능하게 하는 것을 그 목적으로 한다.

본 발명은, 촬영기 및 디스플레이 장치와 통신하며 복수의 마커가 의미하는 영상 정보에 관한 데이터베이스를 보유하고 있고 상기 촬영기로부터 촬영 정보를 수신하고 마커로부터 제시된 위치 기준으로 사용자 머리의 위치와 방향이 계산되어 실상과 가상을 정합하며, 정합된 영상을 디스플레이하는 상기 디스플레이 장치로 전송하는 메인 영상처리기를 구비하며, 촬영기에 의하여 촬영되는 영역에 마커가 존재하여 마커가 촬영되면 상기 마커의 위치에 상기 마커에 의하여 정하여진 가상의 영상이 상기 디스플레이 장치에 디스플레이되도록 하는 증강현실(augmented reality) 구현 장치에 있어서, 상기 마커는 일측이 개방된 포켓형 프레임(400)에 복수의 투명 필름(404)을 삽입하여 결합할 수 있게 형성되고, 상기 포켓형 프레임에 삽입되는 투명 필름은 각각 다른 의미 세트(set)를 나타내는 복수의 영역으로 가상 구획되어 있고, 서로 다른 영역에 특정 의미를 표시하기 위한 표식디자인이 표시된 복수의 투명 필름을 동시에 상기 포켓형 프레임에 삽입하여 조합함으로써 마커를 구현하여 구현된 마커에 의하여 가상의 영상이 정하여지는 것을 그 특징으로 하는 증강현실 구현 장치에 관한 것이다.

여기서, 상기 포켓형 프레임에 삽입되어 있는 투명 필름의 일부 교체에 의하여 가상의 영상의 부분 변경이 이루어진다.

한편, 본 발명은, 촬영기 및 디스플레이 장치와 통신하며 복수의 마커가 의미하는 영상 정보에 관한 데이터베이스를 보유하고 있고 상기 촬영기로부터 촬영 정보를 수신하고 마커로부터 제시된 위치 기준으로 사용자 머리의 위치와 방향이 계산되어 실상과 가상을 정합하며, 정합된 영상을 디스플레이하는 상기 디스플레이 장치로 전송하는 메인 영상처리기를 구비하며, 촬영기에 의하여 촬영되는 영역에 마커가 존재하여 마커가 촬영되면 상기 마커의 위치에 상기 마커에 의하여 정하여진 가상의 영상이 상기 디스플레이 장치에 디스플레이되도록 하는 증강현실(augmented reality)을 구현하는데 사용하기 위한 마커에 있어서, 일측이 개방된 포켓형 프레임(400)에 복수의 투명 필름(404)을 삽입되어 결합되되, 상기 포켓형 프레임에 삽입되는 투명 필름은 각각 다른 의미 세트(set)를 나타내는 복수의 영역으로 구획되어 있어서, 서로 다른 영역에 특정 의미를 표시하기 위한 표식디자인이 표시된 복수의 투명 필름을 동시에 상기 포켓형 프레임에 삽입하여 각각의 투명 필름이 표시하는 의미들이 조합되게 하는 마커에 관한 것이다.

이하 첨부도면을 참조하여 본 발명을 상세히 설명한다.

도 4에 도시된 바와 같이, 일측이 개방된 포켓형 프레임(400)에 복수의 투명 필름(404)을 삽입하여 결합할 수 있게 마커가 형성된다. 포켓형 프레임은 도시된 바와 같이 ㅁ자형의 사각틀체형으로 형성될 수 있고 종이 등으로 간단하게 제작될 수 있다. 일측으로는 필름 삽입구(402)와 같이 개방되어 있어서 필름을 삽입할 수 있게 형성된다. 물론 투명 필름은 두께가 얇기 때문에 복수 매의 투명 필름을 포켓형 프레임에 삽입할 수 있다.

투명 필름은 도 5에 도시된 바와 같이 가상의 복수의 영역으로 구획되어 각각의 영역은 서로 다른 정보를 표시하게 정하여진다. 예를 들어 영역 50은 이것이 어떠한 종류의 캐릭터인지를 표시하는 마커 영역이다. 마찬가지로 나머지 영역 51, 52, 53, 54, 55, 56, 57 등은 각각 윗옷 색상, 아래옷 색상, 윗옷 종류, 아래옷 종류, 신발, 동작 내용, 헤어스타일 등을 각각 표시하는 마커 영역으로 사용될 수 있다.

따라서, 도 6에 도시된 바와 같이 두 개의 투명 필름 A1, A2에는 50 영역에만 마커가 표시되어 있고 두 개의 투명 필름 B1, B2에는 51 영역에만 마커가 표시되어 있게 준비하고 이들의 필름을 조합하여 겹쳐 놓는 방식으로 (A1, B1), (A1, B2), (A2, B1), (A2, B2)의 네 쌍의 마커를 조합할 수 있음을 알게 된다. 즉, A1 필름과 B1 필름을 포켓형 프레임에 끼워 넣으면 도 7에 도시된 바와 같은 마커를 생성할 수 있게 되며 이러한 마커는 A라는 캐릭터가 빨간 색 윗옷을 입고 있음을 표시하게 된다.

이러한 방식으로 영역 50 내지 57에 대하여 각각 l, m, n, o, p, q, r, s 개의 투명 필름을 준비하고 이들 투명 필름을 겹쳐서 포켓형 프레임에 삽입함에 의하여, 이들 숫자를 곱한 갯수 n = l×m×n×o×p×q×r×s 개의 마커를 조합하여 사용할 수 있게 되어 매우 편리하다. 나아가, 가상영상 캐릭터의 헤어스타일, 옷 색상 등을 바꾸는 작업은 포켓형 프레임에 끼워져 있는 투명 필름을 일부 갈아 끼워 줌으로써 매우 편리하게 수행할 수 있게 된다.

즉, 도 8에 개략적으로 도시된 바와 같이, 포켓형 프레임(400)에 끼워 넣는 투명 필름에 의하여 다양한 형태로 조합되는 마커가 의미하는 영상 정보에 관한 데이터베이스(44)를 미리 메인 영상처리기(42)에 저장하고, 마커를 포함하는 실 공간을 촬영기(41)로 촬영하고 촬영기로부터 촬영 정보를 메인 영상처리기(42)로 송신하여, 메인 영상처리기는 마커로부터 제시된 위치 및 방향 기준으로 실상과 가상을 정합하며 정합된 영상을 디스플레이하는 상기 디스플레이 장치(43)로 전송하여, 디스플레이 장치에서 디스플레이함으로써 다양한 형태의 가상 영상을 증강현실에서 표현할 수 있게 되는 것이다.

이상에서 설명한 본 발명의 실시예는 본 발명의 실시 태양 중 하나의 예를 든 것으로 본 발명은 이에 한정되지 아니하고 이와 등가물, 균등물을 포함함을 밝혀 둔다.

본 발명은, 마커를 감지하여 추적 대상체를 신속 정확하게 추적할 수 있도록 구현하는 증강현실 장치에서 투명 필름 상의 표식디자인을 통하여 마커를 구현하되, 투명 필름의 전체 영역을 복수의 서로 다른 영역으로 구분하고 영역별로 서로 다른 정보를 표시하도록 사전에 미리 정해 놓고, 복수의 투명필름을 겹쳐 놓은 상태로 마커를 구성함으로써, 구획된 복수의 영역에 관한 다수 세트의 표식디자인들을 상호 자유자재로 조합함으로써 수많은 세트의 마커를 간단하게 구현할 수 있게 하여, 사용과 조작이 간편하고 보다 신속하고 정확하게 다양한 증강현실의 구현이 가능하게 하는 효과를 갖는다.

이러한 마커 체계는 대단히 넓은 응용 범위를 가질 수 있다. 종래에는 하나의 정해진 이미지마다 각각 마커를 새로이 만들어야 하나 본 발명의 마커를 사용함으로써 단지 수십 장의 필름으로 수천 개의 마커를 스스로 생성하면서 가상캐릭터를 볼 수 있게 되어, 종래 인형을 갖고 옷을 갈아입히면서 노는 완구를 대체하는 놀이로 사용될 수도 있고 또는 동화책을 읽으면서 그 안의 내용에 관한 영상을 스스로 다양하게 바꾸어 가면서 체험해 볼 수도 있게 하는 등 증강현실 응용 분야를 획기적으로 넓히고 영상이 조금 바뀔 때마다 마커를 일일이 제작하는 수고를 대폭 절감하게 된다.

Claims (3)

1. 촬영기 및 디스플레이 장치와 통신하며 복수의 마커가 의미하는 영상 정보에 관한 데이터베이스를 보유하고 있고 상기 촬영기로부터 촬영 정보를 수신하고 마커로부터 제시된 위치 기준으로 사용자 머리의 위치와 방향이 계산되어 실상과 가상을 정합하며, 정합된 영상을 디스플레이하는 상기 디스플레이 장치로 전송하는 메인 영상처리기를 구비하며, 촬영기에 의하여 촬영되는 영역에 마커가 존재하여 마커가 촬영되면 상기 마커의 위치에 상기 마커에 의하여 정하여진 가상의 영상이 상기 디스플레이 장치에 디스플레이되도록 하는 증강현실(augmented reality) 구현 장치에 있어서,

   상기 마커는 일측이 개방된 포켓형 프레임(400)에 복수의 투명 필름(404)을 삽입하여 결합할 수 있게 형성되고, 상기 포켓형 프레임에 삽입되는 투명 필름은 각각 다른 의미 세트(set)를 나타내는 복수의 영역으로 가상 구획되어 있고, 서로 다른 영역에 특정 의미를 표시하기 위한 표식디자인이 표시된 복수의 투명 필름을 동시에 상기 포켓형 프레임에 삽입하여 조합함으로써 마커를 구현하여 구현된 마커에 의하여 가상의 영상이 정하여지는 것을 그 특징으로 하는

   증강현실 구현 장치
2. 제 1 항에 있어서,

   상기 포켓형 프레임에 삽입되어 있는 투명 필름의 일부 교체에 의하여 가상의 영상의 부분 변경이 이루어지는 것을 그 특징으로 하는

   증강현실 구현 장치
3. 촬영기 및 디스플레이 장치와 통신하며 복수의 마커가 의미하는 영상 정보에 관한 데이터베이스를 보유하고 있고 상기 촬영기로부터 촬영 정보를 수신하고 마커로부터 제시된 위치 기준으로 사용자 머리의 위치와 방향이 계산되어 실상과 가상을 정합하며, 정합된 영상을 디스플레이하는 상기 디스플레이 장치로 전송하는 메인 영상처리기를 구비하며, 촬영기에 의하여 촬영되는 영역에 마커가 존재하여 마커가 촬영되면 상기 마커의 위치에 상기 마커에 의하여 정하여진 가상의 영상이 상기 디스플레이 장치에 디스플레이되도록 하는 증강현실(augmented reality)을 구현하는데 사용하기 위한 마커에 있어서,

   일측이 개방된 포켓형 프레임(400)에 복수의 투명 필름(404)을 삽입되어 결합되되, 상기 포켓형 프레임에 삽입되는 투명 필름은 각각 다른 의미 세트(set)를 나타내는 복수의 영역으로 구획되어 있어서, 서로 다른 영역에 특정 의미를 표시하기 위한 표식디자인이 표시된 복수의 투명 필름을 동시에 상기 포켓형 프레임에 삽입하여 각각의 투명 필름이 표시하는 의미들이 조합되게 하는

   마커

Images