KR101171660B1 - 증강현실의 포인팅 장치 - Google Patents

Abstract

본 발명은 증강현실의 특정 위치를 컴퓨터에 입력할 수 있는 포인팅 장치 장치에 관한 것이다. 본 발명은 증강현실 영상을 생성하는데 사용되는 마크나 특징점을 촬영하는 카메라, 상기 카메라에서 촬영된 마크나 특징점을 인식하여 증강현실 속의 특정 위치를 나타내는 위치정보를 출력하는 영상처리부를 포함한다. 상기 영상처리부에서 출력한 위치에 마우스 커서 영상을 증강현실 이미지로 합성할 수 있다.

Description

증강현실의 포인팅 장치{POINTING DEVICE OF AUGMENTED REALITY}

본 발명은 증강현실 속의 특정 위치를 컴퓨터에 직관적으로 입력할 수 있는 포인팅 장치에 관한 것이다.

본 발명은 기존의 포인팅 장치로는 증강현실 속의 위치를 직관적으로 입력하기 어렵다는 단점을 해결하는 것을 목적으로 한다.

상기 목적을 달성하기 위하여 증강현실영상을 생성하기 위한 증강현실용 제1 카메라로 특징점들을 촬영한 제1 영상과 포인팅 작업을 하기 위한 리모컨 형태의 포인팅용 제2 카메라로 상기 특징점들을 촬영한 제2 영상에서 대응되는 특징점들의 위치를 분석하여 제2카메라가 제1 카메라의 영상의 어느 위치를 가리키고 있는지를 인식하여 그 위치에 대응하는 포인팅 신호를 출력하는 영상처리부를 포함하는 구성을 제공한다.

본 발명에 의한 입력 장치를 사용하면 기존의 포인팅 장치와 달리 증강 현실 속의 특정 위치를 레이저 포인터를 사용하듯이 직관적으로 컴퓨터에 입력할 수 있다.

도1은 본 발명의 구성도
도2는 카메라와 세계 좌표계
도3은 스테레오 카메라가 부착된 안경형 디스플레이를 사용한 실시예 구성도

현재 컴퓨터 화면 안의 특정 위치를 컴퓨터에 입력하는 포인팅 장치로는 마우스가 널리 사용되고 있다. 또한 화면 속 게임 영상의 특정 위치를 입력하는 장치로는 조이스틱이 사용되기도 한다. 그러나 이러한 포인팅 장치는 컴퓨터 화면 속의 위치를 입력하는 것을 목적으로 개발된 장치이다. 최근에는 컴퓨터 그래픽 영상(예를 들면 게임 캐릭터의 3차원 모델)이 컴퓨터 화면을 벗어나 현실 영상과 합성되는 증강현실(augmented reality)이라는 기술이 개발되고 있다. 특히 스마트폰의 성능이 향상됨에 따라 스마트폰에 부착된 카메라로 촬영한 영상으로 생성한 증강 현실영상을 이용한 서비스가 개발되고 있다. 증강현실 기술이란 현실에 존재하는 마크(또는 특징점)를 카메라로 촬영하여 그 마크와 카메라 사이의 3차원 거리와 회전 방향을 알아낸 후 마크가 있는 3차원 공간에 3차원 그래픽 영상에 의한 가상 객체의 영상을 합성하여 출력하는 기술이다. 여기서 마크는 예를 들면 흰색 종이에 인쇄된 방향을 인식할 수 있는 특징점이 있는 검정 사각형과 같은 인공적인 마크 뿐 만 아니라 임의의 사물의 모서리(corner point)와 같은 특징점들도 포함한다. 인쇄된 사각형을 사용하는 것은 에이알툴킷(ArtoolKit)이라는 증강현실 라이브러리에서 사용되고 있고, 임의의 사물의 특징점들을 마크로 사용하는 증강현실은 마크 없는 증강현실(markerless augmented reality)이라고 한다. 마크 없는 증강 현실 기술은 Georg Klein 과 David Murray 의 Parallel Tracking and Mapping for small AR Workspaces 라는 논문 ( http://www.robots.ox.ac.uk/~gk/publications/KleinMurray2007ISMAR.pdf ) 에 자세히 설명되어있다. 상기 자료는 실시간으로 동영상에서 특징점을 추출하여 특징점들의 3차원 좌표를 계산해서 마크로 사용하는 증강 현실 기술을 소개하고 있다. 본 발명의 증강현실은 크기와 형태가 알려진 인공적인 마크와 임의의 사물의 특징점에 의한 마크를 모두 포함한다.

이러한 증강 현실의 구체적인 내용은 다음과 같다. 즉 동영상에서 크기와 형태가 알려진 사각형 마크나 임의의 사물의 모서리점(코너)를 특징점으로 추출하여 그 점들의 3차원 좌표를 구해서 맵 데이터로 기억한다. 그런 다음 이러한 특징점들이 있는 영역을 촬영한 영상에서 실시간으로 특징점들을 찾아서 맵 데이터 속의 특징점들과 비교하여 카메라와 특징점 사이의 3차원 거리(x,y,z)와 회전 방향(요,피치,롤)을 구한다. 이러한 3차원 점들과 그 점들을 촬영한 영상에서의 대응되는 특징점들으로부터 카메라와 3차원 점들 사이의 거리와 방향을 구하는 것은 opencv 라는 컴퓨터 비전 라이브러리의 solvePnP 라는 함수를 사용하면 된다. 크기와 상대 위치가 알려진 n개의 점을 촬영한 영상을 분석해서 카메라와 그 점들 사이의 3차원 위치와 방향을 산출하는 분야는 영상 처리 분야에서 퍼스펙티브 N 점 문제(perspective N point problem )로 알려진 공지 기술이다. 구체적으로 http://homepages.inf.ed.ac.uk/rbf/CVonline/LOCAL_COPIES/MARBLE/high/pia/solving.htm 에 그에 대한 소개가 게시되어있다. 상기 함수 solvePnP 는 그 기술을 컴퓨터 프로그램의 함수로 구현한 것이다. 본 발명에서 카메라와 마크 사이의 3차원 상대 위치와 방향을 구하는 구체적인 방법을 제한하지는 않는다. 즉 임의의 알고리즘을 사용해서 카메라와 마크 사이의 3차원 상대 위치와 방향을 구해도 무방하다.

특징점들 사이에 컴퓨터 그래픽에 의한 가상의 객체를 심어놓고 이렇게 구한 특징점과 카메라 사이의 거리와 방향을 이용하여 가상 객체를 투사변환(perspective projection) 한 영상을 실사 영상에 합성하여 출력할 수 있다. 그러면 사용자는 마치 가상 객체가 실세상에 존재하는 것 같은 영상을 볼 수 있다.

이러한 증강현실 기술을 이용하면 컴퓨터 화면 속에 존재하던 3차원 게임 캐릭터가 마치 현실 속에 존재하는 듯한 영상을 만들 수 있다. 현재의 증강현실 기술은 주로 현실 영상과 컴퓨터 3차원 그래픽 영상을 합성하여 보여주는데 집중되고 있다. 이러한 증강 현실 기술이 단순히 영상을 합성하여 보여주고 사용자는 수동적으로 그 영상을 보기만 하는 것이 아니라 사용자와 상호작용 가능한 게임형태로 사용되기 위해서는 사용자가 증강 현실 속의 가상 객체와 손쉽게 직관적으로 상호작용을 하는 수단이 필요하다. 기존의 게임 속 세상과 사용자가 상호작용을 하는 데는 주로 마우스와 키보드가 사용되고 있다. 이러한 마우스와 키보드를 사용하여 증강현실과 사용자가 상호작용을 할 수도 있으나 본 발명은 레이저 포인터로 가상 객체를 가리키는 것과 같이 좀더 직관적이고 쉽게 가상 객체를 가리킬 수 있는 포인팅 장치를 제공하는 것을 목적으로 한다.

실시예1

본 실시예에서는 도1과 같이 크기와 형태가 정해진 인공적인 마크(MK)를 사용하는 증강현실에 사용할 수 있는 포인팅 장치에 대하여 설명한다. 본 실시예에서 인공적인 마크를 사용하는 것은 설명의 편의를 위한 것일 뿐 실제 구현은 인공적인 마크 없이 사물의 특징점을 마크로 사용해도 무방하다.

도1에서 증강현실 속의 컴퓨터 그래픽으로 표시되는 가상 객체(CGS,CGE)는 태양(CGS) 주변을 도는 지구(CGE)를 포함하는 태양계 모형이고 손에 쥘 수 있는 리모컨 형태의 포인팅용 카메라(TC)의 시선(viewing vector)은 태양(CGS)을 가리키고 있다.

도2는 두 카메라(AC,TC)에 각각 고정된 카메라 좌표계와 마크(MK)에 고정된 세계 좌표계를 나타낸 것이다. 도2에서 증강현실용 제1 카메라(AC)의 좌표계의 세축은 x1,y1,z1 이고 포인팅 작업용 제2 카메라(TC)의 좌표계의 세축은 x2,y2,z2 이고 마크에 고정된 세계 좌표계의 세 축은 xw,yw,zw 로 나타냈다. 그리고 포인팅용 제2카메라의 시선 방향의 벡터(viewing vector)는 z2 축에 해당한다.

본 실시예에 의한 증강현실의 포인팅 장치는 도1에 표시된 것과 같이 크기와 형태가 알려진 특징점들(예를 들면 증강현실용 라이브러리인 에이알툴킷(ArtoolKit) 에서 사용하는 검정 사각형의 꼭지점)을 포함하는 영역을 촬영하는 증강현실용 제1 카메라(AC);

상기 특징점들을 다른 위치에서 촬영하는 포인팅 작업용 제2 카메라(TC);

상기 두 카메라에서 각각 촬영한 두 영상에서 마크의 특징점들을 검출하여 그 점들의 두 영상에서의 위치와 찌그러진 형태를 분석하여 두 카메라와 마크 사이의 각각의 3차원 거리와 방향을 구하고 그 정보로부터 두 카메라 사이의 상대 위치와 방향에 대응하는 포인팅 좌표를 산출하는 포인팅용 영상처리부를 포함하는 것을 특징으로 한다.

구체적으로 촬영된 영상의 마크의 특징점들로부터 카메라와 마크 사이의 거리와 방향을 산출하는 것은 opencv 라는 영상처리 라이브러리의 함수 solvePnP 를 사용하면 된다. 두 카메라 사이의 상대 위치와 방향에 대응하는 포인팅 좌표를 생성하는 방법은 다음과 같다.

제1카메라로 찍은 영상과 마크의 크기정보를 이용하여 solvePnP 를 통해 마크와 제1카메라 사이의 3차원 상대 위치와 회전 각도를 알아낸다.

마찬가지로 제2카메라로 찍은 영상과 마크의 크기정보를 이용하여 solvePnP 를 통해 마크와 제2카메라 사이의 3차원 상대 위치와 회전 각도를 알아낸다.

마크로부터 두 카메라까지의 3차원 거리와 방향을 알아냈으므로 두 카메라 사이의 3차원 상대위치와 방향을 알아낼 수 있다. 즉 제2 카메라의 위치와 방향(도2의 z2,제2카메라의 시선 방향)을 제1 카메라좌표계로 표시할 수 있다.

제2카메라의 시선 벡터(viewing vector,z2 축)이 마크가 놓여진 평면(xw-yw 평면)과 만나는 점(QQ)을 구할 수 있다. 그 교점(QQ)을 제1카메라로 투사변환(perspective projection)하면 제1카메라로 촬영한 영상에서 QQ 에 대응되는 픽셀의 위치를 알 수 있고 그 점에 포인팅 커서가 위치하는 것으로 하는 것이 바람직하다. 만약에 도1과 같이 제2 카메라(TC)와 점 QQ 사이에 컴퓨터 그래픽으로 표시되는 가상 객체(CGS)가 존재한다면 z2축과 그 가상 객체(CGS)가 만나는 점(도1의 점 PP)의 위치를 포인팅 좌표로 사용하는 것이 바람직하고 그 위치에 마우스 커서 아이콘(AW)을 합성하여 증강현실 영상을 생성하는 것이 바람직하다.

증강 현실 시스템의 영상처리부는 수신된 제1 영상에서 특징점을 포함하는 마크(MK)를 인식하여 그 마크(MK)를 기준 좌표로 하여 컴퓨터 그래픽 영상(CGS,CGE)을 합성하여 디스플레이(DS)에 출력할 수 있다. 그리고 상기 포인팅용 영상처리부에서 출력하는 포인팅 좌표는 상기 증강현실 시스템의 증강현실용 영상처리부에 증강현실 속의 특정 위치를 나타내는 포인팅 신호로 입력되어 증강현실 속의 컴퓨터 그래픽으로 표시되는 객체(CGS,CGE)를 가리킬 수 있다.

포인팅용 제2 카메라(TC)는 리모컨 형태로 손에 쥘 수 있는 형태로 하고 마우스 좌우측 버튼(BTL,BTR)과 같은 버튼 입력 수단을 포함하는 것이 바람직하다. 그리고 증강현실용 카메라(AC)는 안경형 디스플레이(DS)에 착용자의 시선 방향(도2의 z1축 방향)을 촬영하도록 설치하는 것이 바람직하다. 그리고 영상처리부는 스마트폰이나 데스크탑 컴퓨터에서 실행되는 영상처리 프로그램으로 구현 할 수도 있고 디지털 시그널 프로세서(DSP)를 포함하는 전용 하드웨어를 이용하여 구현 될 수도 있다. 이러한 구성을 이용하면 사용자는 사용자의 시선 방향을 촬영하는 카메라(AC)가 포함된 안경형 디스플레이(DS)를 안경처럼 착용하고 손에 쥔 리모콘 형태의 포인팅용 카메라(TC)의 시선을 증강현실 속의 임의의 지점(도1의 PP)을 향하게 함으로써 그 지점으로 증강현실 속의 마우스 커서(AW)를 이동시켜서 포인팅 작업을 직관적으로 쉽게 할 수 있다. 또한 리모콘 형태의 포인팅용 카메라(TC)에 포함된 마우스 버튼을 이용하여 증강현실 속 객체를 클릭하여 증강현실 속의 다른 위치로 이동(drag and drop)시킬 수 있다. 이러한 포인팅용 카메라(TC)를 총 형태로 하고 마우스 버튼을 그 총의 방아쇠를 형태로 하여 증강현실 속의 괴물을 향해 사격을 하는 게임을 할 수도 있다. 또한 스마트폰의 카메라와 디스플레이 또는 데스트탑 컴퓨터의 PC카메라와 모니터를 상기 증강현실용 카메라(AC)와 디스플레이(DS) 로 사용해도 무방하다.

실시예2

상기 실시예1에서 사용한 증강현실 영상을 합성할 영상을 촬영하는 제1카메라를 도3과 같이 스테레오 카메라(AC1,AC2)로 대체할 수 있다. 도3에는 안경형 디스플레이에 양쪽 눈앞에 두 개의 카메라가 설치되어있고 각각의 카메라에서 촬영한 영상이 안경의 좌우측 디스플레이에 출력된다. 이러한 스테레오 카메라를 포함한 안경형 디스플레이는 뷰직스라는 회사에서 WRAP 920AR 이라는 상품(http://www.vuzix.com/consumer/products_wrap920ar.html)으로 출시하고 있다.

또한 실시예1에서 사용한 포인팅용 제2카메라 를 두 개(TC1,TC2) 사용하여 양손에 쌍권총처럼 쥐고 증강현실 속 괴물을 향해 사격 게임을 할 수 도 있다.

AC : 증강현실용 카메라
AC1,AC2 : 스테레오 카메라
DS : 디스플레이
TC,TC1,TC2 : 포인팅용 카메라
BTR,BTL: 마우스 버튼
AW : 증강현실 속의 마우스 커서
PP,QQ : 증강현실 속의 포인팅 위치
CGS,CGE : 증강현실 속의 컴퓨터 그래픽 객체
MK : 마크
x1 y1 z1 : 제1카메라 좌표계
x2 y2 z2 : 제2카메라 좌표계
xw yw zw: 세계 좌표계

Claims (8)

1. 입력 장치에 있어서
   특징점을 포함하는 제1 영상을 촬영하는 증강현실용 카메라를 포함하는 제1 카메라(AC)부;
   상기 특징점을 포함하는 제2 영상을 촬영하는 포인팅용 카메라를 포함하는 제2 카메라(TC)부;
   상기 제1영상과 제2영상에서 특징점을 분석하여 증강현실용 카메라와 포인팅용 카메라의 상대 위치와 방향을 산출하는 영상처리부;
   를 포함하는 것을 특징으로 하는 증강현실의 포인팅 장치
2. 1항에 있어서,
   상기 영상처리부는 증강현실용 카메라와 포인팅용 카메라의 상대 위치와 방향을 이용하여 포인팅용 카메라의 시선이 향하는 제1영상 속의 위치에 대응하는 포인팅 좌표를 생성하는 것을 특징으로 하는 증강현실의 포인팅 장치.
3. 1항에 있어서,
   상기 영상처리부는 제1 영상에서 특징점을 검출하여 그 위치를 분석하여 특징점과 증강현실용 카메라 사이의 상대 위치와 방향을 산출하여 그 위치와 방향에 맞게 제1영상에 컴퓨터 그래픽에 의한 증강현실의 가상 객체를 합성하는 것을 특징으로 하는 증강현실의 포인팅 장치.
4. 2항에 있어서,
   상기 영상처리부는 상기 포인팅 좌표에 대응하는 제1 영상 안의 증강 현실속에 포인팅 커서 아이콘의 증강현실 영상(AW)을 합성하는 것을 특징으로 하는 증강현실의 포인팅 장치.
5. 1항에 있어서 제1카메라부는 착용자의 시선 방향을 촬영하는 카메라를 포함하는 안경형 디스플레이인 것을 특징으로 하는 증강현실의 포인팅 장치.
6. 5항에 있어서 안경형 디스플레이에 포함된 카메라는 양쪽 눈 앞에 배치된 스테레오 카메라인 것을 특징으로 하는 증강현실의 포인팅 장치.
7. 특징점을 포함하는 증강현실용 제1영상을 촬영하는 단계;
   상기 특징점을 포함하는 포인팅용 제2영상을 촬영하는 단계;
   제1영상과 제2영상에서 특징점을 분석하여 두 영상을 촬영한 카메라 사이의 상대 위치와 방향을 산출하는 단계;
   두 영상을 촬영한 카메라 사이의 상대 위치와 방향으로부터 제2영상을 촬영한 카메라의 시선이 가리키는 제1 영상 안의 지점에 대응하는 포인팅 좌표를 산출하는 단계를 포함하는 것을 특징으로 하는 증강현실의 포인팅 방법
8. 특징점을 포함하는 증강현실용 제1영상을 촬영하는 단계;
   상기 특징점을 포함하는 포인팅용 제2영상을 촬영하는 단계;
   제1영상과 제2영상에서 특징점을 분석하여 두 영상을 촬영한 카메라 사이의 상대 위치와 방향을 산출하는 단계;
   두 영상을 촬영한 카메라 사이의 상대 위치와 방향으로부터 제2영상을 촬영한 카메라의 시선이 가리키는 제1 영상 안의 지점에 대응하는 포인팅 좌표를 산출하는 단계를 포함하는 것을 특징으로 하는 증강현실의 포인팅 방법을 실행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체
   
   

Images