KR101428577B1 - 적외선 동작 인식 카메라를 사용하여 화면상에 네추럴 유저 인터페이스 기반 입체 지구본을 제공하는 방법 - Google Patents

Abstract

본 발명은 적외선 동작 인식 카메라를 사용한 네추럴 유저 인터페이스 기반 입체 지구본에 관한 것으로, GLSL을 이용하여 구형상의 지구본을 모델링하는 단계; 상기 모델링된 지구 맵에 대해 지형의 높이차를 부여하기 위해 높이 맵(high map)을 맵핑하는 단계; 상기 높이 맵이 맵핑된 지구본에 질감을 부여하기 위해 범프 맵(Bump map)을 맵핑하는 단계; 상기 범프 맵이 맵핑된 지구본에 대해 빛의 명암을 부여하기 위해 나이트 맵(Night map)을 맵핑하는 단계; 및 상기 나이트 맵이 맵핑된 지구본에 대해 3D 입체 출력하는 단계를 포함한다.

Description

적외선 동작 인식 카메라를 사용하여 화면상에 네추럴 유저 인터페이스 기반 입체 지구본을 제공하는 방법{METHOD OF PROVIDING A 3D EARTH GLOBES BASED ON NATURAL USER INTERFACE USING MOTION-RECOGNITION INFRARED CAMERA}

본 발명은 적외선 동작 인식 카메라를 사용하여 화면상에 네추럴 유저 인터페이스(Natural User Interface) 기반 입체 지구본을 제공하는 방법에 관한 것이다.

기존에 사용되는 지구본은 일반 구의 모양 위에 지도 그림만 있었던 것이다. 그래서 사람들은 그곳의 지명이나 형태는 알 수 있었지만 이 지명의 위치가 어떻게 생겼는지 이곳과 다른곳의 높이가 어떤지를 알 수가 없었다. 특히 인터넷이 발달하면서 다양한 지구모양의 지구본이나 지도가 나타났지만 이와 같은 지구본에서도 정확한 지구 모양이나 태양의 위치에 따라서 지구의 밤낮이 어떻게 바뀌는지도 알기가 어렵다.

본 발명은 이러한 문제점을 해결하기 위한 것으로 가상의 지구본을 입체감 있게 만들어 지형의 모양이나 태양의 위치에 따라 밤과 낮이 어떻게 바뀌는지 알 수 있게 해주는 적외선 동작 인식 카메라를 사용한 네추럴 유저 인터페이스(Natural User Interface) 기반 입체 지구본을 제공하는 것을 목적으로 한다. 여기서 네추럴 유저 인터페이스(Natural User Interface)란 사용자가 보다 친숙하게 본 발명에 따른 지구본에 접근할 수 있도록 하기 위해 키보드 또는 마우스를 대신하여 손 동작이나 몸 동작으로 조작하도록 하는 인터페이스를 의미한다.

전술한 과제를 해결하기 위해, 본 발명의 제1 양태에 따르면, 적외선 동작 인식 카메라를 사용하여 화면상에 네추럴 유저 인터페이스에서 동작가능한 입체 지구본의 제공 방법이 제공되고, 이 방법은, GLSL을 이용하여 구형상의 지구본을 모델링하는 단계; 상기 모델링된 지구 맵에 대해 지형의 높이차를 부여하기 위해 높이 맵(high map)을 맵핑하는 단계; 상기 높이 맵이 맵핑된 지구본에 질감을 부여하기 위해 범프 맵(Bump map)을 맵핑하는 단계; 상기 범프 맵이 맵핑된 지구본에 대해 빛의 명암을 부여하기 위해 나이트 맵(Night map)을 맵핑하는 단계; 및 상기 나이트 맵이 맵핑된 지구본에 대해 3D 입체 출력하는 단계를 포함하는 것을 구성적 특징으로서 포함한다.

또한 상기 양태에서 지구본을 모델을 하는 단계는, 버텍스의 위치 변환, 버텍스에 대한 광원 계산, 텍스쳐 좌표 생성 및 변환을 수행하는 버텍스 변환 단계; 변환된 버텍스 정보에 대해 프리미티브를 생성하고 래스터화하여 프래그먼트를 생성하는 단계; 및 상기 생성된 프래그먼트에 대해 텍스처링 및 컬러링하여 컬러화된 프래그먼트를 생성하는 단계를 포함한다.

또한 동일하게 상기 양태에서, 높이 맵을 맵핑하는 단계는 그레이스케일 이미지를 이용하여 맵핑하는 것을 특징으로 한다.

또한 상기 양태에서 범프 맵을 맵핑하는 단계는 구의 3차원 법선 벡터들을 모두 이미지 좌표계로 변환하는 단계를 포함하고, 이미지 좌표로의 변환 단계는, 법선 벡터, 법선 벡터와 직각을 이루는 접선 벡터와, 접선 및 법선 벡터와 직각을 이루는 종법선 벡터를 사용하는 것을 포함한다.

또한 본 발명의 양태에 따르면, 나이트 맵이 맵핑된 지구본에 대해 3D 입체 출력하는 단계는, 평행 축 비대칭 프러스텀 원근 투영(parallel axis asymmetric frustum perspective projection) 방식을 이용하여 출력되는 것이 바람직하다.

또한 본 발명의 다른 양태에 따르면 본 발명에 따라 제작된 입체 지구본을 제어하기 위한 네추럴 유저 인터페이스에서의 제어 방법이 제공되고, 이 방법은, 사용자의 2D 이미지를 입력하는 단계; 상기 입력된 2D 이미지로부터 스킨-컬러를 이용하여 피부색을 검출하는 단계; 상기 검출된 피부색을 이용하여 얼굴을 검출하고 이미지로부터 얼굴을 제거하는 단계; 상기 얼굴이 제거된 이미지로부터 경계-에지(boundary edge)를 이용하여 손 후보 영역을 검출하는 단계; 및 손 후보 영역으로부터 손을 검출하고 손 동작을 인식하는 단계;를 포함하고, 인식된 손의 동작에 대응하여 상기 지구본을 축소, 확대, 회전시키도록 구성된 것을 특징으로 한다.

본 발명에 따르면, 가상의 지구본을 입체감 있게 만들어 지형의 모양이나 태양의 위치에 따라 밤과 낮이 어떻게 바뀌는지 알 수 있게 해주는 적외선 동작 인식 카메라를 사용한 네추럴 유저 인터페이스(Natural User Interface) 기반 입체 지구본을 화면상에 제공할 수 있으며, 네추럴 유저 인터페이스(Natural User Interface)를 채용함으로써 사용자가 보다 친숙하게 본 발명에 따른 지구본에 접근할 수 있다는 이점이 얻어진다.

도 1은 2D 이미지를 이용한 손 검출 방법을 구현하는 모습을 나타낸 도면.
도 2는 본 발명에 따른 NUI 기반 입체 지구본의 동작 인식 기반 카메라를 이용한 손 동작과 몸 동작 인식 처리를 개략적으로 도시한 도면.
도 3은 도 2에서의 각 장면별 손동작 인식을 나타낸 도면.
도 4는 본 발명에 따른 동작 인식 카메라를 사용한 NUI기반의 고도(高度) 입체 지구본의 전체 시스템의 처리 과정을 개략적으로 도시한 도면.
도 5는 단순화된 파이프라인 다이어그램으로, 데이터가 어떤 식으로 파이프 라인에서 처리되는지를 나타낸 도면.
도 6은 GPU에서의 버텍스 연산 처리를 개략적으로 나타낸 도면.
도 7은 버텍스의 컬러링 처리를 개략적으로 나타낸 도면.
도 8은 높이 맵 맵핑에 이용되는 그레이스케일 이미지를 나타낸 도면.
도 9는 도 8의 그레이스케일 이미지를 사용하여 제작한 지구본 화면.
도 10의 (A)는 범프 맵핑을 사용하지 않은 것을 나타낸 도면인 반면 도 10의 (B)는 범프 맵핑을 사용한 것을 나타내는 도면.
도 11은 범프 맵핑에 이용되는 법선 이미지의 일례를 도시한 도면.
도 12는 접선 벡터를 설명하기 위한 도면.
도 13의 (A) 및 (B)는 범프 맵핑이 적용되기 이전과 이후의 지구본에서 질감을 비교하기 위한 도면.
도 14는 원근투영이 필요한 상황에서 기존의 직교투영 UI들이 중첩되는 현상을 예시한 도면.
도 15는 장면 그리기에 있어서 백버퍼에 원근 투영을 하는 과정을 설명하기 위한 도면.
도 16은 프레임버퍼를 사용하는 방법의 일례를 나타낸 도면.
도 17은 3D 스테레오 출력 화면의 일례를 나타낸 도면.
도 18은 토우-인(Toe-in) 방식의 3D 스테레오 출력을 설명하기 위한 도면.
도 19는 평행 축 비대칭 프러스텀 원근 투영(parallel axis asymmetric frustum perspective projection) 방식의 3D 스테레오 출력을 설명하기 위한 도면.
도 20은 본 발명에서 채용한 평행 축 비대칭 프러스텀 원근 투영(parallel axis asymmetric frustum perspective projection) 방식의 3D 스테레오 출력을 설명하기 위한 도면.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시예를 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이다.

본 명세서에서 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 그리고 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 따라서, 몇몇 실시예들에서, 잘 알려진 구성 요소, 잘 알려진 동작 및 잘 알려진 기술들은 본 발명이 모호하게 해석되는 것을 피하기 위하여 구체적으로 설명되지 않는다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 그리고, 본 명세서에서 사용된(언급된) 용어들은 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, '포함(또는, 구비)한다'로 언급된 구성 요소 및 동작은 하나 이상의 다른 구성요소 및 동작의 존재 또는 추가를 배제하지 않는다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 정의되어 있지 않은 한 이상적으로 또는 과도하게 해석되지 않는다.

이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 설명하도록 한다.

먼저 NUI 기반 입체 지구본의 동작 인식 기반 카메라에 대해 설명한다.

본 발명에서는 아동이나 사용자의 자율성을 확보하고 공감각적인 동작 및 행위로 인해 기존의 키보드나 마우스와 같은 제안된 입력 장치가 아닌 적외선 동작 인식 카메라를 활용한 네추럴 유저 인터페이스를 적용하였다.

1. NUI 기반 3D 입체 지구본의 동작 인식 기반 카메라

1.1 NUI 기반 입체 지구본의 동작 인식 기반 카메라 알고리즘

도 1의 (a) 내지 (e)는 본 발명의 2D 이미지를 이용한 손 검출 방법을 실제 구현하는 단계를 나타낸 사진이며, 도 1의 (f)는 검출될 수 있는 손 모양의 일례를 나타낸 도면이다. 상기 손 모양의 일례는 숫자 1, 2, 3, 4, 5를 나타내고 있지만 본 발명은 이에 제한되는 것은 아니며 손가락을 이용하여 나타낼 수 있는 모든 손 모양을 포함한다.

NUI 기반 입체 지구본의 동작 인식 기반 카메라의 알고리즘은 적외선 뎁스(Depth) 데이터를 이용하여 손 영역을 검출한다. 손영역을 정확하게 인식하기 위해서는 2D 이미지를 추가로 이용한다. 2D 이미지를 이용한 손 검출 방법은,

- 2D 이미지 입력 단계;

- 입력된 2D 이미지로부터 스킨-컬러를 이용하여 피부색을 검출하는 단계;

- 검출된 피부색을 이용하여 얼굴 영역을 검출하고 검출된 얼굴 영역을 제거하는 단계;

- 바운더리 에지(boundary edge)를 이용하여 손 후보 영역을 검출하는 단계;

- 검출된 손 후보 영역으로부터 손 모양을 검출하고 검출된 손 모양을 인식하는 단계를 포함한다.

1.2 NUI 기반 입체 지구본의 동작 인식 기반 카메라를 이용한 손 동작과 몸 동작 인식 처리

도 2는 본 발명에 따른 NUI 기반 입체 지구본의 동작 인식 기반 카메라를 이용한 손 동작과 몸 동작 인식 처리를 개략적으로 도시한 도면이다. 도 2에 도시한 바와 같이 적외선 동작 인식 센서의 첫 단계인 제스처 동작의 전처리 단계는 제스처 동작의 흐름을 관리하고 또한 컨텍스트를 래핑하는 섹션 매니저 등록과 섹션 매니저에 필요한 각종 제스쳐를 검출하는 검출기를 등록하고 이들 제스쳐 동작 검출기에 등록된 몇 가지 동작을 연동하여 사용하기 위한 플로우 라우터 및 브로드 캐스트를 설정한다. 다음으로 각 장면 제스쳐 입력 동작 처리단계에서는 스크린 별 제스처 입력동작을 처리한다. 여기에서는 각 장면별로 플로우 라우터에 제스처 입력 검출기를 설정해 입력 이벤트를 처리하도록 한다.

1.3 각 장면별 손동작 인식

도 3은 도 2에서의 각 장면별 손동작 인식을 나타낸 도면이다. 도 3에 도시한 바와 같이, 타이틀 화면에서 각종 콘텐츠 메뉴를 선택하기 위해서는 손을 좌우로 움직여 메뉴 사이를 이동하고, 손을 미는 동작으로 해당 메뉴 콘텐츠를 선택하도록 한다.

지구본(Earth)을 선택한 화면에서, 손을 흔들면 타이틀 화면으로 돌아가고, 손을 모으면 축소 손을 벌리면 확대되도록 구동되며, 손을 앞으로 내밀고 움직이면 지구본을 회전시키도록 한다.

이북관리(Ebook Manager) 화면은 이북을 보기전에 이북을 관리하기 위한 관리자 화면 모드로서, 손을 흔들면 타이틀 화면으로 돌아가고, 손을 좌우로 움직여서 이북 사이를 움직이며, 손을 위로 움직여서 해당 이북을 선택하도록 한다.

다음으로 이북(Ebook) 화면에서, 손을 흔들면 이북 관리 화면으로 돌아가고, 손을 좌로 움직이면 이전 페이지 우로 움직이면 다음 페이지로 넘어가도록 한다.

마지막으로 MP3 재생 화면에서, 손을 흔들면 제목 화면으로 돌아가고, 현재 선택모드가 메뉴 선택 모드이면 손을 좌우로 움직이는 이벤트로 이벤트가 발생하고 선택모드가 곡 선택이나, 볼륨선택이면 상,하로 움직여서 해당 이벤트를 발생시키도록 한다.

전술한 모든 각 장면별 화면은 모두 NUI 기반한 동작 인식을 통해 이루어지는 것에 유의해야 한다.

2. 동작 인식 카메라를 사용한 NUI기반의 고도(高度) 입체 지구본 제작

기존의 사람들이 보던 지구본은 일반 구의 모양 위에 지도 그림만 있었던 것이다. 그래서 사람들은 그곳의 지명이나 형태는 알 수 있었지만, 이 지명의 위치가 어떻게 생겼는지 이곳과 다른곳의 높이가 어떤지를 알 수가 없었다. 특히 인터넷이 발달하면서 다양한 지구모양의 지구본이나 지도가 나타났지만 요즘의 어린이들은 그 모양을 알기가 쉽지 않다. 그리고 태양의 위치에 따라서 지구의 밤낮이 어떻게 바뀌는지 알기가 어렵다.

2.1 동작 인식 카메라를 사용한 NUI기반의 고도(高度) 입체 지구본 목적

본 출원인은 이러한 사용자들의 불편함을 해소하기 위하여 가상의 고도 지구본을 제작하였다. 가상 지구본은 지구본을 입체감 있게 만들어 지형의 모양이나 태양의 위치에 따라서 밤과 낮이 어떻게 바뀌는지 구별할 수 있게 만들어 준다. 또한 이러한 입체 지구본에 사용자들이 좀 더 친숙하게 접근하게 하기 위하여 키보드나 마우스 대신 손 동작 이나 몸 동작으로 조작하도록 구현하였다. 편하게 쉬면서 언제든지 손 동작 이나 몸 동작을 이용하여 지구본을 움직이면서 지구의 모양이나 밤과 낮을 체크할수 있도록 구현하도록 한다.

2. 2. 동작 인식 카메라를 사용한 NUI기반의 고도(高度) 입체 지구본의 전체 시스템 구성

도 4는 본 발명에 따른 동작 인식 카메라를 사용한 NUI기반의 고도(高度) 입체 지구본의 전체 시스템의 처리 과정을 개략적으로 도시한 도면이다. 도 4에 도시한 바와 같이 본 발명에서는 일반맵과 범프맵, 텍스처 정보를 이용하여 세이드 렌더링을 통해 고도 기반 3D 스테레오 지구본을 렌더링하고, 이를 NUI 기반하여 지구본을 제어하고, 제어된 데이터를 통해 인터액티브 고도 기반 3D 입체 지구본을 가시화 한다.

본 발명에서는 하이맵(HeightMap)을 이용한 고도 지구를 모델링 하기 위하여 세이더 프로그램인 GLSL을 사용한다.

2.1 GLSL

OpenGL Shading Language는 줄여서 GLSL 또는 GLslang로도 알려져 있으며, C 언어를 기초로 한, 상위 레벨 쉐이딩 언어이다. HLSL과 유사한 이 언어는 어셈블리 언어나 하드웨어에 의존한 언어를 사용하지 않고, 개발자가 그래픽스 파이프라인을 직접 제어할 수 있도록 OpenGL ARB(Architecture Review Board)가 책정된다.

2.1.1 특징

매킨토시나 윈도우, 리눅스 등의 여러 운영 체제 간의 호환성을 지원한다. GLSL을 지원하는 어떠한 제조사의 그래픽 카드에서도 동작하는 셰이더를 쓸 수있다. 하드웨어 제조사는 그래픽 카드 장치 드라이버 내에 GLSL 컴파일러를 포함할 수 있도록 지원한다. 이 덕분에, 그 그래픽 카드의 마이크로아키텍처에 최적화된 코드를 만들 수 있다.

2.1.2 파이브 라인

도 5는 매우 단순화된 파이프라인 다이어그램이며 데이터가 어떤 식으로 파이프 라인을 타는지를 보여준다. 도 5는 매우 단순화시켰지만 쉐이더 프로그래밍에 대한 중요한 개념을 제공하고 있다. 이 부분에서는 파이프라인의 고정 기능을 제공한다. 파이프라인은 추상적이며 모든 각 단계에서 어떤 특정한 구현과 만날 필요가 없다는 점을 주의하기 바란다.

도 5에서 버텍스 트랜스포메이션(정점 변환: Vertex Transformation) 구간에서는 버텍스의 공간상 위치, 색상, 노말벡터, 텍스쳐 좌표 등과 같은 속성들의 집합이다. 이 단계에서의 입력값들은 하나 하나의 버텍스 속성들이다. 이곳에서의 연산은 버텍스의 위치 변환, 버텍스에 대한 광원 계산, 텍스쳐 좌표의 생성 및 변환을 담당한다. 도 6은 GPU에서의 버텍스 연산 처리를 나타낸 것으로 도 6에서 정점 쉐이더가 버텍스 부분에 해당한다.

버텍스 트랜스포메이션 이후, 변환된 버텍스 정보는 프리미티브 어셈블리 앤드 래스터화 단계로 입력되고, 이 단계에서 입력값은 변환된 버텍스와 연결 정보이다. 연결정보라는 것은 버텍스들이 프리미티브(Primitive: 삼각형 등과 같은 기본 요소)를 이루기 위해 어떻게 연결되는지를 나타내는 정보이다. 이 단계에서 프리미티브(pimitive)가 생성된다. 또한 이 단계는 뒷면 제거나 뷰 절두체에 대한 클리핑 연산을 담당할 수 있다. 래스터화(raterization)는 프래그먼트(Fragment)를 결정하고 프리미티브(Primitive)의 픽셀 위치를 결정한다. 여기서 프래그먼트(Fragment)는 특정한 위치에서 프레임 버퍼의 픽셀을 변경하기 위해 사용될 데이터의 조각이다. 보다 쉽게 말하자면 프리미티브(Primitive)가 화면에 실제 렌더링될 때 그려질 픽셀(Pixel) 값에 해당한다. 프래그먼트는 색 뿐만이 아니라 수직 벡터값과 텍스쳐 좌표 등과 같은 값들이며, 이러한 값들을 이용해서 실제로 화면상에 찍히는 픽셀의 새로운 색상을 계산하는데 사용된다. 이 단계에서의 출력값은 도 6에 도시한 바와 같다.

버텍스 변환 단계에서 계산된 값은 버텍스 연결정보와 함께 조합되어 프래그먼트를 위한 알맞은 속성을 계산하는데 사용된다. 예를 들면 각 버텍스는 변환된 위치를 가지고 있다. 버텍스가 프리미티브로 만들어지는데 사용될 때 프리미티브의 프래그먼트의 위치를 계산하는 것이 가능하다. 또 다른 예로서 색상의 사용을 예로 들 수 있다. 만약 삼각형을 구성하는 각 버텍스가 각기 다른 색상을 가지고 있다면, 삼각형 안의 프래그먼트 색상은 각 버텍스의 상대적인 거리에 의한 가중치를 받아 도 7에 도시한 바와 같이 색상값들이 보간되어져 얻어진다.

다시 도 5에서, 프래그먼트 앤드 컬러링 단계에서의 입력값은 보간되어진 프래그먼트 정보이다. 색상은 이미 이전 단계에서 보간을 통해 계산되어 졌고, 이 단계에서는 텍셀(Texel, Texture element)값 결합과 같은 연산이 수행된다. 텍스쳐 좌표는 이전 단계에서 보건되어 진다. 안개도 역시 이 단계에서 적용될 수 있다. 고통적인 최종 출력값은 프래그먼트의 색상 값과 깊이값이다.

다시 도 5에서, 래스터 동작(Raster Operations) 단계에서의 입력값은 다음과 같다. 픽셀의 위치 프그래먼트의 색상값과 깊이값, 프래그먼트에 대해 수행되는 파이프라인의 마지막 일련의 단계는 테스트와 관련된 것으로, Scissor Test, Alpha Test, Stencil Test, Depth Test를 예로 들 수 있다. 이러한 일련의 테스트가 성공한다면, 프래그먼트 정보는 현재의 블렌딩 모드에 따라 픽셀의 값을 변경하는데 사용된다. 블렌딩은 이 단계에서만 수행되는데, 프래그먼트 텍스쳐링과 컬러링 단계에서는 프레임 버퍼에 접근하지 못하기 때문이다. 프레임 버퍼는 오직 이 단계에서만 접근할 수 있다. 프레그먼트(Framgment) 쉐이더는 프레그먼트 텍스쳐링과 컬러링 단계의 고정 기능을 교체하는데 사용된다.

GLSL의 쉐이더를 이용하여 높이맵(하이맵)을 사용할려면 기본적으로 텍스쳐 좌표계가 필요하다 하지만 OpenGL에서 제공하는 구는 텍스쳐의 좌표를 제공하지 않기 때문에 직접 만들어줘야 하는 문제가 있다. 따라서 직접 구를 모델링(지구 모델링)할 필요가 있다.

2.1.2 지구의 모델링

원점을 중심으로 하고 반지름의 길이가 a인 구의 방정식은 x^2 + y^2 + z^2 = a^2이다. 이를 이용하여 구면의 매개변수 표시는 x = a sin u cos v, y = a sin u sin v, z = a cos u이다. u,v의 범위에 따라 남북 양 극점과 날짜 변경선을 제외한 구면의 부분과 D ={ ( u, v ) : 0 < u <π, 0 < v < 2π }는 일대일 대응이 된다. 이렇게 생성되는 구에 텍스쳐 좌표도 직접 입력하였다. 하지만 버텍스 정점이 늘어나면 늘어날수록 느려지는 문제점을 해결하기 위하여 버텍스 버퍼를 사용하는 것이 바람직하다.

버텍스버퍼오브젝트(VertexBufferObject) 정점 버퍼란 정점을 모아두는 일종의 메모리라고 보면 되는데, 이 메모리가 단순한 배열이나 new, malloc() 등에 의한 메모리와 구별되는 것은 정점 처리만을 위해 만들어진 특수한 메모리이기 때문에 매우 효율적이라는 점이다.

정점 버퍼는 크게 비디오 메모리와 시스템 메모리 두 가지의 메모리를 사용한다. 비디오 메모리에 생성된 정점 버퍼는 비디오카드의 GPU(Graphic Processing Unit)에 의해서 정점 셰이더, T&L 등의 강력한 하드웨어 가속을 사용할 수 있지만, 비디오카드 자체의 메모리 용량을 벗어날 수는 없다. 게다가 텍스처와 함께 사용해야 하기 때문에 사용 가능한 메모리는 더욱 적을 수 밖에 없는 것이다.

이에 반해, 시스템 메모리에 생성되는 정점 버퍼는 T&L 등의 강력한 하드웨어 가속은 사용할 수 없지만, 풍부한 용량으로 상대적으로 많은 정점 버퍼를 관리할 수 있다. 많은 정점의 처리를 위하여 버텍스 버퍼를 사용하여 물체를 좀더 빠르게 모델링 하였다. 또한 좀더 빠른 모델링을 위하여 정점버퍼에 인덱스를 부여하여 보여주는 인덱스 버퍼를 만들었다. 그리하여 각 정점에 번호를 매겨 매쉬를 좀더 빠르게 만들어주는 역할을 한다.

2.1.3 하이맵(HeightMap) 맵핑

이와 같이 기본적인 모델링 준비를 마치고 높이맵(하이맵)을 이용하여 좀더 사실적인 지구본 화면을 만들었다. 높이맵 이미지를 이용하여 해당 텍스쳐 좌표의 위치에 컬러 값으로 고도를 정하는 그레이 스케일을 들수 있다. 포토샵과 같은 그래픽 툴을 이용하여 그레이스케일을 적용해서 다음과 같은 도 8에 나타낸 바와 같은 그레이스케일의 이미지를 만든다.

이러한 그레이스케일의 이미지를 이용하여 어두운 부분은 고도를 낮게 하고, 밝은 부분은 고도를 높게 하는 방식으로 높이 맵을 구현할 수 있다. 이러한 이미지 처리를 GLSL 즉 쉐이더에서 사용한다. 정점 버퍼에서 넘어온 정점 데이터 위에 해당 이미지를 붙여서 해당 정점위치의 컬러 값을 알아온 다음 정점의 노멀벡터 방향으로 고도를 올려주는 방법을 사용하여 해당 모양을 만들고 픽셀 쉐이더에서 다시 지구의 이미지를 맵핑 시키는 방법을 사용한다.

도 9는 이러한 그레이스케일 이미지를 사용하여 제작한 지구본 화면을 나타내지만, 이 방법에 따라 제작된 지구본은 입체적이지만 가까이 갈수록 좀더 입체감이 떨어지는 즉 표면이 전부 부드러운 모양으로 보이는 문제점이 있게 된다.

2.1.4 범프맵핑

전술한 바와 같이 높이 맵핑으로 지구의 입체적인 모양을 구현하였지만 지구 지형은 높고 낮은 고도의 차이 때문에 거친 표면처럼 보여질 필요가 있다.

도 10의 (A)는 범프 맵핑을 사용하지 않은 것을 나타낸 도면인 반면, 도 10의 (B)는 범프 맵핑을 사용한 것을 나타내는 도면이다. 도 10에 도시한 바와 같이 일반적으로 범프 맵핑(Bump mapping)이란 렌더링될 물체의 픽셀마다 표면 법선을 흔들어 높낮이가 있어 보이게 하는 컴퓨터 그래픽 기술 중 하나이다. 그 결과는 실제 물체의 표면과 매우 비슷해 보인다. 범프 맵핑으로 주로 쓰이는 기술에는 법선 맵핑, 시차 맵핑이 있다. 변위 맵핑과 범프 맵핑의 다른 점은, 변위 맵핑은 도형자체를 변화시키는 데 비해, 범프 맵핑은 도형 자체는 변화시키지 않고 법선만 변화시킨다. 그 때문에 범프 맵핑을 할 경우 물체의 윤곽선은 그대로 유지되는 이점이 있다. 우선 범프 맵핑을 하기 위하여 각 장면의 법선 벡터를 바꿔줄 법선 이미지를 구해야만 한다. 도 11은 범프 맵핑을 위해 법선 이미지의 일례를 도시한 도면이다.

이렇게 구한 법선 이미지를 구에 맵핑 시키기 위해서는 구의 3차원 법선 벡터들을 모두 텍스쳐 좌표계 즉, 이미지 좌표계로 변환할 필요가 있다. 텍스쳐 좌표계, 정점 좌표계, 탄젠트 좌표계라고도 불리는 이 좌표계는 기본 법선 벡터가 0,0,1인 좌표계를 뜻한다. 이러한 0,0,1의 법선 벡터만으로는 하나의 텍스쳐 좌표계가 나오지 않기 때문에 법선과 직각을 이루는 접선(탄젠트) 벡터와 접선, 법선벡터와 직각을 이루는 종법선 벡터로 이루어져 있다. 즉, 법선 벡터는 텍스쳐 좌표계의 z축, 종법선과 접선벡터는 각각 x, y축을 담당한다.

도 12에 도시한 바와 같이, 접선 벡터, 예를 들어, 하나의 삼각형이 있을 때 각 점 E,F,G는 벡터 P = F - E, Q = G - E 그리고 이 정점들은 각각 텍스쳐 좌표가 맵핑 되어있다. 각각의 벡터 P, Q는 텍스쳐 좌표계에서 P = <s1,t1>,Q = <s2,t2> 로 설명이 된다.

법선 벡터 T는 x축을 담당하고 종법선 벡터는 Y축을 담당하기 때문에 아래와 같은 식으로 설명이 된다.

이것을 매트릭스로 표현하면 다음과 같다.

여기서 Tx,Ty,Tz의 값을 구하기 위하여 다음과 같이 [s1 t1,s2 t2]의 역행열을 곱하여 접선 백터를 구한다.

이렇게 구한 접선 공간으로 카메라와 빛의 방향을 변환시킨 다음 법선 맵으로 만들어진 이미지의 컬러값의 x,y,z를 각 정점의 법선 벡터로 바꿔주고 다시 빛의 카메라를 이용하여 쉐이더를 적용시키면 도 13의 (B)와 같은 효과가 지도상에 나타나게 된다. 이와 같은 방법에 비해 범프 맵핑이 적용되기 이전의 도 13의 (A)에 비교하여 좀더 깊이 있는 모양이 만들어진 것을 알 수 있다.

또한 지구를 좀더 사실적으로 표현하기 위하여 어두운 부분 즉, 빛이 들어오지 않아 밤인 지역에는 아무런 색 없이 어두운 색만 칠해지게 되어야 한다. 그 문제를 해결하기 위하여 우리는 도 13의 (D)에 도시한 바와 같은, 나이트맵(NightMap)을 작성하여 어두운 지역의 지구를 표현하였다. 나이트맵 맵핑(NightMap Mapping)에서는 도 13의 (C)에 도시한 바와 같이 각각의 정점과 빛 상관관계를 계산하여 정점의 색을 결정한다. 이러한 계산 방법은 빛이 들어오는 방향에서는 밝은 물체의 표면을 표현할 수 있다. 이것을 반대로 빛이 들어오지 않는 즉, 빛과 각 버텍의 법선벡터의 내적이 음수일 경우 우리는 이 정점이 빛의 정반대에 위치한 것을 알 수 있다. 그 경우에는 나이트맵(NightMap)을 맵핑시켜야만 한다.

2.2 NUI기반 고도표현 지구본 콘텐츠의 주요 함수 및 멤버 변수

NUI기반 고도표현 지구본 콘텐츠의 주요 함수 및 멤버 변수는 다음의 표와 같다.

Earth 클래스의 주요 멤버 함수
함수명	반환형	파라미터	기능
Init	void	void	해당 장면을 그려주는 리소스를 로드하고 프레임버퍼등 장면의 필요한 설정을 담당.
Update	void	double dt	지구를 회전시키거나 확대,축소
Draw	void	double dt	업데이트가 끝난 장면의 그림을 그림
VBInit	void	void	버텍스 버퍼를 초기화
IBInit	void	void	인덱스 버퍼를 초기화
DrawHands	void	void	손 위치를 그려준다.
CalculateTangent	void	CVector3 v1,CVector3 v2, float *tex1,float *tex2	각 정점에 대하여 접선 벡터를 계산
ObjectRotate	void	XnPoint3D righthand	지구를 회전시킨다.
HandCheck	int	XnPoint3D lefthand,Xnpoint3D righthand, XnUserID aUser	손의 위치를 계산, 해당 이벤트 발생
CameraZoomInOut	void	void	카메라를 확대 혹은 축소
Earth 클래스의 주요 멤버 변수
데이터 타입		변수 명		기능
XnVWaveDetector		m_pWave		해당장면의 흔들기 동작을 감지하는 감지기
CShader		m_pShader		쉐이더를 관리해주는 매니저 클래스

2.3 프레임버퍼

도 14의 도면에 예시한 바와 같이, 원근투영이 필요한 상황에서 기존의 직교투영 UI들이 중첩되는 현상이 발생됨에 따라 이 문제를 해결하기 위해 Opengl의 버퍼중에 프레임버퍼(Framebuffer)를 사용한다.

프레임버퍼는 OpenGL 파이프라인의 최종 랜더링 목적지이다. 프레임버퍼는 OpenGL에서 쓰이는 2D 배열 혹은 저장 데이터들의 집합이며, 예를 들자면, 컬러버퍼(colour buffers), 뎁스 버퍼(depth buffer), 스텐실 버퍼(stencil buffer) 그리고 아큐뮤레이션 버퍼(accumulation buffer)가 있다. 기본적으로 openGL은 프레임 버퍼를 윈도우 시스템에 의해 전적으로 생성되어 관리되는 랜더링 버퍼를 랜더링의 최종 목적지로 하고 있다.

도 15는 장면 그리기에 있어서 백버퍼에 원근 투영을 하는 과정을 설명하기 위한 도면이다. 도 15에 도시한 바와 같이 백버퍼에 원근 투영을 그리기 위해서는 프레임 버퍼를 생성하고, 프레임 버퍼에 그리기를 수행하고, 백버퍼에 프레임 버퍼의 그림을 맵핑하고, 백버퍼에 그림을 그리는 과정으로 이루어진다.

이 기본 프레임 버퍼는 윈도우-시스템-제공 프레임 버퍼(window-system-provided framebuffer)라고 불리는데, 본 발명에서는 해당 프레임버퍼를 사용하여 직교투영의 문제점을 해결하였다.

프레임버퍼를 사용하는 방법의 일례로, 도 16에 도시한 바와 같이, 먼저 프레임 버퍼를 생성한다. 그리고 그 프레임 버퍼에 직교투영한 그림 즉, 배경그림이나 NUI 적외선 동작 센서가 그리는 그림 직교투영이 필요한 부분 UI에 관한 그림들을 모두 프레임버퍼에 그린다. 그 다음, 그 프레임 버퍼에서 출력되는 텍스쳐를 현재 그리고 있는 백버퍼에 맵핑을 시키고 나머지 원근 투영에 쓰이는 그림들을 그린다.

2.4. 스테레오(Stereo)

2.4.1 사용자 측면

사용자들이 좀 더 현실감 있고 접근하게 쉽게 하기 위하여 스테레오(Stereo) 즉, 3D 출력 방식을 사용하는 것이 바람직하다. 기존 콘텐츠들은 단순히 터치나 동작을 이용하여 유저들과 활발한 인터액션을 추구한다. 그렇지만 동작으로 인터액션을할 뿐 시각적으로 유저들이 현장감 즉, 그 장소나 그 위치에 존재한다는 몰입감을 주기에는 부족한 느낌이 있다. 본 발명에서는 현장감을 주고 그 물체를 직접 만질수 있을 거 같은 느낌을 주기 위하여 스테레오 방식을 채용하였다. 도 17은 3D 스테레오 출력 화면을 예시하는 것으로, 요즘 컴퓨터 그래픽스나, 영화,드라마, 애니메이션등 다양한 방면에서 현장감을 주기 위하여 3D 스테레오 화면이 사용되고 있다.

2.4.2 시각적 측면

우선 본 발명에서 사용하는 OpenGL의 GLUT에서의 스테레오 출력 방법은 glutInitDisplaytMode()함수 호출시 GLUT_STEREO를 추가해준다. 그리고 glDrawBuffer(GL_BACK_LEFT), glDrawBuffer (GL_BACK_RIGHT) 각각의 레프트(Left), 라이트(Right) 버퍼에 그림을 그려서 출력을 한다. 현재 스테레오(Stereo) 구현방식에는 총 2가지의 구현방식이 존재한다.

첫번째는 "토우-인(Toe-in)" 방식과 두번째는 "평행 축 비대칭 프러스텀 원근 투영(parallel axis asymmetric frustum perspective projection)" 방식이 있다. 우선 첫번째 방식인 "토우-인"은 도 18에 도시한 바와 같이 2개의 카메라를 두고 각각의 카메라가 한 개의 점을 보면서 생기는 시차를 이용하여 방식이다. 이 방식의 장점은 우선 간단히 스테레오 이미지를 출력할수 있다는 장점이 있다. 하지만 중첩된 오브젝트가 있을 때 각각의 눈이 바라보는 점의 위치가 달라서 어느 점을 찍었는지 찾지 못하는 경우가 발생한다.

"토우-인" 방식의 이러한 부정확성을 해결하기 위하여 본 발명에서는 2번째 방식인 "평행 축 비대칭 프러스텀 원근 투영" 방식을 채용하였다. 도 19에 도시한 바와 같이, 두번째 방식은 첫번째 방식과 비슷하게 2개의 카메라가 떨어져서 오브젝트를 보는 것은 동일하다. 하지만 각각의 카메라는 동일한 곳을 보는 것이 아니라 각 포커싱 방향은 평행하도록 설정을 한다. 그렇게 하면 시야각으로 인해 오차가 생기는데 이것을 glFrustum 함수를 사용하여 클리핑될 화면을 강제로 지정하는 방법을 사용한다.

클리핑될 화면의 값은 도 20에 도시한 바와 같이 시야각과 화면의 크기 가까운 면의 거리와 최대 거리의 위치를 가지고 구해질 수 있다. 따라서 본 발명에 따르면 하나의 콘텐츠를 3D 장면으로 출력할 수 있으며, 적외선 동작 인식 카메라를 사용한 네추럴 유저 인터페이스 기판 입체 지구본을 제공할 수 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 갖는 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 게시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이런 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (6)

1. 적외선 동작 인식 카메라를 사용하여 화면상에 네추럴 유저 인터페이스에서 동작가능한 입체 지구본을 제공하는 방법에 있어서,
   GLSL을 이용하여 구형상의 지구본을 모델링하는 단계;
   상기 모델링된 지구 맵에 대해 지형의 높이차를 부여하기 위해 높이 맵(high map)을 맵핑하는 단계;
   상기 높이 맵이 맵핑된 지구본에 질감을 부여하기 위해 범프 맵(Bump map)을 맵핑하는 단계;
   상기 범프 맵이 맵핑된 지구본에 대해 빛의 명암을 부여하기 위해 나이트 맵(Night map)을 맵핑하는 단계; 및
   상기 나이트 맵이 맵핑된 지구본에 대해 3D 입체 방식으로 디스플레이 화면 상에 출력하는 단계를 포함하고,
   상기 지구본을 모델을 하는 단계는,
   버텍스의 위치 변환, 버텍스에 대한 광원 계산, 텍스쳐 좌표 생성 및 변환을 수행하는 버텍스 변환 단계;
   변환된 버텍스 정보에 대해 프리미티브를 생성하고 래스터화하여 프래그먼트를 생성하는 단계;
   상기 생성된 프래그먼트에 대해 텍스처링 및 컬러링하여 컬러화된 프래그먼트를 생성하는 단계를 포함하며,
   상기 범프 맵을 맵핑하는 단계는 구의 3차원 법선 벡터들을 모두 이미지 좌표계로 변환하는 단계를 더 포함하고, 이미지 좌표로의 변환 단계는, 법선 벡터, 법선 벡터와 직각을 이루는 접선 벡터와, 접선 및 법선 벡터와 직각을 이루는 종법선 벡터를 사용하여 수행되고,
   나이트 맵이 맵핑된 지구본에 대해 3D 입체 출력하는 단계는, 평행 축 비대칭 프러스텀 원근 투영(parallel axis asymmetric frustum perspective projection) 방식을 이용하여 출력되는 것
   을 특징으로 하는 적외선 동작 인식 카메라를 사용하여 화면상에 네추럴 유저 인터페이스에서 동작가능한 입체 지구본을 제공하는 방법.
   
2. 삭제
3. 제1항에 있어서,
   상기 높이 맵을 맵핑하는 단계는 그레이스케일 이미지를 이용하여 맵핑하는 것을 특징으로 하는 적외선 동작 인식 카메라를 사용하여 화면상에 네추럴 유저 인터페이스에서 동작가능한 입체 지구본을 제공하는 방법.
4. 삭제
5. 삭제
6. 삭제

Images