KR20140001167A

KR20140001167A - 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치

Info

Publication number: KR20140001167A
Application number: KR1020130074065A
Authority: KR
Inventors: 우운택; 하태진
Original assignee: 한국과학기술원
Priority date: 2012-06-26
Filing date: 2013-06-26
Publication date: 2014-01-06
Also published as: KR101546654B1

Abstract

본 발명은 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Reference Coordinates)를 생성하는 과정과, 생성된 상기 로컬 레퍼런스 좌표계와 실제 공간이 복제된 가상 공간인 미러 월드(mirror world)의 월드 좌표계를 통합하는 과정과, 상기 월드 좌표계로 통합된 3차원 좌표 공간에서 선택된 3D객체의 사용자 인터럽트 발생 타입별 회전 및 깊이 정보를 기설정된 오브젝트별 운동 범위(Range of Motion: RoM)기반 하에 인식하여 상기 선택된 3D객체를 제어하는 과정과, 증강현실 서비스 이용을 위한 실행 메뉴 탐색 시 상기 증강현실 서비스를 제공하는 단말 내 움직임 센서로부터 센싱된 신호를 기준으로 기설정된 레벨별 대응되는 메뉴 선택이 가능한 복수 개의 계층적 메뉴 인터페이스를 상기 3차원 좌표 공간에 표시하여 메뉴 조작을 제공하는 과정을 포함함을 특징으로 한다.

Description

웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING AUGMENTED REALITY SERVICE IN WEARABLE COMPUTING ENVIRONMENT}

본 발명은 HMD(Head Mounted Display)를 착용한 사용자가 현장에서 스마트 폰 기반의 3차원 모바일 입력 장치를 이용하여 디지로그 스페이스를 생성하고 가상 콘텐츠를 추가할 수 있도록 하기 위한 웨어러블 증강현실 환경에서 증강현실 서비스 제공에 관한 것이다.

최근 디지털 정보를 볼 수 있는 언제 어디서나 볼 수 있는 착용형 안경(도 2의 (a))이 경량화되면서 이를 활용하여 가상공간의 디지털 정보들 (예. 지역 정보, 사진, 트윗, 지도, 광고, 숙박, 식당, 위키피디아 등)을 현장에서 즉시적으로 사용자에게 제공하고자 하는 시도가 많은 주목을 받고 있다. 이는 기존의 정보 획득의 미디어로서 사용되고 있는 휴대용 인터넷 단말기 (예. 스마트 폰, 노트북)를 대체할 수 있는 뉴 미디어로의 역할을 할 수 있다. 즉, 현장의 사용자에게 관심 정보를 즉시적으로 제공할 수 있으며 기존의 페이스 북/트위터/유투브와 같은 라이프 로깅 서비스를 언제 어디서나 즉각적으로 수행할 수 있으며, 다양한 정보를 손쉽게 획득 할 수 있을 것이다. 이는 사회/문화/경제/산업적으로 다양한 파급효과를 가져올 것이다.

(1) 증강현실 저작 인터페이스

기존의 증강현실 저작방법은 일반적으로 프로그래밍 기반의 저 차원 저작 방법과 비 프로그래밍 기반의 고 차원 저작 방법으로 분류할 수 있다 [6]. 프로그래밍 기반 저작 방법 (ARToolKit, osgART, Goblin XNA 등)은 프로그래밍을 통해서 성능을 최적화할 수 있는 장점이 있지만, 컴퓨터 비전과 3D 그래픽스에 대한 전문적인 지식이 있는 기술 개발자들을 대상으로 하기 때문에 일반 사용자는 사용하기 어렵다는 단점이 있다.

비 프로그래밍 기반의 저작 방법은 그래피컬 사용자 인터페이스 (GUI: Graphical User Interface) 기반의 비주얼 프로그래밍을 기반으로 상대적으로 비전문가도 사용할 수 있다는 장점이 있다 (ComposAR, CATOMIR, Metaio 등). 하지만 기존의 GUI기반의 2차원 인터페이스는 본 연구에서 다루는 3차원 공간 조작에 적용하기 어렵다. 한편, 감각형 사용자 인터페이스 (TUI: Tangible User Interface) 기반의 저작 방법은 GUI 방법 보다 좀 더 추상적이고 쉬운 저작을 가능하게 하며 3차원 조작이 가능하다 (iaTAR, ARtalet 등). 하지만, TUI 는 주로 근거리에 있는 3D 객체를 직접 조작하는 데 유용하다. 따라서 본 연구에서 지향하는 3차원 공간을 대상으로 하는 디지로그 스페이스의 인터페이스로는 부적절하다.

(2) 증강현실 저작을 위한 정합 방법

가장 단순한 정합 방법은 GPS/나침반 센서를 기반으로 미러월드를 정합하는 방법으로 대부분의 모바일 증강현실 응용에서 사용하는 방법이다(Layar, Wikitude AR, Junaio, Sekai 카메라). 실외 환경에서 작동이 가능하며, GPS/나침반 센서 정보의 오차로 인해 정합의 정밀도가 매우 낮다.

좀 더 정밀한 정합을 위해서는 2D 객체를 사용하는 방법이 있다. 색상 대비가 분명한 정사각형의 마커를 이용하여 카메라 트래킹을 수행하고 가상 객체를 정합한다 (ARToolKit, ARToolKit Plus, 2D 바코드 마커). 또는 자연 이미지의 2D 객체를 대상으로 정합하는 방법도 있다 (BazAR, Qualcomm AR SDK). 또는 상용 소프트웨어 (Virtools, Max/Maya, Unity3D, RhinoAR, Autodesk 3DS Max, Flash)에 증강현실 플러그인을 적용하여, 소프트웨어로 제작한 3D 모델들을 2D 객체에 정합하기도 한다. 하지만, 이러한 방법은 정합의 대상이 2차원 평면에 국한 것으로 본 연구에서 다루는 3차원 공간을 대상으로 한 정합에 적합하지 않다.

(3) 웨어러블 증강현실 환경에서 모바일 입력 장치 기반 3D 객체 조작 방법

모바일 입력 장치를 활용하여 3D 객체를 조작하는 가장 단순한 방법은, 모바일 장치의 버튼 장치를 누르는 방법이다. 하지만 이러한 이산적인 (Discrete) 사용자 입력은 3D 공간에서 고차원의 동시조작 (3차원 이동, 3차원 회전)이 불가능 하며 시간이 많이 지연된다. 이의 연장선으로 조이스틱 또는 터치 기반의 입력을 사용하는 2 자유도의 입력방식 역시 높은 자유도의 조작을 수행하는 것은 불가능하다. 모바일 입력 장치의 내장 센서 (예, 기울기, 가속도계, 자이로, 나침반 센서 등)를 사용하면 3D 자유도의 조작이 가능하며, 자이로 마우스, 게임 컨트롤러, 메뉴 선택, 텍스트 입력, 스크롤 제스처, 3D 객체 회전을 위해서 사용되었다. 하지만, 이들 또한 3D 공간에서 자유로운 조작 (6 자유도의 이동/회전)이 불가능하다. 일반적으로는 6 자유도의 3D 객체 조작을 위해서는 외부에 설치된 트래킹 장치가 입력 장치의 위치/회전을 인식/추적해야한다 (3D 게임 컨트롤러, uWand, VR Wand 등) 그러나 이러한 입력 장치들은 외부 트래킹 장치를 필요로하기 때문에, 실외 환경과 일상적인 공간 등에 적용하는 것이 불가능하다.

따라서 본 발명은 이와 같은 문제를 해결하기 위해 웨어러블 컴퓨팅 환경에서 디지로그 스페이스를 쉽게 정합하고 가상 콘텐츠를 삽입/조작할 수 있는 저작 방법을 제안하다. 즉, 제안하는 방법은 외부 트래킹 시스템이 없는 일반적인 실내외 환경에서, 사용자가 스마트 폰 기반의 3D 사용자 인터페이스를 이용하여 현실 공간에 미러월드를 정확하게 정합한 후, 3D 가상 객체를 불러오고 3차원적으로 조작할 수 있도록 하는 것을 목표로 한다.

구체적으로 RGB-D (Depth: 깊이. 거리 정보) 비디오 투과형 HMD (Video See-through Head Mounted Display)를 착용한 저작 사용자는 사전에 알려지지 않은 (모델링 되어 있지 않은 공간) 임의의 공간(현장)의 영상 특징 데이터를 실시간으로 획득하고, 깊이 영상 정보를 이용하여 가상공간을 정합하기 위한 국소 참조 좌표계 (Local Reference Coordinates)를 자동적으로 생성할 수 있도록 한다. 이를 통해 사용자는 자유로운 이동에도 끊임없이 디지로그 스페이스의 정보/콘텐츠를 획득 할 수 있다. 웨어러블 증강현실 환경에서 사용자가 스마트 폰 기반의 3차원 모바일 입력 장치를 이용하여 다양한 거리로 3D 가상 객체들을 불러오고 조작할 수 있도록 한다. 특히, 본 특허는 사용자의 손목 운동 반경을 고려하여, 모바일 입력 장치의 조작 이득 (Control Gain)을 변형하거나 개인화하여, 손목의 피로를 덜고 조작 성능을 향상시키고자 한다. 추가로 웨어러블 증강현실에 적합하도록, 모바일 장치를 이용하여 조작 메뉴를 직관적으로 탐색/선택할 수 있도록 한다.

본 발명의 일 견지에 따르면, 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Reference Coordinates)를 생성하는 과정과, 생성된 상기 로컬 레퍼런스 좌표계와 실제 공간이 복제된 가상 공간인 미러 월드(mirror world)의 월드 좌표계를 통합하는 과정과, 상기 월드 좌표계로 통합된 3차원 좌표 공간에서 선택된 3D객체의 사용자 인터럽트 발생 타입별 회전 및 깊이 정보를 기설정된 오브젝트별 운동 범위(Range of Motion: RoM)기반 하에 인식하여 상기 선택된 3D객체를 제어하는 과정과, 증강현실 서비스 이용을 위한 실행 메뉴 탐색 시 상기 증강현실 서비스를 제공하는 단말 내 움직임 센서로부터 센싱된 신호를 기준으로 기설정된 레벨별 대응되는 메뉴 선택이 가능한 복수 개의 계층적 메뉴 인터페이스를 상기 3차원 좌표 공간에 표시하여 메뉴 조작을 제공하는 과정을 포함함을 특징으로 한다.

본 발명의 다른 견지에 따르면, 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Reference Coordinates)좌표계와 미러월드(mirror world)의 월드 좌표계를 생성하는 좌표 생성부와, 상기 좌표 생성부로부터 생성된 로컬 레퍼런스 좌표계와 월드 좌표계를 통합하고, 통합된 3차원 좌표 공간에서 사용자 인터페이스부를 통해 선택된 3D 객체의 사용자 인터럽트 발생 타입별 회전 및 깊이 정보를 기설정된 오브젝트별 운동 범위(Range of Motion: RoM)기반 하에 인식하여 3D 객체를 제어하는 제어부와, 상기 제어부의 제어 하에 복수 개의 계층적 메뉴 인터페이스를 3차원 좌표 공간에 표시하여 메뉴 조작을 제공하는 메뉴 조작부를 포함함을 특징으로 한다.

본 발명은 디지로그 스페이스에서 사용자는 현장에서 실제 관찰하고 있는 관심 대상 또는 상황에 대하여 부과적인 정보를 제공받을 수 있기 때문에 이해도가 높아질 수 있으며 일을 좀 더 효율적으로 수행할 수 있다. 또한 사용자는 현장에서, 시간과 공간을 뛰어넘는 흥미 있는 경험을 할 수 있는 효과가 있다.

또한, 영화의 한 장면을 현장으로 불러와 체험해 보거나, 과거의 미러월드를 현실로 불러와 과거 여행을 할 수도 있을 뿐만 아니라, 원격 공간의 미러월드를 현장으로 가져와서 원격 체험을 할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법에 관한 전체 흐름도.
도 2 내지 5 및 도 7은 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공에 관한 화면 예시도.
도 6은 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치에 관한 상세 블록도.

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.

본 발명은 HMD(Head Mounted Display)를 착용한 사용자가 현장에서 스마트 폰 기반의 3차원 모바일 입력 장치를 이용하여 디지로그 스페이스를 생성하고 가상 콘텐츠를 추가할 수 있도록 하기 위한 웨어러블 증강현실 환경에서 증강현실 서비스 제공에 관한 것으로, 보다 상세하게는 RGB-D 비디오 투과형 HMD를 착용한 저작 사용자는 사전에 알려지지 않은 임의의 물리 공간의 영상 특징 데이터를 실시간으로 획득하고, 깊이 영상 정보를 이용하여 가상공간을 정밀하게 정합하기 위한 국소 참조 좌표계를 생성하여 사용자의 자유로운 이동에도 끊임없이 미러월드의 콘텐츠를 현실에서 체험할 수 있도록 하고, 스마트 폰 기반의 모바일 입력 장치를 이용하여 다양한 거리로 3D 가상 객체들을 불러오고, 선택하고, 그리고 조작 할 수 있도록 함으로써 비 프로그래밍 기반의 저작방법은 일반 사용자도 쉽게 사용할 수 있으며, 또한 외부 트래킹 장치가 설치되어 있지 않은 일상생활 공간에서 디지로그 스페이스를 만들 수 있는 기술을 제공하고자 한다.

특히 본 발명에서 고려하는 웨어러블 증강 현실 기반으로 한 디지로그 스페이스(DigiLog Space)는 물리적인 현실 공간과 그것의 복제된 가상공간인 미러월드 (Mirror World)가 정합된 공간으로, 증강 현실용 안경 (HMD: Head Mounted Display)을 착용한 사용자는 공간에 해당하는 미러월드의 다양한 정보들을 입체적으로 획득할 수 있다 [1]. 즉, 디지로그 스페이스에서 사용자는 현장에서 실제 관찰하고 있는 관심 대상 또는 상황에 대하여 부과적인 정보를 제공받을 수 있기 때문에 이해도가 높아질 수 있으며 일을 좀 더 효율적으로 수행할 수 있다. 또한 사용자는 현장에서, 시간과 공간을 뛰어넘는 흥미 있는 경험을 할 수 있다. 예를 들면 영화의 한 장면을 현장으로 불러와 체험해 보거나 (도 2. (b)), 과거의 미러월드를 현실로 불러와 과거 여행을 할 수도 있다. 또는 원격 공간의 미러월드를 현장으로 가져와서 원격 체험을 할 수 있다. 이와 같이 디지로그 스페이스는 다양한 응용 가능성을 가지고 있다.

이하, 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법에 대해 도 1 내지 도 5를 참조하여 자세히 살펴보기로 한다.

우선, 도 1은 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법에 관한 전체 흐름도이다.

도 1을 참조하면, 먼저 110 과정에서 카메라를 통해 깊이 정보를 포함하는 3차원 영상을 획득하고, 112 과정에서 상기 카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Referenct Coordinates)를 생성한다.

이때, 상기 로컬 레퍼런스 좌표계를 생성하는 과정은, 좌표계의 3-DoF(Degree of Freedom) 회전을 설정하기 위한 사용자가 바라보는 평면에 대한 정보를 하기의 수학식 (1)을 이용하여 획득한다.

[수학식 1]

[수학식 2]

획득된 사용자가 바라보는 평면에 대한 정보는 수학식 (1)과 같이, 3차원 영상 특징 좌표들에 대해서 평면의 방정식을 구성하는 변수 a, b, c, d를 구하기 위한 최적화 문제로 정의할 수 있다.

수학식 (1)의 해로부터 상기의 수학식 (2)를 통해 평면에 수직인 노멀 벡터를 계산하여 좌표축의 z축으로 설정하고, 상기 평면상의 임의의 서로 다른 두 점을 선택하여 좌표축의 x 축으로 설정한다.

상기 설정된 z축과 상기 x축의 외적을 통해 좌표축의 y축을 계산함으로써 실제 공간에 대한 레퍼런스 좌표계의 회전축을 도 7에 도시된 바와 같이 설정 가능하다.

이후, 기준 좌표계의 위치를 결정하고 임의의 방향으로 설정된 회전축을 보정하기 위해서 수직 평면과 수평 평면이 접하는 접선을 이용하여 하기의 수학식 3을 이용하여 하기의 수학식 4를 유도한다.

하기의 수학식 3처럼 접선

은 한 점

와, 방향 벡터

로 표현될 수 있으며, 두 평면 모두에 대해서 수직임을 알 수 있다. 이러한 관계를 이용하여 수학식 6을 유도할 수 있고,

는 두 평면에 모두 접하는 접점이기 때문에 하기의 수학식 5를 통해 두 평면 방정식의 합의 차이를 최소로 하는 점인

을 구하여 접점으로 설정한다.

이것을 좌표축의 기준 위치로 설정하고, 상기 설정된 좌표계의 수평축인 x축을 두 평면이 접하는 수평 벡터

로 설정하고, 상기 x축과 z축을 외적하여 레퍼런스 좌표축의 회전축을 도 7의 (b)와 같은 형태로 보정할 수 있다.

[수학식 3]

[수학식 4]

[수학식 5]

마지막으로 RGB 영상으로부터 계산한 좌표계의 임의의 스케일과 현실 공간의 스케일을 통일하기 위해서, 다음 수식 6과 같이 복원된 서로 다른 두 개의 3차원 점 사이의 거리를 계산한다. 그리고 깊이 정보를 통해, 수식 7과 같이 두 점 각각에 대해서 거리를 계산한다. 최종적으로 수식 8과 같이 이 두 거리의 비율을 구한다. 이를 통해 현실공간의 단위 스케일 (예. mm, cm, m 등의 단위)을 반영하여 가상객체를 정확한 크기로 증강할 수 있다.

[수학식 6]

[수학식 7]

[수학식 8]

계속해서, 114 과정에서는 생성된 상기 로컬 레퍼런스 좌표계와 실제 공간이 복제된 가상 공간인 미러 월드(mirror world)의 월드 좌표계를 통합한다.

즉, 사용자는 카메라를 이용하여 사전에 모델링되지 않은 현장 공간에 대해서 기하학적 구조의 영상 특징 정보들을 획득하고, 이를 기반으로 로컬 레퍼런스 좌표계를 생성한다.

그리고 도 3의 (b)에 도시된 바와 같이, 기존의 2차원 사용자 인터페이스는 디지로그 스페이스에서 빈번하게 사용되는 3차원 조작을 원활하게 수행하기 어려움을 해결하기 위하여 상기 생성된 좌표계와 미러 월드의 월드 좌표계를 도 3(a)에 도시된 바와 같이 정합한다.

이는 현실과 미러 월드 간의 스케일이 정확하게 통일되어야만 3차원 정보/콘텐츠들을 정확한 크기로 증강하기 위한 것으로, 상기 정합을 통해 사용자의 HMD 카메라의 자세와 미러 월드의 카메라의 자세가 일치하게 되고, 사용자가 바라보는 시점과 미러 월드에서 시점이 동일하게 된다.

116 과정에서는 상기 월드 좌표계로 통합된 3차원 좌표 공간에 위치하는 3D 객체를 표시한다.

이때, 상기 3D 객체는, 하기의 수학식 9를 통해 단말의 입력부에서 감지되는 사용자 입력수단의 모션 벡터

의 크기가 t보다 작거나 존재하지 않는 경우, 상기 단말에 구비된 자이로 센서 정보

가 함수

에 의하여 변환된 3D 객체의 회전 정보

에,

의 크기가 t보다 클 때 수행되는 3D 객체의 이동 모션 벡터를 곱한 값을 이용하여 움직임이 인식된다.

[수학식 9]

118 과정에서는 상기 위치하는 3D 객체에 대한 선택 여부를 체크하여, 상기 3D 객체에 대한 선택이 발생된 경우 120 과정으로 이동하여 기설정된 오브젝트별 운동범위 기반 하에 회전 및 깊이 정보를 인식하고, 이를 기반으로 122 과정에서는 해당 3D 객체를 제어한다.

여기서, 상기 기설정된 오브젝트별 운동 범위는 미리 수집된 사용자의 오브젝트별 회전 범위 정보를 기반으로 오브젝트별 최대 조작범위 내에서, 조작하고자 하는 각도범위를 획득하고, 단말의 회전 정보와 3D 객체의 회전 정보의 최적 RoM 매핑을 결정하기 위해 하기의 수학식 (18)을 통해 매핑 함수를 정의하여 인식된다.

또한, 상기 사용자 인터럽트는 디지로그 스페이스가 표시되는 디스플레이 상에 손가락, 스타일러스 펜(stylus pen) 등과 같은 사용자 입력 수단이 접촉하는 행위 혹은 장치 전체에 가해지는 회전 등과 같은 움직임을 의미하는 것으로, 본 발명에서는 사용자 인터럽트 발생 타입 예컨대, 특정 운동 범위로 움직이는 불편한 사용자, 오른쪽 또는 왼손잡이 사용자, 연령(어린이, 노인)들에 따라 차별화되어 발생되는 사용자 인터럽트를 인간의 운동 범위(RoM: Range of Motion)를 고려하여 조작의 성능과 사용성을 향상시킨다.

더욱 상세하게는, 모바일 장치의 회전 조작과 관련하여, 만약 장치의 회전 정보와 3D객체의 회전 정보를 1 : 1로 매핑할 경우, 사용자가 최대 RoM을 초과하여 조작한다면 육체적인 어려움이 생기며 조작의 성능이 떨어질 수 있다.

따라서 non-1:1 매핑이 더 나은 성능을 보여줄 수 있을 것이나, 3D 객체의 회전 조작과 장치의 회전이 같지 않으므로 직관적으로 이해하기 어려울 수도 있다. 따라서 높은 성능을 보이면서도 인지적 부담을 최소로 하는, 최적의 RoM 매핑을 결정하는 것이 중요하다.

이때, 도 4를 참조하면, 도 4는 손목의 RoM을 보인다. Tilt 회전에 대해서, 척골과 요골 편차의 RoM은 15 와 30 사이로 알려져 있다. 그리고 손목의 내전 운동과 외전 운동에 관련된 Roll 회전은 65와 60 사이이다. 그리고 손목 굴곡 신장 관련 Yaw 회전은 60와 45 사이로 알려져 있다.

이때, 가장 단순한 회전 매핑 함수는 하기의 수학식 10과 같다.

[수학식 10]

[수학식 11]

수학식 10에서

는 사용자 조작공간 (Control Space)에서 모바일 장치의 회전각도이며

는 증강현실 디스플레이공간 (Display Space)에서 가상객체의 회전각도이다. 회전각도

는 회전 축 Tilt, Roll, Yaw 각각에 따라 독립적으로 적용된다. 그리고 a는 함수의 특성 변화를 위해 임의로 설정될 수 있는 상수이다. 이와 비슷하게 RoM을 고려할 경우, 수식 11처럼 매핑 함수를 정의할 수 있다.

여기서

은 문헌으로 보고된 손목의 운동 반경 각도이다. 그리고 회전축의 초기 각도와 개별 사용자의 개인화된 RoM을 고려할 경우, 하기의 수학식 12와 같이 매핑함수를 정의할 수 있다. 이를 위해서, 사전에 수집한 사용자의 손목 회전범위 정보를 기반으로 하여 손목의 최대 조작범위(정방향

/역방향

) 내에서, 조작하고자 하는 각도범위 알아내고 이를 수식에 적용한다. 즉. 사용자의 최대 손목 조작 각도 대비 사용자의 현재 입력 각도 비율을 이용하여, 사용자가 손목에 무리가 가지 않는 최대 손목 회전 조작 범위 내에서 가상객체의 360도 회전 각도를 쉽게 조작할 수 있도록 한다.

[수학식 12]

계속해서, 상기 124 과정에서 증강현실 서비스 이용에 대응하는 실행 메뉴 탐색 여부를 체크하여 126 과정에서 복수 개의 계층적 메뉴 인터페이스를 표시한다.

상기 126 과정에서 증강현실 서비스 이용을 위한 실행 메뉴 탐색 시 복수 개의 계층적 메뉴 인터페이스가 표시되면, 128 과정에서 증강현실 서비를 제공하는 단말 내 움직임 센서로부터 센싱된 신호를 기준으로 기설정된 레벨별 대응되는 메뉴 선택이 가능한 복수 개의 계층적 메뉴 인터페이스를 상기 3차원 좌표 공간에 표시하여 메뉴 조작을 제공한다.

상기 메뉴 조작은, 단말 입력 장치의 회전 정보를 사용하여 파이(pie) 형태의 메뉴를 탐색하고, ARWand 스크린의 특정 부분 영역을 선택하여 메뉴 선택이 수행되도록 하기의 수학식 13형태의 모션 센서 값으로부터 ARWand의 수평을 기반으로 2차원 회전 방향을 획득하고, 하기의 수학식 14를 통해 해당 메뉴 단계에서 선택된 메뉴를 인식하도록 하여 수행된다.

이는, 기존의 메뉴 선택 인터페이스는 주로 GUI 기반 트리 형식의 메뉴를 통해 아이템을 탐색하며, 메뉴를 선택하기 위해서는 정밀한 포인팅 요구하고 있으나, 사용자가 빈번하게 움직이는 웨어러블 증강현실 환경에서는 사용하기 용이치 않으므로, 본 발명의 일 실시 예에 따르면 웨어러블 증강현실 환경을 위한 모바일 입력 장치 기반 메뉴 선택을 위해 사용자가 이동 중에도 자유롭게 저작을 할 수 있도록, 모바일 입력 장치의 내부 센서 정보만을 이용하여 메뉴를 탐색하고 선택할 수 있도록 한다.

더욱 상세하게는, 도 5에 도시된 바와 같이, 모바일 입력 장치의 회전 정보를 사용하여 파이 (Pie) 스타일의 메뉴를 탐색하며, 선택은 ARWand 스크린의 특정 부분 영역 (버튼)을 눌러서 작동되도록 한다. 이를 위해서, 수식 13과 같이 모션 센서 값으로부터 ARWand 의 수평을 기반으로 2차원 회전 방향을 알아내고, 수식 14를 통해 해당 메뉴 단계에서 몇 번째 메뉴를 선택하였는지 알 수 있도록 한다. 여기서, H는 스텝 함수이며, 여기서 deg는 0에서 360˚ 의 값이다. 그리고

는 메뉴 레벨 i에서의 메뉴 아이템의 개수이며 항상 0보다 크다. 그리고 최소한 한 개의 메뉴 항목이 항상 선택 되도록 한다.

[수학식 13]

[수학식 14]

이상에서는, 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법에 관해 살펴보았다.

이하, 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치에 관해 도 6을 참조하여 살펴보기로 한다.

도 6은 본 발명의 일 실시 예에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치에 관한 상세 블록도이다.

도 6을 참조하면, 본 발명이 적용된 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치는, 촬영부(610), 사용자 인터페이스부(612), 제어부(614), 좌표 생성부(616), 메뉴 조정부(618)을 포함한다.

상기 좌표 생성부(616)은 촬영부(610)를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Reference Coordinates)좌표계와 미러월드(mirror world)의 월드 좌표계를 생성한다.

그리고 상기 좌표 생성부(616)은 좌표계의 3-DoF(Degree of Freedom) 회전을 설정하기 위한 사용자가 바라보는 평면에 대한 정보를 하기의 수학식 15를 이용하여 획득하고, 수학식 16의 해로부터 하기의 수학식 15를 통해 평면에 수직인 노멀 벡터를 계산하여 좌표축의 z축으로 설정하고, 상기 평면상의 임의의 서로 다른 두 점을 선택하여 좌표축의 x 축으로 설정하고, 상기 설정된 z축과 상기 x축의 외적을 통해 좌표축의 y축을 계산하여 상기 로컬 레퍼런스 좌표계를 생성한다.

[수학식 15]

[수학식 16]

그리고 상기 좌표 생성부(616)는, 기준 좌표계의 위치를 결정하고 임의의 방향으로 설정된 회전축을 보정하기 위해서 수직 평면과 수평 평면이 접하는 접선을 이용하여 하기의 수학식 17을 이용하여 하기의 수학식 18을 유도하고, 하기의 수학식 19를 통해 두 평면 방정식의 합의 차이를 최소로 하는 점인

을 구하여 접점으로 설정하고, 상기 설정된 좌표계의 수평축인 x축을 두 평면이 접하는 수평 벡터 로 설정하고, 상기 x축과 z축을 외적하여 레퍼런스 좌표축의 회전축을 보정한다.

[수학식 17]

[수학식 18]

[수학식 19]

또한, 상기 좌표 생성부(616)는, RGB 영상으로부터 계산한 좌표계의 임의의 스케일과 실제 공간의 스케일을 통일하기 위해서, 하기의 수학식 20을 이용하여 복원된 서로 다른 두 개의 3차원 점 사이의 거리를 계산하고, 3차원 영상의 깊이 정보를 통해 하기의 수학식 21과 같이 두 점 각각에 대해서 거리를 계산하고, 수학식 22와 같이 두 거리의 비율을 계산한다.

[수학식 20]

[수학식 21]

[수학식 22]

상기 제어부(614)는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치에 관한 전반적인 동작을 제어한다.

또한, 상기 좌표 생성부(616)로부터 생성된 로컬 레퍼런스 좌표계와 월드 좌표계를 통합하고, 통합된 3차원 좌표 공간에서 사용자 인터페이스부(612)를 통해 선택된 3D 객체의 사용자 인터럽트 발생 타입별 회전 및 깊이 정보를 기설정된 오브젝트별 운동 범위(Range of Motion: RoM)기반 하에 인식하여 3D 객체를 제어한다.

그리고 상기 제어부(614) 미리 수집된 사용자의 오브젝트별 회전 범위 정보를 기반으로 오브젝트별 최대 조작범위 내에서, 조작하고자 하는 각도범위를 획득하고, 단말의 회전 정보와 3D 객체의 회전 정보의 최적 RoM 매핑을 결정하기 위해 하기의 수학식을 통해 매핑 함수를 정의하여 상기 기설정된 오브젝트별 운동 범위를 인식한다.

상기 메뉴 조작부(618)은 제어부의 제어 하에 복수 개의 계층적 메뉴 인터페이스를 3차원 좌표 공간에 표시하여 메뉴 조작을 제공한다.

또한, 상기 메뉴 조작부(618)는, 단말 입력 장치의 회전 정보를 사용하여 파이(pie) 형태의 메뉴를 제공하고, 사용자 인터페이스부를 통해 ARWand 스크린의 특정 부분 영역이 선택되면 상기 제어부를 통해 하기의 수학식 형태의 모션 센서 값으로부터 ARWand의 수평을 기반으로 2차원 회전 방향을 획득하고, 하기의 수학식을 통해 해당 메뉴 단계에서 선택된 메뉴를 인식하여 메뉴 조작을 수행한다.

상기와 같이 본 발명에 따른 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법 및 장치에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.

610: 촬영부 612: 사용자 인터페이스부
614: 제어부 616: 좌표 생성부
618: 메뉴 조작부
[참고문헌]

Claims

카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Reference Coordinates)를 생성하는 과정과,
생성된 상기 로컬 레퍼런스 좌표계와 실제 공간이 복제된 가상 공간인 미러 월드(mirror world)의 월드 좌표계를 통합하는 과정과,
상기 월드 좌표계로 통합된 3차원 좌표 공간에서 선택된 3D객체의 사용자 인터럽트 발생 타입별 회전 및 깊이 정보를 기설정된 오브젝트별 운동 범위(Range of Motion: RoM)기반 하에 인식하여 상기 선택된 3D객체를 제어하는 과정과,
증강현실 서비스 이용을 위한 실행 메뉴 탐색 시 상기 증강현실 서비스를 제공하는 단말 내 움직임 센서로부터 센싱된 신호를 기준으로 기설정된 레벨별 대응되는 메뉴 선택이 가능한 복수 개의 계층적 메뉴 인터페이스를 상기 3차원 좌표 공간에 표시하여 메뉴 조작을 제공하는 과정을 포함함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
제1항에 있어서, 상기 3차원 영상은,
사전에 모델링되지 않은 실제 공간에 대해서 3D 기하학적 구조에 대한 HMD(Head Mounted Display) 카메라의 자세 정보가 계산되어 획득된 영상임을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
제1항에 있어서,
상기 로컬 레퍼런스 좌표계를 생성하는 과정은,
좌표계의 3-DoF(Degree of Freedom) 회전을 설정하기 위한 사용자가 바라보는 평면에 대한 정보를 하기의 수학식 23을 이용하여 획득하는 제1 단계,
수학식 23의 해로부터 하기의 수학식 24를 통해 평면에 수직인 노멀 벡터를 계산하여 좌표축의 z축으로 설정하는 제2 단계,
상기 평면상의 임의의 서로 다른 두 점을 선택하여 좌표축의 x 축으로 설정하는 제3 단계와,
상기 제2 단계에서 설정된 z축과 상기 x축의 외적을 통해 좌표축의 y축을 계산하는 제4 단계를 통해 수행됨을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
[수학식 23]

[수학식 24]
제3항에 있어서,
상기 제4 단계 이후, 기준 좌표계의 위치를 결정하고 임의의 방향으로 설정된 회전축을 보정하기 위해서 수직 평면과 수평 평면이 접하는 접선을 이용하여 하기의 수학식 25를 이용하여 하기의 수학식 26을 유도하는 제5단계,
하기의 수학식 27을 통해 두 평면 방정식의 합의 차이를 최소로 하는 점인
을 구하여 접점으로 설정하는 제6 단계와,
상기 제3 단계에서 설정된 좌표계의 수평축인 x축을 두 평면이 접하는 수평 벡터
로 설정하는 제7 단계와,
상기 x축과 z축을 외적하여 레퍼런스 좌표축의 회전축을 보정하는 제8 단계를 더 포함함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
[수학식 25]

[수학식 26]

[수학식 27]
제4항에 있어서,
상기 제8 단계 이후, RGB 영상으로부터 계산한 좌표계의 임의의 스케일과 실제 공간의 스케일을 통일하기 위해서, 하기의 수학식 28을 이용하여 복원된 서로 다른 두 개의 3차원 점 사이의 거리를 계산하는 제9 단계,
3차원 영상의 깊이 정보를 통해 하기의 수학식 29와 같이 두 점 각각에 대해서 거리를 계산하는 제10 단계와,
하기의 수학식 30과 같이 두 거리의 비율을 구하는 제11 단계를 포함함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
[수학식 28]

[수학식 29]

[수학식 30]
제1항에 있어서,
상기 3D 객체는,
하기의 수학식을 통해 단말의 입력부에서 감지되는 사용자 입력수단의 모션 벡터
의 크기가 t보다 작거나 존재하지 않는 경우, 상기 단말에 구비된 자이로 센서 정보
가 함수
에 의하여 변환된 3D 객체의 회전 정보 에,
의 크기가 t보다 클 때 수행되는 3D 객체의 이동 모션 벡터를 곱한 값을 이용하여 움직임이 인식됨을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
제1항에 있어서, 상기 기설정된 오브젝트별 운동 범위는,
미리 수집된 사용자의 오브젝트별 회전 범위 정보를 기반으로 오브젝트별 최대 조작범위 내에서, 조작하고자 하는 각도범위를 획득하고, 단말의 회전 정보와 3D 객체의 회전 정보의 최적 RoM 매핑을 결정하기 위해 하기의 수학식을 통해 매핑 함수를 정의하여 인식됨을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
제1항에 있어서,
상기 메뉴 조작을 제공하는 과정은,
단말 입력 장치의 회전 정보를 사용하여 파이(pie) 형태의 메뉴를 탐색하고, ARWand 스크린의 특정 부분 영역을 선택하여 메뉴 선택이 수행되도록 하기의 수학식 31형태의 모션 센서 값으로부터 ARWand의 수평을 기반으로 2차원 회전 방향을 획득하고, 하기의 수학식 32를 통해 해당 메뉴 단계에서 선택된 메뉴를 인식하도록 하여 수행됨을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 방법.
[수학식 31]

[수학식 32]
카메라를 통해 획득된 깊이 정보를 포함하는 3차원 영상을 기반으로 로컬 레퍼런스 좌표계(Local Reference Coordinates)좌표계와 미러월드(mirror world)의 월드 좌표계를 생성하는 좌표 생성부와,
상기 좌표 생성부로부터 생성된 로컬 레퍼런스 좌표계와 월드 좌표계를 통합하고, 통합된 3차원 좌표 공간에서 사용자 인터페이스부를 통해 선택된 3D 객체의 사용자 인터럽트 발생 타입별 회전 및 깊이 정보를 기설정된 오브젝트별 운동 범위(Range of Motion: RoM)기반 하에 인식하여 3D 객체를 제어하는 제어부와,
상기 제어부의 제어 하에 복수 개의 계층적 메뉴 인터페이스를 3차원 좌표 공간에 표시하여 메뉴 조작을 제공하는 메뉴 조작부를 포함함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치.
제9항에 있어서, 상기 복수 개의 계층적 메뉴 인터페이스는,
증강현실 서비스 이용을 위한 실행 메뉴 탐색 시 상기 증강현실 서비스를 제공하는 단말 내 움직임 센서로부터 센싱된 신호를 기준으로 기설정된 레벨별 대응되는 메뉴 선택이 가능한 메뉴 인터페이스임을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치.
제9항에 있어서, 상기 좌표 생성부는,
좌표계의 3-DoF(Degree of Freedom) 회전을 설정하기 위한 사용자가 바라보는 평면에 대한 정보를 하기의 수학식 33을 이용하여 획득하고, 수학식 33의 해로부터 하기의 수학식 34를 통해 평면에 수직인 노멀 벡터를 계산하여 좌표축의 z축으로 설정하고, 상기 평면상의 임의의 서로 다른 두 점을 선택하여 좌표축의 x 축으로 설정하고, 상기 제2 단계에서 설정된 z축과 상기 x축의 외적을 통해 좌표축의 y축을 계산하여 상기 로컬 레퍼런스 좌표계를 생성함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치.
[수학식 33]

[수학식 34]
제11항에 있어서, 상기 좌표 생성부는,
기준 좌표계의 위치를 결정하고 임의의 방향으로 설정된 회전축을 보정하기 위해서 수직 평면과 수평 평면이 접하는 접선을 이용하여 하기의 수학식 35를 이용하여 하기의 수학식 36을 유도하고, 하기의 수학식 37을 통해 두 평면 방정식의 합의 차이를 최소로 하는 점인
을 구하여 접점으로 설정하고, 상기 설정된 좌표계의 수평축인 x축을 두 평면이 접하는 수평 벡터
로 설정하고, 상기 x축과 z축을 외적하여 레퍼런스 좌표축의 회전축을 보정함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치.
[수학식 35]

[수학식 36]

[수학식 37]
제11항에 있어서, 상기 좌표 생성부는,
RGB 영상으로부터 계산한 좌표계의 임의의 스케일과 실제 공간의 스케일을 통일하기 위해서, 하기의 수학식 38을 이용하여 복원된 서로 다른 두 개의 3차원 점 사이의 거리를 계산하고, 3차원 영상의 깊이 정보를 통해 하기의 수학식 39과 같이 두 점 각각에 대해서 거리를 계산하고, 수학식 40과 같이 두 거리의 비율을 계산함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치.
[수학식 38]

[수학식 39]

[수학식 40]
제9항에 있어서, 상기 제어부는,
미리 수집된 사용자의 오브젝트별 회전 범위 정보를 기반으로 오브젝트별 최대 조작범위 내에서, 조작하고자 하는 각도범위를 획득하고, 단말의 회전 정보와 3D 객체의 회전 정보의 최적 RoM 매핑을 결정하기 위해 하기의 수학식을 통해 매핑 함수를 정의하여 상기 기설정된 오브젝트별 운동 범위를 인식함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치.
제9항에 있어서, 상기 메뉴 조작부는,
단말 입력 장치의 회전 정보를 사용하여 파이(pie) 형태의 메뉴를 제공하고, 사용자 인터페이스부를 통해 ARWand 스크린의 특정 부분 영역이 선택되면 상기 제어부를 통해 하기의 수학식 (41) 형태의 모션 센서 값으로부터 ARWand의 수평을 기반으로 2차원 회전 방향을 획득하고, 하기의 수학식 (52)을 통해 해당 메뉴 단계에서 선택된 메뉴를 인식하여 메뉴 조작을 수행함을 특징으로 하는 웨어러블 증강현실 환경에서 증강현실 서비스 제공 장치.
[수학식 41]

[수학식 42]