KR20160098788A - 외부 대상과 인터렉션 하는 사용자 착용형 헤드 마운트 디스플레이 - Google Patents

Abstract

본 발명은 사용자 착용형 헤드 마운트 디스플레이(HMD)에 있어서, 카메라를 통해 외부대상을 인식할 수 있는 경우, 저장된 정보를 재가공하여 몰입감을 향상시키며 외부대상과의 충돌을 미연에 방지하는 방법에 관한 것이다.
본 발명의 일 태양에 따르면, 외부의 대상을 인식하여 컨텐츠를 재가공하여 표시하는 방법 및 시스템에 있어서, 외부 대상의 형태 및 특징을 검출하는 단계; 상기 검출된 대상의 형태 및 특징 기반으로 컨텐츠를 재가공 하여 HMD에 표시하는 단계; 상기 HMD 기기의 위치 및 방향에 따라 상기 검출 대상의 시각, 청각, 촉각 정보의 위치 및 레벨을 매칭시키는 단계; 를 포함하는 외부의 대상을 인식할 수 있는 상기 HMD기기 및 그 시스템을 개시한다.

Description

외부 대상과 인터렉션 하는 사용자 착용형 헤드 마운트 디스플레이{SYSTEM AND METHOD TO INTERACTING EXTERNAL SUBJECT BY HEAD MOUNTED DISPLAY}

본 발명은 HMD에 결합된 센서와 인식 소프트웨어 들의 조합을 통해 외부의 대상을 인식하고 컨텐츠 내에서 직관적으로 표시하는 방법에 관한 것이다.

스마트폰의 대중적 보급과 웨어러블 디바이스에 대한 사회적 관심의 집중으로 머리에 착용하는 스마트 안경에 대한, 특히 인터페이스와 관련하여 기술 개선 사례가 늘고 있다.

스마트 안경은 헤드 마운티드 디스플레이(HMD)의 일종으로 머리 부분에 장착해 사용자의 눈앞에 직접 영상을 제시할 수 있는 디스플레이 장치이다. 이 기술은 초기에 의료, 군사분야에서 가상현실을 이용한 시뮬레이션 등에 도입됐으나 디스플레이 전면이 폐쇄돼 전방 풍경을 볼 수 없다는 점에서 그 용도가 제한되어 왔다.

그러나, 2013년 2월 시스루(See-Through) 기능이 탑재된 Google의 구글글래스가 출시된 이후에는 모바일 기기로서의 상업적 가능성이 인정돼 IT 분야의 차세대 신제품으로 주목받고 있다. 특히 손을 사용하는 대신에 음성과 몸짓 동작에 의한 명령 인식 등으로 스마트 안경을 조작할 수 있는 사용자 인터페이스(UI) 기술에 대한 발전이 점차 이뤄지고 있으며, 스마트 안경을 스마트폰처럼 사용하거나, 스마트폰 앱(App)과 연동해 게임을 즐길 수 있고 시뮬레이션을 수행할 수 있는 기술들도 꾸준히 증가 추세에 있다. 또한, 최근 들어 글로벌 기업들의 스마트 안경에 대한 관심도 집중되고 있다. SONY는 CES 2014에서 안경과 거의 흡사한 스마트 아이글래스를 소개하며 2014년 6월 월드컵 개막에 맞춰 상용화 하였고. 마이크로소프트도 지난해 MS 글래스의 시제품 제작을 완료하고 성능시험을 마친 상태다.

이와 같이 실제 공간을 이동하며 몰입감 높은 컨텐츠를 제공받는 환경에 있어서 외부 위험, 안내, 지시, 요청 등의 정보를 전달해주는 것은 사용자의 안전 뿐만 아니라 타인과 대물에 대한 피해를 예방하기 위한 방법이다. 그러나 지금까지의 HMD컨텐츠들은 이를 적절히 서포팅 할 수 없었다.

본 발명은 헤드 마운티드 디스플레이에서 외부의 대상이나 환경을 인식하고, 제공 받는 컨텐츠의 맥락에 맞추어 적응적으로 표시하는 것을 그 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, 외부의 대상을 인식하여 컨텐츠를 재가공하여 표시하는 방법 및 시스템에 있어서, 외부 대상의 형태 및 특징을 검출하는 단계; 상기 검출된 대상의 형태 및 특징 기반으로 컨텐츠를 재가공 하여 HMD에 표시하는 단계; 상기 HMD 기기의 위치 및 방향에 따라 상기 검출 대상의 시각, 청각, 촉각 정보의 위치 및 레벨을 매칭시키는 단계; 를 포함하는 외부의 대상을 인식할 수 있는 상기 HMD기기 및 그 시스템을 개시한다.

이 외에도, 본 발명의 기술적 사상에 따라 다른 구성이 더 제공될 수도 있다.

본 발명은 사용자 착용형 헤드 마운트 디스플레이(HMD)에 있어서, 외부의 시각정보를 인식할 수 있는 카메라를 통해 대상이 인지되는 경우, 저장된 정보를 재가공하여 충돌의 위험을 최소화 하고 몰입도를 향상시키는 방법에 관한 것이다. 일 실시 예에서, 외부 위험요소인 장애물(obstacle)이 있는 경우 가상환경에서도 컨택스트가 반영되는 장애물로 가공하여 표시한다. 또 다른 일 실시 예에서 사용자 주변의 디바이스를 활용 할 수 있다. 예를 들어, 바람이 부는 컨텐츠의 경우 외부 에어컨 온도를 조절하여 실제 온도에 반영할 수 있다. 이렇게 외부 대상을 HMD컨텐츠와 잘 어울러 지게 표시 함으로써 컨텐츠의 몰입도를 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 있어서, 두부 착용형 디바이스(120)가 외부대상(120)의 특징을 검출하고 상기 두부 착용형 디바이스(120)에서 상기 외부대상(120)의 특징이 컨텐츠에(컨텍스트) 대응하는 형태로 출력되는 전체 시스템의 개략적인 구성을 나타내는 도면이다.
도 2은 본 발명의 일 실시예에 있어서, 실제 물리공간의 벽의 위치에 대응하여 가상현실 컨텐츠에 바위로 표시하는 도면이다.
도 3은 본 발명의 일 실시예에 있어서, 움직임을 제한시키는 실제 외부환경을 상기 컨텐츠에(컨텍스트)에 포함되어 있는 대상으로 표시하는 도면이다.
도 4는 실제 외부환경을 상기 컨텐츠에(컨텍스트)에 나타내기 위해서 외부 대상의 특징을 분석 값에 따라 컨텐츠에(컨텍스트) 적합한 대상으로 표시하는 도면이다.
도 5는 본 발명의 일 실시예에 있어서, 실제 외부환경의 온도에 따라 컨텐츠에(컨텍스트) 적응적으로 표시하는 도면이다.
도 6은 본 발명의 일 실시예에 있어서, 실제 외부 환경의 IOT디바이스와 HMD가 연동되어 컨텐츠에 따라 유동적으로 피드백을 전달 하는 모습을 표시하는 도면이다.
도 7은 본 발명의 일 실시예에 있어서, HMD에 입력되는 외부 대상에의 특징에 대하여 시각적, 청각적, 촉각적 피드백을 대응 시키는 것이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

전체 시스템의 구성

도 1은 본 발명의 일 실시예에 있어서, 두부 착용형 디바이스(120)가 외부대상(120)의 특징을 검출하고 상기 두부 착용형 디바이스(120)에서 상기 외부대상(120)의 특징이 컨텐츠에(컨텍스트) 대응하는 형태로 출력되는 전체 시스템의 개략적인 구성을 나타내는 도면이다.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 두부 착용형 디바이스(120), 통신망(130) 및 외부대상(140)을 포함하여 구성될 수 있다.

먼저, 본 발명의 일 실시예에 따른 통신망(130)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(130)은 공지의 인터넷 또는 월드와이드웹(WWW;World Wide Web)일 수 있다. 그러나, 통신망(130)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.

다음으로, 본 발명의 일 실시예에 따른 외부대상(140)은 깊이 카메라(depth-camera), 움직임 센서, 거리센서, RGB 카메라, 열화상카메라, 사물/얼굴 인식 소프트웨어, 청각 센서 등으로 검출될 수 있는 비 전기적 대상이거나, 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 디바이스일 수 있다. 외부대상(140)은 통신망(130)을 통하여 두부 착용형 디바이스(120)가 다른 하나로 소정의 정보나 제어 명령을 제공하거나, 하나가 다른 하나로부터 소정의 정보나 제어 명령을 제공 받도록 매개하는 기능을 수행할 수 있다.

이를 위하여, 외부대상(140)은, 아래에서 자세하게 설명되는 바와 같이, 두부 착용형 디바이스(120)가 위치 및 상태를 검출하고 기 설정된 데이터 와의 유사도에 따라 출력이 선택된다.

이와 같은 외부대상(140)에 의한 출력의 형태는 제어부(미도시됨)에 의하여 수행될 수 있다. 이러한 제어부는 두부 착용형 디바이스(120)내에서 프로그램 모듈의 형태로 존재할 수 있다. 이러한 프로그램 모듈은 운영 시스템, 응용 프로그램 모듈 또는 기타 프로그램 모듈의 형태를 가질 수 있다. 또한, 프로그램 모듈은 외부대상(140)과 통신 가능한 원격 기억 장치에 저장될 수도 있다.

한편, 프로그램 모듈은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정

추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.

또한, 외부대상(140)은 두부 착용형 디바이스(120)에서 제공 받은 움직임 특성에 관한 정보를 저장하고, 이것이 두부 착용형 디바이스(120)의하여 이용되거나 이종 디바이스(미도시됨)에서 이용도록 하는 기능을 더 수행할 수 있다. 상술한 저장은 외부대상(140)에 의하여 포함되는 저장소(미도시됨)에 의하여 수행될 수 있다. 이러한 저장소는 컴퓨터 판독 가능한 기록 매체를 포함하는 개념으로서, 협의의 데이터베이스뿐만 아니라 파일 시스템에 기반을 둔 데이터 기록 등을 포함하는 광의의 데이터베이스일 수도 있다.

외부대상(140)의 세부 사항에 관하여는 아래에서 더 자세하게 알아보기로 한다. 외부대상(140)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 외부대상(140)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 조작의 대상이 되는 두부 착용형 디바이스(120) 및 이종 디바이스 중 적어도 하나에서 실현되거나 포함될 수도 있음은 당업자에게 자명하다.

실시예

도 2는 본 발명의 일 실시예에 있어서, 실제 물리공간의 벽의 위치에 대응하여 가상현실 컨텐츠에 바위로 표시하는 도면이다. 사용자 10m 앞에 벽이 있는 경우, 컨텐츠에서는 바위로 표시하여 사용자가 해당 위치로 갈 수 없도록 유도 할 수 있다. 이 밖에도 외부의 충돌 또는 기타 위험요소에 대해 HMD와 일체화 된 깊이 카메라(depth-camera), 움직임 센서, 거리센서, RGB 카메라, 열화상카메라, 사물/얼굴 인식 소프트웨어, 청각 센서 등을 활용하여 실제 물리 공간에서의 충돌을 예상할 수 있는 대상을 판별하고, 이를 가상현실 컨텐츠에 반영할 수 있다.

도 3은 본 발명의 일 실시예에 있어서, 움직임을 제한시키는 실제 외부환경을 상기 컨텐츠에(컨텍스트)에 포함되어 있는 대상으로 표시하는 도면이다.

본 도면은 등산 가상현실을 체험하고 있는 사용자가 직접 공간을 이동하는 조건에서, 외부 환경에 실제 위치하는 기둥형태의 이동제한요소를 숲이 우거진 공간의 맥락을 가지는 가상현실 컨텐츠에 표시하는데 있어서 숲을 구성하는 요소의 일부로 대체하여 표시할 수 있다. 이와 같은 방법을 적용함으로써 사용자로 하여금 컨텐츠의 몰입을 방해하지 않고 우회할 수 있도록 안내 할 수 있다.

도 4는 실제 외부환경을 상기 컨텐츠에(컨텍스트)에 나타내기 위해서 외부 대상의 특징을 분석 값에 따라 컨텐츠에(컨텍스트) 적합한 대상으로 표시하는 도면이다. 본 도면은 테마파크 가상현실을 체험하고 있는 사용자가 직접 공간을 이동하는 조건에서, 실제 물리공간에 존재하는 테이블과 사람이 존재 할 경우 HMD에 부착된 시각, 청각, 후각 등의 센서를 파악하여 대상의 크기와 형태, 움직임을 분석하고, 대상이 테이블의 경우엔 그 특징을 반영한 테마파크의 표지판으로, 움직이는 사람의 경우에는 그 특징을 반영한 테마파크 캐릭터로 표시할 수 있다.

도 5는 본 발명의 일 실시예에 있어서, 실제 외부환경의 온도에 따라 컨텐츠에(컨텍스트) 적응적으로 표시하는 도면이다.

HMD에 부착된 화상카메라가 검출한 외부대상의 온도 레벨에 따라 컨텐츠의 맥락에 맞게 정보를 표시할 수 있다. 또한 위험요소를 안내하기 위해 사용자의 시선 방향에서 뿐만 아니라 시선이 닿지 않는 영역까지 시각 청각 촉각적으로 위험을 안내해 줄 수 있다. 또한 온도의 레벨에 따라 상기 피드백을 다양한 형태로 표시할 수 있다.

도 6은 본 발명의 일 실시예에 있어서, 실제 외부 환경의 IOT디바이스와 HMD가 연동되어 컨텐츠에 따라 유동적으로 피드백을 전달 하는 모습을 표시하는 도면이다. 본 도면에서는 스마트 에어컨이 바람이 부는 컨텐츠와 연동되어 함께 동작할 수 있다. 또 다른 예에서 먼 곳에서 나는 소리를 실제 해당 위치의 IoT 스피커를 통해 전달 할 수 있다.

도 7은 본 발명의 일 실시예에 있어서, HMD에 입력되는 외부 대상에의 특징에 대하여 시각적, 청각적, 촉각적 피드백을 대응 시키는 것이다. 본 도면에서는 외부대상의 위험도의 레벨을 판단하여 상기 레벨에 대응하여 HMD컨텐츠에 시각적, 청각적,촉각적으로 피드백을 전달 할 수 있다.

없음.

Claims (1)

1. 외부의 대상을 인식하여 컨텐츠를 재가공하여 표시하는 방법 및 시스템에 있어서, 외부 대상의 형태 및 특징을 검출하는 단계; 상기 검출된 대상의 형태 및 특징 기반으로 컨텐츠를 재가공 하여 HMD에 표시하는 단계; 상기 HMD 기기의 위치 및 방향에 따라 상기 검출 대상의 시각, 청각, 촉각 정보의 위치 및 레벨을 매칭시키는 단계; 를 포함하는 외부의 대상을 인식할 수 있는 상기 HMD기기 및 그 시스템.

Images