KR20150078242A - Hmd 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체 - Google Patents

Hmd 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체 Download PDF

Info

Publication number
KR20150078242A
KR20150078242A KR1020130167461A KR20130167461A KR20150078242A KR 20150078242 A KR20150078242 A KR 20150078242A KR 1020130167461 A KR1020130167461 A KR 1020130167461A KR 20130167461 A KR20130167461 A KR 20130167461A KR 20150078242 A KR20150078242 A KR 20150078242A
Authority
KR
South Korea
Prior art keywords
content
area
user
control button
gaze point
Prior art date
Application number
KR1020130167461A
Other languages
English (en)
Other versions
KR102122339B1 (ko
Inventor
차재욱
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020130167461A priority Critical patent/KR102122339B1/ko
Publication of KR20150078242A publication Critical patent/KR20150078242A/ko
Application granted granted Critical
Publication of KR102122339B1 publication Critical patent/KR102122339B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/022—Viewing apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

헤드 마운트 디스플레이(HMD: Head Mounted Display)의 제어 방법은 스크린의 중간 영역과 중간 영역의 외부에 존재하는 한계 영역을 설정하는 단계, 사용자의 응시점을 추적하는 단계, 중간 영역에 콘텐츠를 표시하고, 한계 영역에 제어 버튼을 표시하는 단계 및 추적된 응시점에 기초하여 제어 버튼에 설정된 기능에 따라 콘텐츠의 표시를 제어하는 단계를 포함한다.

Description

HMD 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체{METHOD FOR CONTROLLING HEAD MOUNTED DISPLAY, COMPUTING DEVICE AND COMPUTER-READABLE MEDIUM}
본 발명은 HMD(Head Mounted Display) 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체에 관한 것이다.
HMD(Head Mounted Display)란 머리 부분 탑재형 디스플레이로서, 사용자가 머리 부분에 HMD를 장착하면, 사용자는 HMD를 통해 눈 앞에서 직접 영상을 시청할 수 있도록 하는 차세대 디스플레이 장치를 말한다. HMD는 동영상 콘텐츠를 대형 화면으로 즐길 수 있도록 제공하기도 하며, 의료기기와 같이 다양한 분야에 적용되어 수술 또는 진단 등에 이용되기도 한다. 이러한 HMD와 관련하여, 선행기술인 한국공개특허 제 2009-0105485호에서는 HMD를 이용한 멀티미디어 제공 시스템 및 그 제공 방법를 개시하고 있다.
다만, 기존의 HMD는 HMD 화면을 제어하기 위해 사용자가 외부 기기를 이용하여 입력해야만 했다. 이는 사용자가 HMD 화면을 보면서 메뉴 또는 콘텐츠를 제어하는데 어려움을 초래하였다. 따라서, 사용자가 HMD 화면을 보면서 자연스럽게 조작할 수 있는 제어 방법이 요구되고 있다.
사용자가 HMD의 착용을 통해 콘텐츠 또는 애플리케이션을 이용하는 경우, 사용자의 시선 이동 또는 머리의 움직임만으로 HMD의 화면 또는 메뉴 등을 제어할 수 있는 HMD 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체를 제공하고자 한다. 또한, 사용자가 HMD의 착용을 통해 화면을 보면서 자연스럽게 메뉴 선택, 스크롤 등을 조작할 수 있는 HMD 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체를 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는 스크린의 중간 영역과 중간 영역의 외부에 존재하는 한계 영역을 설정하는 단계, 사용자의 응시점을 추적하는 단계, 중간 영역에 콘텐츠를 표시하고, 한계 영역에 제어 버튼을 표시하는 단계 및 추적된 응시점에 기초하여 제어 버튼에 설정된 기능에 따라 상기 콘텐츠의 표시를 제어하는 단계를 포함하는 HMD의 제어 방법을 제공할 수 있다.
또한, 본 발명의 다른 실시예는, 메모리 및 메모리와 인터페이싱하도록 정렬된 프로세싱 유닛을 포함하고, 프로세싱 유닛은 스크린의 중간 영역과 중간 영역의 외부에 존재하는 한계 영역을 설정하고, 사용자의 응시점을 추적하고, 중간 영역에 콘텐츠를 표시하고, 한계 영역에 제어 버튼을 표시하고, 추적된 응시점에 기초하여 제어 버튼에 설정된 기능에 따라 콘텐츠의 표시를 제어하도록 구성되는 컴퓨팅 장치를 제공할 수 있다.
또한, 본 발명의 또 다른 실시예는, 컴퓨팅 장치에 의해 실행될 때, 컴퓨팅 장치가 스크린의 중간 영역과 중간 영역의 외부에 존재하는 한계 영역을 설정하고, 사용자의 응시점을 추적하고, 중간 영역에 콘텐츠를 표시하고, 한계 영역에 제어 버튼을 표시하고, 추적된 응시점에 기초하여, 제어 버튼에 설정된 기능에 따라 콘텐츠의 표시를 제어하도록 하는 컴퓨터 판독가능 매체를 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자가 HMD의 착용을 통해 콘텐츠 또는 애플리케이션을 이용하는 경우, 사용자의 시선 이동 또는 머리의 움직임만으로 HMD의 화면 또는 메뉴 등을 제어할 수 있는 HMD 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체를 제공할 수 있다. 또한, 사용자가 HMD의 착용을 통해 화면을 보면서 자연스럽게 메뉴 선택, 스크롤 등을 조작할 수 있는 HMD 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 HMD 제어 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 컴퓨팅 장치의 구성도이다.
도 3a 내지 도 3b는 본 발명의 일 실시예에 따른 한계 영역 및 중간 영역을 설정하는 과정을 설명하기 위한 도면이다.
도 4a 내지 도 4b는 본 발명의 일 실시예에 따른 제어 버튼을 통해 콘텐츠의 표시를 제어하는 과정을 설명하기 위한 도면이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 콘텐츠를 스크롤시키는 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 스크롤 기능과 제어 버튼을 혼합하여 사용하는 과정을 설명하기 위한 도면이다.
도 7a 내지 도 7b는 본 발명의 일 실시예에 따른 메뉴 버튼을 표시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 중간 영역에 입력 버튼을 표시한 도면이다.
도 9a 내지 도 9b는 본 발명의 다른 실시예에 따른 사용자 단말을 제어하는 과정을 설명하기 위한 도면이다.
도 10a 내지 도 10b는 본 발명의 또 다른 실시예에 따른 사용자 단말을 제어하는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 HMD 제어 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 HMD 제어 시스템(1)의 구성도이다. 도 1을 참조하면, HMD 제어 시스템(1)은 서버(100) 및 사용자 단말(200)을 포함할 수 있다. 도 1에 도시된 서버(100) 및 사용자 단말(200)은 HMD 제어 시스템(1)에 의하여 제어될 수 있는 구성요소들을 예시적으로 도시한 것이다. 도 1의 HMD 제어 시스템(1)의 각 구성요소들은 일반적으로 네트워크(network)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 사용자 단말(200)은 네트워크를 통하여 서버(100)와 연결될 수 있다. 하지만, 사용자 단말이 자체적으로 콘텐츠를 보유하고 있는 경우에는 서버(100) 및 네트워크와 관련된 구성이 본 실시예에서 생략될 수 있다. 또한, 예를 들어, 스마트 글래스 등과 같은 사용자 단말(200)이 스마트 폰 등과 같은 다른 사용자 단말(미도시)과 Bluetooth, Wi-Fi 등으로 연결될 경우에는, 다른 사용자 단말(미도시)이 콘텐츠를 보유하고, 처리 프로세스 중 일부를 대신 수행할 수도 있다.
네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예는, Wi-Fi, Bluetooth, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, LTE 등이 포함되나 이에 한정되지는 않는다.
서버(100)는 사용자 단말(200)로부터 콘텐츠를 요청받고, 요청받은 콘텐츠를 사용자 단말(200)로 전송할 수 있다. 이 때, 서버(100)는 VOD(Video On Demands), TV 프로그램, 음원, E-book, 웹 브라우저(web browser) 등의 다양한 종류의 콘텐츠를 2D 또는 3D의 타입으로 사용자 단말(200)에게 전송할 수 있다.
사용자 단말(200)은 스크린의 중간 영역과 중간 영역의 외부에 존재하는 한계 영역을 설정할 수 있다. 이 때, 사용자 단말(200)은 스크린의 중심에 점을 표시할 수 있다. 사용자 단말(200)은 스크린에 수평 바를 표시하고, 수평 바를 스크린 상에서 상하로 이동시킬 수 있다. 또한, 사용자 단말(200)은 스크린에 수직 바를 표시하고, 스크린 상에서 수직 바를 좌우로 이동시킬 수 있다. 사용자 단말(200)은 수평 바 및 수직 바가 이동하는 중에 사용자 입력을 수신하고, 이러한 사용자 입력에 기초하여 한계 영역을 설정할 수 있다. 이 때, 사용자 단말(200)은 스크린의 중간 영역을 한계 영역에 대해 미리 설정된 비율로 설정할 수 있다. 또한, 사용자 단말(200)은 스크린의 중간 영역을 한계 영역 설정 방법과 동일한 방법을 이용하여 중간 영역을 설정할 수도 있다.
사용자 단말(200)은 사용자의 응시점을 추적할 수 있다. 이 때, 사용자 단말(200)은 내장된 카메라를 이용하여 사용자의 시선을 인식하고, 응시점을 추적할 수 있다. 또한, 사용자 단말(200)은 사용자의 머리 움직임을 센싱하고, 센싱된 머리 움직임을 감지할 수 있다. 이 때, 사용자 단말(200)은 예를 들어, 가속도 센서 또는 자이로스코프(gyroscope) 센서와 같은 다양한 센서를 이용하여 사용자의 머리 움직임을 감지할 수 있다.
사용자 단말(200)은 중간 영역에 콘텐츠를 표시하고, 한계 영역에 제어 버튼을 표시할 수 있다. 이 때, 사용자 단말(200)은 사용자의 응시점이 중간 영역에서 제어 버튼으로 이동한 후, 다시 중간 영역으로 이동한 경우에, 제어 버튼에 대한 선택 효과를 부여할 수 있다. 예를 들어, 사용자 단말(200)은 사용자의 응시점이 제어 버튼으로 이동한 경우에, 제어 버튼에 대한 터치 다운(Touch Down) 효과를 부여할 수 있다. 다른 예를 들어, 사용자 단말(200)은 사용자의 응시점이 제어 버튼에서 중간 영역으로 이동한 경우에, 제어 버튼에 대한 터치 업(Touch Up)효과를 부여할 수 있다.
사용자 단말(200)은 사용자의 추적된 응시점에 기초하여 제어 버튼에 설정된 기능에 따라 콘텐츠의 표시를 제어할 수 있다. 예를 들어, 사용자 단말(200)은 사용자의 응시점이 중간 영역에서 한계 영역으로 이동한 경우에 콘텐츠를 스크롤시킬 수 있다. 이 때, 사용자 단말(200)은 콘텐츠의 스크롤에 의해 콘텐츠의 끝에 다다를 경우, 중간 영역의 외부에, 예를 들어, 중간 영역과 접하는 외부 영역에 콘텐츠의 끝 부분임을 표시할 수 있다. 또한, 사용자 단말(200)은 사용자의 응시점이 중간 영역에서 멀어질수록 콘텐츠의 스크롤 속도를 증가시킬 수 있으며, 콘텐츠의 스크롤에 의해 콘텐츠의 끝에 다다르기 전에 콘텐츠의 스크롤 속도를 감소시킬 수도 있다. 다른 예를 들어, 사용자 단말(200)은 사용자의 응시점이 중간 영역에서 한계 영역으로 이동한 경우에 콘텐츠의 재생 속도를 변화시킬 수 있다. 또 다른 예를 들어, 사용자 단말(200)은 사용자의 응시점이 중간 영역에서 한계 영역으로 이동한 경우에 콘텐츠의 재생 음량을 변화시킬 수 있다.
이러한 사용자 단말(200)의 일 예는 사용자의 신체에 착용이 가능한 스마트 글래스(201, Smart Glass), HMD(202, Head Mounted Display), 또는 HUD(Head Up Display)와 같은 디스플레이를 포함할 수 있다. 또한, 사용자의 단말(200)의 일 예는 카메라가 내장된 노트북(notebook), 넷북(Netbook), 울트라북(UltraBook), 서브노트북(SubNotebook), 데스크노트(DeskNote), UMPC(Ultra-Mobile PC), 데스크탑(Desktop) 등과 같은 모든 종류의 PC를 포함할 수 있다. 또한, 사용자 단말(200)의 일 예는 PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smart phone)과 같은 휴대성과 이동성이 보장되는 무선 통신 장치일 수 있다. 또한, 사용자 단말(200)의 일 예는 스마트 패드(smart pad), 타블랫 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 이하에서는 사용자 단말(200)의 예시 중 하나인 HMD를 예로 들어 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 컴퓨팅 장치의 구성도이다. 도 2를 참조하면, 컴퓨팅 장치는 HMD 내에 포함된 또는 HMD에 장착된 장치로서, 헤드 마운트 디스플레이(HMD: Head Mounted Display)를 제어하는 컴퓨팅 장치일 수 있다. 또는, 컴퓨팅 장치는 HMD와 통신 가능하게 연결된 외부 디바이스, 예를 들어, 스마트 폰 등일 수 있다.
컴퓨팅 장치는 메모리(210) 및 메모리(210)와 인터페이싱하도록 정렬된 프로세싱 유닛(220)을 포함한다. 메모리(210)에는 콘텐츠가 저장되어 있을 수 있고, 프로세싱 유닛(220)은 스크린의 중간 영역과 중간 영역의 외부에 존재하는 한계 영역을 설정할 수 있다. 또한, 컴퓨팅 장치가 HMD와 통신 가능하게 연결된 외부 디바이스인 경우, 유선 또는 무선의 통신 유닛(미도시)을 추가로 구비할 수 있다.
도 3a 내지 도 3b는 본 발명의 일 실시예에 따른 한계 영역 및 중간 영역을 설정하는 과정을 설명하기 위한 도면이다.
도 3a는 한계 영역을 설정하는 과정을 설명하기 위한 도면이다. 도 3a를 참조하면, 프로세싱 유닛(220)은 스크린의 중심에 점(310)을 표시한다. 또한, 프로세싱 유닛(220)은 스크린에 수평 바(320)를 표시하고, 수평 바(320)를 상하로 이동시킬 수 있다. 또한, 프로세싱 유닛(220)은 스크린에 수직 바(미도시)를 표시하고, 수직 바(미도시)를 좌우로 이동시킬 수 있다. 프로세싱 유닛(220)은 수평 바(320) 및 수직 바(미도시)가 이동하는 중에 사용자 입력을 수신하고, 이러한 사용자 입력에 기초하여 한계 영역(330)을 설정할 수 있다.
예를 들어, 사용자가 스크린의 중심에 표시된 중심점(310)을 응시하는 동안에, 프로세싱 유닛(220)은 스크린의 중심에 수평 바(320)를 표시하고, 수평 바(320)를 화면의 상단으로 이동시킬 수 있다. 이 때, 수평 바(320)는 일정 속도로 서서히 이동할 수도 있고, 일정 간격으로 건너뛰며 이동할 수도 있다. 사용자가 중심점(310)을 응시하는 동안에 화면 상단으로 이동하는 수평 바(320)가 시야의 한계에 이르렀다고 느끼면, 사용자는 상부 한계를 설정하는 입력을 입력하고 프로세싱 유닛(220)은 이때의 수평 바(320)의 위치를 한계 영역의 상단 끝으로 설정할 수 있다.
예를 들어, 사용자가 시선을 중심점(310)에서 일정 거리 이상 이동시키거나, 중심점(310) 주위에 버튼을 배치하여 이 버튼을 선택하도록 함으로써, 상부 한계를 설정할 수 있다. 또는, 사용자가 머리를 끄덕이는 입력, 사용자가 HMD의 외관을 터치하거나, 버튼을 누르는 입력 등으로 상부 한계를 설정할 수도 있다.
다른 예를 들어, 사용자가 스크린의 중심에 표시된 중심점(310)을 응시하는 동안에, 프로세싱 유닛(220)은 스크린의 중심에 수직 바(미도시)를 표시하고, 수직 바(미도시)를 화면의 우측으로 이동시킬 수 있다. 이 때, 수직 바(미도시)는 일정 속도로 서서히 이동할 수도 있고, 일정 간격으로 건너뛰며 이동할 수도 있다. 사용자가 중심점(310)을 응시하는 동안에 화면 우측으로 이동하는 수직 바(미도시)가 시야의 한계에 이르렀다고 느끼면, 사용자는 우측 한계를 설정하는 입력을 입력하고, 프로세싱 유닛(220)은 이때의 수직 바(미도시)의 위치를 한계 영역의 우측 끝으로 설정할 수 있다. 이와 같이, 프로세싱 유닛(220)은 수평 바(320)를 통해 한계 영역(330)의 상단 및 하단을 설정할 수 있고, 수직 바(미도시)를 통해 한계 영역(330)의 우측 및 좌측을 설정할 수 있다. 이 때, 사용자는 설정된 한계 영역(330)의 크기를 수동으로 변경할 수도 있다.
수평 바(320) 및 수직 바(미도시)는, 예를 들어, 일정한 두께를 가진 선일 수도 있고, 문자열일 수도 있다.
도 3b는 중간 영역(370)을 설정하는 과정을 설명하기 위한 도면이다. 도 3a 및 도 3b를 참조하면, 프로세싱 유닛(220)은 프로세싱 유닛(220)은 중간 영역(370)을 한계 영역(330)에 대해 미리 설정된 비율, 예를 들어, 2/3, 3/4, 1/2 등으로로 설정할 수 있다. 이와 달리, 프로세싱 유닛(220)은 스크린에 수평 바(360)를 표시하고, 수평 바(360)를 상하로 이동시키고, 스크린에 수직 바(미도시)를 표시하고, 수직 바(미도시)를 좌우로 이동시키며, 한계 영역을 설정하는 방법에서와 유사하게 사용자가 직접 중간 영역(370)을 설정하도록 할 수도 있다. 또한, 사용자는 설정된 중간 영역(370)의 크기를 수동으로 변경할 수도 있다.
프로세싱 유닛(220)은 사용자의 응시점을 추적하여 HMD를 제어할 수 있다. 이 때, HMD는 내장 카메라를 통해 사용자의 응시점을 추적할 수 있다. 또한, 프로세싱 유닛(220)은 사용자의 머리 움직임을 센싱하고, 센싱된 머리 움직임에 기초하여 콘텐츠를 제어할 수도 있다. 이 때, HMD는 움직임을 감지할 수 있는 센서를 통해 사용자의 머리 움직임을 감지할 수 있다. 예를 들어, 프로세싱 유닛(220)은 감지된 머리 움직임을 통해 사용자가 머리를 끄덕인 방향으로 메뉴를 선택할 수 있다. 다른 예를 들어, 사용자가 머리를 천천히 올리거나 내리는 경우, 프로세싱 유닛(220)은 사용자의 머리 움직임에 대응하여 콘텐츠를 확대 또는 축소할 수 있다. 또 다른 예를 들어, 사용자가 머리를 천천히 좌 또는 우로 움직이는 경우, 프로세싱 유닛(220)은 사용자의 머리 움직임에 대응하여 콘텐츠를 스크롤할 수 있다. 또 다른 예를 들어, 사용자의 응시점이 제어 버튼에 위치한 경우, 프로세싱 유닛(220)은 사용자 머리의 끄덕임을 감지하여 해당 제어 버튼의 선택을 인식하고, 선택된 제어 버튼에 대해 설정된 기능을 실행시킬 수 있다. 또 다른 예를 들어, 사용자가 머리를 좌 또는 우로 움직이는 경우, 프로세싱 유닛(220)은 사용자의 머리 움직임을 감지하여 콘텐츠 또는 메뉴를 좌 또는 우로 회전시킬 수 있다.
움직임을 감지할 수 있는 센서는 예를 들어, 가속도 센서, 자이로스코프(gyroscope) 센서 등을 포함할 수 있다.
도 4a 내지 도 4b는 본 발명의 일 실시예에 따른 제어 버튼(440)을 통해 콘텐츠의 표시를 제어하는 과정을 설명하기 위한 도면이다.
도 4a는 스크린의 한계 영역(410)에 제어 버튼(440)을 표시한 도면이다. 프로세싱 유닛(220)은 중간 영역(420)에 콘텐츠를 표시하고, 한계 영역(410)에 제어 버튼을 표시할 수 있다. 이 때, 제어 버튼은 메뉴 PP(430) 및 메뉴 FW(435)와 같이 한계 영역(410)의 좌측 및 우측에 위치할 수도 있다. 또한, 제어 버튼은 메뉴 1(441), 메뉴 2(442) 및 메뉴 3(443)과 같이 예를 들어, 한계 영역(410)의 하부에 표시될 수도 있다.
도 4b는 콘텐츠의 표시를 제어하는 과정을 설명하기 위한 도면이다. 도 4a 및 도 4b를 참조하면, 프로세싱 유닛(220)은 사용자의 추적된 응시점에 기초하여 제어 버튼(440)에 설정된 기능에 따라 콘텐츠의 표시를 제어할 수 있다. 도 4b의 화살표는 사용자의 시선의 응시점을 나타낸다. 예를 들어, 사용자가 하나의 제어 버튼(440)을 일정 시간 이상 응시하면, 프로세싱 유닛(220)은 해당 제어 버튼(440)에 설정된 기능을 실행시킬 수 있다. 또한, 사용자의 응시점이 중간 영역(420)으로부터 특정 제어 버튼(440)을 거쳐 다시 중간 영역(420)으로 되돌아온 경우, 프로세싱 유닛(220)은 중간 영역(420)으로 되돌아오기 바로 직전의 제어 버튼(440)에 설정된 기능을 실행시킬 수 있다.
프로세싱 유닛(220)은 사용자의 응시점이 중간 영역(420)에서 한계 영역(410)의 제어 버튼으로 이동한 후, 다시 중간 영역(420)으로 이동한 경우에, 제어 버튼에 대한 선택 효과를 부여할 수 있다. 예를 들어, 사용자가 '메뉴 2'(442)의 제어 버튼에 설정된 기능을 실행시키려 하는 경우, 사용자는 응시점을 중간 영역(420), 메뉴 1(441), 메뉴 2(442), 중간 영역(420) 순으로 이동하고, 프로세싱 유닛(220)은 이동한 사용자의 응시점을 추적할 수 있다. 이 때, 사용자의 응시점이 중간 영역(420)에서 '메뉴 1'(441)의 제어 버튼으로 이동한 경우에, 프로세싱 유닛(220)은 '메뉴 1'(441)의 제어 버튼에 대한 터치 다운(Touch Down) 효과를 부여할 수 있다. 터치 다운은 일반적으로 키보드, 마우스, 터치스크린과 같은 입력 장치를 통해 버튼이 프레스(press)되는 것을 의미한다. 또한, 사용자의 응시점이 '메뉴 1'(441)의 제어 버튼에서 '메뉴 2'(442)의 제어 버튼으로 이동한 경우, 프로세싱 유닛(220)은 '메뉴 1'(441)의 제어 버튼을 원상 복귀시키고, '메뉴 2'(442)의 제어 버튼에 대해서 터치 다운 효과를 부여할 수 있다. 터치 업은 일반적으로 버튼이 프레스 되어 있는 입력 장치를 릴리즈(release)시키는 것을 의미한다. 사용자는 '메뉴 2'(442)의 제어 버튼에 설정된 기능을 실행시키기 위해 응시점을 '메뉴 2'(442)에서 중간 영역(420)으로 이동할 수 있다. 이 때, 사용자의 응시점이 제어 버튼에서 중간 영역(420)으로 이동한 경우에, 프로세싱 유닛(220)은 '메뉴 2'(442)의 제어 버튼에 설정된 기능을 실행시킬 수 있다.
다른 예를 들어, 사용자가 '메뉴 2'(442)의 제어 버튼에 설정된 기능을 실행시키려는 경우, 사용자는 응시점을 중간 영역(420)에서 직접 '메뉴 2'(442)의 제어 버튼으로 이동하고, '메뉴 2'(442)에서 다시 중간 영역(420)으로 이동할 수 있으며, 프로세싱 유닛(220)은 이동한 사용자의 응시점을 추적할 수 있다. 사용자의 응시점이 '메뉴 2'(442)의 제어 버튼으로 이동한 경우, 프로세싱 유닛(220)은 '메뉴 2'(442)의 제어 버튼에 대한 터치 다운 효과를 부여하고, 사용자의 응시점이 다시 중간 영역(420)으로 이동한 경우, '메뉴 2'(442)의 제어 버튼에 설정된 기능을 실행시킬 수 있다.
또 다른 예를 들어, 사용자가 '메뉴 2'(442)의 제어 버튼에 설정된 기능을 실행시키려는 경우, 사용자는 응시점을 중간 영역(420)에서 직접 '메뉴 2'(442)의 제어 버튼으로 이동할 수 있다. 이 때, 사용자가 '메뉴 2'(442)를 일정 시간 이상 응시하는 경우, 프로세싱 유닛(220)은 '메뉴 2'(4420)의 제어 버튼에 설정된 기능을 실행시킬 수 있다.
또 다른 예를 들어, 사용자가 '메뉴 2'(442)의 제어 버튼을 응시한 상태에서 고개를 끄덕이는 등의 사용자의 머리 움직임을 감지한 경우에, 메뉴2의 제어 버튼에 설정된 기능을 실행시킬 수 있다.
위의 예들에서 한계영역(410)의 제어 버튼에 대한 터치 다운 효과 외에 일부 컴퓨터에서와 같은 마우스 커서를 나타냄으로써 현재 응시점을 표현할 수도 있다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따른 콘텐츠를 스크롤시키는 과정을 설명하기 위한 도면이다.
도 5a는 중간 영역(510) 및 한계 영역(550)을 표시한 도면이다. 도 5a를 참조하면, 프로세싱 유닛(220)은 사용자의 응시점이 중간 영역(510)에서 한계 영역(550)으로 이동한 경우에 중간 영역(510)에 표시된 콘텐츠를 스크롤(520)시킬 수 있다. 예를 들어, 프로세싱 유닛(220)은 사용자의 응시점이 중간 영역(510)에서 좌측의 한계 영역(550)으로 이동한 경우에, 콘텐츠를 좌측으로 스크롤시킬 수 있으며, 사용자의 응시점이 중간 영역(510)에서 우측의 한계 영역(550)으로 이동한 경우에, 콘텐츠를 우측으로 스크롤시킬 수 있다. 이 때, 프로세싱 유닛(220)은 사용자의 응시점이 중간 영역(510)에서 멀어질수록 콘텐츠의 스크롤(520) 속도를 증가시킬 수 있으며, 콘텐츠의 스크롤(520)에 의해 콘텐츠의 끝에 다다르기 전에 콘텐츠의 스크롤(520) 속도를 감소시킬 수 있다. 이 때, 스크롤 중에 한계 영역(550) 또는 중간 영역(510)에 삼각형이나 화살표 등의 스크롤 효과를 추가적으로 표현할 수 있다. 또한, 속도에 따라 도형의 크기를 조절하거나 애니메이션 효과를 줄 수도 있다.
다른 예를 들어, 프로세싱 유닛(220)은 사용자의 응시점이 중간 영역(510)에서 한계 영역(550)으로 이동한 경우에, 콘텐츠의 재생 속도를 변화시킬 수 있다. 예를 들어, 프로세싱 유닛(220)은 사용자의 응시점이 중간 영역(510)에서 좌측의 한계 영역(550)으로 이동한 경우에, 콘텐츠의 재생 속도를 감속시킬 수 있으며, 사용자의 응시점이 중간 영역(510)에서 우측의 한계 영역(550)으로 이동한 경우에, 콘텐츠의 재생 속도를 가속시킬 수 있다.
또 다른 예를 들어, 프로세싱 유닛(220)은 사용자의 응시점이 중간 영역(510)에서 한계 영역(550)으로 이동한 경우에 콘텐츠의 재생 음량을 변화시킬 수 있다. 예를 들어, 프로세싱 유닛(220)은 사용자의 응시점이 중간 영역(510)에서 좌측의 한계 영역(550)으로 이동한 경우에, 콘텐츠의 재생 음량을 감소시킬 수 있으며, 사용자의 응시점이 중간 영역(510)에서 우측의 한계 영역(550)으로 이동한 경우에, 콘텐츠의 재생 음량을 증가시킬 수 있다.
도 5b는 콘텐츠의 재생 속도가 가속되는 과정을 설명하기 위한 도면이다. 도 5a 및 도 5b를 참조하면, HMD에 내장된 센서는 사용자의 머리 움직임을 센싱하고, 프로세싱 유닛(220)은 센싱된 머리 움직임에 기초하여 콘텐츠를 제어할 수 있다. 프로세싱 유닛(220)은 사용자의 응시점이 중간 영역(510)에서 한계 영역(550)으로 이동한 경우에 콘텐츠를 스크롤(520)시킬 수 있다. 이 때, 사용자의 응시점이 중간 영역(510)에서 멀어질수록 콘텐츠의 스크롤 속도를 가속(530)시킬 수 있다. 또는, 사용자의 머리 움직임이 응시점과 동일한 방향으로 움직이는 경우, 프로세싱 유닛(220)은 스크롤의 속도를 추가 가속(530)시킬 수 있다.
도 5c는 스크롤에 의해 콘텐츠의 끝에 이르렀음을 표시한 도면이다. 도 5c를 참조하면, 프로세싱 유닛(220)은 콘텐츠의 스크롤에 의해 콘텐츠의 끝에 다다를 경우, 중간 영역의 외부에, 예를 들어, 중간 영역과 접하는 외부 영역에 콘텐츠의 끝 부분임을 표시(540)하는 효과를 부여할 수 있다. 또는, 프로세싱 유닛(220)은 콘텐츠의 스크롤에 의해 콘텐츠의 끝에 다다를 경우, 중간 영역의 외부에, 예를 들어, 중간 영역과 접하는 외부 영역에 콘텐츠의 끝을 표시(미도시)하는 효과를 부여할 수 있다. 이 때, 프로세싱 유닛(220)은 콘텐츠의 끝을 표시(540)하기 위해 소정의 표시를 부여할 수 있으며, 스크롤되던 콘텐츠의 끝을 스크롤 이전 위치로 돌아오게 할 수도 있다. 또는, 프로세싱 유닛(220)은 콘텐츠의 끝을 움직이지 않게 할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 스크롤 기능과 제어 버튼을 혼합하여 사용하는 과정을 설명하기 위한 도면이다. 도 6을 참조하면, 프로세싱 유닛(220)은 사용자의 응시점으로부터 스크롤 기능과 제어 버튼을 혼합하여 사용함으로써, 콘텐츠를 제어할 수 있다. 예를 들어, 사용자가 스크롤 기능을 이용하여 e-book의 한 페이지를 읽고, 현재의 페이지로부터 다음 페이지로 이동하려 한다고 가정하자. 이 때, 사용자의 응시점이 중간 영역(610)에서 한계 영역(600)으로 이동하면, 프로세싱 유닛(220)은 e-book의 현재 페이지에 대하여 스크롤 기능을 수행할 수 있다. 또한, 사용자의 응시점이 제어 버튼(620)으로 이동하면, 프로세싱 유닛(220)은 해당 제어 버튼(620)에 터치 다운(Touch Down) 효과를 부여할 수 있다. 사용자의 응시점이 한계 영역(600)을 거쳐 다시 중간 영역(610)으로 돌아오게 되면, 프로세싱 유닛(220)은 제어 버튼(620)에 설정된 기능을 수행할 수 있다. 이 때, 제어 버튼(620)에 설정된 기능은 '페이지 넘김' 기능일 수 있다.
도 7a 내지 도 7b는 본 발명의 일 실시예에 따라 중간 영역에 메뉴 버튼을 표시한 도면이다. 프로세싱 유닛(220)은 중간 영역(710)에 메뉴 버튼(720 내지 740) 중 일부를 표시하고, 사용자의 추적된 응시점에 기초하여 메뉴 버튼(720 내지 740)에 설정된 기능을 실행시킬 수 있다.
도 7a는 중간 영역(710)에 부메뉴 버튼(730)이 표시된 도면이다. 도 7a를 참조하면, 사용자의 응시점이 중간 영역(710)에서 '메뉴 1'(721)로 이동한 경우, 프로세싱 유닛(220)은 '메뉴 1'(721)에 대응하는 '부메뉴 1'(731) 및 '부메뉴 2'(732)를 중간 영역(710)에 표시할 수 있다. 예를 들어, 사용자의 응시점이 중간 영역(710), '메뉴 1'(721), '부메뉴 1'(731), '부메뉴 2'(732), 중간 영역(710)의 순으로 이동한 경우, 프로세싱 유닛(220)은 사용자의 응시점이 중간 영역(710)으로 이동하기 직전의 메뉴인 '부메뉴 2'(732)의 선택을 인식하고, '부메뉴 2'(732)에 설정된 기능을 수행할 수 있다. 이 때, 사용자의 응시점이 중간 영역(710)에서 '부메뉴 1'(731)로 이동한 경우, 프로세싱 유닛(220)은 '부메뉴 1'(731)에 대해 터치 다운 효과를 부여할 수 있다. 또한, 사용자의 응시점이 '부메뉴 1'(731)에서 '부메뉴 2'(732)로 이동한 경우, 프로세싱 유닛(220)은 '부메뉴 1(731)에 대해 원상 복귀시키고, '부메뉴 2'(732)에 대해 터치 다운 효과를 부여할 수 있다. 또한, 사용자의 응시점이 '부메뉴 2'(732)에서 '메뉴 2'(722) 등으로 이동한 경우에는, '부메뉴 2'(732)의 표시를 없앨 수도 있다.
도 7b는 중간 영역(710)에 팝업 메뉴(740)가 표시된 도면이다. 도 7b를 참조하면, 프로세싱 유닛(220)은 중간 영역(710)에 팝업 메뉴(740)를 표시할 수 있다. 예를 들어, 사용자의 응시점이 중간 영역(710), 팝업 메뉴(740), '선택 1' 메뉴 버튼(741), '선택 2' 메뉴 버튼(742), 팝업 메뉴(740), 중간 영역(710)의 순으로 이동한 경우, 프로세싱 유닛(220)은 사용자의 응시점이 중간 영역(710)으로 이동하기 직전의 메뉴인 '선택 2' 메뉴 버튼(742)의 선택을 인식하고, '선택 2' 메뉴 버튼(742)에 설정된 기능을 수행할 수 있다. 또는, 사용자의 응시점이 '선택 2' 메뉴 버튼(742)에서 일정 시간 이상 정지해 있는 경우, 프로세싱 유닛(220)은 '선택 2' 메뉴 버튼(742)의 선택을 인식하고, '선택 2' 메뉴 버튼(742)에 설정된 기능을 수행할 수 있다. 또는, 사용자의 응시점이 '선택 2' 메뉴 버튼(742)에 위치한 동시에, 사용자의 머리 움직임을 감지한 경우, 프로세싱 유닛(220)은 '선택 2' 메뉴 버튼(742)의 선택을 인식하고, '선택 2' 메뉴 버튼(742)에 설정된 기능을 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 중간 영역에 입력 버튼을 표시한 도면이다. 도 8을 참조하면, 프로세싱 유닛(220)은 중간 영역(810)에 복수의 입력 버튼(821 내지 822)를 표시할 수 있다. 예를 들어, 사용자의 응시점이 중간 영역(810), 입력 버튼(820)의 순으로 이동한 경우, 프로세싱 유닛(220)은 사용자의 응시점으로부터 입력 버튼(820)의 선택을 인식하고, 입력 버튼(820)에 설정된 기능을 즉시 수행할 수 있다. 또는, 사용자의 응시점이 입력 버튼(820)에서 일정 시간 이상 정지해 있는 경우, 프로세싱 유닛(220)은 입력 버튼(820)에 설정된 기능에 대해 반복 입력 동작을 수행할 수 있다. 이러한 입력 버튼(820)은 게임 및 키 타이핑(key typing)과 같은 빠른 동작 수행이 필요한 경우에 이용될 수 있다.
도 9a 내지 도 9c는 본 발명의 다른 실시예에 따른 사용자 단말을 제어하는 과정을 설명하기 위한 도면이다. 도 9a을 참조하면, 사용자 단말(900)은 카메라(910) 및 전체 화면(920)을 포함할 수 있다. 사용자는 사용자 단말(900)의 전체 화면(920)을 전체 중간 영역으로 설정할 수 있다. 도 9b를 참조하면, 사용자는 사용자 단말(900)의 전체 화면(920)의 일부를 중간 영역(920)으로 설정하고, 전체 화면(920)의 나머지 부분을 한계 영역(930)으로 설정할 수도 있다. 카메라(910)는 사용자의 응시점을 인식할 수 있다. 이 때, 프로세싱 유닛(220)은 사용자의 응시점으로부터 중간 영역(920)의 상/하/좌/우 또는 한계 영역(930)에서 동작할 기능을 설정할 수 있다. 중간 영역(920) 또는 한계 영역(930)에서 동작할 기능은 예를 들어, 스크롤, 페이지 넘김, 이전 화면, 메뉴 선택 등을 포함할 수 있다. 도 9c를 참조하면, 중간 영역(920)의 하단에 메뉴 버튼이 설정된 도면이다. 이 때, 사용자의 응시점이 중간 영역(920), '메뉴 1'(941), '메뉴 2'(942), '메뉴 3'(943), 중간 영역(920)의 순으로 이동한 경우, 프로세싱 유닛(220)은 중간 영역(920)으로 이동하기 직전의 메뉴인 '메뉴 3'(943)의 메뉴 선택을 인식하고, '메뉴 3'(943)에 설정된 기능을 수행할 수 있다.
HMD는 컴퓨터 판독 가능 매체를 포함하며, 이러한 컴퓨터 판독가능 매체는 컴퓨팅 장치에 의해 실행될 때, 컴퓨팅 장치가 스크린의 중간 영역과 중간 영역의 외부에 존재하는 한계 영역을 설정하고, 사용자의 응시점을 추적하고, 중간 영역에 콘텐츠를 표시하고, 한계 영역에 제어 버튼을 표시하고, 추적된 응시점에 기초하여 제어 버튼에 설정된 기능에 따라 콘텐츠의 표시를 제어하도록 하는 명령어들의 시퀀스를 포함할 수 있다.
또한, HMD는 컴퓨팅 장치에 의해 실행될 때, 컴퓨팅 장치가 응시점이 중간 영역에서 제어 버튼으로 이동한 후, 다시 중간 영역으로 이동한 경우, 제어 버튼에 대한 선택 효과를 부여하도록 하는 명령어들의 시퀀스를 포함할 수 있다.
도 10a 내지 도 10b는 본 발명의 또 다른 실시예에 따른 사용자 단말(1000)을 제어하는 과정을 설명하기 위한 도면이다. 도 10a를 참조하면, 사용자 단말(1000)은 카메라(1010)를 포함할 수 있고, 전체 화면(1020) 내에 앱 윈도우(1030)가 디스플레이될 수 있다. 이러한 앱 윈도우(1030)에는 메뉴 선택 영역(1040)이 적용될 수 있다. 예를 들어, 사용자 단말(1000)이 멀티 윈도우(Multi-Window)를 제공하는 운영체제(OS)인 경우, 이러한 메뉴 선택 영역(1040)을 제공할 수 있다. 메뉴 선택 영역(1040)은 앱 윈도우(1030)에 오버레이(overlay)되어 표시될 수 있다. 메뉴 선택 영역(1040)은 앱 윈도우(1030)의 크기 보다 클 수 있으며, 또는 앱 윈도우(1030)와 동일한 크기일 수도 있다.
도 10b는 메뉴 선택 영역(1040)을 통해 메뉴(1060)를 선택하는 과정을 나타낸 도면이다. 도 10b를 참조하면, 프로세싱 유닛(220)은 메뉴 선택 영역(1040)에 복수의 메뉴(1061 내지 1062)를 표시할 수 있다. 복수의 메뉴(1061 내지 1062)는 미리 설정되어 있을 수 있으며, 메뉴 선택 영역(1040)에 오버레이(overlay)되어 표시될 수 있다. 예를 들어, 사용자의 응시점이 앱 윈도우(1030), '메뉴 1' 버튼(1061), 앱 윈도우(1030)의 순으로 이동한 경우, 프로세싱 유닛(220)은 사용자의 응시점이 앱 윈도우(1030)으로 이동하기 직전의 메뉴인 '메뉴 1' 버튼(1061)의 선택을 인식하고, '메뉴 1' 버튼(1061)에 설정된 기능을 수행할 수 있다. 이 때, 프로세싱 유닛(220)은 사용자의 응시점을 추적함으로써, 사용자의 변경된 응시점을 마우스 무브(mouse move)와 같이 마우스 커서의 이동으로 인식할 수 있다. 다른 예를 들어, 사용자의 응시점이 앱 윈도우(1030), '메뉴 1'(1061), '메뉴 2'(1062), 앱 윈도우(1030)의 순으로 이동한 경우, 프로세싱 유닛(220)은 사용자의 응시점이 앱 윈도우(1030)으로 이동하기 직전의 메뉴인 '메뉴 2' 버튼(1062)의 선택을 인식하고, '메뉴 2' 버튼(1062)에서 설정된 기능을 수행할 수 있다.
또한, 사용자가 메뉴 선택 영역(1040)을 응시한 후, 메뉴 선택 영역(1040)의 외부에 위치한 전체 화면(1020)을 응시하면, 선택된 메뉴가 취소될 수 있다.
도 11은 본 발명의 일 실시예에 따른 HMD 제어 방법을 나타낸 흐름도이다. 도 11에 도시된 실시예에 따른 사용자 단말(200)에 의해 수행되는 HMD 제어 방법은 도 1에 도시된 실시예에 따른 HMD 제어 시스템(1)에서 시계열적으로 처리되는 단계들을 포함한다. 따라서, 이하 생략된 내용이라고 하더라도 도 1에 도시된 실시예에 따른 HMD 제어 시스템(1)에 관하여 이미 기술된 내용은 도 11에 도시된 실시예에 따른 사용자 단말(200)에 의해 수행되는 HMD 제어 방법에도 적용된다. 이하에서는 사용자 단말(200)로서 HMD를 예를 들어 설명하겠다.
단계 S1110에서 HMD는 스크린의 중간 영역과 중간 영역의 외부에 존재하는 한계 영역을 설정한다. 이 때, 중간 영역은 한계 영역에 대해 미리 설정된 비율로 설정될 수 있다. 단계 S1120에서 HMD는 사용자의 응시점을 추적한다. 단계 S1130에서 HMD는 중간 영역에 콘텐츠를 표시하고, 한계 영역에 제어 버튼을 표시한다. 단계 S1140에서 HMD는 추적된 응시점에 기초하여 제어 버튼에 설정된 기능에 따라 콘텐츠의 표시를 제어한다.
도 11에는 도시되지 않았으나, 한계 영역을 설정하는 단계는 스크린에 수평 바를 표시하고 수평 바를 상하로 이동시키는 단계, 스크린에 수직 바를 표시하고 수직 바를 좌우로 이동시키는 단계, 수평 바 및 수직 바의 이동에 따라 사용자 입력을 수신하는 단계 및 사용자 입력에 기초하여 한계 영역을 설정하는 단계를 포함할 수 있다. 이 때, 한계 영역을 설정하는 단계는 스크린의 중심에 점을 표시하는 단계를 더 포함할 수 있다.
도 11에는 도시되지 않았으나, 콘텐츠의 표시를 제어하는 단계는 응시점이 중간 영역에서 제어 버튼으로 이동한 후, 다시 중간 영역으로 이동한 경우에, 제어 버튼에 대한 선택 효과를 부여하는 단계를 포함할 수 있다.
도 11에는 도시되지 않았으나, 콘텐츠의 표시를 제어하는 단계는 응시점이 제어 버튼으로 이동한 경우에, 제어 버튼에 대한 터치 다운(Touch Down) 효과를 부여하는 단계 및 응시점이 제어 버튼에서 중간 영역으로 이동한 경우에, 제어 버튼에 대한 터치 업(Touch Up) 효과를 부여하는 단계를 포함할 수 있다.
도 11에는 도시되지 않았으나, 콘텐츠의 표시를 제어하는 단계는 응시점이 중간 영역에서 한계 영역으로 이동한 경우에, 콘텐츠를 스크롤시키는 단계를 포함할 수 있다. 이 때, 콘텐츠를 스크롤시키는 단계는 콘텐츠의 스크롤에 의해 콘텐츠의 끝에 다다를 경우, 중간 영역의 외부에, 예를 들어, 중간 영역과 접하는 외부 영역에 콘텐츠의 끝을 표시하는 효과를 부여하는 단계를 포함할 수 있다. 또한, 콘텐츠를 스크롤시키는 단계는 응시점이 중간 영역에서 멀어질수록 콘텐츠의 스크롤 속도를 증가시키는 단계를 포함할 수 있다. 또한, 콘텐츠를 스크롤시키는 단계는 콘텐츠의 스크롤에 의해 콘텐츠의 끝에 다다르기 전에 콘텐츠의 스크롤 속도를 감소시키는 단계를 포함할 수 있다.
도 11에는 도시되지 않았으나, 콘텐츠의 표시를 제어하는 단계는 응시점이 중간 영역에서 한계 영역으로 이동한 경우에, 콘텐츠의 재생 속도를 변화시키는 단계를 포함할 수 있다.
도 11에는 도시되지 않았으나, 콘텐츠의 표시를 제어하는 단계는 응시점이 중간 영역에서 한계 영역으로 이동한 경우에, 콘텐츠의 재생 음량을 변화시키는 단계를 포함할 수 있다.
도 11에는 도시되지 않았으나, 사용자의 머리 움직임을 센싱하는 단계 및 센싱된 머리 움직임에 기초하여 콘텐츠를 제어하는 단계를 더 포함할 수 있다.
도 11에는 도시되지 않았으나, 중간 영역에 메뉴 버튼을 표시하는 단계 및 추적된 응시점에 기초하여 메뉴 버튼에 설정된 기능을 실행시키는 단계를 더 포함할 수 있다.
상술한 설명에서, 단계 S1110 내지 S1140은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 11을 통해 설명된 HMD 제어 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 서버
200: 사용자 단말
210: 메모리
220: 프로세싱 유닛

Claims (20)

  1. 헤드 마운트 디스플레이(HMD: Head Mounted Display)의 제어 방법에 있어서
    스크린의 중간 영역과 상기 중간 영역의 외부에 존재하는 한계 영역을 설정하는 단계;
    사용자의 응시점(gaze point)을 추적하는 단계;
    상기 중간 영역에 콘텐츠를 표시하고, 상기 한계 영역에 제어 버튼을 표시하는 단계; 및
    상기 추적된 응시점에 기초하여, 상기 제어 버튼에 설정된 기능에 따라 상기 콘텐츠의 표시를 제어하는 단계
    를 포함하는, HMD의 제어 방법.
  2. 제 1 항에 있어서,
    상기 콘텐츠의 표시를 제어하는 단계는
    상기 응시점이 상기 중간 영역에서 상기 제어 버튼으로 이동한 후, 다시 상기 중간 영역으로 이동한 경우에, 상기 제어 버튼에 대한 선택 효과를 부여하는 단계를 포함하는, HMD의 제어 방법.
  3. 제 1 항에 있어서,
    상기 콘텐츠의 표시를 제어하는 단계는
    상기 응시점이 상기 제어 버튼으로 이동한 경우에, 상기 제어 버튼에 대한 터치 다운 (Touch Down) 효과를 부여하는 단계; 및
    상기 응시점이 상기 제어 버튼에서 상기 중간 영역으로 이동한 경우에, 상기 제어 버튼에 대한 터치 업 (Touch Up) 효과를 부여하는 단계
    를 포함하는, HMD의 제어 방법.
  4. 제 1 항에 있어서,
    상기 콘텐츠의 표시를 제어하는 단계는
    상기 응시점이 상기 중간 영역에서 상기 한계 영역으로 이동한 경우에, 상기 콘텐츠를 스크롤시키는 단계
    를 포함하는, HMD의 제어 방법.
  5. 제 4 항에 있어서,
    상기 콘텐츠를 스크롤시키는 단계는
    상기 콘텐츠의 스크롤에 의해 상기 콘텐츠의 끝에 다다를 경우, 상기 중간 영역의 외부 영역에 상기 콘텐츠의 끝을 표시하는 효과를 부여하는 단계
    를 포함하는, HMD의 제어 방법.
  6. 제 4 항에 있어서,
    상기 콘텐츠를 스크롤시키는 단계는
    상기 응시점이 상기 중간 영역에서 멀어질수록 상기 콘텐츠의 스크롤 속도를 증가시키는 단계
    를 포함하는, HMD의 제어 방법.
  7. 제 4 항에 있어서,
    상기 콘텐츠를 스크롤시키는 단계는
    상기 콘텐츠의 스크롤에 의해 상기 콘텐츠의 끝에 다다르기 전에 상기 콘텐츠의 스크롤 속도를 감소시키는 단계
    를 포함하는, HMD의 제어 방법.
  8. 제 1 항에 있어서,
    상기 콘텐츠의 표시를 제어하는 단계는
    상기 응시점이 상기 중간 영역에서 상기 한계 영역으로 이동한 경우에, 상기 콘텐츠의 재생 속도를 변화시키는 단계
    를 포함하는, HMD의 제어 방법.
  9. 제 1 항에 있어서,
    상기 콘텐츠의 표시를 제어하는 단계는
    상기 응시점이 상기 중간 영역에서 상기 한계 영역으로 이동한 경우에, 상기 콘텐츠의 재생 음량을 변화시키는 단계
    를 포함하는, HMD의 제어 방법.
  10. 제 1 항에 있어서,
    상기 한계 영역을 설정하는 단계는
    상기 스크린에 수평 바를 표시하고 상기 수평 바를 상하로 이동시키는 단계;
    상기 스크린에 수직 바를 표시하고 상기 수직 바를 좌우로 이동시키는 단계;
    상기 수평 바 및 상기 수직 바의 이동에 따라 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 기초하여 상기 한계 영역을 설정하는 단계
    를 포함하는, HMD의 제어 방법.
  11. 제 10 항에 있어서,
    상기 한계 영역을 설정하는 단계는
    상기 스크린의 중심에 점을 표시하는 단계
    를 더 포함하는, HMD의 제어 방법.
  12. 제 1 항에 있어서,
    상기 중간 영역은 상기 한계 영역에 대해 미리 설정된 비율로 설정되는 것인, HMD의 제어 방법.
  13. 제 1 항에 있어서,
    상기 사용자의 머리 움직임을 센싱하는 단계; 및
    상기 센싱된 머리 움직임에 기초하여, 상기 콘텐츠를 제어하는 단계
    를 더 포함하는, HMD의 제어 방법.
  14. 제 1 항에 있어서,
    상기 중간 영역에 메뉴 버튼을 표시하는 단계; 및
    상기 추적된 응시점에 기초하여, 상기 메뉴 버튼에 설정된 기능을 실행시키는 단계
    를 더 포함하는, HMD의 제어 방법.
  15. 헤드 마운트 디스플레이(HMD: Head Mounted Display)를 제어하는 컴퓨팅 장치에 있어서,
    메모리, 및
    상기 메모리와 인터페이싱하도록 정렬된 프로세싱 유닛
    을 포함하고,
    상기 프로세싱 유닛은,
    스크린의 중간 영역과 상기 중간 영역의 외부에 존재하는 한계 영역을 설정하고,
    사용자의 응시점을 추적하고,
    상기 중간 영역에 콘텐츠를 표시하고, 상기 한계 영역에 제어 버튼을 표시하고,
    상기 추적된 응시점에 기초하여, 상기 제어 버튼에 설정된 기능에 따라 상기 콘텐츠의 표시를 제어하도록 구성되는, 컴퓨팅 장치.
  16. 제 15 항에 있어서,
    상기 프로세싱 유닛은,
    상기 응시점이 상기 중간 영역에서 상기 제어 버튼으로 이동한 후, 다시 상기 중간 영역으로 이동한 경우에, 상기 제어 버튼에 대한 선택 효과를 부여하도록 구성되는, 컴퓨팅 장치.
  17. 제 15 항에 있어서,
    상기 프로세싱 유닛은,
    상기 응시점이 상기 응시점이 상기 중간 영역에서 상기 한계 영역으로 이동한 경우에, 상기 콘텐츠의 재생 속도를 변화시키도록 구성되는, 컴퓨팅 장치.
  18. 제 15 항에 있어서,
    상기 프로세싱 유닛은,
    상기 스크린에 수평 바를 표시하고 상기 수평 바를 상하로 이동시키고,
    상기 스크린에 수직 바를 표시하고 상기 수직 바를 좌우로 이동시키고,
    상기 수평 바 및 상기 수직 바의 이동에 따라 사용자 입력을 수신하고,
    상기 사용자 입력에 기초하여 상기 한계 영역을 설정하도록 구성되는, 컴퓨팅 장치.
  19. 헤드 마운트 디스플레이(HMD: Head Mounted Display)를 제어하는 명령어들의 시퀀스를 포함하는 컴퓨터 판독가능 매체로서,
    컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치가,
    스크린의 중간 영역과 상기 중간 영역의 외부에 존재하는 한계 영역을 설정하고,
    사용자의 응시점을 추적하고,
    상기 중간 영역에 콘텐츠를 표시하고, 상기 한계 영역에 제어 버튼을 표시하고,
    상기 추적된 응시점에 기초하여, 상기 제어 버튼에 설정된 기능에 따라 상기 콘텐츠의 표시를 제어하도록 하는, 컴퓨터 판독가능 매체.
  20. 제 19 항에 있어서,
    상기 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치가 상기 응시점이 상기 중간 영역에서 상기 제어 버튼으로 이동한 후, 다시 상기 중간 영역으로 이동한 경우에, 상기 제어 버튼에 대한 선택 효과를 부여하도록 하는 명령어들의 시퀀스를 더 포함하는 컴퓨터 판독가능 매체.
KR1020130167461A 2013-12-30 2013-12-30 Hmd 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체 KR102122339B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130167461A KR102122339B1 (ko) 2013-12-30 2013-12-30 Hmd 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130167461A KR102122339B1 (ko) 2013-12-30 2013-12-30 Hmd 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체

Publications (2)

Publication Number Publication Date
KR20150078242A true KR20150078242A (ko) 2015-07-08
KR102122339B1 KR102122339B1 (ko) 2020-06-12

Family

ID=53790829

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130167461A KR102122339B1 (ko) 2013-12-30 2013-12-30 Hmd 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체

Country Status (1)

Country Link
KR (1) KR102122339B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091019A1 (en) * 2015-11-27 2017-06-01 Samsung Electronics Co., Ltd. Electronic device and method for displaying and generating panoramic image
KR20200012265A (ko) * 2018-07-26 2020-02-05 (주)소프트젠 Vr 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법
US10701337B2 (en) 2016-08-17 2020-06-30 Samsung Electronics Co., Ltd. Method for controlling multi-field of view image and electronic device for supporting the same
KR20200081773A (ko) 2018-12-28 2020-07-08 부산대학교 산학협력단 휴대가 용이한 경추 상태 측정기기
US11550446B2 (en) 2020-04-06 2023-01-10 Samsung Electronics Co., Ltd. Systems and methods for viewing webpages in extended reality environments

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH117369A (ja) * 1997-06-18 1999-01-12 Canon Inc ヘッドマウントディスプレイ装置
JP2001154637A (ja) * 1999-11-24 2001-06-08 Olympus Optical Co Ltd 頭部装着型表示装置
JP2004233909A (ja) * 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ
JP2008502990A (ja) * 2004-06-18 2008-01-31 トビイ テクノロジー アーベー 視線追跡に基づいてコンピュータ装置を制御するための装置、方法及びコンピュータプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH117369A (ja) * 1997-06-18 1999-01-12 Canon Inc ヘッドマウントディスプレイ装置
JP2001154637A (ja) * 1999-11-24 2001-06-08 Olympus Optical Co Ltd 頭部装着型表示装置
JP2004233909A (ja) * 2003-01-31 2004-08-19 Nikon Corp ヘッドマウントディスプレイ
JP2008502990A (ja) * 2004-06-18 2008-01-31 トビイ テクノロジー アーベー 視線追跡に基づいてコンピュータ装置を制御するための装置、方法及びコンピュータプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017091019A1 (en) * 2015-11-27 2017-06-01 Samsung Electronics Co., Ltd. Electronic device and method for displaying and generating panoramic image
US10685465B2 (en) 2015-11-27 2020-06-16 Samsung Electronics Co., Ltd. Electronic device and method for displaying and generating panoramic image
US11670022B2 (en) 2015-11-27 2023-06-06 Samsung Electronics Co., Ltd. Electronic device and method for displaying and generating panoramic image
US10701337B2 (en) 2016-08-17 2020-06-30 Samsung Electronics Co., Ltd. Method for controlling multi-field of view image and electronic device for supporting the same
KR20200012265A (ko) * 2018-07-26 2020-02-05 (주)소프트젠 Vr 영상을 이용한 다중 사용자 시청각 교육 시스템 및 교육 방법
KR20200081773A (ko) 2018-12-28 2020-07-08 부산대학교 산학협력단 휴대가 용이한 경추 상태 측정기기
US11550446B2 (en) 2020-04-06 2023-01-10 Samsung Electronics Co., Ltd. Systems and methods for viewing webpages in extended reality environments

Also Published As

Publication number Publication date
KR102122339B1 (ko) 2020-06-12

Similar Documents

Publication Publication Date Title
US10401964B2 (en) Mobile terminal and method for controlling haptic feedback
US10331313B2 (en) Method and apparatus for text selection
US9898180B2 (en) Flexible touch-based scrolling
US8543934B1 (en) Method and apparatus for text selection
US10025487B2 (en) Method and apparatus for text selection
KR101919009B1 (ko) 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
EP2660697B1 (en) Method and apparatus for text selection
US20160117092A1 (en) Method and device for displaying image by using scroll bar
US10521101B2 (en) Scroll mode for touch/pointing control
KR102122339B1 (ko) Hmd 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체
WO2013164013A1 (en) Method and apparatus for text selection
US20100333016A1 (en) Scrollbar
KR20170066916A (ko) 전자 장치 및 그의 제어 방법
KR20160078160A (ko) 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
US9665232B2 (en) Information-processing device, storage medium, information-processing method, and information-processing system for enlarging or reducing an image displayed on a display device
EP3203360B1 (en) Display device, display control method, and non-transitory computer readable medium storing display control program
EP2746918B1 (en) Fragmented scrolling of a page
CN112534390A (zh) 用于提供虚拟输入工具的电子装置及其方法
US20220091736A1 (en) Method and apparatus for displaying page, graphical user interface, and mobile terminal
WO2013164012A1 (en) Method and apparatus for text selection
JP2022150657A (ja) 制御装置、表示システム、および、プログラム
CA2821784C (en) Method and apparatus for text selection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant