KR20160033376A - 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램 - Google Patents

시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
KR20160033376A
KR20160033376A KR1020140124038A KR20140124038A KR20160033376A KR 20160033376 A KR20160033376 A KR 20160033376A KR 1020140124038 A KR1020140124038 A KR 1020140124038A KR 20140124038 A KR20140124038 A KR 20140124038A KR 20160033376 A KR20160033376 A KR 20160033376A
Authority
KR
South Korea
Prior art keywords
user
image
head
sight
mounted display
Prior art date
Application number
KR1020140124038A
Other languages
English (en)
Inventor
김성우
최광진
Original Assignee
(주)에프엑스기어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에프엑스기어 filed Critical (주)에프엑스기어
Priority to KR1020140124038A priority Critical patent/KR20160033376A/ko
Priority to JP2017515162A priority patent/JP2017537368A/ja
Priority to PCT/KR2015/009763 priority patent/WO2016043537A1/ko
Priority to CN201580053843.0A priority patent/CN106796351B/zh
Priority to US15/511,608 priority patent/US10261581B2/en
Publication of KR20160033376A publication Critical patent/KR20160033376A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

헤드 마운트형 디스플레이 장치(Head-Mounted Display; HMD)는, 상기 HMD를 착용한 사용자의 움직임을 측정하도록 구성된 센서부; 이미지를 표시하도록 구성된 표시부; 및 상기 센서부의 측정값으로부터 사용자의 시선 방향을 산출하고, 사용자의 시선 방향이 미리 설정된 조건을 만족하는 경우 사용자의 시선을 입력 신호로 이용하여 상기 이미지의 시점 외 다른 요소를 제어하도록 구성된 제어부를 포함할 수 있다. 상기 HMD는, 사용자의 시선 방향이 미리 설정된 조건을 만족하는 경우 사용자의 시선을 입력 신호로 이용하여 HMD에 표시되는 이미지를 제어함으로써 별도의 컨트롤러 없이 이벤트(event) 처리 등을 수행할 수 있다.

Description

시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램{HEAD-MOUNTED DISPLAY CONTROLLED BY LINE OF SIGHT, METHOD FOR CONTROLLING THE SAME AND COMPUTER PROGRAM FOR CONTROLLING THE SAME}
실시예들은 헤드 마운트형 디스플레이 장치(Head-Mounted Display; HMD)와 이의 제어를 위한 방법 및 컴퓨터 프로그램에 대한 것으로, 보다 상세하게는 별도의 컨트롤러 없이 사용자의 시선에 의해 제어 가능하도록 구성된 HMD 및 이의 제어 기술에 대한 것이다.
헤드 마운트형 디스플레이 장치(Head-Mounted Display; HMD)는 머리에 착용하는 형태의 휴대 디스플레이 장치로서, 표시 장치를 고글이나 헬맷과 같은 형태로 머리에 장착함으로써 눈앞의 지근 거리에 화상의 초점이 맺히게 하도록 구성된 장비이다. HMD를 착용한 사용자는 시계 전체가 화상으로 덮이게 되어 가상현실과 같은 느낌을 받을 수 있어, 군사용, 의료용 및 개인용 등 다양한 분야에 응용되고 있다.
일 예로, 일본 공개특허공보 제1999-161190는 사용자의 머리 부분의 움직임을 검출하고 검출된 결과를 통하여 표시 소자에 표시되는 정보를 제어하는 기술을 개시한다. 그러나, 이러한 종래의 HMD에서 사용자의 움직임은 표시 소자에 표시되는 시점의 전환에만 사용되며, 표시되는 정보에 대한 이벤트(event) 처리 등 제어를 위해서는 별도의 컨트롤러, 예컨대, 터치 패드, 게임 패드 등을 필요로 하는 단점이 있다.
일본 공개특허공보 제1999-161190호　
본 발명의 일 측면에 따르면, 별도의 컨트롤러 없이 사용자의 시선에 의해 헤드 마운트형 디스플레이 장치(Head-Mounted Display; HMD)에 표시되는 이미지를 제어할 수 있도록 구성된 HMD 및 이의 제어 방법과, 이를 위한 컴퓨터 프로그램을 제공할 수 있다.
일 실시예에 따른 헤드 마운트형 디스플레이 장치(Head-Mounted Display; HMD)는, 상기 HMD를 착용한 사용자의 움직임을 측정하도록 구성된 센서부; 이미지를 표시하도록 구성된 표시부; 및 상기 센서부의 측정값으로부터 사용자의 시선 방향을 산출하고, 사용자의 시선 방향이 미리 설정된 조건을 만족하는 경우 사용자의 시선을 입력 신호로 이용하여 상기 이미지의 시점 외 다른 요소를 제어하도록 구성된 제어부를 포함한다.
상기 제어부는, 사용자의 시선 방향이 미리 설정된 시간 동안 일정하게 유지되는 것에 대한 응답으로 사용자의 시선을 상기 입력 신호로 이용하도록 구성될 수 있다.
또한, 상기 제어부는, 사용자의 시선 방향이 미리 설정된 방향과 일치하는 것에 대한 응답으로 사용자의 시선을 상기 입력 신호로 이용하도록 구성될 수도 있다.
상기 제어부는, 사용자의 시선을 상기 입력 신호로 이용하여 상기 표시부에 표시되는 이미지의 종류, 출력 부분, 출력 형태, 및 재생 속도 중 하나 이상을 변화시키도록 구성될 수 있다.
상기 제어부는, 사용자의 시선 방향에 따라 상기 표시부에 표시되는 이미지의 시점이 변화하는 제1 모드 및 사용자의 시선을 상기 입력 신호로 이용하여 상기 이미지의 시점 외 다른 요소가 제어되는 제2 모드 사이를 전환하며 동작하도록 상기 표시부를 제어하도록 더 구성될 수도 있다.
일 실시예에 따른 HMD의 제어 방법은, 상기 HMD에 이미지를 표시하는 단계; 상기 HMD를 착용한 사용자의 시선 방향을 산출하는 단계; 및 사용자의 시선 방향이 미리 설정된 조건을 만족하는 경우, 사용자의 시선을 입력 신호로 이용하여 상기 HMD에 표시되는 이미지의 시점 외 다른 요소를 제어하는 단계를 포함한다.
상기 이미지의 시점 외 다른 요소를 제어하는 단계는, 사용자의 시선 방향이 미리 설정된 시간 동안 일정하게 유지되는 것에 대한 응답으로 사용자의 시선을 상기 입력 신호로 결정하는 단계를 포함할 수 있다.
또한, 상기 이미지의 시점 외 다른 요소를 제어하는 단계는, 사용자의 시선 방향이 미리 설정된 방향과 일치하는 것에 대한 응답으로 사용자의 시선을 상기 입력 신호로 결정하는 단계를 포함할 수도 있다.
상기 이미지의 시점 외 다른 요소를 제어하는 단계는, 사용자의 시선을 상기 입력 신호로 이용하여 상기 HMD에 표시되는 이미지의 종류, 출력 부분, 출력 형태, 및 재생 속도 중 하나 이상을 변화시키는 단계를 포함할 수 있다.
상기 이미지의 시점 외 다른 요소를 제어하는 단계는, 사용자의 시선 방향에 따라 상기 하드 마운트형 디스플레이 장치에 표시되는 이미지의 시점이 변화하는 제1 모드 및 사용자의 시선을 상기 입력 신호로 이용하여 상기 이미지의 시점 외 다른 요소가 제어되는 제2 모드 사이를 전환하며 동작하도록 상기 HMD를 제어하는 단계를 포함할 수도 있다.
일 실시예에 따른 컴퓨터 프로그램은, HMD와 결합되어 상기 HMD의 제어 방법을 수행하도록 매체에 기록된 것일 수 있다.
본 발명의 일 측면에 따른 헤드 마운트형 디스플레이 장치(Head-Mounted Display; HMD) 및 이의 제어 방법을 이용하면, 사용자의 시선 방향이 미리 설정된 조건을 만족하는 경우 이를 입력 신호로 이용하여 HMD에 표시되는 이미지를 제어함으로써 별도의 컨트롤러 없이 이벤트(event) 처리 등이 가능한 이점이 있다.
도 1은 일 실시예에 따른 헤드 마운트형 디스플레이 장치(Head-Mounted Display; HMD)의 블록도이다.
도 2는 일 실시예에 따른 HMD의 표시 형태를 나타낸 개략도이다.
도 3a 및 3b는 일 실시예에 따른 HMD에서 시선을 이용한 이미지 제어 형태를 나타내는 개략도이다.
도 4는 일 실시예에 따른 HMD 에서 시선을 이용한 이미지 제어 형태를 나타내는 다른 개략도이다.
도 5는 일 실시예에 따른 HMD에서 시선을 이용한 이미지 제어 형태를 나타내는 또 다른 개략도이다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은 일 실시예에 따른 헤드 마운트형 디스플레이 장치(Head Mounted Display; HMD)의 블록도이다.
도 1을 참조하면, 본 실시예에 따른 HMD는 센서부(10), 표시부(20) 및 제어부(30)를 포함한다. 일 실시예에서, HMD는 통신부(40) 및/또는 저장부(50)를 더 포함할 수도 있다. 본 실시예에 따른 HMD는 사용자가 머리 부분에 HMD를 착용 가능하도록 구성되며, 필요에 따라 하나 또는 복수의 고정 수단(미도시)을 포함할 수 있다. 예를 들어, 실시예들에 따른 HMD는 고글(goggle) 또는 헬맷과 같은 형태로 구현될 수 있으나, 이에 한정되는 것은 아니다.
실시예들에 따른 HMD는, 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 명세서에서 HMD를 구성하는 각각의 "부(unit)"는 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 또한, 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 실시예들에 따른 HMD를 구성하는 각각의 부는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 도 1에서 센서부(10), 표시부(20) 및 제어부(30) 등은 서로 구분되는 별개의 블록으로 도시되나, 실시예에 따라서는 센서부(10), 표시부(20) 및 제어부(30) 중 일부 또는 전부가 하나의 소자로 집적화될 수도 있다. 예컨대, 마이크로프로세서(microprocessor)와 같은 처리 수단, 가속도 센서 및 터치스크린을 갖춘 스마트폰(smartphone)이 전술한 센서부(10), 표시부(20) 및 제어부(30) 중 하나 이상에 해당될 수 있으며, 이러한 스마트폰이 머리에 장착 가능한 다른 부재(미도시)와 결합되어 실시예들에 따른 HMD를 구성할 수도 있다. 즉, 본 명세서에 기재된 HMD는 다른 부재를 통해 헤드 마운트용으로 사용 가능한 스마트폰일 수도 있다.
센서부(10)는 HMD를 착용한 사용자의 머리 움직임을 측정하기 위한 부분이다. 이를 위하여, 센서부(10)는 사용자의 움직임에 대한 센서 측정값을 얻을 수 있는 하나 또는 복수의 종류의 센서를 포함할 수 있다. 예를 들어, 센서부(10)는 가속도계(accelerometer), 자기력계(magnetometer) 및/또는 자이로스코프(gyroscope)로 이루어질 수 있으나, 이에 한정되는 것은 아니다. 센서부(10)에 의해 얻어진 측정값은 사용자 시점에 따라 표시되는 이미지에 대응되는 시점을 변화시키는데 사용되는 한편, 측정값이 소정의 조건을 만족할 경우에는 이미지의 시점 외 다른 요소를 제어하기 위한 입력 신호로 사용될 수 있다. 이에 대해서는 상세히 후술한다.
표시부(20)는 사용자의 눈 부근에 위치하여 이미지를 표시하기 위한 부분이다. 표시부(20)는 액정표시장치(Liquid Crystal Display; LCD) 또는 다른 적절한 화상 표시 소자를 포함할 수 있다. 또한, 표시부(20)는 화상 표시 소자에 의해 표시되는 이미지의 초점이 사용자의 눈 또는 그 부근에 맺히게 하기 위한 볼록 렌즈 등 하나 이상의 광학 소자를 더 포함할 수도 있다. 본 명세서에서 표시부(20)에 표시되는 이미지는, 사진과 같은 단일 이미지 또는 영상과 같은 일련의 연속된 이미지를 모두 포함하는 것으로 의도된다. 예컨대, 영상 및/또는 음성을 포함하는 동영상 등 컨텐츠(contents)도 본 명세서에 기재된 이미지에 포함될 수 있다.
일 실시예에서, HMD는 통신부(40)를 더 포함하며, 표시부(20)에 표시되는 이미지는 통신부(40)에 의해 네트워크를 통해 원격 서버(미도시)로부터 수신되는 것일 수 있다. 예컨대, 통신부(40)는 스트리밍(streaming) 방식으로 이미지를 수신할 수도 있다. 또한, HMD는 통신부(40)를 통해 원격 서버에 데이터를 전송할 수도 있다. 다른 실시예에서, 표시부(20)에 표시되는 이미지는 저장부(50)에 미리 저장된 것일 수도 있다. 저장부(50)는 표시부(20)에 표시될 이미지 또는 다른 추가적인 데이터를 저장할 수 있는 저장소를 포함한다.
제어부(30)는, 센서부(10) 및 표시부(20)에 통신 가능하게 연결되어, 센서부(10)에 의해 얻어진 측정값에 기초하여 표시부(20)에 표시되는 이미지를 제어한다. 먼저, 제어부(30)는 센서부(10)에 의해 측정된 사용자의 움직임에 따라 표시부(20)에 표시되는 이미지에 대응되는 시점을 변화시킬 수 있다. 이는 광시야각 이미지의 일부를 출력하면서 HMD를 착용한 사용자의 머리가 움직이는 것에 대응하여 이미지의 표시되는 부분을 이동시킴으로써 사용자가 현실감을 느낄 수 있게 하는 것으로, 종래의 HMD에 사용되는 것과 동일한 표시 형태이다. 예컨대, 사용자가 고개를 오른쪽으로 돌릴 경우, 표시부(20)에 표시되는 이미지 전체를 이에 대응하여 좌측으로 이동시킴으로써, 사용자로 하여금 이미지로 표시된 가상 공간에서 고개를 돌려 오른편을 바라본 것과 같이 느끼도록 하는 것이다.
한편, 종래 기술과 달리, 제어부(30)는 센서부(10)의 측정값으로부터 사용자의 시선 방향을 산출하고, 사용자의 시선 방향이 미리 설정된 조건을 만족할 경우 사용자의 시선을 입력 신호로 이용하여 이미지의 시점 외 다른 요소를 제어하도록 더 구성된다. 본 명세서에서, "시점 외 다른 요소"란 이미지에 연관하여 처리될 수 있는 다양한 이벤트(event)를 의미하는 것으로서, 이미지의 종류, 출력 부분, 출력 형태, 재생 속도 등의 변화를 지칭할 수 있다. 예컨대, 표시될 이미지의 선택, 이미지의 재생 개시 및 중단, 이미지가 시계열적인 동영상일 경우 앞으로 넘김(fast forward), 뒤로 넘김(rewind), 재생 속도의 증가 및 감소, 출력 볼륨의 증가 및 감소, 전체 화면(full screen) 모드와 같은 표시 형태의 전환, 이미지상에 표시되는 메뉴, 버튼(button) 또는 아이콘(icon) 등 사용자 인터페이스(user interface)의 조작이 모두 시점 외 다른 요소의 제어에 해당될 수 있으며, 이에 한정되지 않는다. 이미지가 게임, 가상현실(Virtual Reality; VR) 또는 증강현실(Augmented Reality; AR) 애플리케이션의 일부인 경우에는, 이러한 애플리케이션과의 상호작용이 사용자의 움직임을 통해 이루어질 수도 있다.
본 명세서에 기재된 "시점 외 다른 요소"는 HMD에서 본질적으로 사용자 움직임에 따라 표시되는 이미지에 대응되는 시점도 변화되는 것과의 구분을 위한 상대적인 의미로 기술된 것으로, 사용자의 시선을 입력 신호로 하여 제어되는 요소가 실질적으로 시점과 무관한 것임을 의미하는 것이 아니다. 제어부(30)는 통상의 HMD와 마찬가지로 사용자 움직임에 따라 이미지에 대응되는 시점이 변화하도록 표시부(20)에 표시되는 이미지를 제어하되, 사용자의 시선 방향이 특정 조건을 만족하게 되면 사용자 움직임을 시점 변화에 사용하지 않고 사용자의 시선을 입력 신호로 하여 이미지의 다른 임의의 요소를 제어하도록 구성된다. 그 결과, HMD의 사용자는 별도의 컨트롤러가 없더라도 HMD를 착용한 상태에서 자신의 시선만으로 이미지와 상호작용할 수 있다.
일 실시예에서, 제어부(30)는 표시부(20)가 제1 모드 및 제2 모드를 포함하는 복수의 표시 모드 사이를 전환하면서 동작하도록 표시부(20)를 제어한다. 제1 모드는 종래의 HMD와 마찬가지로 사용자의 움직임에 따라 표시부(20)에 표시되는 이미지에 대응되는 시점이 변화하는 표시 형태이며, 제2 모드는 사용자의 시선이 입력 신호가 되어 표시부(20)에 표시되는 이미지의 시점 외 다른 요소가 제어되는 표시 형태이다. 제1 모드 및 제2 모드 사이의 전환은, 사용자의 시선 방향이 특정 조건을 만족시키는 것에 대한 응답으로 이루어질 수도 있으며, 또는 표시부(20)에 표시되는 이미지의 종료나 전환 등 사전에 정의된 맥락(context)이 발생하는 것에 대한 응답으로 이루어질 수도 있다. 시선 방향이 만족시켜야 할 조건은, 사용자의 시선 방향이 일정하게 유지되는 것, 시선 방향이 특정 방향 또는 위치를 향하는 것, 또는 이들의 조합 등일 수 있다. 그러나 이에 한정되는 것은 아니며, 시선 방향이 만족시켜야 할 조건은 본 명세서에 기재되지 않은 다른 상이한 형태로 결정될 수도 있다.
일 실시예에서, 제어부(30)는 시선 방향 산출부(32)를 포함한다. 시선 방향 산출부(32)는 센서부(10)의 측정값을 이용하여 표시부(20)에 표시되는 이미지상에서 사용자의 시선의 중심이 놓여지는 위치를 산출하도록 구성된다. 표시부(20)에 표시되는 이미지는 사용자의 움직임에 따라 시점이 변화되도록 이동되므로, 사용자의 시선은 항상 사용자가 보는 화면의 중앙에 위치할 것이다. 그러나, 이미지 내에서 사용자의 시선이 위치하는 좌표의 절대값은 시선이 향하는 방향에 따라 달라질 것이며, 이를 본 명세서에서는 시선 방향 정보라고 지칭한다. 시선 방향 산출부(32)는 센서부(10)에 의해 측정된 센서값들을 이용하여 사용자의 시선 이동을 산출함으로써 시선 방향 정보를 얻을 수 있다.
본 실시예에서, 제어부(33)는 시선 방향 산출부(32)에 의해 산출된 시선 방향이 미리 설정된 조건을 만족할 경우 사용자의 시선을 입력 신호로 이용하여 표시부(20)에 표시되는 이미지를 제어한다. 여기서 미리 설정된 조건이란 예컨대 시선 방향이 일정하게 유지되는 것이나 시선 방향이 특정 방향을 향하는 것 등을 의미할 수 있으며, 도 2 내지 도 5를 참조하여 상세히 후술한다.
일 실시예에서, 제어부(30)는 표시 모드 결정부(33)를 더 포함한다. 표시 모드 결정부(33)는 시선 방향 산출부(32)에 의해 산출된 시선 방향이 특정 조건을 만족하는 것에 응답하여, 표시부(20)의 표시 모드를 제1 모드 및 제2 모드 사이에서 전환시킬 수 있다. 이때, 제2 모드는 시선 방향에 의하여 모드 전환이 이루어짐과 동시에 시선에 의해 이미지의 제어가 이루어지는 동안만 지속될 수도 있으며, 또는 제2 모드로의 전환이 이루어진 후 다시 소정의 조건에 의하여 제1 모드로의 전환이 이루어지기 전까지 계속하여 지속될 수도 있다. 제2 모드가 지속되는 경우, 제2 모드로의 전환이 이루어진 후 사용자의 시선은 시점 전환이 아닌 다른 요소의 제어에 입력 신호로 사용된다.
이하에서는, 도 2 내지 도 5를 참조하여 시선을 이용한 HMD의 이미지 제어 과정을 예시적으로 설명한다. 그러나, 이는 사용자의 시선에 의하여 시점 외 요소를 제어하는 과정의 일 구현예를 상세히 설명한 것일 뿐, 실시예들에 의하여 이루어질 수 있는 이미지의 제어 형태를 한정하는 것으로 의도되지 않는다. 즉, 이하에 기술하는 것과 상이한 다양한 방식으로 이미지의 시점 외 요소의 제어가 이루어질 수도 있으며, 이는 본 발명의 범위에 포함된다.
도 2는 일 실시예에 따른 HMD의 표시 형태를 나타낸 개략도이다. 도 2는 HMD에 표시되는 이미지에서 시청하고자 하는 컨텐츠 자체를 제외한 화면상의 객체(object)들을 나타낸 것이다. HMD에 표시되기 위한 이미지의 원본은 사용자 시선에 따라 표시 부분을 옮길 수 있도록 구(sphere) 형태를 가질 수 있으나, 설명의 편의를 위하여 전체 이미지 중 사용자의 시야에 들어오는 부분만을 직사각형 형태로 도식화하였다.
도 2를 참조하면, 화면상에는 재생중인 컨텐츠의 제목이 표시되는 영역(201), 관련된 소셜 네트워크 서비스(Social Network Service; SNS) 메타데이터가 표시되는 영역(202), 시간이 표시되는 영역(203), 타임라인 바(timeline bar)(207) 및 재생 시간 표시 영역(208) 등이 표시될 수 있다. 또한, 화면상에는 하나 이상의 제어 아이콘(204, 205, 206)이 표시될 수 있다. 전술한 각 객체들(201-208)은 표시부에 표시되는 이미지의 특정 좌표에 매핑되어, 사용자는 자신이 보고 있는 가상 공간 내에서 특정 지점에 객체들(201-208)이 존재하고 있는 것과 같이 느끼게 된다.
화면상에는 사용자의 시선 방향을 나타내는 커서(200)가 표시될 수도 있다. HMD의 사용자가 보는 화면은 사용자의 시선 방향에 따라 시점이 변화되도록 이동된다. 예컨대, 사용자가 고개를 오른쪽으로 돌리면 이미지 전체가 이에 대응하여 좌측으로 이동되는 것이다. 따라서, 커서(200)는 사용자가 보는 화면에서 항상 중앙에 위치하게 된다. 그러나, 객체들(201-208)은 가상 공간내의 특정 좌표에 매핑되어 있으므로, 사용자는 HMD상에 표시되는 화면을 보는 상태에서 시선을 이용하여 객체들(201-208) 중 하나 이상에 커서(200)를 위치시켜 객체들(201-208)을 조작할 수 있고, 이러한 조작이 본 명세서에 기재된 "시점 외 다른 요소"의 제어에 해당된다.
이하의 본 명세서에서 설명의 편의를 위해 단순히 커서(200)의 이동이라고 설명되는 것은, 사용자가 시선 방향을 바꿈에 따라 화면에 표시되는 이미지 전체가 시선 방향의 변화에 대응하여 이동되고, 그 결과 사용자가 보는 화면 중앙의 커서(200)가 이미지 내의 특정 좌표에 머무르게 되는 것을 의미하는 것으로 의도된다.
일 구현예에서는, 사용자가 화면을 응시하는 것에 대한 응답으로, 전술한 객체들(201-208)이 화면상에 표시되지 않을 수 있다. 즉, 사용자의 시선이 일정하게 유지되는 것에 응답하여 전체 화면 모드로의 전환이 일어나는 것이다. 사용자의 시선이 일정하게 유지되는지 여부는, 미리 설정된 시간 동안 시선 방향이 미리 설정된 문턱값 이하로 변화하는지에 의해 결정될 수 있다. 예를 들어, 사용자의 시선 방향의 중심점이 마지막으로 움직임을 멈춘 지점에서 시선 방향의 편차 15°이내에 3초 이상 머무를 경우, 시선 방향이 일정하게 유지된 것으로 결정할 수 있다. 이후, 사용자의 시선 방향의 중심점이 15°밖으로 움직여 나갈 경우, 전체 화면 모드를 종료하고 다시 객체들(201-208)을 화면상에 표시할 수 있다. 시선 방향이 일정한지 여부를 결정하기 위한 전술한 기준은 단지 예시적인 것으로서, 다른 실시예에서는 이와 상이한 기준을 이용할 수도 있다.
일 구현예에서는, 사용자가 객체들(201-208)을 응시하는 것에 의하여 객체들(201-208)과의 상호작용이 이루어지도록 구성될 수도 있다. 예를 들어, 사용자는 아이콘들(205, 206, 206) 중 어느 하나를 일정 시간 동안 응시함으로써 해당 아이콘에 부여된 기능을 동작시킬 수 있다. 아이콘들(204, 205, 206)에 의해 수행 가능한 기능은 뒤로 가기, 다음 컨텐츠 재생, 메뉴 불러오기, 이미지 확대, 이미지 축소 등을 포함할 수 있으나, 이에 한정되지 않는다. 사용자가 객체들(201-208)을 응시하였는지 여부를 결정하는 것은, 전체 화면 모드와 관련하여 전술한 것과 동일한 방식으로 이루어질 수 있다. 이하에서는, 객체들(201-208) 과의 상호작용의 일 예로서 시선을 이용한 타임라인 바(207)의 조작에 대해 설명한다.
도 3a 및 3b는 일 실시예에 따른 HMD에서 시선을 이용한 이미지 제어 형태를 나타내는 개략도이다.
도 2, 도 3a 및 도 3b를 참조하면, 사용자의 시선 방향이 타임라인 바(207)로부터 일정 범위 내로 근접하는 것에 응답하여, 컨텐츠의 재생이 중단되고, 테두리가 두꺼워진 타임라인 바(307)가 표시된다. 사용자의 시선 방향에 대응되는 커서(200)가 타임라인 바(307)의 가장 인접한 위치로 이동된다. 또한, 재생 시간 표시 영역(308)이 커서(200) 아래로 이동되어 커서(200) 위치에서의 재생 시간을 나타내며, 타임라인 바(307)의 바로 위에는 커서(200)가 위치한 부분에서의 컨텐츠 썸네일(thumbnail)(301)이 표시된다. 이 상태에서 사용자는 시선을 이동시킴으로써 커서(200)를 도 3b에 도시된 것과 같이 이동시킬 수 있고, 이때 재생 시간 표시 영역(308)도 커서(200)와 함께 이동하며 컨텐츠 썸네일도 커서(200) 위치에 대응되는 부분의 썸네일(302)로 변화된다.
사용자가 목적한 시간 이동이 완료된 후 사용자가 시선에 의해 커서(200)를 다시 타임라인 바(307)로부터 떨어뜨리면, 타임라인 바(307)는 다시 도 2에 도시된 것과 같은 타임라인 바(207)로 되돌아가고 컨텐츠의 재생이 개시된다.
도 4는 일 실시예에 따른 HMD 에서 시선을 이용한 이미지 제어 형태를 나타내는 다른 개략도이다.
도 4에 도시된 화면은 컨텐츠의 재생 중이 아니라 복수의 컨텐츠를 썸네일 형태로 나타내는 화면으로서, 특정 컨텐츠의 재생이 종료되는 것이나 또는 사용자가 아이콘들(204, 205, 206)을 조작하는 것에 대한 응답으로 도 4와 같은 화면이 표시될 수 있다. 도 4의 화면에서 재생 중에 표시된 객체들(201-206)은 상대적으로 어둡게 표시되고, 객체들(401-404)이 상대적으로 밝게 표시되어 사용자의 선택을 유도할 수 있다. 사용자는 시선에 의해 커서(200)를 이동시킴으로써 아이콘(401)을 응시하여 다시 한번 컨텐츠를 재생하거나, 또는 아이콘(402)을 응시하여 "좋아요(Like)" 등 컨텐츠에 대한 SNS 피드백을 전송할 수 있다. 또는, 사용자는 썸네일(403) 및 키워드(404)의 형태로 표시된 다른 컨텐츠를 응시함으로써 다음으로 재생할 컨텐츠를 선택할 수도 있다.
도 5는 일 실시예에 따른 HMD에서 시선을 이용한 이미지 제어 형태를 나타내는 또 다른 개략도이다.
도 5의 화면은 HMD에서 사용 가능한 전체 컨텐츠 또는 사용자가 특정 키워드에 의해 검색한 컨텐츠 중 재생할 컨텐츠를 선택하기 위한 화면일 수 있다. 화면상에는 복수의 컨텐츠(503) 및 대응 키워드(504)가 표시되는 동시에, 스크롤 바(scroll bar)(507) 및 컨텐츠 개수 표시 영역(508)이 표시되어 전체 컨텐츠의 양을 나타낸다. 또한, 화면상에는 하나 이상의 기능 아이콘(501) 및 대응되는 키워드(502)가 표시된다. 사용자는 기능 아이콘(501)을 응시함으로써 각각의 아이콘(501)에 부여된 기능을 실행할 수 있으며, 예컨대, 아이콘(501)의 기능에는 미리 결정된 특정 컨텐츠 세트(set)의 썸네일들을 화면상에 표시하는 것일 수도 있으나, 이에 한정되는 것은 아니다.
사용자가 시선을 현재 화면에 표시된 썸네일(503)들보다 더 우측으로 이동시키는 것에 의하여, 화면에 표시된 썸네일(503)들은 좌측으로 이동하면서 사라지고 새로운 썸네일(503)들이 우측으로부터 나타나고, 동시에 스크롤 바(507) 내의 막대도 이동하여 전체 썸네일 중 현재 표시된 썸네일 세트의 상대적인 위치를 나타낸다. 또는, 도 3을 참조하여 전술한 것과 유사한 방식으로 사용자가 시선에 의해 스크롤 바(507)를 조작함으로써 화면에 표시되는 썸네일들을 이동시킬 수도 있다.
사용자가 어느 하나의 썸네일을 바라보면, 사용자의 시선에 대응되는 커서(200)가 해당 썸네일 위에 위치하게 된다. 커서(200)가 위치하는 썸네일은 다른 썸네일에 비해 상대적으로 밝게 표시되면서 글로우(glow) 효과를 가진 외곽선이 부여되어 해당 썸네일이 선택됨을 사용자에게 인지시킨다. 커서(200)가 일정 시간 동안 해당 썸네일 위에 위치하게 되면, 해당 썸네일이 선택된 것으로 결정되면서 선택된 썸네일에 대응되는 컨텐츠의 재생이 개시된다. 그 결과, 도 2를 참조하여 전술한 것과 같은 컨텐츠 재생 화면으로 표시가 전환된다.
이상에서 설명한 실시예들에 따른 HMD의 동작 및 이를 제어하기 위한 방법은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(carrier wave)(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (11)

  1. 헤드 마운트형 디스플레이 장치로서,
    상기 헤드 마운트형 디스플레이 장치를 착용한 사용자의 움직임을 측정하도록 구성된 센서부;
    이미지를 표시하도록 구성된 표시부; 및
    상기 센서부의 측정값으로부터 사용자의 시선 방향을 산출하고, 사용자의 시선 방향이 미리 설정된 조건을 만족하는 경우 사용자의 시선을 입력 신호로 이용하여 상기 이미지의 시점 외 다른 요소를 제어하도록 구성된 제어부를 포함하는 헤드 마운트형 디스플레이 장치.
  2. 제 1항에 있어서,
    상기 제어부는, 사용자의 시선 방향이 미리 설정된 시간 동안 일정하게 유지되는 것에 대한 응답으로 사용자의 시선을 상기 입력 신호로 이용하도록 구성된 헤드 마운트형 디스플레이 장치.
  3. 제 1항에 있어서,
    상기 제어부는, 사용자의 시선 방향이 미리 설정된 방향과 일치하는 것에 대한 응답으로 사용자의 시선을 상기 입력 신호로 이용하도록 구성된 헤드 마운트형 디스플레이 장치.
  4. 제 1항에 있어서,
    상기 제어부는, 사용자의 시선을 상기 입력 신호로 이용하여 상기 표시부에 표시되는 이미지의 종류, 출력 부분, 출력 형태, 및 재생 속도 중 하나 이상을 변화시키도록 구성된 헤드 마운트형 디스플레이 장치.
  5. 제 1항에 있어서,
    상기 제어부는, 사용자의 시선 방향에 따라 상기 표시부에 표시되는 이미지의 시점이 변화하는 제1 모드 및 사용자의 시선을 상기 입력 신호로 이용하여 상기 이미지의 시점 외 다른 요소가 제어되는 제2 모드 사이를 전환하며 동작하도록 상기 표시부를 제어하도록 더 구성된 헤드 마운트형 디스플레이 장치.
  6. 헤드 마운트형 디스플레이 장치의 제어 방법으로서,
    상기 헤드 마운트형 디스플레이 장치에 이미지를 표시하는 단계;
    상기 헤드 마운트형 디스플레이 장치를 착용한 사용자의 시선 방향을 산출하는 단계; 및
    사용자의 시선 방향이 미리 설정된 조건을 만족하는 경우, 사용자의 시선을 입력 신호로 이용하여 상기 헤드 마운트형 디스플레이 장치에 표시되는 이미지의 시점 외 다른 요소를 제어하는 단계를 포함하는 헤드 마운트형 디스플레이 장치의 제어 방법.
  7. 제 6항에 있어서,
    상기 이미지의 시점 외 다른 요소를 제어하는 단계는,
    사용자의 시선 방향이 미리 설정된 시간 동안 일정하게 유지되는 것에 대한 응답으로 사용자의 시선을 상기 입력 신호로 결정하는 단계를 포함하는 헤드 마운트형 디스플레이 장치의 제어 방법.
  8. 제 6항에 있어서,
    상기 이미지의 시점 외 다른 요소를 제어하는 단계는,
    사용자의 시선 방향이 미리 설정된 방향과 일치하는 것에 대한 응답으로 사용자의 시선을 상기 입력 신호로 결정하는 단계를 포함하는 헤드 마운트형 디스플레이 장치의 제어 방법.
  9. 제 6항에 있어서,
    상기 이미지의 시점 외 다른 요소를 제어하는 단계는,
    사용자의 시선을 상기 입력 신호로 이용하여 상기 헤드 마운트형 디스플레이 장치에 표시되는 이미지의 종류, 출력 부분, 출력 형태, 및 재생 속도 중 하나 이상을 변화시키는 단계를 포함하는 헤드 마운트형 디스플레이 장치의 제어 방법.
  10. 제 6항에 있어서,
    상기 이미지의 시점 외 다른 요소를 제어하는 단계는,
    사용자의 시선 방향에 따라 상기 하드 마운트형 디스플레이 장치에 표시되는 이미지의 시점이 변화하는 제1 모드 및 사용자의 시선을 상기 입력 신호로 이용하여 상기 이미지의 시점 외 다른 요소가 제어되는 제2 모드 사이를 전환하며 동작하도록 상기 헤드 마운트형 디스플레이 장치를 제어하는 단계를 포함하는 헤드 마운트형 디스플레이 장치의 제어 방법.
  11. 헤드 마운트형 디스플레이 장치와 결합되어,
    상기 헤드 마운트형 디스플레이 장치에 이미지를 표시하는 단계;
    상기 헤드 마운트형 디스플레이 장치를 착용한 사용자의 시선 방향을 산출하는 단계; 및
    사용자의 시선 방향이 미리 설정된 조건을 만족하는 경우, 사용자의 시선을 입력 신호로 이용하여 상기 헤드 마운트형 디스플레이 장치에 표시되는 이미지의 시점 외 다른 요소를 제어하는 단계를 수행하도록 매체에 저장된 컴퓨터 프로그램.
KR1020140124038A 2014-09-18 2014-09-18 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램 KR20160033376A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140124038A KR20160033376A (ko) 2014-09-18 2014-09-18 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
JP2017515162A JP2017537368A (ja) 2014-09-18 2015-09-17 視線によって制御されるヘッドマウント型ディスプレイ装置、その制御方法、及びその制御のためのコンピュータプログラム
PCT/KR2015/009763 WO2016043537A1 (ko) 2014-09-18 2015-09-17 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
CN201580053843.0A CN106796351B (zh) 2014-09-18 2015-09-17 通过视线控制的头戴式显示装置及其控制方法、计算机可读存储介质
US15/511,608 US10261581B2 (en) 2014-09-18 2015-09-17 Head-mounted display controlled by sightline, method for controlling same, and computer program for controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140124038A KR20160033376A (ko) 2014-09-18 2014-09-18 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160099486A Division KR101879235B1 (ko) 2016-08-04 2016-08-04 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램

Publications (1)

Publication Number Publication Date
KR20160033376A true KR20160033376A (ko) 2016-03-28

Family

ID=55533506

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140124038A KR20160033376A (ko) 2014-09-18 2014-09-18 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US10261581B2 (ko)
JP (1) JP2017537368A (ko)
KR (1) KR20160033376A (ko)
CN (1) CN106796351B (ko)
WO (1) WO2016043537A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180060534A (ko) * 2016-11-29 2018-06-07 계명대학교 산학협력단 체감형 컨텐츠 제공 장치와 연계된 비콘 기반의 사용자 방향 인식 장치 및 그 방법
KR20190038003A (ko) * 2017-09-29 2019-04-08 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법
US11058294B2 (en) 2016-04-08 2021-07-13 Vivior Ag Device and method for measuring viewing distances

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6532393B2 (ja) * 2015-12-02 2019-06-19 株式会社ソニー・インタラクティブエンタテインメント 表示制御装置及び表示制御方法
JP2017181738A (ja) * 2016-03-30 2017-10-05 ＴｓＺ株式会社 画像表示装置
US20180095636A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095618A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
CN106484237A (zh) * 2016-10-14 2017-03-08 网易（杭州）网络有限公司 用于虚拟现实显示的方法、装置及虚拟现实设备
JP6836060B2 (ja) * 2017-01-31 2021-02-24 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP6582302B2 (ja) * 2017-03-13 2019-10-02 株式会社コナミデジタルエンタテインメント 表示制御装置及びプログラム
CN110494095B (zh) * 2017-04-20 2023-03-21 直观外科手术操作公司 用于约束虚拟现实手术系统的系统和方法
JP6684746B2 (ja) * 2017-05-12 2020-04-22 株式会社コロプラ 情報処理方法、コンピュータ及びプログラム
US10817129B2 (en) 2017-07-17 2020-10-27 Google Llc Methods, systems, and media for presenting media content previews
KR102374404B1 (ko) * 2017-07-25 2022-03-15 삼성전자주식회사 콘텐트를 제공하기 위한 디바이스 및 방법
CN107396086A (zh) * 2017-07-28 2017-11-24 歌尔科技有限公司 基于vr头戴设备播放视频的方法及vr头戴设备
CN107479804A (zh) * 2017-08-16 2017-12-15 歌尔科技有限公司 虚拟现实设备及其内容调整方法
CN107943296A (zh) * 2017-11-30 2018-04-20 歌尔科技有限公司 应用于头戴式设备中的控制方法及设备
JP6383083B2 (ja) * 2017-12-28 2018-08-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP6380963B2 (ja) * 2017-12-28 2018-08-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
KR20190089627A (ko) * 2018-01-23 2019-07-31 삼성전자주식회사 Ar 서비스를 제공하는 디바이스 및 그 동작 방법
US10981067B2 (en) 2018-02-06 2021-04-20 Gree, Inc. Game processing system, method of processing game, and storage medium storing program for processing game
JP6908573B2 (ja) 2018-02-06 2021-07-28 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
JP7005435B2 (ja) * 2018-06-18 2022-01-21 グリー株式会社 ゲーム処理システム、ゲーム処理方法、及びゲーム処理プログラム
CN116328317A (zh) 2018-02-06 2023-06-27 日本聚逸株式会社 应用处理系统、应用处理方法以及应用处理程序
EP3520868A1 (en) 2018-02-06 2019-08-07 Gree, Inc. Game processing system, method of processing game, and program for processing game
CN111123518B (zh) * 2019-12-05 2021-12-03 浙江合众新能源汽车有限公司 一种汽车的ar-hud显示的智能控制方法与系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161190A (ja) 1997-11-25 1999-06-18 Seiko Epson Corp 頭部装着型表示装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010012290A (ja) 2003-11-21 2010-01-21 Takechika Nishi 画像表示装置及びシミュレーション装置
JP4927631B2 (ja) * 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
JP5228305B2 (ja) * 2006-09-08 2013-07-03 ソニー株式会社 表示装置、表示方法
JP5125779B2 (ja) * 2008-06-04 2013-01-23 株式会社ニコン ヘッドマウントディスプレイ装置
KR101824501B1 (ko) 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
JP5993127B2 (ja) 2011-10-25 2016-09-14 オリンパス株式会社 頭部装着型表示装置、情報端末、プログラム、情報記憶媒体、画像処理システム、頭部装着型表示装置の制御方法及び情報端末の制御方法
JP5880115B2 (ja) * 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
US20130246967A1 (en) 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US9378592B2 (en) 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
US8482527B1 (en) 2012-09-14 2013-07-09 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP2014092941A (ja) * 2012-11-02 2014-05-19 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP6066676B2 (ja) * 2012-11-06 2017-01-25 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイおよび映像提示システム
JP6040715B2 (ja) * 2012-11-06 2016-12-07 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
KR20140090552A (ko) 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
US20140191927A1 (en) 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
KR101878144B1 (ko) 2013-11-06 2018-07-13 엘지전자 주식회사 헤드 마운트 디스플레이를 위한 사용자 인터페이스 제공 장치 및 방법
KR102083963B1 (ko) 2013-12-10 2020-04-14 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 디바이스 및 그 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161190A (ja) 1997-11-25 1999-06-18 Seiko Epson Corp 頭部装着型表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11058294B2 (en) 2016-04-08 2021-07-13 Vivior Ag Device and method for measuring viewing distances
KR20180060534A (ko) * 2016-11-29 2018-06-07 계명대학교 산학협력단 체감형 컨텐츠 제공 장치와 연계된 비콘 기반의 사용자 방향 인식 장치 및 그 방법
KR20190038003A (ko) * 2017-09-29 2019-04-08 삼성전자주식회사 전자 장치 및 그의 시선 정보를 이용한 컨텐트 실행 방법

Also Published As

Publication number Publication date
US20170255256A1 (en) 2017-09-07
JP2017537368A (ja) 2017-12-14
WO2016043537A1 (ko) 2016-03-24
CN106796351A (zh) 2017-05-31
US10261581B2 (en) 2019-04-16
CN106796351B (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
CN106796351B (zh) 通过视线控制的头戴式显示装置及其控制方法、计算机可读存储介质
KR101839441B1 (ko) 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
JP4927631B2 (ja) 表示装置、その制御方法、プログラム、記録媒体および集積回路
US8643951B1 (en) Graphical menu and interaction therewith through a viewing window
US9009594B2 (en) Content gestures
JP6547741B2 (ja) 情報処理システムおよび情報処理方法
US20150012827A1 (en) System and method for navigating a field of view within an interactive media-content item
KR20150116871A (ko) Ｈｄｍ에 대한 인간―신체―제스처―기반 영역 및 볼륨 선택
KR20190133080A (ko) 증강 현실 시스템용 터치프리 인터페이스
JP2021002288A (ja) 画像処理装置、コンテンツ処理システム、および画像処理方法
EP2902998A1 (en) Display device, control system, and control programme
CN106796810B (zh) 在用户界面上从视频选择帧
US12001645B2 (en) Methods, systems, and media for presenting media content previews
KR101879235B1 (ko) 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
CN108027694B (zh) 记录介质、内容提供装置以及控制方法
CN112823528A (zh) 信息处理装置、信息处理方法和信息处理程序
WO2018216402A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2017126899A (ja) 画像処理装置および画像処理方法
JP6712865B2 (ja) 情報処理装置、設定画面表示方法及び設定画面表示プログラム
US12032754B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
US20240053832A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
EP4250061A1 (en) User control in augmented reality
JPWO2018042811A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
JP2018063522A (ja) 表示制御システムおよび表示制御プログラム
EP2886173B1 (en) Augmented reality overlay for control devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
A107 Divisional application of patent