WO2016043515A1 - 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램 - Google Patents

두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램 Download PDF

Info

Publication number
WO2016043515A1
WO2016043515A1 PCT/KR2015/009707 KR2015009707W WO2016043515A1 WO 2016043515 A1 WO2016043515 A1 WO 2016043515A1 KR 2015009707 W KR2015009707 W KR 2015009707W WO 2016043515 A1 WO2016043515 A1 WO 2016043515A1
Authority
WO
WIPO (PCT)
Prior art keywords
display device
tapping
mounted display
hmd
head mounted
Prior art date
Application number
PCT/KR2015/009707
Other languages
English (en)
French (fr)
Inventor
나경건
최광진
Original Assignee
(주)에프엑스기어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)에프엑스기어 filed Critical (주)에프엑스기어
Priority to CN201580053844.5A priority Critical patent/CN106796452B/zh
Priority to JP2017514798A priority patent/JP6490804B2/ja
Publication of WO2016043515A1 publication Critical patent/WO2016043515A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • Embodiments relate to a head-mounted display device (HMD), a method for controlling the same, and a computer program, and more particularly, to be controlled by a tap applied to the HMD without a separate controller.
  • HMD head-mounted display device
  • a computer program and more particularly, to be controlled by a tap applied to the HMD without a separate controller.
  • Head-Moutned Display is a head-mounted portable display device that attaches the display device to the head in the form of goggles or helmets so that the image is focused at the closest distance in front of the eyes. Configured equipment. The user wearing the HMD is covered with an image of the watch can feel like a virtual reality, and has been applied to various fields such as military, medical and personal use.
  • Japanese Laid-Open Patent Publication No. 1999-161190 discloses a technique for detecting a movement of a user's head and controlling information displayed on a display element through the detected result.
  • the user's movement is used only for switching of the point of time displayed on the display element. There is a drawback to this.
  • an HMD configured to control an image displayed on an HMD using a tap applied to a head-mounted display device (HMD) as an input signal without a separate controller. And a control method thereof and a computer program therefor.
  • HMD head-mounted display device
  • a head-mounted display device may include a sensor unit; A display unit configured to display an image; And a control unit configured to measure a tap applied to the HMD from the measured value by the sensor unit, and to control the image displayed on the display unit using the tap as an input signal.
  • the controller may be configured to detect tapping information applied to the HMD by comparing the measured value with a preset reference value.
  • the tapping information may include the presence, number and location information of the tapping.
  • the measured value and the reference value may be signals based on at least one of a movement of a user wearing the HMD or a sound generated in the HMD.
  • the controller may be configured to change one or more of a type, an output portion, an output form, and a reproduction speed of an image displayed on the display unit by using the tapping as the input signal.
  • a method of controlling an HMD includes displaying an image on the HMD; Measuring a tap applied to the HMD; And controlling an image displayed on the HMD by using tapping applied to the HMD as an input signal.
  • the measuring of the tapping may include detecting tapping information applied to the HMD by comparing the measured value obtained by the sensor of the HMD with a preset reference value.
  • the tapping information may include the presence, number and location information of the tapping.
  • the measured value and the reference value may be signals based on at least one of a movement of a user wearing the HMD or a sound generated in the HMD.
  • Controlling an image displayed on the HMD may include changing one or more of a type, an output portion, an output type, and a reproduction speed of the image displayed on the HMD using the tapping as the input signal. have.
  • the computer program according to an embodiment may be recorded in a medium in combination with an HMD to perform a method of controlling the HMD.
  • HMD head-mounted display device
  • HMD head-mounted display
  • 2A-2E are graphs illustrating waveforms of an exemplary reference signal used in an HMD, according to one embodiment.
  • FIG 3 is a graph illustrating a waveform of an exemplary reference signal used in an HMD according to an embodiment.
  • HMD head mounted display device
  • the HMD according to the present embodiment includes a sensor unit 10, a display unit 20, and a controller 30.
  • the HMD may further include a communication unit 40 and / or a storage unit 50.
  • the HMD according to the present embodiment is configured to enable the user to wear the HMD on the head, and may include one or a plurality of fixing means (not shown) as necessary.
  • the HMD according to the embodiments may be implemented in the form of goggles or helmets, but is not limited thereto.
  • HMD may have aspects that are entirely hardware, entirely software, or partially hardware and partially software.
  • each " unit " constituting the HMD herein can collectively refer to hardware and operating software for driving it.
  • the hardware may also be a data processing device including a CPU or other processor.
  • software driven by hardware may refer to a running process, an object, an executable, a thread of execution, a program, or the like.
  • each portion of the HMD according to the embodiments is not intended to necessarily refer to a separate component that is physically distinct.
  • the sensor unit 10, the display unit 20, and the control unit 30 are illustrated as separate blocks that are separated from each other, but according to an exemplary embodiment, the sensor unit 10, the display unit 20, and the control unit 30 may be used. Some or all of them may be integrated into one device.
  • a smartphone having a processing means such as a microprocessor, an acceleration sensor, and a touch screen may correspond to one or more of the above-described sensor unit 10, display unit 20, and control unit 30.
  • a smartphone may be combined with another member (not shown) that can be mounted on the head to configure the HMD according to the embodiments. That is, the HMD described herein may be a smartphone usable for head mounting via another member.
  • the sensor unit 10 is a part for obtaining a measurement value which is a basis for detecting a tap applied to the HMD.
  • the sensor unit 10 may be formed of one or more sensors capable of measuring the movement of the user wearing the HMD, such as an accelerometer, a magnetometer, and / or a gyroscope.
  • the tapping applied to the HMD can be measured by comparing the measured values by these sensors with a reference value of the motion corresponding to the tapping.
  • the sensor unit 10 may be formed of one or more sensors capable of measuring sound, such as a microphone. In this case, tapping may be measured by using sound generated when the HMD is knocked. A detailed measurement process of tapping will be described later in detail.
  • the measured value of the sensor unit 10 changes not only the detection of tapping but also the viewpoint corresponding to the displayed image according to the user's viewpoint. More may be used. This outputs a part of the wide viewing angle image while moving the displayed portion of the image in response to the movement of the head of the user wearing the HMD, so that the user can feel a sense of reality, which is the same display form used in the conventional HMD. . For example, when the user turns his head to the right, by moving the entire image displayed on the display unit 20 to the left side, the user feels as if looking to the right by turning his head in the virtual space represented by the image. .
  • the sensor unit 10 is provided to measure only the tapping applied to the HMD, and the user's movement may be measured by a separate device different from the sensor unit 10.
  • the display unit 20 is a portion for displaying an image located near the eyes of the user.
  • the display unit 20 may include a liquid crystal display (LCD) or other suitable image display element.
  • the display unit 20 may further include one or more optical elements such as a convex lens for focusing an image displayed by the image display element in or near the eyes of the user.
  • the image displayed on the display unit 20 is intended to include both a single image such as a photograph or a series of consecutive images such as an image.
  • content such as a video including video and / or audio may also be included in the images described herein.
  • the HMD further includes a communication unit 40, and the image displayed on the display unit 20 may be received by the communication unit 40 from a remote server (not shown) through a network.
  • the communication unit 40 may receive an image in a streaming manner.
  • the HMD may transmit data to the remote server through the communication unit 40.
  • the image displayed on the display unit 20 may be previously stored in the storage unit 50.
  • the storage unit 50 includes a storage for storing an image or other additional data to be displayed on the display unit 20.
  • the control unit 30 is communicatively connected to the sensor unit 10 and the display unit 20, and detects tapping applied to the HMD from the measured value by the sensor unit 10. In addition, the controller 30 controls the image displayed on the display unit 20 when the tap is detected as an input signal.
  • the controller 30 may process various events related to the image by tapping as an input signal, and the event processing may refer to a change in the type, output portion, output form, and playback speed of the image.
  • selection of images to be displayed, start and stop playback of images, fast forward, rewind, increase and decrease playback speed, increase and decrease output volume, overall if images are time series video Switching the display mode, such as a full screen mode, a menu displayed on an image, or an operation of a user interface such as a button or an icon may correspond to event processing, but is not limited thereto. Do not. If the image is part of a game, virtual reality (VR) or augmented reality (AR) application, the interaction with that application may be made by tapping the HMD.
  • VR virtual reality
  • AR augmented reality
  • the controller 30 may control the image displayed on the display unit 20 so that the viewpoint corresponding to the image changes in accordance with the user's movement like the normal HMD. For example, when the user turns his head to the right, the controller 30 moves the entire image displayed on the display unit 20 to the left correspondingly. However, if it is detected that the tapping is applied to the HMD from the measured value by the sensor unit 10, the control unit 30 is configured to control the image displayed on the display unit 10 using the tapping as an input signal. Therefore, the user wearing the HMD according to the present embodiment can interact with the image simply by tapping his head even without a separate controller.
  • the control unit 30 includes a tap detection unit 31 and the reference value storage unit 32.
  • the tap detection unit 31 is configured to detect a tap applied to the HMD by comparing the measured value by the sensor unit 10 with a reference value preset in the reference value storage unit 32.
  • the tap detection unit 31 is configured to detect a tap applied to the HMD.
  • the tapping detection unit 31 may be configured to detect tapping applied to a specific contact portion (not shown) separately provided for tapping on the HMD, or may be configured to detect tapping applied to any part of the HMD.
  • the tapping detection unit 31 may be further configured to determine which part of the tapping portion is applied to the HMD.
  • the measured value of the sensor unit 10 and the reference value stored in the reference value storage unit 32 may have an appropriate form depending on what kind of sensor the sensor unit 10 for detecting tapping is configured.
  • each of the measured value and the reference value may be a signal based on the movement of the user wearing the HMD, and the movement based signal may use one or more of speed, acceleration, angular velocity, and / or orientation.
  • the sensor unit 10 is composed of one or more sensors capable of measuring vibration
  • the tapping detection unit 31 may distinguish the user's normal head movement from the device tapping, and when the tapping is detected instead of the normal head movement, the tapping information may be used as an input signal to control the image.
  • each of the measured value and the reference value may be a signal based on sound generated in the HMD.
  • the sensor unit 10 includes one or more sensors capable of measuring sound
  • the tapping detection unit 31 can determine that the HMD is knocked by increasing the measurement signal of the sensor unit 10, and can control the image using the tapping information as an input signal.
  • the tapping detection unit 31 performs template matching between the measurement values of the sensor unit 10 and the tapping reference signals stored in a database in the reference value storage unit 32 in advance. Similarity can be calculated by comparison. As a calculation algorithm of similarity, a normalized cross correlation algorithm may be used, and as a result, the similarity is calculated as in Equation 1 below.
  • Equation 1 S (x) is a measurement signal of the sensor unit 10
  • T (x) is a pre-stored tapping reference signal.
  • ⁇ S and ⁇ T are the standard deviation of the measurement signal and the reference signal, respectively
  • S average and T average are the average of the measurement signal and the reference signal, respectively.
  • the tapping detection unit 31 may obtain tapping information including not only the presence and the number of taps but also the tapped position information. That is, the reference signal for each position divided by the up, down, left, and right directions of the HMD or the different directions is stored in advance, and the measured value of the sensor unit 10 is compared with the reference signal for each position to the reference signal having the highest similarity. It can be determined that the corresponding position has been tapped.
  • the HMD according to another embodiment may be configured to detect tapping applied to the HMD in a manner different from that described above.
  • FIGS. 2A through 2E are graphs illustrating waveforms of an exemplary reference signal used in an HMD according to an embodiment, and illustrate waveforms of a reference signal using an accelerometer.
  • the reference signal representing tapping has a peak at which the measured value rapidly increases in a particular section due to tapping.
  • the acceleration measurement at the peak may be about 8.5 m / s 2 , but is not limited thereto.
  • a predetermined threshold eg, 70%
  • FIG. 3 is a graph illustrating a waveform of another exemplary reference signal used in an HMD according to an embodiment, and illustrates a reference signal using sound.
  • the reference signal using sound also has a peak in which a measured value rapidly increases in a specific section due to tapping.
  • the sound measurement value in the reference signal may be about -5 dB at the peak, and the lowest value may be about -75 dB, but is not limited thereto.
  • a predetermined threshold eg, 70%
  • the waveform of the reference signal described above with reference to FIGS. 2 and 3 is merely exemplary, and the type, waveform and signal size of the reference signal for determining whether the measured value of the sensor is a tap is the sensitivity of the sensor used. And the application suitable for the application.
  • An operation of the HMD and a method for controlling the same according to the embodiments described above may be implemented at least in part by a computer program and recorded on a computer-readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, as well as carrier wave (e.g., transmission over the Internet). It also includes implementations in form.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the present embodiment will be readily understood by those skilled in the art to which the present embodiment belongs.
  • Embodiments relate to a Head-Moutned Display (HMD) and a method and computer program for its control.
  • HMD Head-Moutned Display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

헤드 마운트형 디스플레이 장치(Head-Moutned Display; HMD)는, 센서부; 이미지를 표시하도록 구성된 표시부; 및 상기 센서부에 의한 측정값으로부터 상기 HMD 에 가해진 두드림을 측정하고, 상기 두드림을 입력 신호로 이용하여 상기 표시부에 표시되는 이미지를 제어하도록 구성된 제어부를 포함할 수 있다. 상기 HMD를 이용하면, HMD의 임의 부분에 가해지는 두드림을 입력 신호로 이용하여 HMD에 표시되는 이미지를 제어함으로써 별도의 컨트롤러가 없이도 이벤트(event) 처리 등이 가능한 이점이 있다.

Description

두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
실시예들은 헤드 마운트형 디스플레이 장치(Head-Moutned Display; HMD)와 이의 제어를 위한 방법 및 컴퓨터 프로그램에 대한 것으로, 보다 상세하게는 별도의 컨트롤러 없이 HMD에 가해진 두드림(tap)에 의해 제어 가능하도록 구성된 HMD 및 이의 제어 기술에 대한 것이다.
헤드 마운트형 디스플레이 장치(Head-Moutned Display; HMD)는 머리에 착용하는 형태의 휴대 디스플레이 장치로서, 표시 장치를 고글이나 헬맷과 같은 형태로 머리에 장착함으로써 눈앞의 지근 거리에 화상의 초점이 맺히게 하도록 구성된 장비이다. HMD를 착용한 사용자는 시계 전체가 화상으로 덮이게 되어 가상현실과 같은 느낌을 받을 수 있어, 군사용, 의료용 및 개인용 등 다양한 분야에 응용되고 있다.
일 예로, 일본 공개특허공보 제1999-161190는 사용자의 머리 부분의 움직임을 검출하고 검출된 결과를 통하여 표시 소자에 표시되는 정보를 제어하는 기술을 개시한다. 그러나, 이러한 종래의 HMD에서 사용자의 움직임은 표시 소자에 표시되는 시점의 전환에만 사용되며, 표시되는 정보에 대한 이벤트(event) 처리 등 제어를 위해서는 별도의 컨트롤러, 예컨대, 터치 패드, 게임 패드 등을 필요로 하는 단점이 있다.
본 발명의 일 측면에 따르면, 별도의 컨트롤러 없이 헤드 마운트형 디스플레이 장치(Head-Moutned Display; HMD)에 가해지는 두드림(tap)을 입력 신호로 이용하여 HMD에 표시되는 이미지를 제어할 수 있도록 구성된 HMD 및 이의 제어 방법과, 이를 위한 컴퓨터 프로그램을 제공할 수 있다.
일 실시예에 따른 헤드 마운트형 디스플레이 장치(Head-Moutned Display; HMD)는, 센서부; 이미지를 표시하도록 구성된 표시부; 및 상기 센서부에 의한 측정값으로부터 상기 HMD에 가해진 두드림을 측정하고, 상기 두드림을 입력 신호로 이용하여 상기 표시부에 표시되는 이미지를 제어하도록 구성된 제어부를 포함한다.
상기 제어부는, 상기 측정값을 미리 설정된 기준값과 비교함으로써 상기 HMD에 가해진 두드림 정보를 검출하도록 구성될 수 있다. 이때, 상기 두드림 정보는 두드림의 유무, 회수 및 위치 정보를 포함할 수 있다. 또한, 상기 측정값 및 상기 기준값은 상기 HMD를 착용한 사용자의 움직임 또는 상기 HMD에 발생된 소리 중 하나 이상에 기초한 신호일 수 있다.
상기 제어부는, 상기 두드림을 상기 입력 신호로 이용하여 상기 표시부에 표시되는 이미지의 종류, 출력 부분, 출력 형태, 및 재생 속도 중 하나 이상을 변화시키도록 구성될 수도 있다.
일 실시예에 따른 HMD의 제어 방법은, 상기 HMD에 이미지를 표시하는 단계; 상기 HMD에 가해진 두드림을 측정하는 단계; 및 상기 HMD에 가해진 두드림을 입력 신호로 이용하여 상기 HMD에 표시되는 이미지를 제어하는 단계를 포함한다.
상기 두드림을 측정하는 단계는, 상기 HMD의 센서에 의해 얻어진 측정값을 미리 설정된 기준값과 비교함으로써 상기 HMD에 가해진 두드림 정보를 검출하는 단계를 포함할 수 있다. 이때, 상기 두드림 정보는 두드림의 유무, 회수 및 위치 정보를 포함할 수 있다. 또한, 상기 측정값 및 상기 기준값은 상기 HMD를 착용한 사용자의 움직임 또는 상기 HMD에 발생된 소리 중 하나 이상에 기초한 신호일 수 있다.
상기 HMD에 표시되는 이미지를 제어하는 단계는, 상기 두드림을 상기 입력 신호로 이용하여 상기 HMD에 표시되는 이미지의 종류, 출력 부분, 출력 형태, 및 재생 속도 중 하나 이상을 변화시키는 단계를 포함할 수도 있다.
일 실시예에 따른 컴퓨터 프로그램은, HMD와 결합되어 상기 HMD의 제어 방법을 수행하도록 매체에 기록된 것일 수 있다.
본 발명의 일 측면에 따른 헤드 마운트형 디스플레이 장치(Head-Moutned Display; HMD) 및 이의 제어 방법을 이용하면, HMD에 가해지는 두드림(tap)을 입력 신호로 이용하여 HMD에 표시되는 이미지를 제어함으로써 별도의 컨트롤러가 없이도 이벤트(event) 처리 등이 가능한 이점이 있다.
도 1은 일 실시예에 따른 헤드 마운트형 디스플레이 장치(Head-Moutned Display; HMD)의 블록도이다.
도 2a 내지 2e는 일 실시예에 따른 HMD에서 사용되는 예시적인 기준 신호의 파형을 나타내는 그래프들이다.
도 3은 일 실시예에 따른 HMD에서 사용되는 예시적인 기준 신호의 파형을 나타내는 그래프이다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은 일 실시예에 따른 헤드 마운트형 디스플레이 장치(Head Mounted Display; HMD)의 블록도이다.
도 1을 참조하면, 본 실시예에 따른 HMD는 센서부(10), 표시부(20) 및 제어부(30)를 포함한다. 일 실시예에서, HMD는 통신부(40) 및/또는 저장부(50)를 더 포함할 수도 있다. 본 실시예에 따른 HMD는 사용자가 머리 부분에 HMD를 착용 가능하도록 구성되며, 필요에 따라 하나 또는 복수의 고정 수단(미도시)을 포함할 수 있다. 예를 들어, 실시예들에 따른 HMD는 고글(goggle) 또는 헬맷과 같은 형태로 구현될 수 있으나, 이에 한정되는 것은 아니다.
실시예들에 따른 HMD는, 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 본 명세서에서 HMD를 구성하는 각각의 "부(unit)"는 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 또한, 하드웨어는 CPU 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 하드웨어에 의해 구동되는 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
또한, 실시예들에 따른 HMD를 구성하는 각각의 부는 반드시 물리적으로 구분되는 별개의 구성요소를 지칭하는 것으로 의도되지 않는다. 도 1에서 센서부(10), 표시부(20) 및 제어부(30) 등은 서로 구분되는 별개의 블록으로 도시되나, 실시예에 따라서는 센서부(10), 표시부(20) 및 제어부(30) 중 일부 또는 전부가 하나의 소자로 집적화될 수도 있다. 예컨대, 마이크로프로세서(microprocessor)와 같은 처리 수단, 가속도 센서 및 터치스크린을 갖춘 스마트폰(smartphone)이 전술한 센서부(10), 표시부(20) 및 제어부(30) 중 하나 이상에 해당될 수 있으며, 이러한 스마트폰이 머리에 장착 가능한 다른 부재(미도시)와 결합되어 실시예들에 따른 HMD를 구성할 수도 있다. 즉, 본 명세서에 기재된 HMD는 다른 부재를 통해 헤드 마운트용으로 사용 가능한 스마트폰일 수도 있다.
센서부(10)는 HMD에 가해지는 두드림(tap)을 검출하기 위한 기초가 되는 측정값을 얻기 위한 부분이다. 예를 들어, 센서부(10)는 가속도계(accelerometer), 자기력계(magnetometer) 및/또는 자이로스코프(gyroscope) 등과 같이 HMD를 착용한 사용자의 움직임을 측정할 수 있는 하나 이상의 센서로 이루어질 수 있다. 이 경우 이들 센서에 의한 측정값을 두드림에 대응되는 움직임의 기준값과 비교하여 HMD에 가해진 두드림을 측정할 수 있다. 또는, 센서부(10)는 마이크와 같이 소리를 측정할 수 있는 하나 이상의 센서로 이루어질 수도 있으며, 이 경우에는 HMD가 두드려질 경우 발생되는 소리를 이용하여 두드림을 측정할 수 있다. 두드림의 구체적인 측정 과정에 대해서는 상세히 후술한다.
센서부(10)가 사용자의 움직임을 측정하도록 구성된 하나 또는 복수의 센서로 이루어진 경우, 센서부(10)의 측정값은 두드림의 검출뿐만 아니라 사용자 시점에 따라 표시되는 이미지에 대응되는 시점을 변화시키는데 더 사용될 수도 있다. 이는 광시야각 이미지의 일부를 출력하면서 HMD를 착용한 사용자의 머리가 움직이는 것에 대응하여 이미지의 표시되는 부분을 이동시킴으로써 사용자가 현실감을 느낄 수 있게 하는 것으로, 종래의 HMD에 사용되는 것과 동일한 표시 형태이다. 예컨대, 사용자가 고개를 오른쪽으로 돌릴 경우, 표시부(20)에 표시되는 이미지 전체를 이에 대응하여 좌측으로 이동시킴으로써, 사용자로 하여금 이미지로 표시된 가상 공간에서 고개를 돌려 오른편을 바라본 것과 같이 느끼도록 하는 것이다. 그러나 이는 예시적인 것으로서, 다른 실시예에서 센서부(10)는 HMD에 가해진 두드림만을 측정하기 위하여 구비되며, 사용자의 움직임은 센서부(10)와 상이한 별도의 장치에 의하여 측정될 수도 있다.
표시부(20)는 사용자의 눈 부근에 위치하여 이미지를 표시하기 위한 부분이다. 표시부(20)는 액정표시장치(Liquid Crystal Display; LCD) 또는 다른 적절한 화상 표시 소자를 포함할 수 있다. 또한, 표시부(20)는 화상 표시 소자에 의해 표시되는 이미지의 초점이 사용자의 눈 또는 그 부근에 맺히게 하기 위한 볼록 렌즈 등 하나 이상의 광학 소자를 더 포함할 수도 있다. 본 명세서에서 표시부(20)에 표시되는 이미지는, 사진과 같은 단일 이미지 또는 영상과 같은 일련의 연속된 이미지를 모두 포함하는 것으로 의도된다. 예컨대, 영상 및/또는 음성을 포함하는 동영상 등 컨텐츠(contents)도 본 명세서에 기재된 이미지에 포함될 수 있다.
일 실시예에서, HMD는 통신부(40)를 더 포함하며, 표시부(20)에 표시되는 이미지는 통신부(40)에 의해 네트워크를 통해 원격 서버(미도시)로부터 수신되는 것일 수 있다. 예컨대, 통신부(40)는 스트리밍(streaming) 방식으로 이미지를 수신할 수도 있다. 또한, HMD는 통신부(40)를 통해 원격 서버에 데이터를 전송할 수도 있다. 다른 실시예에서, 표시부(20)에 표시되는 이미지는 저장부(50)에 미리 저장된 것일 수도 있다. 저장부(50)는 표시부(20)에 표시될 이미지 또는 다른 추가적인 데이터를 저장할 수 있는 저장소를 포함한다.
제어부(30)는, 센서부(10) 및 표시부(20)에 통신 가능하게 연결되어, 센서부(10)에 의한 측정값으로부터 HMD에 가해진 두드림을 검출한다. 또한, 제어부(30)는 두드림이 검출될 경우 이를 입력 신호로 이용하여 표시부(20)에 표시되는 이미지를 제어한다. 제어부(30)는 두드림을 입력 신호로 하여 이미지에 연관된 다양한 이벤트(event)를 처리할 수 있으며, 여기서 이벤트 처리는 이미지의 종류, 출력 부분, 출력 형태, 재생 속도 등의 변화를 지칭할 수 있다. 예컨대, 표시될 이미지의 선택, 이미지의 재생 개시 및 중단, 이미지가 시계열적인 동영상일 경우 앞으로 넘김(fast forward), 뒤로 넘김(rewind), 재생 속도의 증가 및 감소, 출력 볼륨의 증가 및 감소, 전체 화면(full screen) 모드와 같은 표시 형태의 전환, 이미지상에 표시되는 메뉴, 버튼(button) 또는 아이콘(icon) 등 사용자 인터페이스(user interface)의 조작이 이벤트 처리에 해당될 수 있으나, 이에 한정되지 않는다. 이미지가 게임, 가상현실(Virtual Reality; VR) 또는 증강현실(Augmented Reality; AR) 애플리케이션의 일부인 경우에는, 이러한 애플리케이션과의 상호작용이 HMD를 두드리는 것에 의하여 이루어질 수도 있다.
HMD에 두드림이 가해지지 않은 상태에서는, 제어부(30)는 통상의 HMD와 마찬가지로 사용자 움직임에 따라 이미지에 대응되는 시점이 변화하도록 표시부(20)에 표시되는 이미지를 제어할 수 있다. 예컨대, 사용자가 고개를 오른쪽으로 돌릴 경우, 제어부(30)는 표시부(20)에 표시되는 이미지 전체를 이에 대응하여 좌측으로 이동시킨다. 그러나 센서부(10)에 의한 측정값으로부터 HMD에 두드림이 가해진 것이 검출되면, 제어부(30)는 두드림을 입력 신호로 하여 표시부(10)에 표시되는 이미지를 제어하도록 구성된다. 따라서, 본 실시예에 따른 HMD를 착용한 사용자는 별도의 컨트롤러가 없더라도 자신의 머리를 두드리는 것만으로 이미지와 상호작용할 수 있다.
일 실시예에서, 제어부(30)는 두드림 검출부(31) 및 기준값 저장부(32)를 포함한다. 두드림 검출부(31)는 센서부(10)에 의한 측정값을 기준값 저장부(32)에 미리 설정된 기준값과 비교함으로써 HMD에 가해진 두드림을 검출하도록 구성된다. 두드림 검출부(31)는 HMD에 가해진 두드림을 검출할 수 있도록 구성된다. 두드림 검출부(31)는 HMD에 두드림을 위하여 별도로 구비된 특정 접촉부(미도시)에 가해지는 두드림을 검출하도록 구성될 수도 있으며, 또는 HMD의 임의의 부분에 가해지는 두드림을 검출하도록 구성될 수도 있다. 또한, 일 실시예에서 두드림 검출부(31)는 HMD에 두드림이 가해진 부분이 어느 부분인지를 판별할 수 있도록 더 구성될 수 있다. 센서부(10)의 측정값 및 기준값 저장부(32)에 저장된 기준값은, 두드림을 검출하기 위한 센서부(10)가 어떠한 종류의 센서로 구성되었는지에 따라 적절한 형태를 가질 수 있다.
일 실시예에서, 상기 측정값 및 상기 기준값 각각은 HMD를 착용한 사용자의 움직임에 기반한 신호일 수 있고, 움직임에 기반한 신호는 속도, 가속도, 각속도, 및/또는 방위 중 하나 이상을 이용한 것일 수 있다. 센서부(10)가 진동을 측정할 수 있는 하나 이상의 센서로 구성된 경우, 사용자가 HMD의 임의 부분의 표면을 두드리면 진동으로 인하여 센서부(10)에 측정되는 진동에는 갑작스런 신호 크기 또는 패턴의 변화가 일어난다. 따라서 두드림 검출부(31)에서는 사용자의 통상적인 머리 움직임과 장치 두드림을 구분할 수 있고, 통상적인 머리 움직임이 아닌 두드림이 검출될 경우 두드림 정보를 입력 신호로 하여 이미지를 제어할 수 있다.
다른 실시예에서, 상기 측정값 및 상기 기준값 각각은 HMD에 발생된 소리에 기반한 신호일 수 있다. 센서부(10)가 소리를 측정할 수 있는 하나 이상의 센서로 구성된 경우, 사용자가 HMD의 표면을 두드리면 센서부(10)에 측정되는 신호의 크기가 증가하게 된다. 이때, 두드림 검출부(31)에서는 센서부(10)의 측정 신호가 증가하는 것을 통하여 HMD가 두드려진 것을 파악할 수 있고, 두드림 정보를 입력 신호로 하여 이미지를 제어할 수 있다.
두드림 정보를 검출 과정에 대하여 구체적으로 설명하면, 두드림 검출부(31)에서는 센서부(10)의 측정값과 기준값 저장부(32)에 미리 데이터베이스화되어 저장된 두드림 기준 신호들의 템플릿 매칭(template matching)을 이용하여 비교하여 유사도를 산출할 수 있다. 유사도의 산출 알고리즘으로는 정규화된 교차 상관(normalized cross correlation) 알고리즘이 이용될 수 있으며, 그 결과 유사도는 하기 수학식 1과 같이 산출된다.
[수학식 1]
Figure PCTKR2015009707-appb-I000001
상기 수학식 1에서 S(x)는 센서부(10)의 측정 신호이며, T(x)는 미리 저장된 두드림 기준 신호이다. δS 및 δT 는 각각 측정 신호와 기준 신호의 표준 편차이며, Saverage 및 Taverage 는 각각 측정 신호와 기준 신호의 평균이다. 특정 시간 구간동안 측정된 신호들에 대하여 상기 수학식 1을 통해 산출된 유사도가 소정의 문턱값 이상일 경우, 두드림 검출부(31)는 HMD가 두드려진 것으로 결정할 수 있다.
기준 신호가 더 세분화되어 있다면, 두드림 검출부(31)는 두드림의 유무 및 회수에 그치지 않고 두드려진 위치 정보까지 포함하는 두드림 정보를 얻을 수도 있다. 즉, HMD의 상하좌우 방향별 기준 신호 또는 다른 방식으로 구분된 각 위치별 기준 신호를 미리 저장하고, 센서부(10)의 측정값을 각 위치별 기준 신호와 비교하여 가장 유사도가 높은 기준 신호에 대응되는 위치가 두드려진 것으로 결정할 수 있다.
그러나 전술한 두드림 정보의 산출 과정은 단지 예시적인 것으로서, 다른 실시예에 따른 HMD에서는 전술한 것과 상이한 방식에 의하여 HMD에 가해진 두드림을 검출하도록 구성될 수도 있다.
도 2a 내지 2e는 일 실시예에 따른 HMD에서 사용되는 예시적인 기준 신호의 파형을 나타내는 그래프들로서, 가속도계를 이용한 기준 신호의 파형을 나타낸다.
도 2a 내지 2e의 각 그래프의 점선 사각형 내에 도시된 것과 같이, 두드림을 나타내는 기준 신호는 두드림으로 인해 특정 구간에서 측정값이 급격히 증가하는 피크를 갖는다. 예를 들어, 피크에서의 가속도 측정값은 약 8.5m/s2일 수 있으나, 이에 한정되는 것은 아니다. 센서부의 측정값을 이러한 기준 신호와 비교한 결과, 유사도가 미리 결정된 문턱값(예컨대, 70%) 이상일 경우 두드림이 발생한 것으로 결정할 수 있다.
도 3은 일 실시예에 따른 HMD에서 사용되는 또 다른 예시적인 기준 신호의 파형을 나타내는 그래프로서, 소리를 이용한 기준 신호를 나타낸다.
도 2를 참조하여 전술한 가속도 기반 기준 신호와 마찬가지로, 소리를 이용한 기준 신호도 두드림으로 인해 특정 구간에서 측정값이 급격히 증가하는 피크를 갖는다. 일 예로, 기준 신호에서 소리 측정값은 피크 시 약 -5dB이며, 최저값이 약 -75dB일 수 있으나, 이에 한정되는 것은 아니다. 센서부의 측정값을 이러한 기준 신호와 비교한 결과, 유사도가 미리 결정된 문턱값(예컨대, 70%) 이상일 경우 두드림이 발생한 것으로 결정할 수 있다.
그러나, 도 2 및 도 3을 참조하여 전술한 기준 신호의 파형은 단지 예시적인 것으로서, 센서의 측정값이 두드림인지 여부를 결정하기 위한 기준 신호의 종류, 파형 및 신호 크기 등은 사용하는 센서의 감도 및 적용 애플리케이션 등에 따라 적절히 결정될 수 있다.
이상에서 설명한 실시예들에 따른 HMD의 동작 및 이를 제어하기 위한 방법은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(carrier wave)(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
실시예들은 헤드 마운트형 디스플레이 장치(Head-Moutned Display; HMD)와 이의 제어를 위한 방법 및 컴퓨터 프로그램에 대한 것이다.

Claims (11)

  1. 헤드 마운트형 디스플레이 장치로서,
    센서부;
    이미지를 표시하도록 구성된 표시부; 및
    상기 센서부에 의한 측정값으로부터 상기 헤드 마운트형 디스플레이 장치에 가해진 두드림을 측정하고, 상기 두드림을 입력 신호로 이용하여 상기 표시부에 표시되는 이미지를 제어하도록 구성된 제어부를 포함하는 헤드 마운트형 디스플레이 장치.
  2. 제 1항에 있어서,
    상기 제어부는, 상기 측정값을 미리 설정된 기준값과 비교함으로써 상기 헤드 마운트형 디스플레이 장치에 가해진 두드림 정보를 검출하도록 구성된 헤드 마운트형 디스플레이 장치.
  3. 제 2항에 있어서,
    상기 두드림 정보는 두드림의 유무, 회수 및 위치 정보를 포함하는 헤드 마운트형 디스플레이 장치.
  4. 제 2항에 있어서,
    상기 측정값 및 상기 기준값은 상기 헤드 마운트형 디스플레이 장치를 착용한 사용자의 움직임 또는 상기 헤드 마운트형 디스플레이 장치에 발생된 소리 중 하나 이상에 기초한 신호인 헤드 마운트형 디스플레이 장치.
  5. 제 1항에 있어서,
    상기 제어부는, 상기 두드림을 상기 입력 신호로 이용하여 상기 표시부에 표시되는 이미지의 종류, 출력 부분, 출력 형태, 및 재생 속도 중 하나 이상을 변화시키도록 구성된 헤드 마운트형 디스플레이 장치.
  6. 헤드 마운트형 디스플레이 장치의 제어 방법으로서,
    상기 헤드 마운트형 디스플레이 장치에 이미지를 표시하는 단계;
    상기 헤드 마운트형 디스플레이 장치에 가해진 두드림을 측정하는 단계; 및
    상기 두드림을 입력 신호로 이용하여 상기 헤드 마운트형 디스플레이 장치에 표시되는 이미지를 제어하는 단계를 포함하는 헤드 마운트형 디스플레이 장치의 제어 방법.
  7. 제 6항에 있어서,
    상기 두드림을 측정하는 단계는, 상기 헤드 마운트형 디스플레이 장치의 센서에 의해 얻어진 측정값을 미리 설정된 기준값과 비교함으로써 상기 헤드 마운트형 디스플레이 장치에 가해진 두드림 정보를 검출하는 단계를 포함하는 헤드 마운트형 디스플레이 장치의 제어 방법.
  8. 제 7항에 있어서,
    상기 두드림 정보는 두드림의 유무, 회수 및 위치 정보를 포함하는 헤드 마운트형 디스플레이 장치의 제어 방법.
  9. 제 7항에 있어서,
    상기 측정값 및 상기 기준값은 상기 헤드 마운트형 디스플레이 장치를 착용한 사용자의 움직임 또는 상기 헤드 마운트형 디스플레이 장치에 발생된 소리 중 하나 이상에 기초한 신호인 헤드 마운트형 디스플레이 장치의 제어 방법.
  10. 제 6항에 있어서,
    상기 헤드 마운트형 디스플레이 장치에 표시되는 이미지를 제어하는 단계는, 상기 두드림을 상기 입력 신호로 이용하여 상기 헤드 마운트형 디스플레이 장치에 표시되는 이미지의 종류, 출력 부분, 출력 형태, 및 재생 속도 중 하나 이상을 변화시키는 단계를 포함하는 헤드 마운트형 디스플레이 장치의 제어 방법.
  11. 헤드 마운트형 디스플레이 장치와 결합되어,
    상기 헤드 마운트형 디스플레이 장치에 이미지를 표시하는 단계;
    상기 헤드 마운트형 디스플레이 장치에 가해진 두드림을 측정하는 단계; 및
    상기 두드림을 입력 신호로 이용하여 상기 헤드 마운트형 디스플레이 장치에 표시되는 이미지를 제어하는 단계를 수행하도록 매체에 저장된 컴퓨터 프로그램.
PCT/KR2015/009707 2014-09-17 2015-09-16 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램 WO2016043515A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201580053844.5A CN106796452B (zh) 2014-09-17 2015-09-16 头戴式显示装置及其控制方法、计算机可读介质
JP2017514798A JP6490804B2 (ja) 2014-09-17 2015-09-16 タップによって制御されるヘッドマウント型ディスプレイ装置、その制御方法、及びその制御のためのコンピュータプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140123344A KR101839441B1 (ko) 2014-09-17 2014-09-17 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
KR10-2014-0123344 2014-09-17

Publications (1)

Publication Number Publication Date
WO2016043515A1 true WO2016043515A1 (ko) 2016-03-24

Family

ID=55454756

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/009707 WO2016043515A1 (ko) 2014-09-17 2015-09-16 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램

Country Status (5)

Country Link
US (1) US9904359B2 (ko)
JP (1) JP6490804B2 (ko)
KR (1) KR101839441B1 (ko)
CN (1) CN106796452B (ko)
WO (1) WO2016043515A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017220032A (ja) * 2016-06-07 2017-12-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、およびコンピュータプログラム
CN107885313A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种设备交互方法、装置和设备

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180021515A (ko) * 2016-08-22 2018-03-05 삼성전자주식회사 영상 표시 장치 및 영상 표시 장치의 동작 방법
US10241583B2 (en) * 2016-08-30 2019-03-26 Intel Corporation User command determination based on a vibration pattern
CN106383597B (zh) * 2016-09-07 2020-04-28 北京奇虎科技有限公司 一种实现与智能终端、与vr设备交互的方法和装置
CN106383575B (zh) * 2016-09-07 2020-04-10 北京奇虎科技有限公司 一种vr视频的交互控制方法和装置
CN106791765A (zh) * 2016-11-29 2017-05-31 宇龙计算机通信科技(深圳)有限公司 视图界面的切换方法、装置和虚拟现实设备
DE102018108643A1 (de) * 2018-04-11 2019-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Positionsbestimmungsvorrichtung zum Bestimmen einer Position eines Gegenstands innerhalb einer tubulären Struktur
KR102242703B1 (ko) * 2018-10-24 2021-04-21 주식회사 알파서클 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법
KR102281296B1 (ko) * 2019-06-17 2021-07-23 주식회사 케이티앤지 에어로졸 생성 장치 및 그의 동작 방법
KR20210087760A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 전자장치 및 그 제어방법
CN111616460A (zh) * 2020-01-17 2020-09-04 厦门理工学院 智能头盔及其控制方法
CN114442810A (zh) * 2022-01-28 2022-05-06 歌尔科技有限公司 一种头戴设备的控制方法、头戴设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990073928A (ko) * 1998-03-04 1999-10-05 구자홍 두부 움직임 감지 장치 및 감지 방법
JP2008118526A (ja) * 2006-11-07 2008-05-22 Sony Corp 撮像装置、撮像方法
KR20120129134A (ko) * 2011-05-19 2012-11-28 삼성전자주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
KR20140089345A (ko) * 2011-10-11 2014-07-14 소니 주식회사 헤드 마운트 디스플레이 및 표시 제어 방법
US20140232620A1 (en) * 2011-10-25 2014-08-21 Olympus Corporation Head mounted display apparatus, information terminal, and methods and information storage devices for controlling head mounted display apparatus and information terminal

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161190A (ja) 1997-11-25 1999-06-18 Seiko Epson Corp 頭部装着型表示装置
US6861946B2 (en) * 2000-05-17 2005-03-01 Caveo Technology Llc. Motion-based input system for handheld devices
WO2009063968A1 (ja) 2007-11-16 2009-05-22 Nikon Corporation 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法
JP5047115B2 (ja) * 2008-10-14 2012-10-10 セコム株式会社 移動物体追跡装置
US9292084B2 (en) * 2009-10-13 2016-03-22 Intel Corporation Control systems and methods for head-mounted information systems
KR101997034B1 (ko) * 2010-04-19 2019-10-18 삼성전자주식회사 인터페이스 방법 및 장치
US9134800B2 (en) 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method
EP2619749A4 (en) * 2010-09-21 2017-11-15 4IIII Innovations Inc. Head-mounted peripheral vision display systems and methods
KR101677696B1 (ko) 2010-12-14 2016-11-18 한국전자통신연구원 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치
JP5958689B2 (ja) * 2012-03-22 2016-08-02 セイコーエプソン株式会社 頭部装着型表示装置
WO2014050957A1 (ja) * 2012-09-27 2014-04-03 京セラ株式会社 表示装置、制御方法および制御プログラム
JP2014072575A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
US9016857B2 (en) * 2012-12-06 2015-04-28 Microsoft Technology Licensing, Llc Multi-touch interactions on eyewear
US20140168057A1 (en) * 2012-12-13 2014-06-19 Qualcomm Incorporated Gyro aided tap gesture detection
KR102028761B1 (ko) * 2013-07-26 2019-10-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운티드 디스플레이 및 그 제어 방법
US20150347717A1 (en) * 2014-06-02 2015-12-03 Xerox Corporation Hybrid personal training system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990073928A (ko) * 1998-03-04 1999-10-05 구자홍 두부 움직임 감지 장치 및 감지 방법
JP2008118526A (ja) * 2006-11-07 2008-05-22 Sony Corp 撮像装置、撮像方法
KR20120129134A (ko) * 2011-05-19 2012-11-28 삼성전자주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
KR20140089345A (ko) * 2011-10-11 2014-07-14 소니 주식회사 헤드 마운트 디스플레이 및 표시 제어 방법
US20140232620A1 (en) * 2011-10-25 2014-08-21 Olympus Corporation Head mounted display apparatus, information terminal, and methods and information storage devices for controlling head mounted display apparatus and information terminal

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017220032A (ja) * 2016-06-07 2017-12-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、およびコンピュータプログラム
CN107885313A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种设备交互方法、装置和设备

Also Published As

Publication number Publication date
US20160077651A1 (en) 2016-03-17
US9904359B2 (en) 2018-02-27
CN106796452A (zh) 2017-05-31
KR20160032817A (ko) 2016-03-25
KR101839441B1 (ko) 2018-03-16
CN106796452B (zh) 2019-11-12
JP6490804B2 (ja) 2019-03-27
JP2017531388A (ja) 2017-10-19

Similar Documents

Publication Publication Date Title
WO2016043515A1 (ko) 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
WO2016043537A1 (ko) 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
US11017257B2 (en) Information processing device, information processing method, and program
KR20210053990A (ko) 가상 세계에서의 가상 차량 드리프팅 방법 및 디바이스, 및 저장 매체
EP3528024B1 (en) Information processing device, information processing method, and program
US20240069339A1 (en) Head mounted display and information processing method
KR20150090435A (ko) 포터블 디바이스 및 그 제어 방법
US20220335734A1 (en) Head-mounted display, display control method, and program
JPWO2018198499A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
KR101879235B1 (ko) 시선에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
US20210232219A1 (en) Information processing apparatus, information processing method, and program
KR102533465B1 (ko) 시각에 따른 가상현실내의 도구패널 위치 지정방법
KR102540316B1 (ko) 메타버스 공간 내에서의 시선 방해 요인 제거 방법 및 프로그램
WO2021106671A1 (ja) 情報処理装置、情報処理方法、及びプログラム
KR20210122238A (ko) 시각 향상 시스템이 통합된 모바일 디바이스
JP2018073145A (ja) 表示制御システムおよび表示制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15841354

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017514798

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15841354

Country of ref document: EP

Kind code of ref document: A1