WO2017099318A1 - 헤드 마운티드 디스플레이 장치의 사용자를 인증하는 방법 및 헤드 마운티드 디스플레이 장치 - Google Patents

헤드 마운티드 디스플레이 장치의 사용자를 인증하는 방법 및 헤드 마운티드 디스플레이 장치 Download PDF

Info

Publication number
WO2017099318A1
WO2017099318A1 PCT/KR2016/007218 KR2016007218W WO2017099318A1 WO 2017099318 A1 WO2017099318 A1 WO 2017099318A1 KR 2016007218 W KR2016007218 W KR 2016007218W WO 2017099318 A1 WO2017099318 A1 WO 2017099318A1
Authority
WO
WIPO (PCT)
Prior art keywords
hmd device
user
sensor
value
characteristic value
Prior art date
Application number
PCT/KR2016/007218
Other languages
English (en)
French (fr)
Inventor
야키슨예브헨
슈르올렉산드르
김선경
페르리오프스카게레나
라에프스키미콜라
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160064233A external-priority patent/KR20170069125A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/781,367 priority Critical patent/US20190005216A1/en
Priority to EP16873184.2A priority patent/EP3358487B1/en
Priority to CN201680071979.9A priority patent/CN108369616A/zh
Publication of WO2017099318A1 publication Critical patent/WO2017099318A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/30—Security of mobile devices; Security of mobile applications
    • H04W12/33—Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/32—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring the deformation in a solid
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L5/00—Apparatus for, or methods of, measuring force, work, mechanical power, or torque, specially adapted for specific purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N3/00—Investigating strength properties of solid materials by application of mechanical stress
    • G01N3/08—Investigating strength properties of solid materials by application of mechanical stress by applying steady tensile or compressive forces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/38—Payment protocols; Details thereof
    • G06Q20/40—Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401—Transaction verification
    • G06Q20/4014—Identity check for transactions
    • G06Q20/40145—Biometric identity checks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication

Definitions

  • the HMD device which is a type of wearable device, refers to various digital devices that allow a user to wear multimedia contents or experience virtual reality or augmented reality (AR).
  • the HMD device may include various forms for wearing on the head, such as glasses or a helmet.
  • Figure 1a is a view for explaining the geometry of the human skull
  • Figure 1b is a diagram illustrating the shape of the human skull.
  • FIGS. 2A and 2B are diagrams for describing a method and an HMD device for authenticating a user's right to use, according to an embodiment of the present disclosure.
  • 5A to 5C are diagrams for describing a method of acquiring characteristic values of a user's head shape when a sensor contacts a user's head according to an embodiment of the present disclosure.
  • the at least one sensor may include a plurality of tension sensors that are spaced apart from each other in the mounting belt and measure the curvature of the skeleton of all or part of the skull of the user wearing the HMD device.
  • the at least one sensor may include a plurality of pressure sensors that measure pressure values in each of the frontal, temporal and occipital bones of the user wearing the HMD device.
  • the at least one sensor may include a plurality of pressure sensors that are spaced apart from each other in a mask covering a part of the face of the user wearing the HMD device and measure the shape and size of the face skeleton of the user.
  • the at least one sensor may generate the at least one series by classifying the characteristic values measured for different areas on the skull or the user's face wearing the HMD device according to the measured area.
  • the measuring of the characteristic value may include continuously measuring the characteristic value regarding the shape of the head of the user wearing the HMD device during the authentication time with the passage of time.
  • the HMD device 1000 uses a plurality of sensors 211 to 234 included in the HMD device 1000 to obtain characteristic values regarding head shapes of a plurality of users who use the HMD device 1000.
  • the first user may be identified by measuring and registering the measured values, and measuring the characteristic values of the head shape of the first user who wears the HMD device 1000 and comparing them with the plurality of registered characteristic values.
  • the memory 300 may store characteristic values of head shapes of a plurality of users who use the HMD device 1000 measured by using the sensor 200.
  • the memory 300 classifies and stores a plurality of characteristic values obtained from each of the sensors 200 spaced apart from each other for each series, or a plurality of the plurality of sensors 200 continuously acquired over time from the plurality of sensors 200.
  • the characteristic values of can be stored in time series, respectively.
  • the controller 400 may include a CPU having a computing circuit and a logic circuit.
  • the control unit 400 may be configured as a control module (authentication module) including at least one of the CPU, RAM, ROM, GPU and BUS.
  • the controller 400 may be implemented as an application processor (AP).
  • the controller 400 may be implemented with hardware components such as FPGA or ASIC.
  • the present invention is not limited thereto, and the controller 400 may include components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and programs. It may include procedures, subroutines, segments of program code, drivers, firmware, microcode, circuitry, data, databases, data structures, tables, arrays, and variables.
  • step S420 the HMD device authenticates the use right of the user wearing the HMD device, based on the property value measured in step S410 and the pre-registered property value for the head shape of the authenticated user of the HMD device.
  • the pre-registered characteristic value regarding the head shape of the authenticated user of the HMD device may be stored in the HMD device.
  • the pre-registered characteristic value regarding the head shape of the authenticated user of the HMD device 1000 may be stored in the memory 300.
  • the plurality of sensors 211 and 221 to 224 may be disposed in one region on the user's skull or in one region of the frontal bone, temporal bone and laryngeal bone.
  • the arrangement of the plurality of sensors 211 and 221 to 224 illustrated in FIG. 6B is an embodiment in which the positions of the plurality of sensors 211 and 221 to 224 illustrated in FIG. 6A are moved by a predetermined distance in the clockwise direction.
  • FIG. 7 is a diagram for describing a method of measuring, by the HMD device 1000, a characteristic value relating to the shape of an upper surface of a skull of a user, according to an embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating an HMD device 1000 of FIG. 7. It is a figure which shows the Example which classified the characteristic value acquired by the method shown by the series (S1-S6).
  • the HMD device 1000 may include a mounting belt 110, a strap band 120, and a plurality of sensors 211 to 224.
  • the first-first sensors 211 to 1-4 sensors 214 may be spaced apart from each other in the mounting belt 110.
  • the second-first sensors 221 to 2-4 sensors 224 may be spaced apart from each other in the strap band 120.
  • the first-first sensor 211 to the first-fourth sensor 214 are the same as the plurality of sensors 211 to 214 shown in FIG. 7, and the second-first sensor 221 to the second-fourth sensor ( 224 is the same as the plurality of sensors 221 to 224 illustrated in FIG. 9, and overlapping descriptions thereof will be omitted.
  • FIG. 13 illustrates a method in which the HMD device authenticates the user's authority to use the HMD device through a characteristic value of a user's head shape measured from a plurality of sensors spaced apart from each other according to an embodiment of the present disclosure
  • the HMD device determines whether the selected series corresponds to a series of pre-registered characteristic values.
  • the HMD device may classify the characteristic value of the head shape of the user who is authorized to use the HMD device according to the measured area. For example, in the memory, a tension value measured for at least one of the upper, temporal and occipital bones of the skull of a user who has been authorized to use the HMD device by using a tension sensor is determined according to the upper, temporal and occipital bones of the skull. The sorted series can be stored. In another embodiment, the memory may store a series of the tension values measured for at least one of the top, temporal and occipital bones of the skull of the user who is authorized to use the HMD device by using a tension sensor. have.
  • the plurality of sensors 231 to 238 may be in contact with a user's skin tissue on a part of the user's face.
  • the mask 130 may include at least one of a facial skeleton of the user, such as a galbella, a nasal bone, an ethmoid bone, a lacrimal bone, a supraorbital foramen, and an infraorbital foramen.
  • the sensors 231 to 238 are disposed on one, and the sensors 231 to 238 may be disposed on one region of the face skeleton of the user listed.
  • 17A and 17B are graphs showing characteristic values of a shape of a facial skeleton of a user measured by a conductive sensor included in the HMD device 1000 according to an embodiment of the present disclosure.
  • the electric resistance value changed according to the face shape of the user 2 is changed according to the plurality of conductive sensors 1 to N. It can be measured and shown in the form of each bar graph.
  • the electrical resistance value according to the pressure value changed according to the shape of the face skeleton of the user 2 measured by the first conductive sensor 1 is R 1 ′, which is different from the first resistance value R 1 of FIG. 17A. It can be another value.
  • the electrical resistance value according to the pressure value changed according to the shape of the face skeleton of the user 2 measured by the second conductive sensor 2 is R 2 ′, and the second resistance value R 2 of FIG. 17A. It may be different from.
  • FIG. 18A illustrates a plurality of light emitting devices 250-1 to 250-n and a plurality of photosensitive devices 260-1 to 260-n that measure characteristic values regarding a shape of a face skeleton of a user according to an exemplary embodiment of the present disclosure.
  • a resistance value changed according to a shape of a face skeleton of a user who is an object of user authentication stores the resistance value according to the size of the contact area between the conductive rubber tube 280 and the electrode pad 270 changed according to the shape of the facial skeleton of the user wearing the HMD device 1000. ) Can be used to authenticate the usage rights.
  • 21A and 21B are characteristics of the shape of the face skeleton of the user according to the shape change of the conductive rubber tube 280 when the user does not wear or wears the HMD device 1000 according to an embodiment of the present disclosure, respectively. Figures for explaining how to measure the value.
  • the resistance value according to the contact area with the conductive rubber tube changed according to the shape of the face skeleton of the user 2 measured by the second electrode pad 2 is R 2 ′, which is the second resistance value of FIG. 22A. It may be different from (R 2 ).
  • FIG. 24 is a flowchart illustrating a method of authenticating a user's right to use by measuring a characteristic value of a head shape of a user wearing an HMD device according to an embodiment of the present disclosure over time.
  • step S2410 the characteristic value about the head shape of the authenticated user who has the authority to use the HMD device is measured and registered.
  • the HMD device may measure the characteristic value of the head shape of the user to be authenticated during the registration time.
  • the HMD device determines whether the deviation value is less than a preset threshold.
  • the calculated deviation value B is less than the preset threshold d th for both positive and negative values compared to the reference value A for the number of measurements within the authentication time. It can be determined whether it has a value.
  • the difference value d 1 of the deviation value B and the reference value A is less than the preset threshold d th for all the measurement times within the authentication time.
  • the input / output unit 510 includes means for receiving an input of a user wearing the HMD device 1000, informing the user of information, receiving data from the outside, or outputting data to the outside.
  • the input / output unit 510 may include at least one speaker 511, at least one microphone 512, at least one button, a connector, a keypad, or a combination thereof.
  • embodiments of the present invention are not limited thereto.
  • the microphone 512 receives a voice or sound from the outside of the HMD device 1000, generates an electric signal based on the received voice and sound, and generates the generated electric signal. May be output to the main controller 900.
  • the microphones 512 may be arranged one or more in the proper position or positions of the HMD device 1000.
  • signals may be referred to alternatively as data, and data may also be referred to as data signals.
  • the power management module 800 may supply power to the HMD device 1000 under the control of the main controller 900.
  • the power management module 800 may be connected with one or more batteries.
  • the power management module 800 may supply power input from an external power source to the HMD device 1000 through a wired cable.
  • the control unit 400 denies authentication of the user wearing the HMD device 1000
  • the power management module 800 receives an electrical signal from the main control unit 900 to receive the HMD device 1000. May not power the system.
  • the main control unit 900 may cause the display 710 to display multimedia content or provide virtual reality or augmented reality.
  • the display 710 may be controlled.
  • the control unit 400 rejects the authentication of the user wearing the HMD device 1000 the main control unit 900 does not supply power to the HMD device 1000, the power management module 800 ) Can be controlled.
  • the main control unit 900 may perform all the functions performed by the control unit 400. In this case, the main controller 900 may not include the controller 400.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Accounting & Taxation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Strategic Management (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Finance (AREA)
  • Computing Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Immunology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

HMD 장치에 포함되는 적어도 하나의 센서를 사용하여 HMD 장치를 착용한 사용자의 머리 형태에 관한 특성값을 측정하고, 측정된 특성값과 HMD 장치를 사용하는 권한을 갖는 사용자의 머리 형태에 관하여 기 등록된 특성값에 기초하여, HMD 장치를 착용한 사용자의 사용 권한을 인증하는 방법이 개시된다.

Description

헤드 마운티드 디스플레이 장치의 사용자를 인증하는 방법 및 헤드 마운티드 디스플레이 장치
본 개시는 착용식 디스플레이(Wearable Display) 디바이스에 관한 것으로서, 특히 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 디바이스에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라, 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 웨어러블 디바이스의 일종인 HMD 장치는 사용자가 머리에 착용하여 멀티미디어 컨텐츠를 제공받거나 가상 현실(Virtual Reality, VR) 또는 증강 현실(Augmented Reality, AR)을 체험할 수 있게 하는 각종 디지털 디바이스를 의미한다. HMD 장치는 안경이나 헬멧 등과 같이 머리에 착용하기 위한 다양한 형태를 포함할 수 있다.
HMD 장치를 사용함에 있어서, HMD 장치를 사용하는 사용자의 사용 권한을 인증(authentication)하는 것은 개인 정보의 보호, 보안 또는 콘텐츠 제공 등을 위해 중요한 문제이다. HMD 장치의 인증 방법은 다양한 방법을 통해 구현될 수 있다. 예를 들어, HMD 장치의 인증 방법은, 상기 HMD 장치를 착용한 사용자의 홍채(iris)를 인식하는 홍채 인식 스캐너(iris scanner)를 통한 홍채 인증 알고리즘(iris authentication) 또는 사용자의 얼굴을 인식하는 안면 인식 알고리즘(authentication by face recognition)을 통해 구현될 수 있다.
본 개시의 일 실시예는, HMD 장치를 착용한 사용자의 사용 권한을 인증하는 방법 및 상기 방법을 수행하는 HMD 장치를 제공한다.
본 개시의 다른 실시예는, HMD 장치를 사용하는 복수의 사용자 중 특정 사용자를 식별하는 방법 및 방법을 수행하는 HMD 장치를 제공한다.
본 개시의 일 실시예에 따른 HMD 장치는 간편하고, 정확하며 신뢰할 수 있는 생체 측정을 통한 인증 방법(Biometric authentication method)을 제공할 수 있다. 또한, 본 개시의 일 실시예에 따른 인증 방법은, 별도의 홍채 인식 센서 또는 안면 스캐너 등이 요구되지 않는바, 추가 비용을 절감할 수 있어 비용적으로도 유리하다.
도 1a는 사람의 두개골에 대한 기하학적 구조를 설명하기 위한 도면이고, 도 1b는 사람의 두개골 형태를 도식화한 도면이다.
도 2a 및 도 2b는 본 개시의 일 실시예에 따른 HMD 장치가 사용자의 사용 권한을 인증하는 방법 및 HMD 장치를 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시예에 따른 HMD 장치의 구성 요소를 설명하기 위한 블록도이다.
도 4는 본 개시의 일 실시예에 따른 HMD 장치가, HMD 장치를 착용하는 사용자의 사용 권한을 인증하는 방법을 설명하기 위한 흐름도이다.
도 5a 내지 도 5c는 본 개시의 일 실시예에 따른 센서가 사용자의 머리에 접촉되는 경우, 센서가 사용자의 머리 형태에 대한 특성값을 획득하는 방법을 설명하기 위한 도면이다.
도 6a 내지 도 6c는 본 개시의 일 실시예에 따른 HMD 장치에 포함되고, 서로 이격되어 배치되는 복수의 센서가 사용자의 머리 상의 접촉되는 위치를 도시한 도면이다.
도 7은 본 개시의 일 실시예에 따른 HMD 장치가 사용자의 머리 형태에 관한 특성값을 측정하는 방법을 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따른 HMD 장치가 측정한 사용자의 머리 형태에 관한 특성값을 복수의 시리즈로 분류하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시예에 따른 HMD 장치가 사용자의 머리 형태에 관한 특성값을 측정하는 방법을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시예에 따른 HMD 장치가 측정한 사용자의 머리 형태에 관한 특성값을 복수의 시리즈로 분류하는 방법을 설명하기 위한 도면이다.
도 11은 본 개시의 일 실시예에 따른 HMD 장치가 사용자의 머리 형태에 관한 특성값을 측정하는 방법을 설명하기 위한 도면이다.
도 12는 본 개시의 일 실시예에 따른 HMD 장치가 측정한 사용자의 머리 형태에 관한 특성값을 복수의 시리즈로 분류하는 방법을 설명하기 위한 도면이다.
도 13은 본 개시의 일 실시예에 따른 HMD 장치가 서로 이격된 복수의 센서로부터 측정한 사용자의 머리 형태에 관한 특성값을 통하여 HMD 장치를 착용한 사용자의 사용 권한을 인증하는 방법을 설명하기 위한 흐름도이다.
도 14는 본 개시의 일 실시예에 따른 HMD 장치에 포함되고, 서로 이격되어 배치되는 복수의 센서가 사용자의 안면 상의 접촉되는 위치를 도시한 도면이다.
도 15는 본 개시의 일 실시예에 따른 HMD 장치가 측정한 사용자의 안면 형태에 관한 특성값을 복수의 시리즈로 분류하는 방법을 설명하기 위한 도면이다.
도 16a는 본 개시의 일 실시예에 따른 사용자의 안면 형태에 관한 특성값을 측정하는 도전성 센서를 포함하는 HMD 장치를 도시한 사시도이다.
도 16b는 도 16a에 도시된 HMD 장치의 일부분에 관한 확대 단면도이다.
도 17a 및 도 17b는 본 개시의 일 실시예에 따른 HMD 장치에 포함되는 도전성 센서로 측정한 사용자의 안면 형태에 관한 특성값을 도시한 그래프이다.
도 18a는 본 개시의 일 실시예에 따른 사용자의 안면 형태에 관한 특성값을 측정하는 발광 소자 및 감광 소자를 포함하는 HMD 장치를 도시한 사시도이다.
도 18b는 도 18a에 도시된 HMD 장치의 HMD 장치의 일부분에 관한 확대 단면도이다.
도 19a 및 도 19b는 본 개시의 일 실시예에 따른 HMD 장치에 포함되는 포토 레지스터에서 감지된 사용자의 안면 형태에 관한 특성값을 도시한 그래프이다.
도 20a는 본 개시의 일 실시예에 따른 사용자의 안면 형태에 관한 특성값을 측정하는 도전성 튜브 및 전극을 포함하는 HMD 장치를 도시한 사시도이다.
도 20b는 도 20a에 도시된 HMD 장치의 일부분에 관한 확대 단면도이다.
도 20c는 도 20a에 도시된 도전성 고무 튜브 및 전극 패드를 확대하여 도시한 사시도이다.
도 21a 및 도 21b는 본 개시의 일 실시예에서 사용자가 HMD 장치를 미착용한 경우 및 착용한 경우에 따라 도전성 고무 튜브의 형태 변화에 따른 사용자의 안면 형태에 관한 특성값을 측정하는 방법을 설명하기 위한 도면들이다.
도 22a 및 도 22b는 본 개시의 일 실시예에 따른 HMD 장치에 포함되는 전극 패드에서 감지된 사용자의 안면 형태에 관한 특성값을 도시한 그래프이다.
도 23a 및 도 23b는 본 개시의 일 실시예에 다른 HMD 장치를 착용하는 사용자의 머리 형태에 관한 특성값을 시간의 흐름에 따라 측정하여 획득한 특성값과 기 등록된 특성값 사이의 편차를 도시한 그래프들이다.
도 24는 본 개시의 일 실시예에 따른 HMD 장치를 착용하는 사용자의 머리 형태에 관한 특성값을 시간의 흐름에 따라 측정하여 사용자의 사용 권한을 인증하는 방법을 설명하기 위한 흐름도이다.
도 25는 본 개시의 일 실시예에 따른 HMD 장치를 착용하는 사용자의 머리 형태에 관한 특성값을 기 저장된 특성값과 비교하여 사용자의 사용 권한을 인증하는 방법을 설명하기 위한 흐름도이다.
도 26은 본 개시의 일 실시예에 따른 HMD 장치를 사용하는 복수의 사용자 중 HMD 장치를 착용하는 사용자를 식별하는 방법을 설명하기 위한 흐름도이다.
도 27은 본 개시의 일 실시예에 따른 HMD 장치를 착용하는 사용자의 머리 형태에 관한 특성값을 기 등록된 복수의 사용자의 특성값과 비교하여 사용자를 식별하는 방법을 설명하기 위한 흐름도이다.
도 28은 본 개시의 일 실시예에 따른 HMD 장치의 구성 요소를 설명하기 위한 블록도이다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, HMD 장치를 착용한 사용자의 머리 형태에 관한 특성값을 측정하는 적어도 하나의 센서, HMD 장치를 사용하는 권한을 갖는 사용자의 머리 형태에 관한 기 등록된 특성값을 저장하는 메모리 및 측정된 특성값과 기 등록된 특성값에 기초하여 HMD 장치를 착용한 사용자가 HMD 장치를 사용하는 권한을 인증하는 제어부를 포함하는, HMD 장치를 제공한다.
예를 들어, 적어도 하나의 센서는, 장력 센서(tension sensor), 압력 센서(pressure sensor), 응력 센서(stress sensor) 및 변형 센서(strain sensor) 중 적어도 하나를 포함할 수 있다.
예를 들어, 적어도 하나의 센서는, HMD 장치와 HMD 장치를 착용한 사용자의 두개골 사이를 고정하여 지지하는 마운팅 벨트(mounting belt) 내에 배치될 수 있다.
예를 들어, 적어도 하나의 센서는, 마운팅 벨트 내에서 서로 이격되어 배치되고, HMD 장치를 착용한 사용자의 두개골의 전부 또는 일부의 골격의 곡률을 측정하는 복수의 장력 센서를 포함할 수 있다.
예를 들어, 적어도 하나의 센서는, HMD 장치와 HMD 장치를 착용한 사용자의 전두골, 측두골 및 후두골을 둘러 싸는 스트랩 밴드(strap band) 내에 서로 이격되어 배치될 수 있다.
예를 들어, 적어도 하나의 센서는 HMD 장치를 착용한 사용자의 전두골, 측두골 및 후두골 각각에서의 압력값을 측정하는 복수의 압력 센서를 포함할 수 있다.
예를 들어, 적어도 하나의 센서는, HMD 장치를 착용한 사용자의 안면 일부를 덮는 마스크 내에 서로 이격되어 배치되고, 사용자의 안면 골격의 모양 및 크기를 측정하는 복수의 압력 센서를 포함할 수 있다.
예를 들어, 적어도 하나의 센서는, HMD 장치를 착용한 사용자의 두개골 또는 사용자의 안면 상의 서로 다른 영역에 대하여 측정한 특성값을 측정한 영역에 따라 분류하여 적어도 하나의 시리즈로 생성할 수 있다.
예를 들어, 제어부는, 적어도 하나의 시리즈 중 어느 하나의 시리즈를 선택하고, 선택된 시리즈가 기 등록된 특성값의 시리즈와 상응되는지 결정하여 HMD 장치를 착용한 사용자의 사용 권한을 인증할 수 있다.
예를 들어, 적어도 하나의 센서는, 인증 시간 동안 HMD 장치를 착용한 사용자의 머리 형태에 관한 특성값을 시간의 흐름에 따라 연속적으로 측정할 수 있다.
예를 들어, 제어부는, 인증 시간 동안 적어도 하나의 센서가 특성값을 측정하는 횟수에 따라 측정된 특성값과 메모리에 저장된 특성값 사이의 편차값을 계산하고, 계산된 편차값이 기 설정된 임계치 미만인 경우, HMD 장치를 착용한 사용자의 사용 권한을 인증할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, HMD 장치를 사용하는 복수의 사용자의 머리 형태에 관한 복수의 특성값을 각각 측정하는 적어도 하나의 센서, 적어도 하나의 센서로부터 측정한 복수의 사용자의 머리 형태에 관한 복수의 특성값을 저장하는 메모리 및 HMD 장치를 착용한 제1 사용자의 머리 형태에 관한 제1 특성값을 메모리에 저장된 복수의 특성값과 각각 비교하여, 제1 사용자를 식별하는 제어부를 포함하는, HMD 장치를 제공한다.
예를 들어, 제어부는, 제1 사용자의 머리 형태에 관한 특성값과 저장된 복수의 특성값 각각의 차이값을 계산하고, 저장된 복수의 특성값 중 차이값이 최소인 특성값을 제1 사용자의 특성값으로 결정할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, HMD 장치를 착용한 사용자의 머리 형태에 관한 특성값을 측정하는 단계, 및 측정된 특성값과 HMD 장치를 사용하는 권한을 갖는 인증된 사용자의 머리 형태에 관하여 기 등록된 특성값에 기초하여, HMD 장치를 착용한 사용자의 사용 권한을 인증하는 단계를 포함하는, HMD 장치가 사용자를 인증하는 방법을 제공한다.
예를 들어, 특성값을 측정하는 단계는, HMD 장치를 착용한 사용자의 두개골의 전부 또는 일부의 골격의 곡률을 측정하는 단계를 포함할 수 있다.
예를 들어, 특성값을 측정하는 단계는, HMD 장치를 착용한 사용자의 전두골, 측두골 및 후두골 각각에서의 압력값을 측정하는 단계를 포함할 수 있다.
예를 들어, 특성값을 측정하는 단계는, 적어도 하나의 센서를 사용하여 사용자의 안면 골격의 형태 및 크기를 측정하는 단계를 포함할 수 있다.
예를 들어, 특성값을 측정하는 단계는, HMD 장치를 착용한 사용자의 두개골 또는 사용자의 안면 상의 서로 다른 영역에 대하여 측정한 특성값을 측정한 영역에 따라 적어도 하나의 시리즈로 분류하는 단계를 포함할 수 있다.
예를 들어, 인증하는 단계는, 적어도 하나의 시리즈 중 어느 하나의 시리즈를 선택하는 단계, 선택된 시리즈를 기 등록된 특성값의 시리즈와 선택된 시리즈가 상응되는지 결정하는 단계 및 결정에 기초하여, HMD 장치를 착용한 사용자의 사용 권한을 인증하는 단계를 포함할 수 있다.
예를 들어, 특성값을 측정하는 단계는, 인증 시간 동안 HMD 장치를 착용한 사용자의 머리 형태에 관한 특성값을 시간의 흐름에 따라 연속적으로 측정하는 단계를 포함할 수 있다.
예를 들어, 인증하는 단계는, 인증 시간 동안 특성값이 측정되는 횟수에 따라 측정된 특성값과 기 등록된 특성값의 편차값을 계산하는 단계, 계산된 편차값을 기 설정된 임계치와 비교하는 단계 및 편차값이 임계치 미만인 경우 HMD 장치를 착용한 사용자의 사용 권한을 인증하는 단계를 포함할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, HMD 장치에 포함되는 적어도 하나의 센서를 사용하여 HMD 장치를 사용하는 복수의 사용자의 머리 형태에 관한 특성값을 각각 등록하는 단계, 적어도 하나의 센서를 사용하여 HMD 장치를 착용한 제1 사용자의 머리 형태에 관한 제1 특성값을 획득하는 단계 및 제1 특성값과 등록된 복수의 특성값에 기초하여, 제1 사용자를 식별하는 단계를 포함하는, HMD 장치의 사용자를 식별하는 방법을 제공한다.
예를 들어, 식별하는 단계는, 획득된 제1 특성값과 등록된 복수의 특성값 각각의 차이값을 계산하는 단계, 및 등록된 복수의 특성값 중 계산된 차이값이 최소인 특성값을 제1 사용자의 특성값으로 결정하는 단계를 포함할 수 있다.
상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 컴퓨터로 읽을 수 있는 기록매체는 전술된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1a는 사람의 두개골에 대한 기하학적 구조를 설명하기 위한 도면이고, 도 1b는 사람의 두개골 형태를 도식화한 도면이다.
도 1a를 참조하면, 사람의 두개골의 형태, 즉 기하학적 구조를 나타내는 특징점이 표시되어 있다. 예컨대, 사람의 두개골의 형태는 맨체스터 프로토콜(Manchester protocol)을 통해 특정될 수 있다. 사람의 두개골의 형태는, 지문이나 홍채와 같이 인종별 및 개인별로 각각 다른 특징을 갖고 있다. 예컨대, 사람의 전두골(Frontal bone), 측두골(Temporal bone), 후두골(Occipital bone), 미간뼈(Glabella), 안와상공(Supraorbital foramen) 등의 골격의 모양, 크기, 곡률 등은 개인별로 서로 다른 고유의 특징을 포함하고 있다.
도 1b를 참조하면, 사람의 머리의 형태를 도식화하여 종류별로 분류할 수 있다. 사람의 머리 형태, 즉 두개골의 형태는 두개골의 모양, 크기, 골격 구조 및 곡률 중 적어도 하나를 의미할 수 있다. 사람의 두개골은 예컨대 타원형(Ellipsoid), 회전 타원형(Spheroid), 계란형(Oviod), 배형(Pear-Shaped), 오각형(Pentagonoid), 장사방형(Rhomboid), 쐐기형(Sphenoid) 등으로 구분할 수 있다. 다만, 사람의 두개골의 형태가 나열된 형태로 제한되는 것은 아니다.
도 1a 및 도 1b를 참조하면, 사람의 머리 형태, 즉 두개골의 형태는 개인마다 서로 다른 기하학적 특징을 포함하고 있다. 따라서, 사람의 머리에 물리적 접촉을 하여 장착하는 HMD 장치(1000)에서 머리 형태에 관한 특성값을 센서를 통해 측정함으로써, 사용자의 사용 권한을 인증하는 방법으로 활용될 수 있다.
도 2a 및 도 2b는 본 개시의 일 실시예에 따른 헤드 마운티드 디스플레이 장치(이하, HMD 장치)(1000)가 사용자의 사용 권한을 인증하는 방법 및 HMD 장치(1000)를 설명하기 위한 도면이다. HMD 장치(1000)는, 사용자의 머리에 착용되는 디스플레이 장치이다. 구체적으로, 웨어러블 디바이스의 일종인 HMD 장치(1000)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠를 제공받거나 가상 현실 또는 증강 현실을 체험할 수 있게 하는 각종 디지털 디바이스를 의미한다.
도 2a를 참조하면, HMD 장치(1000)는 외형적으로, 사용자의 두개골 상의 일부 영역을 감싸는 형태로 지지하는 마운팅 벨트(mounting belt)(110), 사용자의 전두골, 측두골 및 후두골을 둘러싸는 형태로 지지하는 스트랩 밴드(strap band)(120) 및 사용자의 안면의 일부 영역을 덮는 마스크(130)를 포함할 수 있다. 일 실시예에서, HMD 장치(1000)는 디스플레이부(710, 도 28 참조) 및 렌즈(720, 도 28 참조) 등 다른 구성 요소를 더 포함할 수 있으나, 이는 도 28의 설명 부분에서 후술하도록 한다.
HMD 장치(1000)는 마운팅 벨트(110) 내에서 서로 이격되어 배치되는 복수의 센서(211 내지 214), 스트랩 밴드(120) 내에서 서로 이격되어 배치되는 복수의 센서(221 내지 224) 및 마스크(130) 내에서 서로 이격되어 배치되는 복수의 센서(231 내지 234)를 더 포함할 수 있다. 일 실시예에서, 복수의 센서(211 내지 234)는 HMD 장치(1000)를 착용하는 사용자의 머리 형태에 관한 특성값을 측정할 수 있다. 사용자의 머리 형태는 사용자의 두개골의 크기, 모양, 골격 구조, 골격의 곡률 또는 사용자의 안면의 크기, 모양, 곡률, 눈, 코, 입의 배치 등을 포함하는 기하학적, 구조적 특징을 의미할 수 있다.
사용자의 머리 형태에 관한 특성값은, 사용자의 머리 형태에 관한 기하학적 및 구조적 특징에 대한 물리적, 기하학적 파라미터를 의미할 수 있다. 예컨대, 사용자의 머리 형태에 관한 특성값은, 복수의 센서(211 내지 234)를 사용하여 측정한 사용자의 두개골 또는 사용자의 안면의 장력값(tension value), 압력값(pressure value), 응력값(stress value) 및 응력 변형값(strain value)을 포함하는 기하학적 파라미터 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 복수의 센서(211 내지 234)는 장력 센서(tension sensor), 압력 센서(pressure sensor), 응력 센서(stress sensor), 변형 센서(strain sensor), 도전성 센서 및 발광 센서 중 적어도 하나를 포함할 수 있으나, 나열된 예시로 인해 제한되지 않는다. 일 실시예에서 HMD 장치(1000)는, 복수의 센서(211 내지 214)를 사용하여 HMD 장치(1000)를 착용하는 사용자의 두개골의 곡률(user1)을 측정하고, 측정된 곡률을 기 등록된 인증 받은 사용자의 두개골의 곡률(authentication user, 도 2b 참조)과 비교하여 사용자의 사용 권한을 인증할 수 있다.
다른 실시예에서, HMD 장치(1000)는, 복수의 센서(221 내지 224)를 사용하여 HMD 장치(1000)를 착용하는 사용자의 측두골 및 후도골의 곡률을 측정하고, 측정된 곡률을 기 등록된 사용자의 측두골 및 후두골의 곡률과 비교하여 사용자의 사용 권한을 인증할 수 있다.
HMD 장치(1000)는, 사용자의 신체 일부, 즉 머리와의 물리적 접촉을 통하여, 물리적, 기계적 측정 방법으로 사용자의 머리의 형태에 관한 특징을 측정하고, 이를 기 등록된 사용자의 머리 형태에 관한 특징과 비교하여, 사용자의 사용 권한을 인증할 수 있다.
구체적으로 HMD 장치(1000)는, HMD 장치(1000) 내에 포함되는 복수의 센서(211 내지 234)를 사용하여 HMD 장치(1000)를 착용하는 사용자의 머리 형태에 관한 특성값을 측정하여, 사용자의 HMD 장치(1000)를 사용 권한을 인증할 수 있다.
일 실시예에서, HMD 장치(1000)는, HMD 장치(1000) 내에 포함되는 복수의 센서(211 내지 234)를 사용하여 HMD 장치(1000)를 사용하는 복수의 사용자의 머리 형태에 관한 특성값을 측정하여 등록하고, HMD 장치(1000)를 착용하는 제1 사용자의 머리 형태에 관한 특성값을 측정하여 기 등록된 복수의 특성값과 비교함으로써, 제1 사용자를 식별할 수 있다.
도 2b를 참조하면, 복수의 센서(211 내지 234)를 사용하여 측정한 복수의 사용자의 두개골의 곡률 곡선(luser 1, luser 2, luser 3) 및 기 등록된 인증 받은 사용자의 두개골의 곡률 곡선(lauthenticated)이 도시되어 있다. 일 실시예에서, HMD 장치(1000)는 마운팅 벨트(110, 도 2a 참조) 내에 이격되어 있는 복수의 센서(211 내지 214)를 사용하여 HMD 장치(1000)를 착용하는 복수의 사용자의 두개골의 전부 또는 일부의 곡률을 측정하여 복수의 사용자의 곡률 곡선(luser 1, luser 2, luser 3)을 각각 획득할 수 있다.
HMD 장치(1000)는 복수의 사용자의 곡률 곡선(luser 1, luser 2, luser 3)을 HMD 장치(1000)를 사용하는 사용 권한을 인증 받은 기 등록된 사용자의 곡률 곡선(lauthenticated)과 비교하여 복수의 사용자 중 인증 받은 사용자를 결정할 수 있다. 일 실시예에서, HMD 장치(1000)는 두개골의 곡률 곡선 뿐만 아니라, 측두골 및 후두골에 대한 곡률 곡선을 획득할 수 있고, 기 등록된 측두골 및 후두골에 대한 곡률 곡선과 획득된 곡률 곡선을 비교하여 HMD 장치(1000)를 착용하는 사용자의 사용 권한을 인증할 수도 있다.
최근에는 HMD 장치(1000)를 사용함에 있어서, 사용 권한의 인증이 중요한 문제로 대두되고 있다. 특히, HMD 장치(1000)를 사용하는 사용자의 사용 권한을 인증(authentication)하는 것은 개인 정보의 보호 또는 보안을 위해서 중요하다. 특히, 가족 내에서 공용으로 사용하는 HMD 장치(1000)의 경우, 미성년자가 HMD 장치(1000)를 사용하여 성인용 콘텐츠를 제공받는 등의 문제가 발생될 수 있는바, 사용 권한의 인증은 반드시 필요하다.
도 2a 및 도 2b에 도시된 실시예는, HMD 장치(1000)에 포함되는 복수의 센서(211 내지 234)를 사용하여 HMD 장치(1000)를 착용하는 사용자의 머리 형태에 관한 곡률 곡선을 획득하고, 사용자의 사용 권한을 인증함으로써, 간편하고, 정확하며 신뢰할 수 있는 생체 측정을 통한 인증 방법(Biometric authentication method)을 제공할 수 있다. 또한, 본 실시예에 따른 인증 방법은, 별도의 홍채 인식 센서 또는 안면 스캐너 등이 요구되지 않는바, 추가 비용을 절감할 수 있어 비용적으로도 유리하다.
도 3은 본 개시의 일 실시예에 따른 HMD 장치(1000)의 구성 요소를 설명하기 위한 블록도이다.
도 3을 참조하면, HMD 장치(1000)는 센서(200), 메모리(300) 및 제어부(400)을 포함할 수 있다. 다만, HMD 장치(1000)는 나열된 구성 요소만을 포함하는 것은 아니고, 마운팅 벨트(110), 스트랩 밴드(120) 및 마스크(130, 이상 도 1a 참조)를 포함하는 지지 부재를 더 포함할 수 있다.
센서(200)는, HMD 장치(1000)를 착용하는 사용자의 머리 형태에 관한 특성값을 측정할 수 있다. 센서(200)는 마운팅 벨트(110), 스트랩 밴드(120) 및 마스크(130, 이상 도 2a 참조) 중 어느 하나에 배치되고, 사용자가 HMD 장치(1000)를 머리에 착용하는 경우, 사용자의 머리와 물리적, 기계적으로 접촉될 수 있다. 센서(200)의 배치에 관해서는 도 6a 내지 도 6c, 도 7, 도 9, 도 11 및 도 14에 대한 설명 부분에서 후술하도록 한다.
일 실시예에서, 센서(200)는 HMD 장치(1000)를 착용하는 사용자의 두개골 또는 안면의 전부 또는 일부 영역에 대한 장력값, 압력값, 응력값 및 응력 변형값 중 적어도 하나를 측정할 수 있다. 센서(200)는 하나의 센서 또는 복수개의 센서로 구성될 수 있다. 일 실시예에서, 센서(200)는 장력 센서(tension sensor), 압력 센서(pressure sensor), 응력 센서(stress sensor), 변형 센서(strain sensor), 도전성 센서 및 발광 센서 중 적어도 하나를 포함할 수 있다.
메모리(300)는 HMD 장치(1000)를 사용하는 권한을 갖는 인증된 사용자의 머리 구조에 관한 기 등록된 특성값을 저장할 수 있다. 일 실시예에서, 메모리(300)는 기 등록된 특성값을 서로 이격되어 배치된 복수의 센서(200) 각각으로부터 획득한 특성값의 시리즈 별로 분류하여 저장하거나, 또는 센서(200)로부터 시간의 흐름에 따라 연속적으로 획득된 특성값을 시계열적으로 저장할 수 있다.
일 실시예에서, 메모리(300)는, 센서(200)를 사용하여 측정한 HMD 장치(1000)를 사용하는 복수의 사용자의 머리 형태에 관한 특성값을 저장할 수 있다. 메모리(300)는 서로 이격되어 배치된 센서(200) 각각으로부터 획득한 복수의 특성값을 각각의 시리즈 별로 분류하여 저장하거나, 또는 복수의 센서(200)로부터 시간의 흐름에 따라 연속적으로 획득된 복수의 특성값을 각각 시계열적으로 저장할 수 있다.
메모리(300)는 내장 메모리(Internal Memory) 및 외장 메모리(External Memory) 중 적어도 하나를 포함할 수 있다.
내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다.
외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다.
제어부(400)는 센서(200)에서 측정한 사용자의 머리 형태에 관한 특성값을 메모리(300)에 저장된 기 등록된 특성값과 비교하여 사용자의 사용 권한을 인증할 수 있다. 일 실시예에서, 제어부(400)는 센서(200)로부터 획득된 사용자의 머리 형태에 관한 특성값의 시리즈를 기 등록된 특성값의 시리즈와 비교하여 사용자의 사용 권한을 인증할 수 있다.
다른 실시예에서, 제어부(400)는 센서(200)로부터 시간의 흐름에 따라 연속적으로 측정된 사용자의 머리 형태에 관한 특성값을 메모리(300)에 기 등록된 특성값과 비교하여 사용자의 사용 권한을 인증할 수 있다. 제어부(400)가 HMD 장치(1000)를 착용하는 사용자를 인증하는 방법에 대해서는 도 13, 도 23a 내지 도 25에서 후술하도록 한다.
다른 실시예에서, 제어부(400)는 HMD 장치(1000)를 착용한 특정 사용자, 예컨대 제1 사용자의 머리 형태에 관한 특성값을 메모리(300)에 저장된 복수의 특성값과 각각 비교하여, 제1 사용자를 식별할 수 있다. 일 실시예에서, 제어부(400)는 제1 사용자의 머리 형태에 관한 특성값과 메모리(300)에 저장된 복수의 특성값 각각의 차이값을 계산하고, 복수의 특성값 중 계산된 차이값이 최소인 특성값을 제1 사용자의 특성값으로 결정할 수 있다.
제어부(400)는 연산 회로 및 논리 회로를 갖춘 CPU를 포함할 수 있다. 일 실시예에서, 제어부(400)는 CPU, RAM, ROM, GPU 및 BUS 중 적어도 하나를 포함하는 제어부(authentication module)로 구성될 수 있다. 일 실시예에서, 제어부(400)는 애플리케이션 프로세서(Application Processor, AP)로 구현될 수도 있다. 일 실시예에서, 제어부(400)는 FPGA 또는 ASIC과 같은 하드웨어 구성 요소로 구현될 수 있다. 다만 이에 한정되는 것은 아니고, 제어부(400)는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함할 수도 있다.
도 4는 본 개시의 일 실시예에 따른 HMD 장치가, HMD 장치를 착용한 사용자의 사용 권한을 인증하는 방법을 설명하기 위한 흐름도이다.
단계 S410에서 HMD 장치는, HMD 장치를 착용하는 사용자의 머리 형태에 관한 특성값을 측정한다. 일 실시예에서, HMD 장치는, HMD 장치를 착용하는 사용자의 두개골 또는 사용자의 안면의 장력값(tension value), 압력값(pressure value), 응력값(stress value) 및 응력 변형값(strain value)을 포함하는 기하학적 파라미터 중 적어도 하나를 측정할 수 있다.
단계 S420에서, HMD 장치는 단계 S410에서 측정된 특성값과 HMD 장치의 인증된 사용자의 머리 형태에 관한 기 등록된 특성값에 기초하여, HMD 장치를 착용한 사용자의 사용 권한을 인증한다. 일 실시예에서, HMD 장치의 인증된 사용자의 머리 형태에 관한 기 등록된 특성값은 HMD 장치에 저장될 수 있다. 일 실시예에서, HMD 장치(1000)의 인증된 사용자의 머리 형태에 관한 기 등록된 특성값은 메모리(300)에 저장될 수 있다.
HMD 장치는 획득된 사용자의 머리 형태에 관한 특성값의 시리즈를 저장된 기 등록된 특성값의 시리즈와 비교하거나 또는 시간의 흐름에 따라 연속적으로 측정된 사용자의 머리 형태에 관한 특성값을 HMD 장치에 기 등록된 특성값과 비교하여 사용자의 사용 권한을 인증할 수 있다.
일 실시예에서, 전술한 비교 결과에 기초하여 HMD 장치를 착용한 사용자의 사용 권한을 인증한다. HMD 장치는 측정된 사용자의 머리 형태에 관한 특성값이 기 등록된 특성값과 상응하는 경우, 사용자의 사용 권한을 인증할 수 있다.
또한, HMD 장치는 측정된 사용자의 머리 형태에 관한 특성값과 HMD 장치에 저장된 기 등록된 특성값의 차이가 기 설정된 임계치 미만인 경우, 사용자의 사용 권한을 인증할 수 있다. HMD 장치를 착용한 사용자의 사용 권한이 인증되는 경우 HMD 장치는 멀티미디어 콘텐츠를 디스플레이하거나 가상 현실 또는 증강 현실을 제공하는 동작을 수행할 수 있다.
이와 반대로, HMD 장치는 측정된 특성값과 HMD 장치에 저장된 기 등록된 특성값의 차이가 기 설정된 임계치 이상인 경우 사용자의 사용 권한 인증을 거부할 수 있다. HMD 장치를 착용한 사용자의 사용 권한의 인증이 거부되는 경우, HMD 장치는 별도의 동작을 수행하지 않고, 전원이 오프(off)될 수 있다.
도 5a 내지 도 5c는 센서(200)가 사용자의 머리에 접촉되는 경우, 사용자의 머리 형태에 대한 특성값을 획득하는 방법을 설명하기 위한 도면이다. 도 5a 내지 도 5c에 도시된 실시예에서, 센서(200)는 사용자의 머리의 일 영역 상에 접촉되고, 접촉된 형태에 따라 변화되는 전기적 저항값을 감지할 수 있다. 일 실시예에서, 센서(200)는 스트레인 센서(strain sensor) 또는 스트레인 게이지(strain gauge)로 구성될 수 있다. 다만, 변형 측정기는 센서(200)의 일 예시일 뿐, 센서(200)는 장력 센서, 압력 센서, 응력 센서, 도전성 센서 및 발광 센서 중 적어도 하나를 포함할 수 있으며, 나열된 예시로 제한되지 않는다.
도 5a를 참조하면, 센서(200)는 저항 패턴 라인(200a) 및 저항 감지 단자(200b)를 포함할 수 있다. 저항 패턴 라인(200a)은 상호 평행한 방향으로 지그 재그 형태로 배열될 수 있다. 저항 패턴 라인(200a)은 HMD 장치(1000)가 사용자의 머리에 장착되는 경우, 사용자의 머리 형태에 따라 길이가 변화될 수 있다. 저항 감지 단자(200b)는 저항 패턴 라인(200a)의 단위 길이에 대한 저항 패턴 라인(200a)의 길이 변화를 전기 저항값으로 변환하고, 변환된 전기 저항값의 변화를 감지할 수 있다. 일 실시예에서, 저항 감지 단자(200b)는 휘트스톤 브리지(Wheatstone Bridge)를 사용하여 전기 저항값의 변화를 감지할 수 있다.
도 5b 및 도 5c를 참조하면, 센서(200)는 사용자의 머리 형태에 의한 전기 저항값의 변화를 감지할 수 있다. 도 5b에 도시된 실시예에서, 사용자의 머리 형태가 위로 볼록한 경우 저항 패턴 라인(200a)은 장력을 받아 길이는 증가하고, 폭은 감소될 수 있다. 이 경우, 저항 감지 단자(200b)는 전기적 저항의 증가를 감지할 수 있다. 도 5c에 도시된 실시예에서는, 도 5b에서와는 달리 사용자의 머리 형태가 아래로 오목하고, 따라서 저항 패턴 라인(200a)은 수축되어 길이는 감소되고 폭은 증가될 수 있다. 이 경우, 저항 감지 단자(200b)는 전기적 저항의 감소를 감지할 수 있다.
본 개시의 일 실시예에서, 도 5b 및 도 5c에 도시된 방법을 통해 HMD 장치(1000)를 착용하는 사용자의 머리 형태에 관한 특성값, 즉 저항값, 압력값, 응력 변화값 등을 측정할 수 있다. 다만, 도 5a 내지 도 5c에 도시된 내용은 예시일 뿐이고, 센서(200)의 종류 및 센서(200)를 이용한 특성값 측정 방법이 설명된 내용으로 한정되는 것은 아니다.
도 6a 내지 도 6c는 본 개시의 일 실시예에 따른 HMD 장치(1000)가 사용자의 머리에 장착되는 경우, HMD 장치(1000) 내에서 서로 이격되어 배치되는 복수의 센서(211, 221 내지 228)가 사용자의 머리에서 접촉되는 위치를 도시한 사시도 및 평면도이다.
도 6a를 참조하면, 복수의 센서(211, 221 내지 224)는 사용자의 두개골 상의 일 영역에 배치되거나, 전두골, 측두골 및 후두골의 일 영역에 배치될 수 있다. 구체적으로, HMD 장치(1000)가 사용자의 머리에 장착되는 경우, 마운팅 벨트(110) 내에 배치되는 제1 센서(211)는 사용자의 두개골 상의 일부 영역에 배치되어 사용자의 피부 조직을 사이에 두고 사용자의 두개골과 접촉될 수 있다. 또한, HMD 장치(1000)가 사용자의 머리에 장착되는 경우, 스트랩 밴드(120) 내에 배치되는 제2-1 센서(221)는 미간과 인접한 제1 영역에, 제2-2 센서(222)는 후두골 상의 제2 영역에, 제2-3 센서(223) 센서 및 제2-4 센서(224)는 각각 좌측 측두골 상의 제3 영역 및 우측 측두골 상의 제4 영역 상에 배치되어 사용자의 피부 조직을 사이에 두고 사용자의 전두골, 측두골 및 후두골과 접촉될 수 있다.
도 6a에 도시된 평면도를 참조하면, 제2-1 센서(221)와 제2-2 센서(222)는 y 방향으로 가상의 직선을 형성하고, 제2-3 센서(223)과 제2-4 센서(224)는 x 방향으로 가상의 직선을 형성하여 연결될 수 있다. 제1 센서(211)은 제2-1 센서(221)과 제2-2 센서(222), 제2-3 센서(223)과 제2-4 센서(224)가 각각 이루는 가상의 직선의 교차점에 배치될 수 있다. 일 실시예에서, 제1 센서(211) 및 제2-1 센서(221) 내지 제2-4 센서(224)는 장력 센서, 압력 센서, 응력 센서, 변형 센서, 도전성 센서 및 발광 센서 중 적어도 하나로 구현될 수 있다.
도 6b를 참조하면, 복수의 센서(211, 221 내지 224)가 사용자의 두개골 상의 일 영역에 배치되거나, 전두골, 측두골 및 후두골의 일 영역에 배치될 수 있다. 도 6b에 도시된 복수의 센서(211, 221 내지 224)의 배치는 도 6a에 도시된 복수의 센서(211, 221 내지 224)의 위치를 시계 방향으로 소정의 거리 만큼 이동시킨 실시예이다.
구체적으로, HMD 장치(1000)가 사용자의 머리에 장착되는 경우, 스트랩 밴드(120) 내에 배치되는 제2-1 센서(221)는 미간과 우측 측두골 사이의 제5 영역에, 제2-2 센서(222)는 후두골과 좌측 측두골 사이의 제6 영역에, 제2-3 센서(233)은 미간과 좌측 측두골 사이의 제7 영역에, 제2-4 센서(224)는 우측 측두골과 후두골 사이의 제8 영역에 배치되어 사용자의 피부 조직을 사이에 두고 사용자의 전두골, 측두골 및 후두골과 접촉될 수 있다. 제1 센서(211)는 도 6a와 도시된 것과 동일한 위치에 배치될 수 있다.
도 6b에 도시된 평면도를 참조하면, 제2-1 센서(221)와 제2-2 센서(222)는 x축을 기준으로 반시계 방향으로 0° 내지 90° 사이의 소정의 각도를 갖는 가상의 대각선을 형성하고, 제2-3 센서(223)과 제2-4 센서(224)는 x축 기준으로 반시계 방향으로 90° 내지 180° 사이의 소정의 각도를 갖는 가상의 대각선을 형성하며 연결될 수 있다. 도 6a에서 설명한 바와 같이, 제1 센서(211) 및 제2-1 센서(221) 내지 제2-4 센서(224)는 장력 센서, 압력 센서, 응력 센서, 응력 변형 센서, 도전성 센서 및 발광 센서 중 적어도 하나로 구현될 수 있다.
도 6c를 참조하면, 복수의 센서(211, 221 내지 228)가 사용자의 두개골 상의 일 영역에 배치되거나, 전두골, 측두골 및 후두골의 일 영역에 배치될 수 있다. 도 6c에 도시된 복수의 센서(211, 221 내지 228)의 배치는 도 6a와 도 6b에 도시된 복수의 센서(211, 221 내지 224)의 위치를 조합한 실시예이다. 구체적으로, HMD 장치(1000)가 사용자의 머리에 장착되는 경우, 스트랩 밴드(120) 내에는 총 8개의 센서가 배치될 수 있고, 제2-1 센서(221) 내지 제2-8 센서(228)는 사용자의 전두골, 좌측 측두골, 후두골, 우측 측두골 상에서 사용자의 피부 조직을 사이에 두고 반시계 방향을 따라 배치될 수 있다. 도 6c에 도시된 평면도를 참조하면, 제2-1 센서(221) 내지 제2-8 센서(228)은 각각 x 방향 및 y 방향으로 가상의 직선을 형성하고, 2개의 가상의 대각선을 형성하며 연결될 수 있다. 도 6c에서 설명한 바와 같이, 제1 센서(211) 및 제2-1 센서(221) 내지 제2-4 센서(224)는 장력 센서, 압력 센서, 응력 센서, 응력 변형 센서, 도전성 센서 및 발광 센서 중 적어도 하나로 구현될 수 있다.
도 6a 내지 도 6c는, HMD 장치(1000)가 사용자의 머리에 장착되었을 경우 복수의 센서(211, 221 내지 228)가 사용자의 머리의 특정 위치에 배치되는 일례를 도시한 것에 불과하고, 복수의 센서(211, 221 내지 228)의 위치를 도 6a 내지 도 6c에 도시된 위치로 제한하는 것은 아니다. 또한, 제1 센서(211), 제2-1 센서(221) 내지 제2-8 센서(228)의 개수 역시 도 6a 내지 도 6c에 도시된 것으로 제한되는 것은 아니다.
도 7은 본 개시의 일 실시예에 따른 HMD 장치(1000)가 사용자의 두개골 상면의 형태에 관한 특성값을 측정하는 방법을 설명하기 위한 도면이고, 도 8은 HMD 장치(1000)가 도 7에 도시된 방법에 의해 획득한 특성값을 복수의 시리즈(S1 내지 S6)로 분류한 실시예를 도시한 도면이다.
도 7을 참조하면, HMD 장치(1000)는 마운팅 벨트(110) 및 마운팅 벨트(110) 내에 서로 이격되어 배치되는 복수의 센서(211 내지 214)를 포함할 수 있다. 복수의 센서(211 내지 214)는 사용자의 두개골 상면의 전부 또는 일부 상에서 사용자의 피부 조직을 사이에 두고 접촉될 수 있다.
일 실시예에서, 복수의 센서(211 내지 214)는 사용자의 두개골 상면의 전부 또는 일부의 모양, 크기 또는 골격 구조에 의해 변화되는 장력(또는 인장력, tension)값을 측정하는 장력 센서일 수 있다. 다만, 이에 한정되는 것은 아니고, 복수의 센서(211 내지 214)는 사용자의 두개골 상면의 전부 또는 일부의 모양, 크기 또는 골격 구조에 의해 변화되는 압력값 또는 응력 변화값을 측정하는 압력 센서, 응력 센서, 변형 센서, 도전성 센서 및 발광 센서 중 적어도 하나일 수 있다.
일 실시예에서, 복수의 센서(211 내지 214)는 HMD 장치(1000)를 착용하는 사용자의 사용 권한을 인증하는 소정의 인증 시간 동안에 사용자의 두개골 상면의 전부 또는 일부에 의하여 변화된 장력값을 측정할 수 있고, 측정된 장력값을 복수의 시리즈로 분류하여 시계열적(time series)로 나열할 수 있다.
도 8을 참조하면, 복수의 센서(211 내지 214)로부터 획득된 사용자의 두개골 상면의 전부 또는 일부에 의한 장력값(T211_t1 내지 T214_t6)이 복수의 시리즈(S1 내지 S6)로 분류되어 나열된다. 복수의 시리즈(S1 내지 S6)는 인증 시간 동안 측정되어 시계열적으로 획득될 수 있다. 구체적으로, 제1 시리즈(S1)는 복수의 센서(211 내지 214)를 사용하여 인증 시간 내의 제1 시간(t1)에 측정한 장력값(T211_t1 내지 T214_t1)의 집합일 수 있다. 제2 시리즈(S2)는 복수의 센서(211 내지 214)를 사용하여 인증 시간 내의 제2 시간(t2)에 측정한 장력값(T211_t2 내지 T214_t2)의 집합일 수 있다. 제3 시리즈(S3) 내지 제6 시리즈(S6)의 경우도 각각 제3 시간(t3) 내지 제6 시간(t6)에 측정한 장력값의 집합일 수 있다.
복수의 센서(211 내지 214)는 복수의 시리즈(S1 내지 S6) 각각에 포함되는 장력값을 조합하여 사용자의 두개골의 전부 또는 일부의 곡률을 측정하고, 측정된 곡률에 대한 곡률 곡선(l210)을 획득할 수 있다.
도 8에 도시된 복수의 시리즈(S1 내지 S6)는 장력값만을 포함하는 것으로 한정되는 것은 아니고, 복수의 센서(211 내지 214)를 사용하여 사용자의 두개골 상면의 전부 또는 일부를 측정한 압력값, 응력값 및 응력 변형값 중 어느 하나를 포함할 수 있다.
등록 시리즈(Saut)는, 등록 시간 동안 복수의 센서(211 내지 214)를 사용하여 HMD 장치(1000)를 사용하는 권한을 갖고, 인증의 대상이 되는 사용자의 두개골 상면의 전부 또는 일부에 대하여 측정한 장력값의 집합일 수 있다.
등록 시리즈(Saut)는 메모리(300, 도 3 참조)에 저장될 수 있다. 일 실시예에서, 등록 시리즈(Saut)는 인증 시간 보다 먼저 메모리(300)에 저장되고 등록된 시리즈일 수 있다. 일 실시예에서, 제어부(400, 도 3 참조)는 복수의 센서(211 내지 214)에 의해 분류된 복수의 시리즈 중 어느 하나의 시리즈를 선택하고, 메모리(300)에 저장된 기 등록된 특성값의 시리즈와 비교하여 사용자의 사용 권한을 인증할 수 있다. 이에 대한 상세한 설명은 도 12에 대한 설명 부분에서 후술하도록 한다.
도 9는 본 개시의 일 실시예에 따른 HMD 장치(1000)가 사용자의 측두골 및 후두골의 형태에 관한 특성값을 측정하는 방법을 설명하기 위한 도면이고, 도 10은 HMD 장치(1000)가 도 9에 도시된 방법에 의해 획득한 특성값을 복수의 시리즈로 분류한 실시예를 도시한 도면이다.
도 9를 참조하면, HMD 장치(1000)는 스트랩 밴드(120) 및 스트랩 밴드(120) 내에 서로 이격되어 배치되는 복수의 센서(221 내지 224)를 포함할 수 있다. 복수의 센서(221 내지 224)는 사용자의 측두골 및 후두골 상에서 사용자의 피부 조직을 사이에 두고 접촉될 수 있다. 구체적으로, 제2-1 센서(221)는 사용자의 좌측 측두골의 일 영역에, 제2-2 센서(222)는 좌측 측두골과 후두골 사이의 일 영역에, 제2-3 센서(223)는 후두골과 우측 측두골 사이의 일 영역에, 제2-4 센서(224)는 우측 측두골의 일 영역에 각각 배치될 수 있다. 다만, 제2-1 센서(221) 내지 제2-4 센서(224)의 배치가 도 9에 도시된 위치로 한정되는 것은 아니다.
일 실시예에서, 복수의 센서(221 내지 224)는 사용자의 측두골 및 후두골의 모양, 크기 또는 골격 구조에 의해 변화되는 장력(또는 인장력, tension)값을 측정하는 장력 센서일 수 있다. 다만, 이에 한정되는 것은 아니고, 복수의 센서(221 내지 224)는 사용자의 전두골, 측두골 및 후두골의 모양, 크기 또는 골격 구조에 의해 변화되는 압력값 또는 응력 변화값을 측정하는 압력 센서, 응력 센서 , 변형 센서, 도전성 센서 및 발광 센서 중 적어도 하나일 수 있으나, 나열된 예시로 제한되는 것은 아니다.
일 실시예에서, 복수의 센서(221 내지 224)는 HMD 장치(1000)를 착용하는 사용자의 사용 권한을 인증하는 소정의 인증 시간 동안에 사용자의 측두골 및 후두골의 형태로 인하여 변화된 장력값을 측정할 수 있고, 측정된 장력값을 복수의 시리즈로 분류하여 시계열적(time series)로 나열할 수 있다. 복수의 센서(221 내지 224)는 복수의 시리즈(S1 내지 S6) 각각에 포함되는 장력값을 조합하여 사용자의 측두골 및 후두골의 골격 구조에 관한 곡률을 측정하고, 측정된 곡률에 대한 곡률 곡선(l220)을 획득할 수 있다.
도 10을 참조하면, 복수의 센서(221 내지 224)를 사용하여 측정한 사용자의 측두골 및 후두골의 형태로 인한 장력값(T221_t1 내지 T224_t6)이 복수의 시리즈(S1 내지 S6)로 분류되어 나열된다. 복수의 시리즈(S1 내지 S6)의 획득 및 분류 방법은 도 8에서 설명한 것과 동일한 바 중복되는 설명은 생략하기로 한다.
등록 시리즈(Saut)는, 등록 시간 동안 복수의 센서(221 내지 224)를 사용하여 HMD 장치(1000)를 사용하는 권한을 갖고, 인증의 대상이 되는 사용자의 측두골 및 후두골에 대하여 측정한 장력값의 집합일 수 있다. 등록 시리즈(Saut)에 관한 설명 중 도 8과 중복되는 설명은 생략하기로 한다.
도 11은 본 개시의 일 실시예에 따른 HMD 장치(1000)가 사용자의 두개골 상면, 측두골 및 후두골의 형태에 관한 특성값을 측정하는 방법을 설명하기 위한 도면이고, 도 12는 HMD 장치(1000)가 도 11에 도시된 방법에 의해 획득한 특성값을 복수의 시리즈로 분류한 실시예를 도시한 도면이다.
도 11을 참조하면, HMD 장치(1000)는 마운팅 벨트(110), 스트랩 밴드(120) 및 복수의 센서(211 내지 224)를 포함할 수 있다. 제1-1 센서(211) 내지 제1-4 센서(214)는 마운팅 벨트(110) 내에서 서로 이격되어 배치될 수 있다. 제2-1 센서(221) 내지 제2-4 센서(224)는 스트랩 밴드(120) 내에서 서로 이격되어 배치될 수 있다. 제1-1 센서(211) 내지 제1-4 센서(214)는 도 7에 도시된 복수의 센서(211 내지 214)와 동일하고, 제2-1 센서(221) 내지 제2-4 센서(224)는 도 9에 도시된 복수의 센서(221 내지 224)와 동일한 바, 중복되는 설명은 생략하기로 한다.
일 실시예에서, 복수의 센서(211 내지 224)는 HMD 장치(1000)를 착용하는 사용자의 사용 권한을 인증하는 소정의 인증 시간 동안에 사용자의 두개골의 상면, 사용자의 측두골 및 후두골의 형태로 인하여 변화된 장력값을 측정할 수 있고, 측정된 장력값을 복수의 시리즈로 분류하여 시계열적(time series)로 나열할 수 있다. 도 11에 도시된 실시예는 도 7 및 도 9에 도시된 실시예를 조합한 것으로써, 본 실시예에 따른 HMD 장치(1000)는 복수의 센서(211 내지 224)를 사용하여 HMD 장치(1000)를 착용하는 사용자의 두개골의 상면, 측두골 및 후두골의 골격 형태로 인하여 변형된 장력값을 측정하고, 측정된 장력값을 인증 시간 내에서 시계열적으로 분류하여 복수의 시리즈(S1 내지 S6)를 생성하며, 복수의 시리즈(S1 내지 S6) 각각에 포함되는 장력값을 조합하여 사용자의 두개골의 상면, 측두골 및 후두골의 골격 구조에 관한 곡률을 측정할 수 있다. 또한, HMD 장치(1000)는 두개골의 상면에 대한 곡률 곡선(l210) 및 측두골과 후두골에 대한 곡률 곡선(l220)을 획득할 수 있다.
도 12를 참조하면, 복수의 센서(211 내지 224)를 사용하여 측정한 사용자의 두개골의 상면, 측두골 및 후두골의 형태에 의한 장력값(T211_t1 내지 T224_t6)이 복수의 시리즈(S1 내지 S6)로 분류되어 나열된다. 구체적으로, 도 12에 도시된 실시예에서는 제1 시리즈(S1)는 마운팅 벨트(110) 내에 배치되는 복수의 센서(211 내지 214)로부터 획득한 사용자의 두개골 상면의 형태에 의한 장력값(T211_t1 내지 T214_t1) 및 스트랩 밴드(120) 내에 배치되는 복수의 센서(221 내지 224)로부터 획득한 사용자의 측두골 및 후두골의 형태에 의한 장력값(T221_t1 내지 T214_t1)을 포함할 수 있다. 도 12에 도시된 복수의 시리즈(S1 내지 S6)은 도 8 및 도 10에 도시된 복수의 시리즈(S1 내지 S6)들의 조합일 수 있다. 다시 말하면, 도 12에 도시된 실시에에서, HMD 장치(1000)는 복수의 시리즈(S1 내지 S6)에 포함된 장력값(T221_t1 내지 T224_t6) 들을 조합하여 사용자의 두개골 상면의 곡률을 측정하고, 사용자의 측두골 및 후두골의 곡률을 측정할 수 있다. 일 실시예에서, HMD 장치(1000)는, HMD 장치(1000)를 착용하는 사용자의 두개골 상면의 형태에 의한 곡률 곡선(l210) 및 사용자의 측두골 및 후두골에 의한 곡률 곡선(l220)을 획득할 수 있다.
도 12에 도시된 복수의 시리즈(S1 내지 S6)는 장력값만을 포함하는 것으로 한정되는 것은 아니고, 복수의 센서(211 내지 224)를 사용하여 사용자의 두개골 상면, 사용자의 측두골 및 후두골을 측정한 특성값, 예컨대 압력값, 응력값 및 응력 변형값 중 어느 하나를 포함할 수 있다.
등록 시리즈(Saut)는, 등록 시간 동안 복수의 센서(211 내지 224)를 사용하여 HMD 장치(1000)를 사용하는 권한을 갖는 사용자의 두개골 상면, 사용자의 측두골 및 후두골에 대하여 측정한 장력값의 집합일 수 있다. 등록 시리즈(Saut)는 HMD 장치(1000)를 착용하는 사용자의 두개골의 상면에 대하여 측정된 장력값 및 사용자의 측두골 및 후두골에 대하여 측정된 장력값을 포함하고 있는 특징 외에는 도 8 및 도 10에 도시된 등록 시리즈(Saut)와 동일한 바, 중복되는 설명은 생략하기로 한다.
도 13은 본 개시의 일 실시예에 따른 HMD 장치가 서로 이격된 복수의 센서로부터 측정한 사용자의 머리 형태에 관한 특성값을 통하여 HMD 장치를 착용한 사용자의 사용 권한을 인증하는 방법을 설명하기 위한 흐름도이다.
단계 S1310에서, HMD 장치에 포함되는 적어도 하나의 센서를 사용하여 HMD 장치를 착용하는 사용자의 두개골 또는 안면 상의 서로 다른 영역에 관한 특성값을 측정한다.
도 7, 도 9 및 도 11을 함께 참조하면, HMD 장치(1000)는 마운팅 벨트(110) 내에서 서로 이격되어 배치되는 복수의 센서(211 내지 214) 및 스트랩 밴드(120) 내에서 서로 이격되어 배치되는 복수의 센서(221 내지 224)를 포함할 수 있다. 일 실시예에서, 특성값은 복수의 센서(211 내지 224) 중 제1-1 센서(211) 내지 제1-4 센서(214)를 사용하여 HMD 장치(1000)를 착용하는 사용자의 두개골 상면의 형태에 대하여 측정한 장력값 및/또는 제2-1 센서(221) 내지 제2-4 센서(224)를 사용하여 사용자의 측두골 및 후두골의 형태에 대하여 측정된 장력값을 의미할 수 있다. 다만, 이에 한정되는 것은 아니고 특성값은 복수의 센서(211 내지 224)로부터 측정한 사용자의 두개골, 측두골 또는 후두골에 대한 압력값 또는 응력 변화값을 의미할 수도 있다.
단계 S1320에서, HMD 장치는 측정된 특성값을 적어도 하나의 시리즈로 분류한다.
일 실시예에서, HMD 장치는, HMD 장치를 착용하는 사용자의 사용 권한을 인증하는 소정의 인증 시간 동안에 사용자의 두개골 상면, 사용자의 측두골 및 후두골에 대한 특성값을 측정할 수 있고, 측정된 특성값을 복수의 시리즈로 분류할 수 있다. HMD 장치는 인증 시간 내에, 특성값을 측정한 시간에 따라 복수의 시리지로 분류할 수 있고, 분류된 복수의 시리즈를 시계열적(time series)로 나열할 수 있다.
단계 S1330에서, HMD 장치는 적어도 하나의 시리즈 중 어느 하나의 시리즈를 선택한다. 일 실시예에서, HMD 장치는 시계열적으로 분류된 복수의 시리즈(S1 내지 S6, 도 8, 도 10 및 도 12 참조) 중 어느 하나의 시리즈를 선택할 수 있다. 일 실시예에서, 선택된 시리즈는 HMD 장치가, 인증 시간 내의 특정 시간에서 측정된 사용자의 두개골 상면에 대한 장력값, 사용자의 측두골 및 후두골에 대한 장력값 및 이들의 조합 중 어느 하나를 포함할 수 있다.
단계 S1340에서, HMD 장치는 선택된 시리즈가 기 등록된 특성값의 시리즈와 상응하는지 결정한다.
일 실시예에서, HMD 장치는, HMD 장치의 사용 권한을 인증 받은 사용자의 머리 형태에 대한 특성값을 측정된 영역에 따라 분류할 수 있다. 예컨대, 메모리에는 장력 센서를 사용하여 HMD 장치의 사용 권한을 인증 받은 사용자의 두개골의 상면, 측두골 및 후두골 중 적어도 하나의 영역에 대하여 측정한 장력값이 두개골의 상면, 측두골 및 후두골 각각의 영역에 따라 분류된 시리즈가 저장될 수 있다. 다른 실시예에서, 메모리에는 장력 센서를 사용하여 HMD 장치의 사용 권한을 인증 받은 사용자의 두개골의 상면, 측두골 및 후두골 중 적어도 하나의 영역에 대하여 측정한 장력값들이 조합되어 하나의 시리즈로 저장될 수도 있다.
일 실시예에서, HMD 장치는 복수의 시리즈 중 단계 S1330에서 선택한 시리즈가 기 등록된 특성값의 시리즈와 상응하는지 결정할 수 있다. HMD 장치는 선택된 시리즈가 포함하는 특성값을 기 등록된 시리즈의 특성값과 비교할 수 있다. 일 실시예에서, HMD 장치는 선택된 시리즈에 포함되는 장력값들을 기 등록된 시리즈에 포함된 장력값들과 각각 비교하여 차이값이 기 설정된 임계치 미만인지 여부를 결정할 수 있다. 일 실시예에서, HMD 장치는 선택된 시리즈에 포함되는 장력값들과 기 등록된 시리즈에 포함된 장력값들을 웰치 t-테스트(Welch t-test)를 통해 상호 비교할 수 있다.
단계 S1350에서, HMD 장치는 단계 S1340에서 선택된 시리즈가 기 등록된 특성값의 시리즈와 상응한다고 결정하는 경우, HMD 장치를 착용하는 사용자의 사용 권한을 인정한다.
일 실시예에서, HMD 장치는 선택된 시리즈에 포함되는 특성값, 예컨대 장력값과 등록된 시리즈에 포함되는 특성값, 예컨대 기 등록된 장력값과의 차이를 계산하고, 계산된 차이값이 기 설정된 임계치 미만인 경우, 선택된 시리즈가 기 등록된 특성값의 시리즈와 상응한다고 결정할 수 있다.
일 실시예에서, 제어부(400, 도 28 참조)는, HMD 장치를 착용한 사용자의 사용 권한이 인증되는 경우 멀티미디어 콘텐츠를 디스플레이하거나 가상 현실 또는 증강 현실을 제공하는 동작을 수행하도록 명령하는 전기적 신호를 주 제어부(900, 도 28 참조)에게 전송할 수 있다.
단계 S1360에서, HMD 장치는 단계 S1340에서 선택된 시리즈가 기 등록된 특성값의 시리즈와 상응하지 않는다고 결정하는 경우, HMD 장치를 착용한 사용자의 인증을 거부할 수 있다. 일 실시예에서, HMD 장치는 선택된 시리즈에 포함되는 특성값과 등록된 시리즈에 포함되는 특성값의 차이를 계산하고, 계산된 차이값이 기 설정된 임계치 이상인 경우, 선택된 시리즈가 기 등록된 특성값의 시리즈와 상응하지 않는다고 결정할 수 있다. 이 경우, HMD 장치는, HMD 장치(1000)가 별도의 동작을 수행하지 않도록 할 수 있다. 일 실시예에서, 제어부(400, 도 28 참조)는 HMD 장치의 전원이 오프(off)되도록 하는 전기적 신호를 주 제어부(900, 도 28 참조)에 전송할 수 있다.
도 14는 본 개시의 일 실시예에 따른 HMD 장치(1000)에 포함되고, 서로 이격되어 배치되는 복수의 센서(231 내지 238)가 사용자의 안면 상에서 접촉되는 위치를 도시한 도면이고, 도 15는 HMD 장치(1000)가 도 14에 도시된 복수의 센서(231 내지 238)를 사용하여 측정한 사용자의 안면 형태에 관한 특성값을 복수의 시리즈로 분류한 실시예를 도시한 도면이다.
도 14를 참조하면, HMD 장치(1000)는, HMD 장치(1000)를 착용하는 사용자의 안면의 일부에 장착되는 마스크(130) 및 마스크(130) 내에서 서로 이격되어 배치되는 복수의 센서(231 내지 238)을 포함할 수 있다. 도 14에서 복수의 센서(231 내지 238)는 8개로 도시되었으나, 복수의 센서(231 내지 238)의 개수 및 배치되는 위치가 도시된 바와 같이 한정되는 것은 아니다.
복수의 센서(231 내지 238)는 사용자의 안면의 일부 상에서 사용자의 피부 조직을 사이에 두고 접촉될 수 있다. 마스크(130)는 사용자의 안면부 골격, 예컨대, 미간(Galbella), 비골(Nasal bone), 사골(Ethmoid bone), 누골(Lacrimal bone), 안와상공(Supraorbital foramen) 및 안와하공(Infraorbital foramen) 중 적어도 하나 상에 배치되고, 복수의 센서(231 내지 238)은 나열된 사용자의 안면부 골격 중 일 영역 상에 배치될 수 있다.
일 실시예에서, 복수의 센서(231 내지 238)은 안면부 골격, 예컨대 미간, 비골, 사골, 누골, 안와상공 및 안와하공 중 적어도 하나에 의하여 변형되는 압력값을 측정하는 압력 센서일 수 있다. 다만, 복수의 센서(231 내지 238)이 압력 센서로 한정되는 것은 아니고, 복수의 센서(231 내지 238)는 장력 센서, 응력 센서, 응력 변형 센서, 도전성 센서 및 발광 센서 중 적어도 하나를 포함할 수 있다. 일 실시예에서, 복수의 센서(231 내지 238)은 HMD 장치(1000)를 착용하는 사용자의 사용 권한을 인증하는 소정의 인증 시간 동안에 사용자의 안면부 골격에 의하여 변화된 압력값을 측정할 수 있고, 측정된 압력값을 복수의 시리즈로 분류하여 시계열적(time series)로 나열할 수 있다.
도 15를 참조하면, 복수의 센서(231 내지 238)로부터 획득된 사용자의 안면부 골격의 형태에 의한 압력값(P231_t1 내지 P238_t6)이 복수의 시리즈(S1 내지 S6)로 분류되어 나열된다. 복수의 시리즈(S1 내지 S6)는 인증 시간 동안 측정되어 시계열적으로 획득될 수 있다. 예컨대, 제1 시리즈(S1)는 복수의 센서(231 내지 238)를 사용하여 인증 시간 내의 제1 시간(t1)에 측정한 압력값(T231_t1 내지 T238_t1)의 집합일 수 있다. 복수의 센서(231 내지 238)는 복수의 시리즈(S1 내지 S6) 각각에 포함되는 압력값을 조합하여 사용자의 안면부의 골격의 형태를 측정할 수 있다. 도 15에 도시된 복수의 시리즈(S1 내지 S6)는 압력값 만을 포함하는 것으로 한정되는 것은 아니고, 복수의 센서(231 내지 238)를 사용하여 사용자의 안면부의 골격의 형태를 측정한 장력값, 응력값, 응력 변형값, 저항값 및 빛의 세기 중 어느 하나를 포함할 수 있다.
등록 시리즈(Saut)는, 등록 시간 동안 복수의 센서(231 내지 238)를 사용하여 HMD 장치(1000)를 사용하는 권한을 갖는 인증의 대상이 되는 사용자의 안면의 골격의 형태를 측정한 압력값의 집합일 수 있다. 등록 시리즈(Saut)는 인증의 대상이 되는 사용자의 안면 골격의 형태에 관한 압력값의 집합으로 구성된 특징을 제외하고는 도 8, 도 10 및 도 12에서 설명된 등록 시리즈(Saut)와 동일한 바, 중복되는 설명은 생략하기로 한다.
HMD 장치(1000)는 복수의 센서(231 내지 238)를 사용하여 측정한 사용자의 안면 골격의 형태에 관한 특성값, 예컨대 압력값을 통하여 HMD 장치(1000)를 착용한 사용자의 사용 권한을 인증할 수 있다. 일 실시예에서, 제어부(400, 도 3 참조)은, 복수의 센서(231 내지 238)로부터 측정된 압력값(P231_t1 내지 P238_t6)을 복수의 시리즈(S1 내지 S6)로 분류하고, 복수의 시리즈(S1 내지 S6) 중 어느 하나의 시리즈를 선택하며, 선택된 시리즈가 메모리(300, 도 3 참조)에 저장된 기 등록된 시리즈와 상응하는지 결정하여, 사용자의 사용 권한을 인증할 수 있다. 사용자의 안면 골격의 형태에 관한 특성값의 시리즈를 통해 사용자를 인증하는 방법에 대한 구체적인 설명은 복수의 센서(231 내지 238)의 위치 및 측정된 특성값의 영역 및 종류를 제외하면 도 13에 대한 설명과 동일한 바, 중복되는 설명은 생략하기로 한다.
도 16a는 본 개시의 일 실시예에 따른 사용자의 안면 골격의 형태에 관한 특성값을 측정하는 복수의 도전성 센서(conductive sensor)(240-1 내지 240-n)를 포함하는 HMD 장치(1000)를 도시한 사시도이다.
도 16a를 참조하면, HMD 장치(1000)는 마스크(130)를 포함하고, 마스크(130)는 마스크 패드(132) 및 복수의 도전성 센서(240-1 내지 240-n)를 포함할 수 있다. 도 16a에는 복수의 도전성 센서(240-1 내지 240-n)이 마스크 패드(132) 상에서 돌출되고 가시적인 것으로 도시되었으나, 이는 설명의 편의를 위한 것이다. 복수의 도전성 센서(240-1 내지 240-n)은 마스크 패드(132) 내에 배치될 수 있다.
마스크 패드(132)는 사용자가 HMD 장치(1000)를 착용하는 경우, 사용자의 안면에 직접 접촉될 수 있다. 마스크 패드(132)는 도전성 발포제(conductive foam material)로 구성될 수 있다. 예컨대, 마스크 패드(132)는 폴리아세틸렌(polyacetylene), 폴리페닐렌(polyphenylene), 복소환(heterocycle) POLYMER 를 포함하는 도전성을 갖는 도전성 폴리머, 카본 블랙(Carbon Black), 금속 분말, 금속 섬유를 첨가하는 도전성 재료 중 어느 하나로 구성될 수 있다. 다만, 이는 예시적인 것이고, 마스크 패드(132)가 전술한 재료들로 한정되는 것은 아니다.
복수의 도전성 센서(240-1 내지 240-n)는 마스크 패드(132) 내에서, 마스크 패드(132)의 외곽을 따라 소정 간격 만큼 이격되어 배치될 수 있다. 복수의 도전성 센서(240-1 내지 240-n)는 도전성을 갖는 물질로 구성될 수 있다. 예컨대, 복수의 도전성 센서(240-1 내지 240-n)는 구리(Cu), 알루미늄(Al), 니켈(Ni) 및 철(Fe) 중 적어도 하나를 포함하는 금속 재료로 구성될 수 있으나, 전술한 재료로 한정되는 것은 아니다. 복수의 도전성 센서(240-1 내지 240-n)는, 복수의 도전성 센서(240-1 내지 240-n)에 가해지는 압력을 인식하고, 인식된 압력값을 전기적 저항값으로 변환할 수 있다.
일 실시예에서, 마스크 패드(132)에는 소정의 전류가 흐를 수 있다. 사용자가 HMD 장치(1000)를 착용하여 마스크 패드(132)가 사용자의 안면 골격의 형태에 따라 압축되는 경우 마스크 패드(132)에 압력이 가해지고, 가해진 압력에 따라 마스크 패드(132)의 형태가 변형될 수 있다. 마스크 패드(132)의 압축으로 인하여 마스크 패드(132)에 흐르는 전류량이 변화되고, 복수의 도전성 센서(240-1 내지 240-n)는 전류량의 변화로부터 전기 저항값을 측정할 수 있다.
일 실시예에서, 복수의 도전성 센서(240-1 내지 240-n)는 사용자가 HMD 장치(1000)를 착용한 경우, 사용자의 안면이 마스크 패드(132)와 접촉되어 변화된 압력값을 인식하고, 변화된 압력값을 전기적 저항값으로 변환할 수 있다. HMD 장치(1000)는 사용자 인증의 대상이 되는 사용자의 전기적 저항값을 HMD 장치(1000)의 메모리(300, 도 3 참조)에 저장할 수 있다. 일 실시예에서, HMD 장치(1000)는 복수의 도전성 센서(240-1 내지 240-n)에서 측정한 사용자의 안면 골격에 따라 변화된 전기적 저항값을 메모리(300, 도 3 참조)에 저장된 인증된 사용자의 저항값과 비교하여 사용 권한을 인증할 수 있다.
도 16b는 도 16a에 도시된 HMD 장치(1000)의 마스크 패드(132)의 제1 영역(1600)을 확대하여 도시한 단면도이다.
도 16b를 참조하면, 제1 도전성 센서(240-1), 제2 도전성 센서(240-2) 및 제3 도전성 센서(240-3)는 소정의 간격을 두고 마스크 패드(132) 내에 배치되고, 마스크 패드(132) 내에는 도전성 분말(Current Conductive particles)(134)이 포함될 수 있다.
도전성 분말(134)은 전류 전도성을 갖는 금속 물질 또는 도전성 폴리머(polymer)로 구성될 수 있다. 예컨대, 도전성 분말(134)은 구리(Cu), 알루미늄(Al), 니켈(Ni), 철(Fe) 및 은(Ag) 중 적어도 하나를 포함하는 금속 또는 금속으로 도금된 폴리머로 구성될 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에서, 사용자가 HMD 장치(1000)를 착용하는 경우 도전성 분말(134)은, 도전성 분말(134)에 흐르는 전류값의 변화를 마스크 패드(132)를 통해 제1 도전성 센서(240-1), 제2 도전성 센서(240-2) 및 제3 도전성 센서(240-3)에 전달할 수 있다. 제1 도전성 센서(240-1), 제2 도전성 센서(240-2) 및 제3 도전성 센서(240-3)는 변화된 전류값을 통해 사용자의 안면 골격에 따라 변화된 압력에 의한 전기 저항값을 측정할 수 있다.
도 17a 및 도 17b는 본 개시의 일 실시예에 따른 HMD 장치(1000)에 포함되는 도전성 센서로 측정한 사용자의 안면 골격의 형태에 관한 특성값을 도시한 그래프이다.
도 17a를 참조하면, 사용자 1(user 1)이 HMD 장치(1000)를 착용한 경우, 사용자 1(user 1)의 안면 골격의 형태에 따라 변화된 전기 저항값이 복수의 도전성 센서(1 내지 N)에 따라 각각의 막대 그래프 형태로 도시되어 있다. 예컨대, 제1 도전성 센서(1)가 측정한 사용자 1(user 1)의 안면 골격의 형태 또는 윤곽에 따라 변화된 압력값에 따른 전기 저항값은 제1 저항값(R1)일 수 있다. 마찬가지로, 제2 도전성 센서(2)가 측정한 사용자 1(user 1)의 안면 골격의 형태 또는 윤곽에 따라 측정된 전기 저항값은 제2 저항값(R2)일 수 있다. 일 실시예에서, 복수의 도전성 센서(1 내지 N)에서 측정된 전기 저항값은 서로 다른 값일 수 있고, 복수의 도전성 센서(1 내지 N)에서 측정된 전기 저항값은 하나의 시리즈를 구성하여 HMD 장치(1000)의 메모리(300, 도 3 참조)에 저장될 수 있다.
도 17b를 참조하면, 사용자 2(user 2)가 HMD 장치(1000)를 착용한 경우, 사용자 2(user 2)의 안면 형태에 따라 변화된 전기 저항값이 복수의 도전성 센서(1 내지 N)에 따라 측정되어 각각의 막대 그래프 형태로 도시될 수 있다. 제1 도전성 센서(1)가 측정한 사용자 2(user 2)의 안면 골격의 형태에 따라 변화된 압력값에 따른 전기 저항값은 R1'로서, 도 17a의 제1 저항값(R1)과는 다른 값일 수 있다. 마찬가지로, 제2 도전성 센서(2)에서 측정한 사용자 2(user 2)의 안면 골격의 형태에 따라 변화된 압력값에 따른 전기 저항값은 R2'로서, 도 17a의 제2 저항값(R2)과는 다른 값일 수 있다.
다시 도 17a를 참조하면, 사용자 1(user 1)의 복수의 도전성 센서(1 내지 N)에 따른 전기 저항값의 막대 그래프 상에 사용자 2(user 2)의 전기 저항값의 꺽은 선 그래프가 오버랩 되어 도시되어 있다. 일 실시예에서, HMD 장치(1000)는 인증의 대상이 되는 사용자, 즉 사용자 1(user 1)의 복수의 도전성 센서(1 내지 N)에 따른 전기 저항값들을 포함하는 시리즈를 메모리(300, 도 3 참조)에 저장하고, 사용자 2(user 2)가 HMD 장치(1000)를 착용하는 경우 메모리(300)에 기 저장된 사용자 1(user 1)의 전기 저항값들의 시리즈와 비교하여 사용 권한을 인증할 수 있다. HMD 장치(1000)는, HMD 장치(1000)를 착용하는 사용자의 안면 골격의 형태에 따라 변화된 전기 저항값들과 메모리(300)에 기 저장된 인증 받은 사용자 1(user 1)의 전기 저항값들의 차이를 복수의 도전성 센서(1 내지 N) 별로 계산하고, 계산된 차이값이 기 설정된 임계치 보다 작은 경우 사용 권한을 인증하고, 기 설정된 임계치 보다 큰 경우는 사용 권한을 인증하지 않을 수 있다.
도 18a는 본 개시의 일 실시예에 따른 사용자의 안면 골격의 형태에 관한 특성값을 측정하는 복수의 발광 소자(250-1 내지 250-n) 및 복수의 감광 소자(260-1 내지 260-n)을 포함하는 HMD 장치(1000)를 도시한 사시도이다.
도 18a를 참조하면, HMD 장치(1000)는 마스크(130)를 포함하고, 마스크(130)는 마스크 패드(134) 및 복수의 발광 소자(250-1 내지 250-n) 및 복수의 감광 소자(260-1 내지 260-n)을 포함할 수 있다. 복수의 발광 소자(250-1 내지 250-n) 및 복수의 감광 소자(260-1 내지 260-n)는 마스크 패드(134) 내에 배치될 수 있다.
마스크 패드(134)는 빛을 흡수하는 반투명 발포제(translucent foam material)로 구성될 수 있다. 마스크 패드(134)는 복수의 발광 소자(250-1 내지 250-n)에서 방출되는 빛을 흡수할 수 있다.
마스크 패드(134)의 외곽을 따라서 복수의 발광 소자(250-1 내지 250-n)이 소정 간격 만큼 이격되어 배치될 수 있다. 복수의 발광 소자(250-1 내지 250-n)는 마스크 패드(134) 내에서, 마스크 패드(134)의 외곽을 따라 어레이(array) 형태로 배열될 수 있다. 복수의 발광 소자(250-1 내지 250-n)는 발광 다이오드(Light Emitting Diode, LED)로 구성될 수 있다. 다만, 이에 한정되는 것은 아니고, 유기 발광 다이오드(Organic Light Emitting Diode, OLED), 반도체 레이저(Laser Diode, LD) 및 고체 레이저(Solid Laser) 중 적어도 하나로 구성될 수도 있다. 복수의 발광 소자(250-1 내지 250-n)는 마스크 패드(134) 내에서 빛을 방출할 수 있다.
복수의 감광 소자(260-1 내지 260-n)는 마스크 패드(134) 내에서 소정 간격 만큼 이격되어 배치될 수 있다. 복수의 감광 소자(260-1 내지 260-n)는 마스크 패드(134)의 외곽을 따라 복수의 발광 소자(250-1 내지 250-n) 어레이에 둘러싸여 배치될 수 있다. 일 실시예에서, 복수의 감광 소자(260-1 내지 260-n)는 포토 레지스터(Photo Resister, PR)로 구성될 수 있다. 복수의 감광 소자(260-1 내지 260-n)는, 복수의 발광 소자(250-1 내지 250-n)에서 방출되어 마스크 패드(134)로 흡수되는 빛을 수광하고, 수광된 빛의 강도(light intensity)를 측정할 수 있다.
도 18b는 도 18a에 도시된 HMD 장치(1000)의 마스크 패드(134)의 제2 영역(1800)을 확대하여 도시한 단면도이다.
도 18b를 참조하면, 발광 소자(250) 및 감광 소자(260)는 마스크 패드(134) 내에 배치될 수 있다. 발광 소자(250)는 감광 소자(260)와 소정 거리 만큼 이격되어 배치될 수 있다.
도 18a 및 도 18b에 도시된 실시예에서, 사용자가 HMD 장치(1000)를 착용하는 경우 사용자의 안면이 마스크 패드(134)와 접촉되어 마스크 패드(134)가 압축될 수 있다. 마스크 패드(134)가 압축되는 경우 복수의 발광 소자(250-1 내지 250-n)로부터 방출되는 빛의 세기는 감소될 수 있다. HMD 장치(1000)는 복수의 감광 소자(260-1 내지 260-n)가 사용자의 안면 골격에 따라 마스크 패드(134)의 압축되는 정도에 따라 측정한 빛의 세기 값을 메모리(300, 도 3 참조)에 저장된 인증 받은 사용자의 빛의 세기 값과 비교하여 사용 권한을 인증할 수 있다.
도 19a 및 도 19b는 본 개시의 일 실시예에 따른 HMD 장치(1000)에 포함되는 복수의 감광 소자에서 측정한 사용자의 안면 골격의 형태에 관한 특성값을 도시한 그래프이다.
도 19a를 참조하면, 사용자 1(user 1)이 HMD 장치(1000)를 착용한 경우, 사용자 1(user 1)의 안면 골격의 형태에 따라 마스크 패드(134, 도 18a 및 도 18b 참조)가 압축되고, 마스크 패드(134) 내에 배치되는 복수의 발광 소자로부터 방출된 빛의 세기가 변화될 수 있다. 복수의 포토 레지스터(1 내지 N)는 복수의 발광 소자로부터 방출된 빛의 세기를 측정할 수 있고, 측정된 빛의 세기는 복수의 포토 레지스터(1 내지 N) 각각에 따른 막대 그래프 형태로 도시될 수 있다. 예컨대, 제1 포토 레지스터(1)가 측정한 사용자 1(user 1)의 안면 골격의 형태에 따라 변화된 빛의 세기는 제1 세기 값(I1)일 수 있다. 마찬가지로, 제2 포토 레지스터(2)가 측정한 사용자 1(user 1)의 안면 골격의 형태에 따른 빛의 세기는 제2 세기 값(I2)일 수 있다. 일 실시예에서, 복수의 포토 레지스터(1 내지 N)가 측정한 빛의 세기는 서로 다른 값일 수 있고, 복수의 포토 레지스터(1 내지 N)에서 측정된 빛의 세기는 하나의 시리즈를 구성하여 HMD 장치(1000)의 메모리(300, 도 3 참조)에 저장될 수 있다.
도 19b를 참조하면, 사용자 2(user 2)가 HMD 장치(1000)를 착용하는 경우, 사용자 2(user 2)의 안면 골격의 형태에 따라 변화된 빛의 세기가 복수의 포토 레지스터(1 내지 N)에 따라 측정되어 각각의 막대 그래프 형태로 도시될 수 있다. 제1 포토 레지스터(1)가 사용자 2(user 2)의 안면 골격의 형태에 따라 변화된 빛의 세기를 측정한 값은 I1'로서, 도 19a의 제1 세기 값(I1)과는 다른 값일 수 있다. 마찬가지로, 제2 포토 레지스터(2)가 측정한 사용자 2(user 2)의 안면 골격의 형태에 따라 변화된 빛의 세기를 측정한 값은 I2'로서, 도 19a의 제2 세기 값(I2)과는 다른 값일 수 있다.
도 19a에는 복수의 포토 레지스터(1 내지 N)가 측정한 사용자 2(user 2)의 안면 골격에 따라 변화된 빛의 세기가 사용자 1(user 1)의 안면 골격의 형태에 따라 측정된 빛의 세기값의 막대 그래프 상에서 꺽은 선 그래프 형태로 표시되어 있다. 일 실시예에서, HMD 장치(1000)는 인증의 대상이 되는 사용자, 즉 사용자 1(user 1)의 안면 골격의 형태에 따라 변화된 빛의 세기 값을 포함하는 시리즈를 메모리(300, 도 3 참조)에 저장하고, 사용자 2(user 2)가 HMD 장치(1000)를 착용하는 경우 메모리(300)에 기 저장된 사용자 1(user 1)의 빛의 세기 값들의 시리즈와 비교하여 사용 권한을 인증할 수 있다. HMD 장치(1000)는, HMD 장치(1000)를 착용하는 사용자의 안면 골격의 형태에 따라 변화된 빛의 세기 값들과 메모리(300)에 기 저장된 인증 받은 사용자 1(user 1)의 빛의 세기 값들의 차이를 복수의 포토 레지스터(1 내지 N) 별로 계산하고, 계산된 차이값이 기 설정된 임계치 보다 작은 경우 사용 권한을 인증하고, 기 설정된 임계치 보다 큰 경우는 사용 권한을 인증하지 않을 수 있다.
도 20a는 본 개시의 일 실시예에 따른 사용자의 안면 골격의 형태에 관한 특성값을 측정하는 전극 패드(270) 및 도전성 고무 튜브(280)를 포함하는 HMD 장치(1000)를 도시한 사시도이다.
도 20a를 참조하면, HMD 장치(1000)는 마스크(130)를 포함하고, 마스크(130)는 마스크 패드(132), 전극 패드(270) 및 도전성 고무 튜브(280)를 포함할 수 있다. 도 20a에서 전극 패드(270) 및 도전성 고무 튜브(280)는 마스크 패드(132) 상에서 돌출된 것으로 도시되었으나, 이는 설명의 편의를 위한 것이다. 전극 패드(270) 및 도전성 고무 튜브(280)는 복수 개로 구성되고, 마스크 패드(132) 내에 배치될 수 있다. 마스크 패드(132)는 도 16a에 도시된 마스크 패드(132)와 동일한 구성 요소인바, 중복되는 설명은 생략하기로 한다.
전극 패드(270)는 마스크 패드(132) 내에서 제2 방향(Y 방향)으로 연장되고, 제1 방향(X 방향)으로 소정 간격 만큼 이격되어 배치될 수 있다. 전극 패드(270)는 복수 개로 구성되고, 각각의 전극 패드(270)에는 전류가 흐를 수 있다. 서로 인접한 복수의 전극 패드(270)는 반대 전극을 갖도록 배치될 수 있다. 전극 패드(270)는 구리(Cu), 알루미늄(Al), 니켈(Ni), 철(Fe), 은(Ag) 및 금(Au) 중 적어도 하나를 포함하는 금속 재료로 구성될 수 있으나, 전술한 재료로 한정되는 것은 아니다. 도전성 고무 튜브(280)는 마스크 패드(132) 내에서 제1 방향(X 방향)으로 연장되고, 제2 방향(Y 방향)으로 소정 간격 만큼 이격되어 배치될 수 있다. 도전성 고무 튜브(280)는 전극 패드(270) 상에서, 전극 패드(270)를 제1 방향(X 방향)으로 가로지르며 연장될 수 있다. 도전성 고무 튜브(280)는 속이 빈 원통 형태로 형성될 수 있다. 도전성 고무 튜브(280)는 전극 패드(270) 상에서 전극 패드(270)와 접촉되어 배치될 수 있다. 도전성 고무 튜브(280)는 예컨대, NBR(Nitril Butadiene Rubber), ECH(Epichlorohydrin) 또는 EPDM(Ethylene Propylene (ter)Diene Monomer) 중 적어도 하나를 포함하는 도전성을 갖는 합성 고무로 구성될 수 있으나, 이에 한정되는 것은 아니다.
도 20b는 도 20a에 도시된 HMD 장치(1000)의 마스크 패드(132)의 제3 영역(2000)을 확대하여 도시한 단면도이고, 도 20c는 도 20a에 도시된 전극 패드(270) 및 도전성 고무 튜브(280)를 확대하여 도시한 사시도이다.
도 20b 및 도 20c를 참조하면, 전극 패드(270)는 복수 개로 구성되고, 복수의 전극 패드(270) 중 인접한 전극 패드(270)는 서로 반대 방향의 전극을 가지도록 배치될 수 있다. 도전성 고무 튜브(280)는 단면이 링 형태를 갖는 속이 빈 원통 형태일 수 있다. 도전성 고무 튜브(280)는 전극 패드(270) 상에서 복수의 전극 패드(270)를 가로지르며 배치될 수 있다.
마스크 패드(132)는 전극 패드(270)와 이격됙, 도전성 고무 튜브(280)의 일부와는 접하도록 형성될 수 있다. 일 실시예에서, 마스크 패드(132)는 도전성을 갖는 발포제로 구성될 수 있다.
도 20a 내지 도 20c에 도시된 HMD 장치(1000)를 사용자가 착용하는 경우, 마스크 패드(132)에 압력이 가해지고, 마스크 패드(132)에 가해진 압력으로 인해 도전성 고무 튜브(280)의 형태가 변형될 수 있다. 도전성 고무 튜브(280)의 형태가 변형됨에 따라 도전성 고무 튜브(280)와 전극 패드(270)의 접촉 면적의 크기가 변화되고, 전극 패드(270)에 흐르는 전류값이 변할 수 있다. HMD 장치(1000)는 도전성 고무 튜브(280)와 전극 패드(270) 사이의 접촉 면접 변화에 따른 저항값의 변화를 측정할 수 있다. HMD 장치(1000)는 사용자 인증의 대상이 되는 사용자의 안면 골격의 형태에 따라 변화된 저항값을 HMD 장치(1000)의 메모리(300, 도 3 참조)에 저장할 수 있다. HMD 장치(1000)는, HMD 장치(1000)를 착용하는 사용자의 안면 골격의 형태에 따라 변화된 도전성 고무 튜브(280)와 전극 패드(270) 사이의 접촉 면적의 크기에 의한 저항값을 메모리(300)에 기 저장된 저항값들과 비교하여 사용 권한을 인증할 수 있다.
도 21a 및 도 21b는 각각 본 개시의 일 실시예에 따른 HMD 장치(1000)를 사용자가 미착용한 경우와 착용한 경우 도전성 고무 튜브(280)의 형태 변화에 따른 사용자의 안면 골격의 형태에 관한 특성값을 측정하는 방법을 설명하기 위한 도면들이다.
도 21a를 참조하면, 사용자가 HMD 장치(1000)를 착용하지 않는 경우(미착용 시) 도전성 고무 튜브(280)는 전극 패드(270)와 제1 면적(280A) 만큼 접촉할 수 있다. 일 실시예에서, 전극 패드(270)가 도전성 고무 튜브(280)와 제1 면적(280A) 만큼 접촉하는 경우 HMD 장치(1000)는 제1 면적(280A)에 흐르는 전류값에 따른 저항값을 기준값(default)으로 설정할 수 있다.
도 21b를 참조하면, 사용자가 HMD 장치(1000)를 착용한 경우(착용 시) 도전성 고무 튜브(280)는 압축되고, 도전성 고무 튜브(280)는 전극 패드(270)와 제2 면적(280B) 만큼 접촉될 수 있다. HMD 장치(1000)를 착용한 사용자의 안면 골격의 형태에 따라 도전성 고무 튜브(280)의 압축 정도는 다르고, 따라서 제2 면적(280B)의 크기는 복수의 도전성 고무 튜브(280) 각각에 따라 서로 다를 수 있다. 일 실시예에서, 전극 패드(270)가 도전성 고무 튜브(280)와 제2 면적(280B) 만큼 접촉하는 경우, HMD 장치(1000)는 제2 면적(280B)에 흐르는 전류값에 따른 저항값을 기준값에 대한 측정 저항값으로 메모리(300, 도 3 참조)에 저장할 수 있다.
도 22a 및 도 22b는 본 개시의 일 실시예에 따른 HMD 장치(1000)에 포함되는 전극 패드(270)에서 감지된 사용자의 안면 형태에 관한 특성값을 도시한 그래프이다.
도 22a를 참조하면, 사용자 1(user 1)이 HMD 장치(1000)를 착용한 경우, 사용자 1(user 1)의 안면 골격의 형태에 의해 압축된 도전성 고무 튜브(280, 도 21a 및 도 21b 참조)와 전극 패드(270, 도 21a 및 도 21b 참조)와의 접촉 면적의 크기 변화에 따른 저항값이 복수의 전극 패드(1 내지 N)에 따라 각각의 막대 그래프 형태로 도시되어 있다. 예컨대, 제1 전극 패드(1)에서 측정한 사용자 1(user 1)의 안면 골격의 형태에 따라 변화된 접촉 면적에 따른 저항값은 제1 저항값(R1)일 수 있다. 마찬가지로, 제2 도전성 센서(2)가 측정한 사용자 1(user 1)의 안면 골격의 형태 또는 윤곽에 따라 변화된 접촉 면적에 따른 저항값은 제2 저항값(R2)일 수 있다. 일 실시예에서, 복수의 전극 패드(1 내지 N)에서 측정된 저항값은 서로 다른 값일 수 있고, 복수의 전극 패드(1 내지 N)에서 측정된 저항값은 하나의 시리즈를 구성하여 HMD 장치(1000)의 메모리(300, 도 3 참조)에 저장될 수 있다.
도 22b를 참조하면, 사용자 2(user 2)가 HMD 장치(1000)를 착용한 경우, 사용자 2(user 2)의 안면 형태에 따라 변화된 도전성 고무 튜브(280, 도 21a 및 도 21b 참조)와 전극 패드(270, 도 21a 및 도 21b 참조)와의 접촉 면적 크기에 따른 저항값이 복수의 전극 패드(1 내지 N)에 따라 각각의 막대 그래프 형태로 도시되어 있다. 제1 전극 패드(1)가 측정한 사용자 2(user 2)의 안면 골격의 형태에 따라 변화된 도전성 고무 튜브와의 접촉 면적에 따른 전기 저항값은 R1'로서, 도 22a의 제1 저항값(R1)과는 다른 값일 수 있다. 마찬가지로, 제2 전극 패드(2)가 측정한 사용자 2(user 2)의 안면 골격의 형태에 따라 변화된 도전성 고무 튜브와의 접촉 면적에 따른 저항값은 R2'로서, 도 22a의 제2 저항값(R2)과는 다른 값일 수 있다.
도 22a를 함께 참조하면, 사용자 1(user 1)의 복수의 전극 패드(1 내지 N)에 따른 저항값의 막대 그래프 상에 사용자 2(user 2)의 저항값의 꺽은 선 그래프가 오버랩 되어 도시되어 있다. 일 실시예에서, HMD 장치(1000)는 인증의 대상이 되는 사용자, 즉 사용자 1(user 1)의 복수의 전극 패드(1 내지 N) 각각에서 측정된 도전성 고무 튜브와의 접촉 면적의 크기 변화에 따른 저항값들을 포함하는 시리즈를 메모리(300, 도 3 참조)에 저장하고, 사용자 2(user 2)가 HMD 장치(1000)를 착용하는 경우 메모리(300)에 기 저장된 사용자 1(user 1)의 저항값들의 시리즈와 비교하여 사용 권한을 인증할 수 있다.
도 23a 및 도 23b는 본 개시의 일 실시예에 따른 HMD 장치(1000)를 착용하는 사용자의 머리 형태에 관한 특성값을 시간의 흐름에 따라 측정하여 획득한 특성값과 기 등록된 특성값 사이의 편차를 도시한 그래프들이다. 도 23a는 HMD 장치(1000)를 사용하는 권한을 인증 받은 사용자의 머리 형태에 대한 특성값을 측정한 그래프이고, 도 23b는 HMD 장치(1000)를 사용하는 권한을 인증 받지 못한 사용자의 머리 형태에 대한 특성값을 측정한 그래프이다.
도 23a에 도시된 그래프를 참조하면, x 축은 HMD 장치(1000)에 포함되는 복수의 센서로부터 HMD 장치(1000)를 착용하는 사용자의 머리 형태에 대한 특성값을 측정한 횟수를 나타내고, y 축은 측정된 특성값과 메모리(300, 도 3 참조)에 저장되고 인증의 대상이 되는 기 등록된 특성값 사이의 편차값을 나타낸다. 일 실시예에서, x 축이 나타내는 측정 횟수는 HMD 장치(1000)가 HMD 장치(1000)를 착용하는 사용자를 인증하는 소정의 인증 시간 동안 사용자의 머리 형태에 관한 특성값을 시간의 흐름에 따라 연속적으로 측정한 횟수를 의미할 수 있다. 기 등록된 특성값은 HMD 장치(1000)를 사용하는 권한을 갖는 인증 받은 사용자의 머리 형태에 관한 특성값일 수 있다. 일 실시예에서, 기 등록된 특성값은 인증 시간과는 다른 등록 시간에 측정될 수 있다. 측정된 특성값은 복수의 센서를 사용하여 HMD 장치(1000)를 착용하는 사용자의 머리 형태를 인증 시간 동안 시간의 흐름에 따라 측정한 값으로써, 선형 시퀀스(linear sequence) 형태로 획득될 수 있다.
그래프는 x 축에 평행하게 도시되고, y 축으로 0의 값을 갖는 기준값(A) 및 측정 횟수에 따른 편차값(B)을 포함할 수 있다. 기준값(A)은 기 등록된 특성값과 기 등록된 특성값 사이의 편차를 의미할 수 있다. 기 등록된 특성값은 시간의 흐름에 따라 동일한 값이므로, 편차는 시간에 따른 측정 횟수와 관계없이 0의 값을 갖는다.
편차값(B)은, 인증 시간 동안 측정된 특성값과 등록 시간에 측정되어 등록된 특성값의 차이값을 시간의 흐름에 따라 소정의 알고리즘을 통해 계산한 결과값을 의미할 수 있다. 일 실시예에서, 편차값(B)은 측정된 특성값과 기 등록된 특성값의 차이값을 동적 시간 왜곡 알고리즘(Dynamic Time Warping algorithm, DTW)을 통해 계산한 결과값일 수 있다. 동적 시간 왜곡 알고리즘은 시간에 따라 변화하는 두개의 선형 시퀀스 간의 유사성을 측정하는 알고리즘으로써, 두개의 주어진 시퀀스 간의 거리를 양적으로 측정할 수 있다.
도 23a에 도시된 실시예에서, 편차값(B)은 인증 시간 내의 측정 횟수 동안 기 설정된 임계치(dth) 미만의 값을 가질 수 있다. 인증 시간 내의 특정 측정 횟수에서의 편차값(B)과 기준값(A)의 차이값(d1)이 임계치(dth) 미만인 경우, 제어부(400, 도 3 참조)는 HMD 장치(1000)를 착용하는 사용자의 사용 권한을 인증할 수 있다.
도 23b에 도시된 그래프를 참조하면, x 축 및 y 축은 각각 측정 횟수 및 편차값을 나타내고, 그래프는 HMD 장치(1000)를 사용하는 권한을 인증 받지 못한 사용자의 머리 형태에 관한 특성값과 기 등록된 특성값 사이의 편차값(C)을 포함할 수 있다. x 축 및 y 축이 의미하는 측정 횟수 및 편차값, 기 등록된 특성값 및 편차값 계산 알고리즘은 도 23a에서 설명한 것과 동일한바, 중복되는 설명은 생략하기로 한다.
편차값(C)은, 인증 시간 동안 HMD 장치(1000)를 사용하는 권한을 인증 받지 못한 사용자의 머리 형태에 대하여 측정한 특성값과 등록 시간에 측정되어 등록된 특성값의 차이값을 시간의 흐름에 따라 소정의 알고리즘을 통해 계산한 결과값을 의미할 수 있다. 일 실시예에서, 편차값(C)은 인증 시간 내의 측정 횟수 동안 기 설정된 임계치(dth) 이상의 값을 가질 수 있다. 인증 시간 내의 특정 측정 횟수에서의 편차값(C)과 기준값(A)의 차이값(d2)이 임계치(dth) 이상인 경우, 제어부(400, 도 3 참조)는 HMD 장치(1000)를 착용하는 사용자의 사용 권한에 대한 인증을 거부할 수 있다.
도 24은 본 개시의 일 실시예에 따른 HMD 장치를 착용하는 사용자의 머리 형태에 관한 특성값을 시간의 흐름에 따라 측정하여 사용자의 사용 권한을 인증하는 방법을 설명하기 위한 흐름도이다.
단계 S2410에서, HMD 장치를 사용하는 권한을 가진 인증된 사용자의 머리 형태에 관한 특성값을 측정하여 등록한다. 일 실시예에서, HMD 장치는, 등록 시간 동안 인증의 대상이 되는 사용자의 머리 형태에 관한 특성값을 측정할 수 있다.
단계 S2420에서, HMD 장치를 착용하는 사용자의 머리 구조에 관한 특성값을 인증 시간 동안 시간의 흐름에 따라 복수 회 측정한다. 일 실시예에서, HMD 장치는 인증 시간 동안, HMD 장치를 착용한 사용자의 머리 형태에 관한 특성값을 시간의 흐름에 따라 연속적으로 측정할 수 있다. 일 실시예에서, 연속적으로 측정한다는 것은 특성값을 시계열적으로 복수 회 측정함을 의미할 수 있다.
단계 S2430에서, HMD 장치는 측정된 특성값을 기 등록된 특성값과 비교한다.
일 실시예에서, 제어부(400, 도 3 참조)은 적어도 하나의 센서(200)를 사용하여 인증 시간 동안에 측정한 특성값과 기 등록된 특성값 사이의 편차값을 시간의 흐름에 따라 계산할 수 있다. 일 실시예에서, 제어부(400)는 동적 시간 왜곡 알고리즘(DTW)을 통해 편차값을 계산할 수 있다.
단계 S2440에서, HMD 장치는 단계 S2430에서의 비교 결과에 따라 HMD 장치를 착용하는 사용자의 사용 권한을 인증한다. 일 실시예에서, HMD 장치는 단계 S2430에서 계산한 편차값이 기 설정된 임계치 미만인 경우 사용자의 사용 권한을 인증하고, 편차값이 기 설정된 임계치 이상인 경우 사용자의 인증을 거부할 수 있다. 이에 대한 상세한 설명은 도 25에서 후술하도록 한다.
도 25는 본 개시의 일 실시예에 따른 HMD 장치를 착용하는 사용자의 머리 형태에 관한 특성값과 기 등록된 특성값 사이의 편차값을 시간의 흐름에 따라 계산하여 사용자의 사용 권한을 인증하는 방법을 상세하게 설명하기 위한 흐름도이다.
단계 S2510에서, HMD 장치는 측정된 특성값과 기 등록된 특성값의 편차값을 특성값이 측정된 횟수에 따라 계산한다. 일 실시예에서, 측정된 특성값은, HMD 장치(1000)를 착용하는 사용자의 머리 형태를 시간의 흐름에 따라 복수 회 측정한 값으로써, 선형 시퀀스(linear sequence) 형태로 획득될 수 있다. 일 실시예에서, HMD 장치는 인증 시간 동안에 측정한 특성값과 기 등록된 특성값 사이의 편차값을 동적 시간 왜곡 알고리즘(DTW)를 사용하여 계산할 수 있다. 편차값은 인증 시간 내에서 시간의 흐름에 따라 시퀀스 형태로 계산될 수 있다.
단계 S2520에서, HMD 장치는 편차값이 기 설정된 임계치 미만인지 결정한다. 도 23a 및 도 23b를 함께 참조하면, 계산된 편차값(B)이 인증 시간 내의 측정 횟수 동안 기준값(A)과 비교하여 양의 값 및 음의 값 모두에 대하여 기 설정된 임계치(dth) 미만의 값을 갖는지 여부를 결정할 수 있다. 도 23a에 도시된 실시예의 경우 인증 시간 내의 모든 측정 횟수 동안 편차값(B)과 기준값(A)의 차이값(d1)이 기 설정된 임계치(dth) 미만이고, 도 23b에 도시된 실시예의 경우 인증 시간 내에서 편차값(C)과 기준값(A)의 차이값(d2)이 기 설정된 임계치(dth) 이상인 측정 횟수가 존재한다.
단계 S2530에서, HMD 장치는 인증 시간 동안 편차값이 기 설정된 임계치 미만인 경우 HMD 장치를 착용하는 사용자의 사용 권한을 인증한다.
도 23a를 함께 참조하면, 제어부(400, 도 3 참조)는 인증 시간 내에서 모든 측정 횟수 동안 편차값(B)과 기준값(A)의 차이가 기 설정된 임계치(dth) 미만인 것으로 결정한 바, HMD 장치를 착용하는 사용자의 사용 권한을 인증할 수 있다. 일 실시예에서, 제어부(400)는 도 28에서와 같이 인증 기능을 수행하는 별도의 모듈로 구성될 수 있으며, 제어부(400)는 HMD 장치를 착용한 사용자의 사용 권한이 인증되는 경우 멀티미디어 콘텐츠를 디스플레이하거나 가상 현실 또는 증강 현실을 제공하는 동작을 수행하도록 명령하는 전기적 신호를 주 제어부(900, 도 28 참조)에게 전송할 수 있다.
단계 S2540에서, HMD 장치(1000)는 인증 시간 동안 편차값이 기 설정된 임계치 이상인 경우 HMD 장치(1000)를 착용하는 사용자의 인증을 거부한다. 도 23b를 함께 참조하면, 제어부(400)는 인증 시간 내에서 편차값(C)과 기준값(A)의 차이값(d2)이 기 설정된 임계치(dth) 이상인 측정 횟수가 존재하는 것으로 결정한 바, HMD 장치(1000)를 착용하는 사용자의 인증을 거부할 수 있다. 일 실시예에서, 제어부(400)는 별도의 동작을 수행하지 않도록 하는 전기적 신호를 주 제어부(900, 도 28 참조)에 전송할 수 있다. 또한, 제어부(400)는 HMD 장치(1000)의 전원이 오프(off)되도록 하는 전기적 신호를 주 제어부(900)에 전송할 수 있다.
도 26는 본 개시의 일 실시예에 따른 HMD 장치를 사용하는 복수의 사용자 중 HMD 장치를 착용한 사용자를 식별하는 방법을 설명하기 위한 흐름도이다.
단계 S2610에서, HMD 장치는, HMD 장치를 사용하는 복수의 사용자의 머리 형태에 관한 특성값을 각각 등록한다. 일 실시예에서, HMD 장치는, HMD 장치를 사용하는 복수의 사용자 각각의 두개골의 전부 또는 일부의 크기, 모양, 골격 구조 및 골격의 곡률 중 적어도 하나를 측정하여 저장할 수 있다. 다른 실시예에서, HMD 장치는, HMD 장치를 사용하는 복수의 사용자 각각의 측두골 및 후두골의 크기, 모양, 골격 구조 및 골격의 곡률 중 적어도 하나를 측정하여 저장할 수 있다. 또한, 다른 실시예에서, HMD 장치는, HMD 장치를 사용하는 복수의 사용자 각각의 안면 골격의 크기, 모양, 구조 및 곡률 중 적어도 하나를 측정하여 저장할 수 있다.
일 실시예에서, HMD 장치는 서로 이격되어 배치된 센서 각각으로부터 측정하여 획득한 복수의 특성값을 각각의 시리즈 별로 분류하여 저장하거나, 또는 복수의 센서로부터 시간의 흐름에 따라 연속적으로 획득된 복수의 특성값을 각각 시계열적으로 저장할 수 있다.
단계 S2620에서, HMD 장치는, HMD 장치를 착용한 제1 사용자의 머리 형태에 관한 제1 특성값을 획득한다. 일 실시예에서, 적어도 하나의 센서는 제1 사용자의 두개골의 전부 또는 일부, 측두골, 후두골 및 안면의 골격에 대한 크기, 모양, 골격 구조 및 곡률 중 적어도 하나를 포함하는 제1 특성값을 측정할 수 있다.
단계 S2630에서, HMD 장치는 제1 특성값을 등록된 복수의 특성값과 각각 비교한다. 일 실시예에서, HMD 장치는 측정한 제1 사용자의 머리 형태에 관한 특성값의 시리즈를 HMD 장치에 저장된 복수의 특성값을 포함하는 복수의 시리즈와 각각 비교할 수 있다. 다른 실시예에서, HMD 장치는 시간의 흐름에 따라 연속적으로 측정한 제1 사용자의 머리 형태에 관한 특성값을 기 저장된 복수의 특성값과 각각 비교할 수 있다.
단계 S2640에서, HMD 장치는 단계 S2630에서의 비교 결과에 기초하여, 제1 사용자를 식별한다. 일 실시예에서, HMD 장치는 기 저장된 복수의 특성값 중 복수의 특성값과 제1 사용자의 머리 형태에 관하여 측정한 제1 특성값의 차이값이 최소인 특성값을 제1 특성값으로 결정할 수 있다. 일 실시예에서, HMD 장치는 제1 특성값을 통해 제1 사용자를 식별할 수 있고, 제1 특성값에 대응되어 저장된 UI 설정, 맞춤 컨텐츠 제공 등 식별된 제1 사용자에 대한 맞춤형 기능을 제공할 수 있다.
도 26에서 설명된 HMD 장치는, HMD 장치를 사용하는 사용자가 복수인 경우, HMD 장치를 착용한 사용자를 식별하여 사용자 별로 특정된 기능을 제공함으로써, 사용 편의성이 향상된 사용자 경험(UX)을 제공할 수 있다. 특히, HMD 장치가 공용으로 사용되거나 상업용으로 사용되는 경우, HMD 장치를 사용하는 사용자를 식별하여 그에 적합한 기능만을 제공하게 함으로써, 공용 장치의 보안성을 향상시킬 수 있다. 또한, 예컨대 HMD 장치가 가정 내에서 가족 구성원 모두에 의해 공용으로 사용되는 경우, HMD 장치를 미성년자인 사용자가 착용하였을 때에는 성인용 컨텐츠를 차단하거나, 연령대 또는 성별에 맞는 컨텐츠를 제공하는 등의 기능을 구현함으로써, 사용 편의성을 향상시킬 수 있다.
도 27은 본 개시의 일 실시예에 따른 HMD 장치를 착용하는 제1 사용자의 머리 형태에 관한 특성값을 기 등록된 복수의 사용자의 특성값과 비교하여 제1 사용자를 식별하는 방법을 설명하기 위한 흐름도이다.
단계 S2710에서, HMD 장치는 획득한 제1 특성값과 HMD 장치에 기 저장된 복수의 특성값 각각의 차이값을 계산한다. 일 실시예에서, HMD 장치는 제1 특성값과 복수의 특성값과의 편차값을 동적 시간 왜곡 알고리즘(Dynamic Time Warping algorithm, DTW)을 사용하여 계산할 수 있다. 동적 시간 왜곡 알고리즘을 사용하여 편차값을 계산하는 방법은 도 23a, 도 23b 및 도 25에서 설명한 바, 중복되는 설명은 생략하기로 한다.
단계 S2720에서, HMD 장치는 복수의 특성값 중 계산된 차이값이 최소인 특성값을 제1 사용자의 특성값으로 결정한다. 일 실시예에서, HMD 장치는, 기 저장된 복수의 특성값 중 단계 S2110에서 계산된 편차값이 최소인 제1 특성값을 선택할 수 있다. 또한, HMD 장치는 제1 특성값을 제1 사용자의 특성값으로 결정할 수 있다.
단계 S2730에서, HMD 장치는 제1 특성값을 제1 사용자의 특성값으로 결정함으로써, HMD 장치를 착용하는 제1 사용자를 식별할 수 있다.
도 28은 본 개시의 일 실시예에 따른 HMD 장치(1000)의 구성 요소를 설명하기 위한 블록도이다.
도 28를 참조하면, HMD 장치(1000)는 센서(200), 메모리(300), 제어부(400), 입/출력부(510), 카메라(520), 통신 모듈(600), 디스플레이(710), 렌즈(720), 전력 관리 모듈(800) 및 주 제어부(main controller)(900)를 포함할 수 있다.
센서(200)는 HMD 장치(1000)를 착용하는 사용자의 머리 형태에 관한 특성값을 측정하는 적어도 하나의 센서를 포함할 수 있다. 일 실시예에서, 센서(200)는 HMD 장치(1000)를 착용하는 사용자의 두개골 또는 사용자의 안면의 장력값, 압력값, 응력값 및 응력 변형값을 포함하는 기하학적 파라미터를 측정할 수 있다. 일 실시예에서, 센서(200)는 장력 센서, 압력 센서, 응력 센서, 변형 센서, 도전성 센서 및 발광 센서 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 센서(200)는 HMD 장치(1000)의 상태 또는 HMD 장치(1000)의 주변 환경의 상태를 검출하는 적어도 하나의 센서를 포함할 수 있다. 예를 들어, 센서(200)는 사용자의 HMD 장치(1000)에 대한 접근 여부를 검출하는 근접 센서, HMD 장치(1000)의 동작(예를 들어, 회전, 가속, 감속, 진동 등)을 검출하는 모션/방위 센서, 주변 조도를 검출하는 조도 센서, 빛의 색상이나 스펙트럼 등을 감지하는 감광 센서 또는 이들의 조합을 포함할 수 있다. 또한, 모션/방위 센서는 가속도 센서, 중력 센서, 지자기 센서, 자이로(gyro) 센서, 충격 센서, GPS, 나침반 센서(compass sensor) 및 가속도 센서 중 적어도 하나를 포함할 수 있다. 예를 들어, GPS 모듈은 지구 궤도상에 있는 복수의 GPS 위성으로부터 전파를 수신하고, GPS 위성으로부터 HMD 장치(1000)까지의 전파도달시간(time of arrival)을 이용하여 HMD 장치(1000)의 위치를 산출할 수 있다. 센서(200)는 전술한 특징을 제외하면, 도 3에서 설명한 센서(200)와 동일한 바, 중복되는 설명은 생략하기로 한다.
메모리(300)는 HMD 장치(1000)를 사용하는 권한을 갖는 인증된 사용자의 머리 구조에 관한 기 등록된 특성값을 저장할 수 있다. 일 실시예에서, 메모리(300)는 기 등록된 특성값을 서로 이격되어 배치된 복수의 센서(200) 각각으로부터 획득한 특성값의 시리즈 별로 분류하여 저장하거나, 또는 센서(200)로부터 시간의 흐름에 따라 연속적으로 획득된 특성값을 시계열적으로 저장할 수 있다. 일 실시예에서, 메모리(300)는 센서(200)를 사용하여 측정한 HMD 장치(1000)를 사용하는 복수의 사용자의 머리 형태에 관한 복수의 특성값을 저장할 수도 있다.
메모리(300)는 내장 메모리(Internal Memory) 및 외장 메모리(External Memory) 중 적어도 하나를 포함할 수 있다. 내장 메모리는, 예를 들어, 휘발성 메모리(예를 들면, DRAM(Dynamic RAM), SRAM(Static RAM), SDRAM(Synchronous Dynamic RAM) 등), 비휘발성 메모리(예를 들면, OTPROM(One Time Programmable ROM), PROM(Programmable ROM), EPROM(Erasable and Programmable ROM), EEPROM(Electrically Erasable and Programmable ROM), Mask ROM, Flash ROM 등), 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리는, 예를 들면, CF(Compact Flash), SD(Secure Digital), Micro-SD(Micro Secure Digital), Mini-SD(Mini Secure Digital), xD(extreme Digital) 및 Memory Stick 중 적어도 하나를 포함할 수 있다. 메모리(300)는 전술한 특징을 제외하면, 도 3에서 설명한 메모리(300)와 동일한 바, 중복되는 설명은 생략하기로 한다.
제어부(400)는 센서(200)에서 측정한 사용자의 머리 형태에 관한 특성값을 메모리(300)에 저장된 기 등록된 특성값과 비교하여 사용자의 사용 권한을 인증할 수 있다. 일 실시예에서, 제어부(400)는 센서(200)로부터 획득된 사용자의 머리 형태에 관한 특성값의 시리즈를 기 등록된 특성값의 시리즈와 비교하여 사용자의 사용 권한을 인증할 수 있다. 다른 실시예에서, 제어부(400)는 센서(200)로부터 시간의 흐름에 따라 연속적으로 측정된 사용자의 머리 형태에 관한 특성값을 메모리(300)에 기 등록된 특성값과 비교하여 사용자의 사용 권한을 인증할 수 있다. 일 실시예에서, 제어부(400)는 HMD 장치(1000)를 착용하는 특정 사용자, 예컨대 제1 사용자의 머리 형태에 관한 특성값을 메모리(300)에 저장된 복수의 특성값과 각각 비교하여, 제1 사용자를 식별할 수 있다. 일 실시예에서, 제어부(400)는 제1 사용자의 머리 형태에 관한 특성값과 메모리(300)에 저장된 복수의 특성값 각각의 차이값을 계산하고, 복수의 특성값 중 계산된 차이값이 최소인 특성값을 제1 사용자의 특성값으로 결정할 수 있다. 제어부(400)는 도 3에서 설명한 제어부(400) 와 동일한 특징을 가질 수 있다.
입/출력부(510)는 HMD 장치(1000)를 착용하는 사용자의 입력을 수신하거나, 사용자에게 정보를 알리거나, 외부로부터 데이터를 수신하거나, 외부로 데이터를 출력하기 위한 수단을 포함한다. 입/출력부(510)는 적어도 하나의 스피커(511), 적어도 하나의 마이크(512), 적어도 하나의 버튼, 커넥터, 키패드 또는 이들의 조합을 포함할 수 있다. 다만, 본 발명의 실시 예는 이에 한정되지 아니한다.
스피커(511)는 주 제어부(900)의 제어에 따라서 다양한 데이터에 대응되는 음향을 HMD 장치(1000)의 외부로 출력할 수 있다. 또한, 스피커(511)는 HMD 장치(1000)가 수행하는 기능에 대응되는 음향을 출력할 수 있다. 스피커(511)는 HMD 장치(1000)의 적절한 위치 또는 위치들에 하나 또는 복수로 배치될 수 있다. 일 실시예에서, 스피커(511)는 이어폰(earphone)의 형태로 구현될 수도 있다.
마이크(512)는 HMD 장치(1000)의 외부로부터 음성(voice) 내지 음향(sound)를 수신하고, 수신된 음성(voice) 내지 음향(sound)에 기초하여 전기 신호를 생성하며, 생성된 전기 신호를 주 제어부(900)로 출력할 수 있다. 마이크(512)는 HMD 장치(1000)의 적절한 위치 또는 위치들에 하나 또는 복수로 배치될 수 있다. 본 명세서 전체에서, 신호는 데이터로 대체 표기될 수 있으며, 또한 데이터는 데이터 신호로도 표기될 수 있다.
통신 모듈(600)는 유선, 무선 또는 유무선 통신 모듈일 수 있으며, 주 제어부(900)로부터 데이터를 유선 또는 무선으로 외부 통신망 또는 대기를 통해 외부 장치로 전송하거나, 외부 통신망 또는 대기를 통해 전자 장치로부터 데이터를 유선 또는 무선으로 수신하고, 수신된 데이터를 주 제어부(900)로 전달할 수 있다. 실시 예에 따라서, 통신 모듈(600)는 이동 통신 모듈, 무선 랜 모듈 및 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.
이동 통신 모듈은 주 제어부(900)의 제어에 따라 적어도 하나의 안테나를 이용하여 이동 통신망을 통해 외부 장치와 통신을 수행할 수 있다. 이동 통신 모듈은 IP 등의 네트워크 주소 또는 전화번호를 가지는 휴대폰, 스마트폰, 태블릿 PC 또는 다른 통신 장치와 음성 통화, 화상 통화, 단문메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송신 또는 수신할 수 있다.
무선 랜 모듈은 주 제어부(900)의 제어에 따라 무선 AP(access point)의 주변에서 무선 AP를 통해 인터넷에 연결될 수 있다. 무선 랜 모듈은 미국전기전자학회(IEEE)의 무선 랜 규격(IEEE802.11x)을 지원할 수 있다.
근거리 통신 모듈은 주 제어부(900)의 제어에 따라 외부의 통신 장치와 무선으로 근거리 통신을 수행할 수 있다. 근거리 통신 방식은, 예를 들어, 블루투스TM(bluetoothTM), 적외선 통신(IrDA, Infrared Data Association), 와이파이 다이렉터(Wi-Fi direct) 통신, NFC(Near Field Communication) 또는 이들의 조합일 수 있다.
카메라(520)는 렌즈계 및 이미지 센서를 포함하고, 플래쉬 등을 더 포함할 수 있다. 카메라(520)는 렌즈계를 통해 입력되는(또는 촬영되는) 광을 전기적인 이미지 신호로 변환하고, 변환된 이미지 신호를 주 제어부(900)로 출력할 수 있다. 사용자는 카메라(520)를 이용하여 동영상 또는 정지 영상을 촬영할 수 있다. 또한, 카메라(520)는 사용자의 모션 또는 제스쳐를 통한 입력을 수신하기 위해 이용될 수도 있다.
렌즈계는 외부로부터 입력된 광을 수렴시킴으로써 피사체의 이미지를 형성할 수 있다. 렌즈계는 적어도 하나의 렌즈를 포함하며, 각 렌즈는 볼록 렌즈, 비구면 렌즈 등일 수 있다. 렌즈계는 그 중심을 지나는 광축(optical axis)에 대해 대칭성을 가지며, 광축은 렌즈계의 중심축으로 정의될 수 있다. 이미지 센서는 렌즈계를 통해 입력된 외부 광에 기초하여 형성된 광학적 이미지를 전기적 이미지 신호로 변환할 수 있다. 이미지 센서는 MΧN 행렬(matrix) 구조로 배치된 복수의 화소(pixel) 유닛을 구비할 수 있다. 화소 유닛은 포토다이오드 및 복수의 트랜지스터들을 포함할 수 있다. 화소 유닛은 입력된 광에 의해 생성된 전하를 축적하고, 축적된 전하에 의한 전압은 입력된 광의 조도를 나타낼 수 있다. 정지 이미지 또는 동영상을 구성하는 한 이미지를 처리하는 경우에 있어서, 이미지 센서로부터 출력되는 이미지 신호는 화소 유닛들로부터 출력되는 전압들(즉, 화소 값들)의 집합으로 구성되고, 이미지 신호는 하나의 프레임(즉, 정지 이미지)을 나타낼 수 있다. 또한, 프레임은 MΧN 화소로 구성될 수 닜다. 이미지 센서로 CCD(charge-coupled device) 이미지 센서, CMOS(complementary metal-oxide semiconductor) 이미지 센서 등이 사용될 수 있다.
디스플레이(710)는 표시 패널 및 표시 패널을 제어하는 컨트롤러를 포함할 수 있다. 표시패널에는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, AM-OLED(Active-Matrix Organic Light-Emitting Diode), PDP(Plasma Display Panel) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 표시패널은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 디스플레이(710)는 카메라(520)에 의해 촬영되는 피사체의 이미지 상에 가상 현실 이미지(Virtual Reality image, VR image) 또는 증강 현실 이미지(Augmented Reality image, AR image)를 오버랩하여 표시할 수 있다. 또한, 일 실시예에서, 디스플레이(710)는 멀티미디어 콘텐츠를 표시할 수 있다.
렌즈(720)는 HMD 장치(1000)로부터 탈착 가능한 구조로 구현될 수 있다. 일 실시예에서, 렌즈(720)는 HMD 장치(1000)에 포함되지 않을 수 있으며, HMD 장치(1000)는 렌즈(720)를 대체하여 렌즈(720)를 부착하기 위한 구조를 포함할 수도 있다. 사용자는 렌즈(720)를 교체함으로써 HMD 장치(1000)의 렌즈(720)의 색상을 변경할 수 있다.
전력 관리 모듈(800)은 주 제어부(900)의 제어에 따라서 HMD 장치(1000)에 전력을 공급할 수 있다. 전력 관리 모듈(800)은 하나 이상의 배터리와 연결될 수 있다. 또한, 전력 관리 모듈(800)는 유선 케이블을 통해 외부의 전원 소스로부터 입력되는 전원을 HMD 장치(1000)로 공급할 수 있다. 일 실시예에서, 전력 관리 모듈(800)은, 제어부(400)에서 HMD 장치(1000)를 착용하는 사용자의 인증을 거부하는 경우, 주 제어부(900)로부터 전기적 신호를 수신하여 HMD 장치(1000)에 전력을 공급하지 않을 수 있다.
주 제어부(900)는 센서(200), 메모리(300), 제어부(400), 입/출력부(510), 카메라(520), 디스플레이(710), 렌즈(720) 및 전력 관리 모듈(800)을 포함하는 HMD 장치(1000)의 구성 요소들 각각의 동작을 제어할 수 있다. 주 제어부(900)는 CPU, RAM, ROM, GPU 및 BUS 중 적어도 하나를 포함 할 수 있다. CPU, RAM, ROM 및 GPU 등은 BUS를 통해 서로 연결될 수 있다.
주 제어부(900)는 센서(200) 및 메모리(300)와 제어부(400) 간의 전기적 신호의 전송/수신 동작을 제어할 수 있다. 일 실시예에서, 주 제어부(900)는 센서(200)에서 HMD 장치(1000)를 착용하는 사용자의 머리 형태에 관한 특성값을 측정하는 동작을 수행하면, 메모리(300)에서 기 등록된 특성값을 로드(load)하고, 로드된 특성값과 측정된 특성값을 제어부(400)로 전송하는 기능을 수행할 수 있다. 다만, 이에 한정되는 것은 아니고, 센서(200), 메모리(300) 및 제어부(400)는 주 제어부(900)의 개입 없이도 서로 전기적 신호를 전송/수신할 수 있다.
일 실시예에서, 제어부(400)가 HMD 장치(1000)를 착용한 사용자의 사용 권한을 인증하는 경우 주 제어부(900)는 디스플레이(710)가 멀티미디어 콘텐츠를 디스플레이하거나 가상 현실 또는 증강 현실을 제공하도록 디스플레이(710)를 제어할 수 있다. 또한, 일 실시예에서, 제어부(400)가 HMD 장치(1000)를 착용하는 사용자의 인증을 거부하는 경우, 주 제어부(900)는 HMD 장치(1000)에 전원이 공급되지 않도록 전력 관리 모듈(800)을 제어할 수 있다.
일 실시예에서, 주 제어부(900)는 제어부(400)가 수행하는 기능을 모두 수행할 수 있다. 이 경우, 주 제어부(900)는 제어부(400)를 포함하지 않을 수 있다.
본 개시의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 헤드 마운티드 디스플레이(HMD) 장치에 있어서,
    상기 HMD 장치를 착용한 사용자의 머리 형태에 관한 특성값을 측정하는 적어도 하나의 센서;
    상기 HMD 장치를 사용하는 권한을 갖는 사용자의 머리 형태에 관한 기 등록된 특성값을 저장하는 메모리; 및
    상기 측정된 특성값과 상기 기 등록된 특성값에 기초하여 상기 HMD 장치를 착용한 사용자가 상기 HMD 장치를 사용하는 권한을 인증하는 제어부;
    을 포함하는, 장치.
  2. 제1 항에 있어서,
    상기 적어도 하나의 센서는, 상기 HMD 장치와 상기 HMD 장치를 착용한 사용자의 두개골 사이를 고정하여 지지하는 마운팅 벨트(mounting belt) 내에 배치되는, 장치.
  3. 제1 항에 있어서,
    상기 적어도 하나의 센서는, 상기 HMD 장치와 상기 HMD 장치를 착용한 사용자의 전두골, 측두골 및 후두골을 둘러 싸는 스트랩 밴드(strap band) 내에 서로 이격되어 배치되고, 상기 HMD 장치를 착용한 사용자의 전두골, 측두골 및 후두골 각각에서의 압력값을 측정하는 복수의 압력 센서를 포함하는, 장치.
  4. 제1 항에 있어서,
    상기 적어도 하나의 센서는, 상기 HMD 장치를 착용한 사용자의 안면 일부를 덮는 마스크 내에 서로 이격되어 배치되고, 상기 사용자의 안면 골격의 모양 및 크기를 측정하는 복수의 압력 센서를 포함하고, 상기 HMD 장치를 착용한 사용자의 두개골 또는 상기 사용자의 안면 상의 서로 다른 영역에 대하여 측정한 특성값을 측정한 영역에 따라 분류하여 적어도 하나의 시리즈로 생성하는, 장치.
  5. 제4 항에 있어서,
    상기 제어부는, 상기 적어도 하나의 시리즈 중 어느 하나의 시리즈를 선택하고, 상기 선택된 시리즈가 상기 기 등록된 특성값의 시리즈와 상응되는지 결정하여 상기 HMD 장치를 착용한 사용자의 사용 권한을 인증하는, 장치.
  6. 제1 항에 있어서,
    상기 적어도 하나의 센서는, 인증 시간 동안 상기 HMD 장치를 착용한 사용자의 머리 형태에 관한 특성값을 시간의 흐름에 따라 연속적으로 측정하는, 장치.
  7. 제6 항에 있어서,
    상기 제어부는,
    상기 인증 시간 동안 상기 적어도 하나의 센서가 특성값을 측정하는 횟수에 따라 상기 측정된 특성값과 상기 메모리에 저장된 특성값 사이의 편차값을 계산하고, 상기 계산된 편차값이 기 설정된 임계치 미만인 경우, 상기 HMD 장치를 착용한 사용자의 사용 권한을 인증하는, 장치.
  8. HMD 장치가 사용자를 인증하는 방법에 있어서,
    상기 HMD 장치를 착용한 사용자의 머리 형태에 관한 특성값을 측정하는 단계; 및
    상기 측정된 특성값과 상기 HMD 장치를 사용하는 권한을 갖는 인증된 사용자의 머리 형태에 관하여 기 등록된 특성값에 기초하여, 상기 HMD 장치를 착용한 사용자의 사용 권한을 인증하는 단계;
    를 포함하는, 방법.
  9. 제8 항에 있어서,
    상기 특성값을 측정하는 단계는, 상기 HMD 장치를 착용한 사용자의 두개골의 전부 또는 일부의 골격의 곡률을 측정하는 단계를 포함하는, 방법.
  10. 제8 항에 있어서,
    상기 특성값을 측정하는 단계는, 상기 HMD 장치를 착용한 사용자의 전두골, 측두골 및 후두골 각각에서의 압력값을 측정하는 단계를 포함하는, 방법.
  11. 제8 항에 있어서,
    상기 특성값을 측정하는 단계는, 상기 HMD 장치를 착용한 사용자의 두개골 또는 상기 사용자의 안면 상의 서로 다른 영역에 대하여 측정한 특성값을 측정한 영역에 따라 적어도 하나의 시리즈로 분류하는 단계를 포함하는, 방법.
  12. 제11 항에 있어서,
    상기 인증하는 단계는,
    상기 적어도 하나의 시리즈 중 어느 하나의 시리즈를 선택하는 단계;
    상기 선택된 시리즈를 상기 기 등록된 특성값의 시리즈와 상기 선택된 시리즈가 상응되는지 결정하는 단계; 및
    상기 결정에 기초하여, 상기 HMD 장치를 착용한 사용자의 사용 권한을 인증하는 단계; 를 포함하는, 방법.
  13. 제8 항에 있어서,
    상기 특성값을 측정하는 단계는, 인증 시간 동안 상기 HMD 장치를 착용한 사용자의 머리 형태에 관한 특성값을 시간의 흐름에 따라 연속적으로 측정하는 단계를 포함하는, 방법.
  14. 제13 항에 있어서,
    상기 인증하는 단계는,
    상기 인증 시간 동안 상기 특성값이 측정되는 횟수에 따라 상기 측정된 특성값과 상기 기 등록된 특성값의 편차값을 계산하는 단계;
    상기 계산된 편차값을 기 설정된 임계치와 비교하는 단계; 및
    상기 편차값이 상기 임계치 미만인 경우 상기 HMD 장치를 착용한 사용자의 사용 권한을 인증하는 단계; 를 포함하는, 방법.
  15. 제8 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2016/007218 2015-12-10 2016-07-05 헤드 마운티드 디스플레이 장치의 사용자를 인증하는 방법 및 헤드 마운티드 디스플레이 장치 WO2017099318A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/781,367 US20190005216A1 (en) 2015-12-10 2016-07-05 Method for authenticating user of head mounted display device and head mounted display device
EP16873184.2A EP3358487B1 (en) 2015-12-10 2016-07-05 Method for authenticating user of head mounted display device and head mounted display device
CN201680071979.9A CN108369616A (zh) 2015-12-10 2016-07-05 认证头戴式显示设备的用户的方法和头戴式显示设备

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2015-0176055 2015-12-10
KR20150176055 2015-12-10
KR1020160064233A KR20170069125A (ko) 2015-12-10 2016-05-25 헤드 마운티드 디스플레이 장치의 사용자를 인증하는 방법 및 헤드 마운티드 디스플레이 장치
KR10-2016-0064233 2016-05-25

Publications (1)

Publication Number Publication Date
WO2017099318A1 true WO2017099318A1 (ko) 2017-06-15

Family

ID=59014289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/007218 WO2017099318A1 (ko) 2015-12-10 2016-07-05 헤드 마운티드 디스플레이 장치의 사용자를 인증하는 방법 및 헤드 마운티드 디스플레이 장치

Country Status (1)

Country Link
WO (1) WO2017099318A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190075674A (ko) * 2017-12-21 2019-07-01 한국원자력연구원 Hmd 및 그 hmd의 제어 방법
CN111818839A (zh) * 2018-02-28 2020-10-23 洛林大学 测定视觉系统的装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014021602A2 (ko) * 2012-07-31 2014-02-06 인텔렉추얼디스커버리 주식회사 착용형 전자 장치 및 그의 제어 방법
US20140071041A1 (en) * 2012-09-10 2014-03-13 Seiko Epson Corporation Head-mounted display device, control method for the head-mounted display device, and authentication system
US8963806B1 (en) * 2012-10-29 2015-02-24 Google Inc. Device authentication
KR20150059085A (ko) * 2013-11-21 2015-05-29 삼성전자주식회사 헤드 마운트 디스플레이 장치
KR20150106229A (ko) * 2014-03-11 2015-09-21 삼성전자주식회사 사용자를 인증하는 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014021602A2 (ko) * 2012-07-31 2014-02-06 인텔렉추얼디스커버리 주식회사 착용형 전자 장치 및 그의 제어 방법
US20140071041A1 (en) * 2012-09-10 2014-03-13 Seiko Epson Corporation Head-mounted display device, control method for the head-mounted display device, and authentication system
US8963806B1 (en) * 2012-10-29 2015-02-24 Google Inc. Device authentication
KR20150059085A (ko) * 2013-11-21 2015-05-29 삼성전자주식회사 헤드 마운트 디스플레이 장치
KR20150106229A (ko) * 2014-03-11 2015-09-21 삼성전자주식회사 사용자를 인증하는 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190075674A (ko) * 2017-12-21 2019-07-01 한국원자력연구원 Hmd 및 그 hmd의 제어 방법
KR102128263B1 (ko) * 2017-12-21 2020-06-30 한국원자력연구원 Hmd 및 그 hmd의 제어 방법
CN111818839A (zh) * 2018-02-28 2020-10-23 洛林大学 测定视觉系统的装置

Similar Documents

Publication Publication Date Title
WO2017188492A1 (ko) 이동단말기 및 그 제어방법
WO2016064096A2 (en) Mobile terminal and method for controlling the same
WO2016111561A1 (en) Display device and operating method thereof
WO2016186286A1 (en) Mobile terminal and method of controlling therefor
WO2015178624A1 (en) Method and apparatus for providing notification
EP3311557A1 (en) Mobile terminal and method for controlling the same
WO2016143983A1 (en) Method and device for radiating light used to capture iris
WO2020171563A1 (en) Electronic device and method for controlling operation of display in same
WO2014073756A1 (en) Array camera, mobile terminal, and methods for operating the same
WO2019107910A1 (en) Wearable electronic device including fingerprint sensor
EP3146405A1 (en) Wearable device and method of controlling the same
WO2017090833A1 (en) Photographing device and method of controlling the same
WO2019172618A1 (en) Electronic device and image processing method
WO2015174611A1 (ko) 이동 단말기 및 그것의 제어 방법
WO2015064935A1 (en) Electronic device and control method thereof
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
WO2019050212A1 (ko) 지문을 인식하기 방법, 전자 장치 및 저장 매체
EP3701407A1 (en) Method of biometric authenticating using plurality of camera with different field of view and electronic apparatus thereof
WO2017099318A1 (ko) 헤드 마운티드 디스플레이 장치의 사용자를 인증하는 방법 및 헤드 마운티드 디스플레이 장치
WO2020159141A1 (ko) 카메라 모듈을 포함하는 전자 장치
WO2022060126A1 (ko) 카메라 모듈을 포함하는 전자 장치
WO2021246758A1 (ko) 전자 장치 및 그 동작 방법
WO2021230559A1 (ko) 전자 장치 및 그 동작 방법
WO2015083896A1 (ko) 이동 단말기
WO2017119726A2 (ko) 렌즈모듈 및 이를 포함하는 홍채 인식용 카메라모듈, 홍채 인식 카메라 시스템 및 이를 포함하는 단말기

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16873184

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2016873184

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE