KR102361025B1 - Wearable glasses and method for displaying image therethrough - Google Patents

Wearable glasses and method for displaying image therethrough Download PDF

Info

Publication number
KR102361025B1
KR102361025B1 KR1020150020288A KR20150020288A KR102361025B1 KR 102361025 B1 KR102361025 B1 KR 102361025B1 KR 1020150020288 A KR1020150020288 A KR 1020150020288A KR 20150020288 A KR20150020288 A KR 20150020288A KR 102361025 B1 KR102361025 B1 KR 102361025B1
Authority
KR
South Korea
Prior art keywords
wearable glasses
image
user
display
wearable
Prior art date
Application number
KR1020150020288A
Other languages
Korean (ko)
Other versions
KR20160016524A (en
Inventor
정경호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR20140098630 priority Critical
Priority to KR1020140098630 priority
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority claimed from US14/810,652 external-priority patent/US9965030B2/en
Publication of KR20160016524A publication Critical patent/KR20160016524A/en
Application granted granted Critical
Publication of KR102361025B1 publication Critical patent/KR102361025B1/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type, eyeglass details G02C

Abstract

본 개시의 일 실시예에 따른 웨어러블 글래스는, 웨어러블 글래스에서 제공하는 영상을 디스플레이하는 디스플레이, 디스플레이 상에 영상이 표시되는 동안, 사용자가 웨어러블 글래스를 착용하고 있는 착용 상태 정보를 획득하는 센싱부, 및 착용 상태 정보를 이용하여 사용자에 대한 웨어러블 글래스의 기울기를 결정하고, 결정된 기울기에 기초하여 디스플레이 상에 표시되는 영상을 조정하는, 프로세서를 포함할 수 있다.Wearable glasses according to an embodiment of the present disclosure include a display that displays an image provided by the wearable glasses, a sensing unit that acquires information about a state in which a user is wearing wearable glasses while the image is displayed on the display, and The processor may include a processor that determines a tilt of the wearable glasses for the user by using the wearing state information, and adjusts an image displayed on the display based on the determined tilt.

Description

웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법 {WEARABLE GLASSES AND METHOD FOR DISPLAYING IMAGE THERETHROUGH}Wearable glasses and a method of displaying images through wearable glasses {WEARABLE GLASSES AND METHOD FOR DISPLAYING IMAGE THERETHROUGH}

본 개시는 영상 표시 장치 및 방법에 관한 것으로서, 구체적으로는, 웨어러블 글래스 및 웨어러블 글래스에 영상을 표시하는 방법에 관한 것이다.The present disclosure relates to an image display apparatus and method, and more particularly, to wearable glasses and a method for displaying an image on the wearable glasses.

웨어러블 글래스는 안경과 같이 머리에 착용하는 웨어러블 디바이스로서, 사용자의 머리에 착용하여 사용자의 눈 앞에 직접 영상을 표시할 수 있는 HMD(Head Mounted Display) 장치의 일종이다.Wearable glasses are a type of head mounted display (HMD) device that can be worn on a user's head to display an image directly in front of the user's eyes as a wearable device worn on the head like glasses.

웨어러블 글래스는, 프레임 등에 의해 사용자의 머리에 임시적으로 고정되므로, 사용자의 움직임에 따라 사용자의 머리 상에서의 위치가 바뀔 수 있다. 일반적으로 웨어러블 글래스는 사용자의 눈으로부터 수 센치미터 내에서 영상을 디스플레이하는 접안(near-to-eye) 디스플레이 시스템을 포함한다. 따라서, 웨어러블 글래스의 미세한 위치 변화에 의해 출력 영상이 크게 왜곡되어 사용자에게 제공된다는 문제점이 있다.Since the wearable glasses are temporarily fixed to the user's head by a frame or the like, the position on the user's head may change according to the user's movement. In general, wearable glasses include a near-to-eye display system that displays an image within a few centimeters from a user's eyes. Accordingly, there is a problem in that the output image is greatly distorted and provided to the user due to a minute change in the position of the wearable glasses.

본 개시의 일부 실시예는, 사용자의 웨어러블 글래스의 착용 상태를 기준 착용 상태와 비교함으로써, 사용자에 대해서 웨어러블 글래스의 기울어진 정도를 결정하고, 웨어러블 글래스의 기울어진 정도를 고려하여 웨어러블 글래스의 출력 영상을 조정하고, 조정된 영상을 웨어러블 글래스의 디스플레이에 표시하는 시스템 및 방법을 제공한다.In some embodiments of the present disclosure, by comparing the user's wearing state of the wearable glasses with the reference wearing state, the inclination degree of the wearable glasses is determined with respect to the user, and the output image of the wearable glasses in consideration of the inclination degree of the wearable glasses A system and method for adjusting a device and displaying the adjusted image on a display of wearable glasses are provided.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 웨어러블 글래스에서 제공하는 영상을 표시하는, 디스플레이; 상기 디스플레이 상에 영상이 표시되는 동안, 사용자가 상기 웨어러블 글래스를 착용하고 있는 착용 상태 정보를 획득하는, 센싱부; 및 상기 착용 상태 정보를 이용하여 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하고, 상기 결정된 기울기에 기초하여 상기 디스플레이 상에 표시되는 영상을 조정하는, 프로세서를 포함하는, 웨어러블 글래스를 제공할 수 있다.As a technical means for achieving the above-described technical problem, a first aspect of the present disclosure includes a display that displays an image provided by wearable glasses; a sensing unit configured to obtain information on a state in which a user is wearing the wearable glasses while an image is displayed on the display; and a processor that determines a tilt of the wearable glasses for the user by using the wearing state information, and adjusts an image displayed on the display based on the determined tilt. .

본 개시의 일 실시예에 따른 웨어러블 글래스에 있어서, 상기 센싱부는, 상기 웨어러블 글래스를 착용하고 있는 상기 사용자의 신체 부위에 대한 정보를 포함하는 상기 착용 상태 정보를 획득하고, 상기 프로세서는, 상기 착용 상태 정보와 미리 결정된 기준 착용 상태 정보를 비교함으로써, 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정할 수 있다.In the wearable glasses according to an embodiment of the present disclosure, the sensing unit acquires the wearing state information including information on a body part of the user who is wearing the wearable glasses, and the processor is configured to: The inclination of the wearable glasses with respect to the user may be determined by comparing the information with the predetermined reference wearing state information.

본 개시의 일 실시예에 따른 웨어러블 글래스에 있어서, 상기 센싱부는, 상기 신체 부위에 대한 영상을 포함하는 상기 착용 상태 정보를 획득하고, 상기 프로세서는, 상기 신체 부위에 대한 영상으로부터 상기 신체 부위에 대응되는 영역을 검출하고, 상기 검출된 영역으로부터 특성값을 획득하고, 상기 획득된 특성값과 상기 기준 착용 상태 정보에 포함되는 기준값을 비교함으로써 상기 기울기를 결정하는 것을 특징으로 할 수 있다.In the wearable glasses according to an embodiment of the present disclosure, the sensing unit acquires the wearing state information including the image of the body part, and the processor corresponds to the body part from the image of the body part It may be characterized in that the inclination is determined by detecting a region to be used, acquiring a characteristic value from the detected region, and comparing the acquired characteristic value with a reference value included in the reference wearing state information.

본 개시의 일 실시예에 따른 웨어러블 글래스에 있어서, 상기 착용 상태 정보는, 상기 웨어러블 글래스를 착용하고 있는 상기 사용자의 눈을 촬영한 영상을 포함하고, 상기 프로세서는, 상기 촬영된 눈 영상으로부터 상기 눈의 장축의 길이, 단축의 길이, 장축의 각도, 단축의 각도, 눈동자의 위치 값 중 적어도 하나를 획득하고, 상기 획득된 값과 미리 결정된 기준 값을 비교하고, 비교 결과에 기초하여, 상기 기울기를 결정하는 것을 특징으로 할 수 있다.In the wearable glasses according to an embodiment of the present disclosure, the wearing state information includes an image obtained by photographing the eyes of the user wearing the wearable glasses, and the processor is configured to extract the eyes from the photographed eye images. obtains at least one of the length of the major axis, the length of the minor axis, the angle of the major axis, the angle of the minor axis, and the position value of the pupil of the It can be characterized by determining.

본 개시의 일 실시예에 따른 웨어러블 글래스에 있어서, 상기 디스플레이는 테스트 영상을 표시하고, 상기 센싱부는, 상기 테스트 영상이 비친 상기 사용자의 눈을 촬영한 영상을 포함하는 상기 착용 상태 정보를 획득하며, 상기 프로세서는, 상기 촬영된 눈 영상으로부터 상기 사용자의 눈에 대응되는 영역을 검출하고, 상기 눈에 대응되는 영역 내에서 상기 테스트 영상의 반사 영상을 추출하고, 상기 반사 영상의 크기 및 형태 중 적어도 하나를 미리 결정된 기준 착용 상태 정보와 비교하고, 비교 결과에 기초하여 상기 기울기를 결정할 수 있다.In the wearable glasses according to an embodiment of the present disclosure, the display displays a test image, and the sensing unit acquires the wearing state information including an image of the user's eyes on which the test image is reflected, The processor detects an area corresponding to the user's eye from the photographed eye image, extracts a reflection image of the test image from within the area corresponding to the eye, and at least one of a size and a shape of the reflection image may be compared with predetermined reference wearing state information, and the inclination may be determined based on the comparison result.

본 개시의 일 실시예에 따른 웨어러블 글래스에 있어서, 상기 센싱부는, 상기 웨어러블 글래스의 움직임 상태를 나타내는 상태값을 더 측정하고, 상기 상태값이 소정 값 이상인 경우, 상기 착용 상태 정보를 획득할 수 있다.In the wearable glasses according to an embodiment of the present disclosure, the sensing unit may further measure a state value indicating a movement state of the wearable glasses, and when the state value is greater than or equal to a predetermined value, obtain the wearing state information .

본 개시의 일 실시예에 따른 웨어러블 글래스에 있어서, 상기 프로세서는, 상기 결정된 기울기가 소정 값 이상인지 여부를 결정하고, 상기 디스플레이는, 상기 결정된 기울기가 소정 값 미만인 경우, 상기 결정된 기울기에 기초하여 조정된 영상을 표시하고, 상기 결정된 기울기가 소정 값 이상인 경우, 상기 사용자에게 상기 웨어러블 글래스를 고쳐 쓰도록 통지하는 통지 영상을 표시하는 것을 특징으로 할 수 있다.In the wearable glasses according to an embodiment of the present disclosure, the processor determines whether the determined inclination is greater than or equal to a predetermined value, and the display is adjusted based on the determined inclination when the determined inclination is less than a predetermined value displayed image, and when the determined inclination is equal to or greater than a predetermined value, a notification image for notifying the user to rewrite the wearable glasses may be displayed.

한편, 본 개시의 제2 측면은, 웨어러블 글래스에서 제공하는 영상을 디스플레이 상에 표시하는 단계; 사용자가 상기 웨어러블 글래스를 착용하고 있는 착용 상태 정보를 획득하는 단계; 상기 착용 상태 정보를 이용하여 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계; 및 상기 결정된 기울기에 기초하여 상기 디스플레이 상에 표시되는 영상을 조정하는 단계를 포함하는, 웨어러블 글래스가 영상을 표시하는 방법을 제공할 수 있다.Meanwhile, a second aspect of the present disclosure may include displaying an image provided by wearable glasses on a display; obtaining information on a state in which a user is wearing the wearable glasses; determining a tilt of the wearable glasses with respect to the user by using the wearing state information; and adjusting the image displayed on the display based on the determined inclination.

본 개시의 일 실시예에 따라 웨어러블 글래스가 영상을 표시하는 방법에 있어서, 상기 착용 상태 정보를 획득하는 단계는, 상기 웨어러블 글래스를 착용하고 있는 상기 사용자의 신체 부위에 대한 정보를 포함하는 상기 착용 상태 정보를 획득하는 단계를 포함하고, 상기 기울기를 결정하는 단계는, 상기 착용 상태 정보와 미리 결정된 기준 착용 상태 정보를 비교함으로써, 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계를 포함하는 것을 특징으로 할 수 있다.In the method of displaying an image by wearable glasses according to an embodiment of the present disclosure, the acquiring of the wearing state information includes information on a body part of the user who is wearing the wearable glasses. obtaining information, wherein the determining of the inclination includes determining the inclination of the wearable glasses for the user by comparing the wearing state information with predetermined reference wearing state information can be done with

본 개시의 일 실시예에 따라 웨어러블 글래스가 영상을 표시하는 방법에 있어서, 상기 착용 상태 정보를 획득하는 단계는, 상기 신체 부위에 대한 영상을 포함하는 상기 착용 상태 정보를 획득하는 단계를 포함하고, 상기 기울기를 결정하는 단계는, 상기 신체 부위에 대한 영상으로부터 상기 신체 부위에 대응되는 영역을 검출하는 단계; 상기 검출된 영역으로부터 특성값을 획득하는 단계; 및 상기 획득된 특성값과 상기 기준 착용 상태 정보에 포함되는 기준값을 비교함으로써 상기 기울기를 결정하는 단계를 포함할 수 있다.In the method for displaying an image by wearable glasses according to an embodiment of the present disclosure, the acquiring of the wearing state information includes acquiring the wearing state information including an image of the body part, The determining of the slope may include: detecting a region corresponding to the body part from the image of the body part; obtaining a characteristic value from the detected region; and determining the inclination by comparing the acquired characteristic value with a reference value included in the reference wearing state information.

본 개시의 일 실시예에 따라 웨어러블 글래스가 영상을 표시하는 방법에 있어서, 상기 착용 상태 정보는, 상기 웨어러블 글래스를 착용하고 있는 상기 사용자의 눈을 촬영한 영상을 포함하고, 상기 기울기를 결정하는 단계는, 상기 촬영된 눈 영상으로부터 상기 눈의 장축의 길이, 단축의 길이, 장축의 각도, 단축의 각도, 눈동자의 위치 값 중 적어도 하나를 획득하는 단계; 상기 획득된 값과 미리 결정된 기준 값을 비교하는 단계; 및 비교 결과에 기초하여, 상기 기울기를 결정하는 단계를 포함할 수 있다.In the method of displaying an image by wearable glasses according to an embodiment of the present disclosure, the wearing state information includes an image obtained by photographing the eyes of the user wearing the wearable glasses, and determining the inclination obtaining at least one of a length of a major axis, a length of a minor axis, an angle of a major axis, an angle of a minor axis, and a position value of a pupil of the eye from the photographed eye image; comparing the obtained value with a predetermined reference value; and determining the slope based on the comparison result.

본 개시의 일 실시예에 따라 웨어러블 글래스가 영상을 표시하는 방법에 있어서, 상기 영상을 표시하는 단계는, 테스트 영상을 표시하는 단계를 포함하고, 상기 착용 상태 정보를 획득하는 단계는, 상기 테스트 영상이 비친 상기 사용자의 눈을 촬영한 영상을 포함하는 상기 착용 상태 정보를 획득하는 단계를 포함하고, 상기 기울기를 결정하는 단계는, 상기 촬영된 눈 영상으로부터 상기 사용자의 눈에 대응되는 영역을 검출하는 단계; 상기 눈에 대응되는 영역 내에서 상기 테스트 영상의 반사 영상을 추출하는 단계; 상기 반사 영상의 크기 및 형태 중 적어도 하나를 미리 결정된 기준 착용 상태 정보와 비교하는 단계; 및 비교 결과에 기초하여 상기 기울기를 결정하는 단계를 포함할 수 있다.In the method of displaying an image by wearable glasses according to an embodiment of the present disclosure, the displaying of the image includes displaying a test image, and the acquiring of the wearing state information includes: the test image and obtaining the wearing state information including an image of the reflected user's eyes, wherein the determining of the inclination includes detecting a region corresponding to the user's eye from the photographed eye image step; extracting a reflection image of the test image within an area corresponding to the eye; comparing at least one of a size and a shape of the reflected image with predetermined reference wearing state information; and determining the slope based on the comparison result.

본 개시의 일 실시예에 따라 웨어러블 글래스가 영상을 표시하는 방법에 있어서, 상기 착용 상태 정보를 획득하는 단계는, 상기 웨어러블 글래스의 움직임 상태를 나타내는 상태값을 측정하는 단계; 및 상기 상태값이 소정 값 이상인 경우, 상기 착용 상태 정보를 획득하는 단계를 포함할 수 있다.In a method for displaying an image by wearable glasses according to an embodiment of the present disclosure, the acquiring of the wearing state information includes: measuring a state value indicating a movement state of the wearable glasses; and when the state value is equal to or greater than a predetermined value, obtaining the wearing state information.

본 개시의 일 실시예에 따라 웨어러블 글래스가 영상을 표시하는 방법에 있어서, 상기 조정된 영상을 표시하는 단계는, 상기 결정된 기울기가 소정 값 이상인지 여부를 결정하는 단계; 상기 결정된 기울기가 소정 값 이상인 경우, 상기 사용자에게 상기 웨어러블 글래스를 고쳐 쓰도록 통지하는 영상을 표시하는 단계; 및 상기 결정된 기울기가 소정 값 미만인 경우, 상기 결정된 기울기에 기초하여 상기 디스플레이 상에 표시되는 영상을 조정하는 단계를 포함할 수 있다.In a method for displaying an image by wearable glasses according to an embodiment of the present disclosure, the displaying of the adjusted image includes: determining whether the determined slope is equal to or greater than a predetermined value; displaying an image for notifying the user to rewrite the wearable glasses when the determined inclination is greater than or equal to a predetermined value; and when the determined inclination is less than a predetermined value, adjusting the image displayed on the display based on the determined inclination.

한편, 본 개시의 제3 측면은, 웨어러블 글래스가 영상을 표시하는 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 방법은, 상기 웨어러블 글래스에서 제공하는 영상을 표시하는 단계; 사용자가 상기 웨어러블 글래스를 착용하고 있는 착용 상태 정보를 획득하는 단계; 상기 착용 상태 정보를 이용하여 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계; 및 상기 결정된 기울기에 기초하여 조정된 영상을 표시하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 기록 매체를 제공할 수 있다.On the other hand, a third aspect of the present disclosure is a computer-readable recording medium in which one or more programs including instructions for executing a method of displaying an image by wearable glasses are recorded, the method being provided by the wearable glasses displaying an image to obtaining information on a state in which a user is wearing the wearable glasses; determining a tilt of the wearable glasses with respect to the user by using the wearing state information; And it is possible to provide a computer-readable recording medium comprising the step of displaying the adjusted image based on the determined inclination.

한편, 본 개시의 제4 측면은, 웨어러블 글래스를 통하여 영상을 표시하는 디바이스에 있어서, 상기 웨어러블 글래스에서 획득된, 사용자가 상기 웨어러블 글래스를 착용하고 있는 착용 상태 정보를 상기 웨어러블 글래스로부터 수신하는 통신부; 및 상기 수신된 착용 상태 정보를 이용하여 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하고, 상기 결정된 기울기에 기초하여 상기 웨어러블 글래스를 통하여 표시되는 영상을 조정하는 제어부를 포함하고, 상기 통신부는, 상기 조정된 영상을 상기 웨어러블 글래스에게 송신하고, 상기 조정된 영상은 상기 웨어러블 글래스를 통하여 표시되는, 디바이스를 제공할 수 있다.On the other hand, a fourth aspect of the present disclosure provides a device for displaying an image through wearable glasses, comprising: a communication unit configured to receive, from the wearable glasses, information about a wearing state in which a user is wearing the wearable glasses, obtained from the wearable glasses; and a controller configured to determine a tilt of the wearable glasses for the user by using the received wearing state information, and adjust an image displayed through the wearable glasses based on the determined tilt, wherein the communication unit comprises: A device may be provided in which an adjusted image is transmitted to the wearable glasses, and the adjusted image is displayed through the wearable glasses.

한편, 본 개시의 제5 측면은, 디바이스가 웨어러블 글래스를 통하여 영상을 표시하는 방법에 있어서, 상기 웨어러블 글래스에서 획득된, 사용자가 상기 웨어러블 글래스를 착용하고 있는 착용 상태 정보를 상기 웨어러블 글래스로부터 수신하는 단계; 상기 수신된 착용 상태 정보를 이용하여, 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계; 및 상기 결정된 기울기에 기초하여 조정된 영상을 상기 웨어러블 글래스에게 제공하는 단계를 포함하고, 상기 조정된 영상은 상기 웨어러블 글래스를 통하여 디스플레이되는, 방법을 제공할 수 있다.On the other hand, a fifth aspect of the present disclosure is a method for a device to display an image through wearable glasses, comprising: receiving, from the wearable glasses, information about a wearing state in which a user is wearing the wearable glasses, obtained from the wearable glasses step; determining a tilt of the wearable glasses with respect to the user by using the received wearing state information; and providing an image adjusted based on the determined inclination to the wearable glasses, wherein the adjusted image is displayed through the wearable glasses.

한편, 본 개시의 제6 측면은, 웨어러블 글래스에 있어서, 사용자에게 영상을 표시하는, 디스플레이; 상기 사용자의 제스처에 대한 정보를 획득하는, 센싱부; 및 상기 획득된 정보에 기초하여 조정값을 결정하고, 상기 결정된 조정값에 기초하여 상기 디스플레이 상에 표시되는 영상을 조정하는, 프로세서를 포함하는, 웨어러블 글래스를 제공할 수 있다.On the other hand, in a sixth aspect of the present disclosure, in the wearable glasses, a display for displaying an image to a user; a sensing unit for obtaining information about the user's gesture; and a processor that determines an adjustment value based on the obtained information and adjusts an image displayed on the display based on the determined adjustment value.

한편, 본 개시의 제7 측면은, 웨어러블 글래스가 영상을 표시하는 방법에 있어서, 사용자의 제스처에 대한 정보를 획득하는 단계; 상기 획득된 정보에 기초하여, 조정값을 결정하는 단계; 및 상기 결정된 조정값에 기초하여 상기 디스플레이 상에 표시되는 영상을 조정하는 단계를 포함하는, 방법을 제공할 수 있다.Meanwhile, in a seventh aspect of the present disclosure, there is provided a method for displaying an image by wearable glasses, the method comprising: obtaining information about a user's gesture; determining an adjustment value based on the obtained information; and adjusting the image displayed on the display based on the determined adjustment value.

한편, 본 개시의 제8 측면은, 웨어러블 글래스를 통하여 영상을 표시하는 디바이스에 있어서, 상기 웨어러블 글래스에서 획득된 사용자의 제스처에 대한 정보를 상기 웨어러블 글래스로부터 수신하는 통신부; 및 상기 제스처에 대한 정보에 기초하여 조정값을 결정하고, 상기 결정된 조정값에 기초하여 상기 웨어러블 글래스를 통해 표시되는 영상을 조정하는 제어부를 포함하고, 상기 통신부는 상기 조정된 영상을 상기 웨어러블 글래스에게 제공하고, 상기 조정된 영상은 상기 웨어러블 글래스를 통하여 표시되는, 디바이스를 제공할 수 있다. Meanwhile, an eighth aspect of the present disclosure provides a device for displaying an image through wearable glasses, comprising: a communication unit configured to receive information about a user's gesture obtained from the wearable glasses from the wearable glasses; and a control unit that determines an adjustment value based on the information on the gesture, and adjusts an image displayed through the wearable glasses based on the determined adjustment value, wherein the communication unit transmits the adjusted image to the wearable glasses. provided, and the adjusted image is displayed through the wearable glasses.

도 1은 일반적인 웨어러블 글래스를 사용하는 사용자가 느끼는 불편함을 설명하기 위한 도면이다.
도 2a, 2b 및 2c는 사용자에 대해서 웨어러블 글래스가 기울어진 경우, 본 개시의 일부 실시예에 따라 조정된 영상을 디스플레이하는 웨어러블 글래스를 설명하기 위한 도면들이다.
도 3a 및 3b는 본 개시의 일부 실시예에 따른 웨어러블 글래스의 외면을 도시한다.
도 4a 및 4b는 본 개시의 일부 실시예에 따른 웨어러블 글래스의 외면을 도시한다.
도 5a 및 5b는 본 개시의 일부 실시예에 따른 웨어러블 글래스의 외면을 도시한다.
도 6은 본 개시의 일 실시예에 따라 웨어러블 글래스가 영상을 디스플레이하는 방법의 흐름도이다.
도 7은 본 개시의 일 실시예에 따라 기준 착용 상태에 기초하여 결정되는 사용자에 대한 웨어러블 글래스의 기울기를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시예에 따라 웨어러블 글래스가 사용자의 신체 부위에 대한 정보를 획득하는 방법의 흐름도이다.
도 9는 본 개시의 일 실시예에 따라 사용자의 눈을 촬영하기 위한 가이드 영상이 디스플레이되는 화면의 예이다.
도 10a 및 10b는, 본 개시의 일부 실시예에 따라, 사용자에 대해 웨어러블 글래스가 기울어지지 않은 경우, 웨어러블 글래스를 통해 획득되는 사용자의 눈을 촬영한 영상의 예이다.
도 11a, 11b 및 11c는 본 개시의 일부 실시예에 따라, 사용자에 대해 웨어러블 글래스가 기울어진 경우, 웨어러블 글래스를 통해 획득되는 사용자의 눈을 촬영한 영상의 예이다.
도 12는 본 개시의 일 실시예에 따라 웨어러블 글래스가 사용자의 눈을 촬영한 영상으로부터 기울기를 결정하는 방법의 흐름도이다.
도 13은 본 개시의 일 실시예에 따라 촬영된 눈 영상으로부터 결정되는 눈에 대응되는 제1 영역을 설명하기 위한 도면이다.
도 14는 본 개시의 일 실시예에 따라 촬영된 눈 영상으로부터 결정되는 눈동자에 대응되는 제2 영역을 설명하기 위한 도면이다.
도 15는 본 개시의 일 실시예에 따라 촬영된 눈 영상으로부터 획득되는 특성값을 설명하기 위한 도면이다.
도 16 및 17은 본 개시의 일부 실시예에 따라 웨어러블 글래스가 눈 영상으로부터 웨어러블 글래스의 기울기를 결정하는 방법을 설명하기 위한 도면이다.
도 18 및 19는 본 개시의 일 실시예에 따라 웨어러블 글래스의 기울기에 기초하여 조정된 영상을 디스플레이하는 방법의 흐름도이다.
도 20, 21a 및 21b는 본 개시의 일부 실시예에 따라 웨어러블 글래스의 기울기에 기초하여, 디스플레이를 통해 표시되는 영상이 조정되는 것을 설명하기 위한 도면이다.
도 22a, 22b 및 22c는 본 개시의 일부 실시예에 따라 웨어러블 글래스의 기울기에 기초하여, 디스플레이를 통해 표시되는 영상을 조정하는 방법을 설명하기 위한 도면이다.
도 23 및 24는 본 개시의 일부 실시예에 따라 웨어러블 글래스를 통해 디스플레이되는 영상에 적용되는 애니메이션 효과의 예를 도시한다.
도 25는 본 개시의 일 실시예에 따라 웨어러블 글래스가 조정된 영상을 축소하여 디스플레이하는 방법의 흐름도이다.
도 26은 본 개시의 일 실시예에 따라 웨어러블 글래스의 기울기에 기초하여 축소되어 디스플레이되는 영상을 설명하기 위한 도면이다.
도 27은 본 개시의 일 실시예에 따라 사용자에게 웨어러블 글래스를 고쳐쓰도록 통지하는 영상을 디스플레이하는 방법의 흐름도이다.
도 28은 본 개시의 일 실시예에 따라 사용자에게 웨어러블 글래스를 고쳐쓰도록 통지하는 영상의 예를 도시한다.
도 29는 본 개시의 일 실시예에 따라 사용자에게 웨어러블 글래스를를 고쳐쓰도록 유도하는 가이드 영상의 예를 도시한다.
도 30은 본 개시의 일 실시예에 따라 웨어러블 글래스가 디스플레이 영상을 조정하는 방법의 흐름도이다.
도 31은 본 개시의 일 실시예에 따라 웨어러블 글래스가 디스플레이 영상의 위치 및 크기를 조정하는 방법을 설명하기 위한 도면이다.
도 32는 본 개시의 일 실시예에 따라 웨어러블 글래스가 디스플레이 영상의 밝기를 조정하는 방법을 설명하기 위한 도면이다.
도 33은 본 개시의 일 실시예에 따라, 웨어러블 글래스가 디스플레이 영상을 조정하기 위해 기준값을 설정하는 방법을 설명하기 위한 도면이다.
도 34는 본 개시의 일 실시예에 따라 사용자의 눈으로부터 반사되는 테스트 영상에 기초하여 웨어러블 글래스가 디스플레이 영상을 보정하는 방법을 설명하기 위한 도면이다.
도 35는 본 개시의 일부 실시예에 따라 웨어러블 글래스가 사용자의 눈으로부터 반사되는 테스트 영상에 기초하여 디스플레이 영상을 보정하는 방법의 흐름도이다.
도 36a, 36b 및 36c는 본 개시의 일부 실시예에 따라 사용되는 테스트 영상의 예를 도시한다.
도 37a, 37b 및 37c는 본 개시의 일부 실시예에 따라 웨어러블 글래스가가 테스트 영상이 반사되는 사용자의 눈을 촬영한 영상의 예를 도시한다.
도 38은, 본 개시의 일 실시예에 따라, 사용자에 대해 웨어러블 글래스가 기울어지지 않은 경우, 웨어러블 글래스를 통해 획득되는 사용자의 눈을 촬영한 영상의 예이다.
도 39a, 39b 및 39c는 본 개시의 일부 실시예에 따라, 사용자에 대해 웨어러블 글래스가 기울어진 경우, 웨어러블 글래스를 통해 획득되는 사용자의 눈을 촬영한 영상의 예이다.
도 40은 본 개시의 일 실시예에 따라 촬영된 눈 영상으로부터 웨어러블 글래스의 기울기를 결정하는 방법의 흐름도이다.
도 41은 본 개시의 일 실시예에 따라 웨어러블 글래스의 기울기에 기초하여 조정된 영상을 디스플레이하는 방법의 흐름도이다.
도 42는 본 개시의 일 실시예에 따라 촬영된 눈 영상으로부터 측정되는 사용자의 눈에 대한 특성값들을 설명하기 위한 도면이다.
도 43a, 43b 및 43c는 본 개시의 일부 실시예에 따라 웨어러블 글래스가 촬영된 눈 영상에 포함되는 테스트 영상의 반사 영상에 기초하여 기울기를 결정하는 방법을 설명하기 위한 도면이다.
도 44a 및 44b는 본 개시의 일부 실시예에 따라 웨어러블 글래스 가 촬영된 눈 영상에 기초하여 동작하는 방법을 설명하기 위한 도면이다.
도 45는 본 개시의 일 실시예에 따라 웨어러블 글래스가 사용자의 제스처에 기초하여 디스플레이 영상을 조정하는 방법을 설명하기 위한 도면이다.
도 46은 본 개시의 일 실시예에 따라 웨어러블 글래스가 사용자의 제스처에 기초하여 디스플레이 영상을 조정하는 방법의 흐름도이다.
도 47은 본 개시의 일 실시예에 따라 웨어러블 글래스가 사용자의 제스처를 촬영하는 방법의 흐름도이다.
도 48 및 49는 본 개시의 일부 실시예에 따라 웨어러블 글래스가 사용자의 제스처를 유도하기 위한 가이드 영상이 디스플레이되는 화면의 예이다.
도 50은 본 개시의 일 실시예에 따라 웨어러블 글래스가 촬영된 제스처 영상으로부터 조정값을 결정하는 방법의 흐름도이다.
도 51은 본 개시의 일 실시예에 따라 웨어러블 글래스가 사용자의 손 제스처를 검출하는 방법을 설명하기 위한 도면이다.
도 52, 53 및 54는 본 개시의 일부 실시예에 따라 웨어러블 글래스가 사용자의 제스처에 기초하여 디스플레이 영상을 조정하기 위한 조정값을 결정하는 방법을 설명하기 위한 도면이다.
도 55 및 56은 본 개시의 일부 실시예에 따라 웨어러블 글래스가 사용자의 제스처에 기초하여 디스플레이 영상을 조정하는 방법을 설명하기 위한 도면이다.
도 57은 본 개시의 일 실시예에 따라 디바이스가 웨어러블 글래스를 통하여 영상을 디스플레이하는 시스템을 나타내는 도면이다.
도 58은 본 개시의 일 실시예에 따라 디바이스가 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법의 흐름도이다.
도 59는 본 개시의 일 실시예에 따라 디바이스가 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법의 흐름도이다.
도 60 및 61은 본 개시의 일부 실시예에 따른 웨어러블 글래스의 블록도이다.
도 62 및 63은 본 개시의 일부 실시예에 따라 웨어러블 글래스를 통해 영상을 디스플레이하는 디바이스의 블록도이다.
1 is a view for explaining the inconvenience felt by a user who uses a general wearable glasses.
2A, 2B, and 2C are diagrams for explaining wearable glasses displaying an image adjusted according to some embodiments of the present disclosure when the wearable glasses are tilted with respect to the user.
3A and 3B illustrate an outer surface of wearable glasses according to some embodiments of the present disclosure;
4A and 4B illustrate an outer surface of wearable glasses according to some embodiments of the present disclosure;
5A and 5B illustrate an outer surface of wearable glasses according to some embodiments of the present disclosure;
6 is a flowchart of a method of displaying an image by wearable glasses according to an embodiment of the present disclosure;
7 is a view for explaining a tilt of wearable glasses for a user determined based on a reference wearing state according to an embodiment of the present disclosure.
8 is a flowchart of a method by which wearable glasses obtain information on a body part of a user according to an embodiment of the present disclosure.
9 is an example of a screen on which a guide image for photographing a user's eyes is displayed, according to an embodiment of the present disclosure.
10A and 10B are examples of images obtained by photographing the user's eyes obtained through the wearable glasses when the wearable glasses are not tilted with respect to the user, according to some embodiments of the present disclosure.
11A, 11B, and 11C are examples of images obtained by photographing the user's eyes obtained through the wearable glasses when the wearable glasses are tilted with respect to the user, according to some embodiments of the present disclosure;
12 is a flowchart of a method for wearable glasses to determine a tilt from an image captured by a user's eyes according to an embodiment of the present disclosure;
13 is a diagram for describing a first area corresponding to an eye determined from an eye image captured according to an embodiment of the present disclosure;
14 is a diagram for describing a second region corresponding to a pupil determined from an eye image captured according to an embodiment of the present disclosure.
15 is a diagram for describing a characteristic value obtained from an eye image captured according to an embodiment of the present disclosure.
16 and 17 are diagrams for explaining a method by which wearable glasses determine a tilt of wearable glasses from an eye image according to some embodiments of the present disclosure;
18 and 19 are flowcharts of a method of displaying an image adjusted based on a tilt of wearable glasses according to an embodiment of the present disclosure.
20, 21A, and 21B are diagrams for explaining that an image displayed through a display is adjusted based on a tilt of wearable glasses according to some embodiments of the present disclosure;
22A, 22B, and 22C are diagrams for explaining a method of adjusting an image displayed through a display based on a tilt of wearable glasses according to some embodiments of the present disclosure;
23 and 24 illustrate examples of animation effects applied to images displayed through wearable glasses according to some embodiments of the present disclosure.
25 is a flowchart of a method for displaying a reduced image of which wearable glasses are adjusted according to an embodiment of the present disclosure;
26 is a view for explaining an image that is reduced and displayed based on a tilt of wearable glasses according to an embodiment of the present disclosure;
27 is a flowchart of a method of displaying an image for notifying a user to rewrite wearable glasses according to an embodiment of the present disclosure;
28 illustrates an example of an image for notifying a user to rewrite wearable glasses according to an embodiment of the present disclosure.
29 illustrates an example of a guide image inducing a user to rewrite wearable glasses according to an embodiment of the present disclosure.
30 is a flowchart of a method of adjusting a display image by wearable glasses according to an embodiment of the present disclosure;
31 is a view for explaining a method of adjusting a position and size of a display image by wearable glasses according to an embodiment of the present disclosure;
32 is a view for explaining a method of adjusting the brightness of a display image by wearable glasses according to an embodiment of the present disclosure;
FIG. 33 is a diagram for explaining a method of setting a reference value in order for wearable glasses to adjust a display image, according to an embodiment of the present disclosure;
34 is a view for explaining a method of correcting a display image by wearable glasses based on a test image reflected from a user's eye according to an embodiment of the present disclosure;
35 is a flowchart of a method of correcting a display image of wearable glasses based on a test image reflected from a user's eye according to some embodiments of the present disclosure;
36A, 36B, and 36C show examples of test images used in accordance with some embodiments of the present disclosure.
37A, 37B, and 37C illustrate examples of images obtained by photographing a user's eyes in which a test image is reflected by wearable glasses according to some embodiments of the present disclosure;
38 is an example of an image obtained by photographing the user's eyes obtained through the wearable glasses when the wearable glasses are not tilted with respect to the user, according to an embodiment of the present disclosure.
39A, 39B, and 39C are examples of images obtained by photographing the user's eyes obtained through the wearable glasses when the wearable glasses are tilted with respect to the user, according to some embodiments of the present disclosure;
40 is a flowchart of a method of determining a tilt of wearable glasses from a photographed eye image according to an embodiment of the present disclosure.
41 is a flowchart of a method of displaying an image adjusted based on a tilt of wearable glasses according to an embodiment of the present disclosure;
42 is a diagram for describing characteristic values of a user's eye measured from an eye image captured according to an embodiment of the present disclosure.
43A, 43B, and 43C are diagrams for explaining a method of determining a gradient based on a reflection image of a test image included in an eye image in which wearable glasses are photographed, according to some embodiments of the present disclosure;
44A and 44B are diagrams for explaining a method of operating wearable glasses based on a captured eye image according to some embodiments of the present disclosure;
45 is a diagram for explaining a method of adjusting a display image based on a user's gesture by wearable glasses according to an embodiment of the present disclosure;
46 is a flowchart of a method by which wearable glasses adjust a display image based on a user's gesture according to an embodiment of the present disclosure;
47 is a flowchart of a method by which wearable glasses capture a user's gesture according to an embodiment of the present disclosure;
48 and 49 are examples of screens on which a guide image for inducing a user's gesture by wearable glasses is displayed, according to some embodiments of the present disclosure.
50 is a flowchart of a method of determining an adjustment value from a gesture image captured by wearable glasses according to an embodiment of the present disclosure;
FIG. 51 is a diagram for describing a method in which wearable glasses detect a user's hand gesture according to an embodiment of the present disclosure;
52, 53, and 54 are diagrams for explaining a method of determining, by wearable glasses, an adjustment value for adjusting a display image based on a user's gesture, according to some embodiments of the present disclosure;
55 and 56 are diagrams for explaining a method by which wearable glasses adjust a display image based on a user's gesture according to some embodiments of the present disclosure;
57 is a diagram illustrating a system in which a device displays an image through wearable glasses according to an embodiment of the present disclosure;
58 is a flowchart of a method for a device to display an image through wearable glasses according to an embodiment of the present disclosure;
59 is a flowchart of a method for a device to display an image through wearable glasses according to an embodiment of the present disclosure;
60 and 61 are block diagrams of wearable glasses according to some embodiments of the present disclosure.
62 and 63 are block diagrams of a device for displaying an image through wearable glasses, according to some embodiments of the present disclosure;

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement them. However, the present invention may be embodied in several different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted, and similar reference numerals are attached to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part "includes" a certain element, it means that other elements may be further included, rather than excluding other elements, unless otherwise stated.

명세서 전체에서, “디스플레이 영상”이란, 웨어러블 글래스를 통하여 사용자에게 제공되는 영상을 의미한다. “디스플레이 영상”은 웨어러블 글래스를 통하여 이전에 디스플레이되었던 영상, 현재 디스플레이되고 있는 영상, 및 이후에 디스플레이될 영상을 모두 포함할 수 있다. 디스플레이 영상은 웨어러블 글래스에서 생성된 영상일 수 있으며, 외부 디바이스로부터 수신된 영상일 수 있다.Throughout the specification, the term “display image” refers to an image provided to a user through wearable glasses. The “display image” may include an image previously displayed through the wearable glasses, an image currently being displayed, and an image to be displayed later. The display image may be an image generated by wearable glasses or an image received from an external device.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

HMD 장치는, 사용자의 머리에 착용되어 사용자의 눈 앞에 직접 영상을 표시할 수 있는 디스플레이 장치이다. 예를 들어, 도 1에 도시된 웨어러블 글래스(10)와 같이, HMD 장치는 안경의 형태를 가질 수 있다. 본 개시에서는 안경 형태의 HMD 장치인 웨어러블 글래스를 예로 들어 본 발명의 다양한 실시예를 상세히 설명하기로 한다. 다만, 본 발명은 안경형 웨어러블 글래스로 한정되는 것은 아니며, 본체의 일부분을 사용자 머리에 고정하여 사용자 시야각 내에 정보를 표시할 수 있는 다양한 형태의 HMD 장치에도 본 발명은 적용 가능하다. 웨어러블 글래스(10)는, 프레임 등에 의해 사용자의 머리 상에 임시적으로 고정된다. 따라서, 사용자가 웨어러블 글래스(10)를 장시간 착용하고 있는 경우, 사용자의 움직임 또는 외부 환경 변화에 따라 사용자의 머리 상에서 웨어러블 글래스(10)의 위치가 바뀔 수 있다. The HMD device is a display device that is worn on a user's head to display an image directly in front of the user's eyes. For example, like the wearable glasses 10 shown in FIG. 1 , the HMD device may have the form of glasses. In the present disclosure, various embodiments of the present invention will be described in detail using wearable glasses that are HMD devices in the form of glasses as an example. However, the present invention is not limited to spectacle-type wearable glasses, and the present invention is applicable to various types of HMD devices capable of displaying information within a user's viewing angle by fixing a part of the main body to a user's head. The wearable glasses 10 are temporarily fixed on the user's head by a frame or the like. Accordingly, when the user wears the wearable glasses 10 for a long time, the position of the wearable glasses 10 on the user's head may change according to the user's movement or changes in the external environment.

일반적으로 웨어러블 글래스(10)는 사용자의 눈으로부터 수 센치미터 내에서 영상을 디스플레이하는 접안(near-to-eye) 디스플레이 시스템을 포함하므로, 웨어러블 글래스(10)의 미세한 위치 변화에 의해 출력 영상이 크게 왜곡되어 사용자에게 제공된다는 문제점이 있다. 즉, 웨어러블 글래스(10)가 사용자에 대해 기울어져 있거나 뒤틀려 있는 경우, 사용자는 기울어져 있거나 뒤틀려 있는 디스플레이를 통해 왜곡된 영상을 제공받는다는 문제점이 있다. In general, since the wearable glasses 10 include a near-to-eye display system that displays an image within a few centimeters from the user's eye, the output image is greatly increased by a minute change in the position of the wearable glasses 10 . There is a problem in that it is distorted and provided to the user. That is, when the wearable glasses 10 are tilted or twisted with respect to the user, there is a problem in that the user is provided with a distorted image through the tilted or warped display.

왜곡된 영상이란, 기준 영상과 비교하여, 크기가 변형되거나 표시 위치가 변경되거나 형태가 변형되어 사용자에게 제공되는 영상을 의미할 수 있다. 예를 들어, 기준 영상은, 사용자가 웨어러블 글래스를 올바르게 착용하고 있는 기준 착용 상태에서 사용자에게 제공되는 영상으로서 미리 결정된 것일 수 있다.The distorted image may refer to an image provided to a user by changing the size, display position, or shape of the distorted image compared to the reference image. For example, the reference image may be a predetermined image provided to the user in a reference wearing state in which the user is properly wearing the wearable glasses.

따라서, 사용자는 왜곡된 영상으로 인해 불편감을 느낄때마다 빈번하게 웨어러블 글래스의 위치를 바로잡는 행동을 취해야한다는 불편함이 있다.Therefore, whenever a user feels discomfort due to a distorted image, there is an inconvenience in that he/she has to take an action to frequently correct the position of the wearable glasses.

본 개시는 이러한 문제점을 인식하고, 사용자에 대한 웨어러블 글래스의 기울어짐에 기초하여 디스플레이 영상을 조정하고, 조정된 영상을 웨어러블 글래스를 통하여 디스플레이하는 시스템 및 방법을 제공한다.The present disclosure recognizes this problem, adjusts a display image based on the inclination of the wearable glasses with respect to the user, and provides a system and method for displaying the adjusted image through the wearable glasses.

도 2a, 2b 및 2c는 사용자가 웨어러블 글래스를 착용하고 있는 착용 상태 정보를 기준 착용 상태와 비교하여 사용자에 대해 웨어러블 글래스가 기울어진 경우, 본 개시의 일부 실시예에 따라 웨어러블 글래스의 기울어진 정도를 고려하여 조정된 영상을 디스플레이하는 웨어러블 글래스를 설명하기 위한 도면들이다. 기준 착용 상태는, 사용자가 웨어러블 글래스를 올바르게 착용하고 있는 상태로서 미리 결정된 것일 수 있다. 또한, 기준 착용 상태는, 웨어러블 글래스를 착용하는 사용자 별로 다르게 설정될 수 있다.2A, 2B, and 2C are diagrams illustrating the degree of inclination of the wearable glasses according to some embodiments of the present disclosure when the wearable glasses are tilted with respect to the user by comparing the wearing state information in which the user is wearing the wearable glasses with the reference wearing state; These are drawings for explaining wearable glasses that display an image adjusted in consideration. The reference wearing state may be a state in which the user is properly wearing the wearable glasses and may be predetermined. Also, the reference wearing state may be set differently for each user who wears the wearable glasses.

사용자는, 웨어러블 글래스(10)를 통해 제공되는 디스플레이 영상과 주변 환경을 함께 인식함으로써, 다양한 정보를 제공받을 수 있다. The user may receive various information by recognizing the display image provided through the wearable glasses 10 and the surrounding environment together.

도 2a는, 사용자가 웨어러블 글래스(10)를 올바르게 착용하고 있는 기준 착용 상태에서 웨어러블 글래스(10)가 사용자에게 디스플레이 영상을 제공하는 경우를 도시한다. 예를 들어, 도 2a에 도시된 바와 같이, 웨어러블 글래스(10)는 목적지까지의 경로를 안내하는 영상(12)을 제공함으로써, 내비게이션 기능을 지원할 수 있다.FIG. 2A illustrates a case in which the wearable glasses 10 provide a display image to the user in a reference wearing state in which the user is properly wearing the wearable glasses 10 . For example, as shown in FIG. 2A , the wearable glasses 10 may support a navigation function by providing an image 12 guiding a route to a destination.

사용자가 웨어러블 글래스(10)를 장시간 착용하고 있는 경우, 사용자의 움직임 또는 외부 환경 변화에 따라 사용자의 머리 상에서 웨어러블 글래스(10)의 착용 상태가 바뀔 수 있다. 도 2b에 도시된 바와 같이, 도 2a에 도시된 기준 착용 상태와 비교하였을 때, 웨어러블 글래스(10)가 사용자에 대해서 기울어질 수 있다. When the user wears the wearable glasses 10 for a long time, the wearable state of the wearable glasses 10 on the user's head may change according to the user's movement or changes in the external environment. As shown in FIG. 2B , the wearable glasses 10 may be inclined with respect to the user as compared to the reference wearing state shown in FIG. 2A .

사용자가 일반적인 웨어러블 글래스(10)를 착용하는 경우, 사용자는 웨어러블 글래스(10)의 기울어짐에 따라 왜곡된 영상(13)을 제공받는다. 즉, 일반적인 웨어러블 글래스(10)는, 웨어러블 글래스(10)의 기울어짐과 관계없이 기준 착용 상태에서 웨어러블 글래스(10)가 출력하던 영상을 그대로 출력한다. 예를 들어, 도 2b에 도시된 바와 같이, 웨어러블 글래스(10)가 목적지까지의 경로를 안내하는 내비게이션 기능을 지원하는 경우, 사용자에게 제공되는 영상(13)은 실제 주변 환경과 비교하였을 때 시각적으로 기울어져 표시될 수 있다. 따라서, 종래 기술에 따르면, 왜곡되지 않은 영상을 제공받기 위해서 사용자가 웨어러블 글래스 (10)의 위치를 물리적으로 바로 잡아야 하는 불편함이 있었다.When the user wears the general wearable glasses 10 , the user is provided with a distorted image 13 according to the inclination of the wearable glasses 10 . That is, the general wearable glasses 10 outputs the image output by the wearable glasses 10 as it is in the standard wearing state regardless of the inclination of the wearable glasses 10 . For example, as shown in FIG. 2B , when the wearable glasses 10 support a navigation function for guiding a route to a destination, the image 13 provided to the user is visually compared with the actual surrounding environment. It may be displayed tilted. Therefore, according to the prior art, there is an inconvenience in that the user has to physically correct the position of the wearable glasses 10 in order to receive an undistorted image.

이러한 불편함으로 인해, 기준 착용 상태와 비교하여 사용자에 대해서 웨어러블 글래스(10)가 기울어진 정도에 따라 디스플레이 영상을 조정하여 출력할 수 있는 웨어러블 글래스(10)가 요구된다. Due to this inconvenience, there is a need for a wearable glass 10 capable of outputting a display image by adjusting the display image according to the degree of inclination of the wearable glasses 10 with respect to the user compared to the reference wearing state.

도 2c에 도시된 바와 같이, 도 2a에 도시된 기준 착용 상태와 비교하였을 때, 사용자에 대해서 웨어러블 글래스가 기울어질 수 있다. 도 2c에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자에 대한 웨어러블 글래스(10)의 기울어진 정도를 보상한 조정된 영상(14)을 출력할 수 있다.As shown in FIG. 2C , the wearable glasses may be inclined with respect to the user as compared to the reference wearing state shown in FIG. 2A . As shown in FIG. 2C , the wearable glasses 1000 according to an embodiment of the present disclosure may output an adjusted image 14 in which a degree of inclination of the wearable glasses 10 with respect to the user is compensated.

본 개시의 일부 실시예에 따른 웨어러블 글래스(1000)는, 미리 결정된 기준 착용 상태를 기준으로 웨어러블 글래스(1000)의 기울어진 정도를 결정할 수 있다. 예를 들어, 기준 착용 상태는, 사용자가 웨어러블 글래스(1000)를 올바르게 착용하고 있는 상태라고 미리 결정된 상태일 수 있다. 본 개시의 일부 실시예에 따른 웨어러블 글래스(1000)는, 기준 착용 상태와 비교하여 웨어러블 글래스(1000)가 기울어진 정도에 따라 조정된 영상을 출력할 수 있다.The wearable glasses 1000 according to some embodiments of the present disclosure may determine the degree of inclination of the wearable glasses 1000 based on a predetermined reference wearing state. For example, the reference wearing state may be a state previously determined as a state in which the user is wearing the wearable glasses 1000 correctly. The wearable glasses 1000 according to some embodiments of the present disclosure may output an image adjusted according to the degree of inclination of the wearable glasses 1000 compared to the reference wearing state.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자에 대해서 기울어지지 않은 영상을 사용자에게 제공할 수 있다. 웨어러블 글래스(1000)는, 디스플레이 영상을 회전시키거나, 디스플레이 영상이 디스플레이되는 위치를 이동시키거나, 디스플레이 영상의 크기를 확대 또는 축소하거나, 디스플레이 영상의 형태를 변경함으로써, 기준 착용 상태와 비교하여 사용자에 대해서 웨어러블 글래스(1000)가 기울어진 정도에 따라 디스플레이 영상을 조정할 수 있다. 예를 들어, 도 2c에 도시된 바와 같이, 웨어러블 글래스(1000)가 목적지까지의 경로를 안내하는 내비게이션 기능을 지원하는 경우, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 웨어러블 글래스(1000)가 기울어진 정도에 따라 조정된 영상(14)을 출력할 수 있다. 따라서, 본 개시의 일 실시예에 따라 사용자에게 제공되는 영상(14)은 실제 주변 환경과 비교하였을 때 기울어지지 않은 상태, 즉 실제 주변 환경과 정합되는(매칭되는) 위치에 경로를 안내하는 정보가 제공될 수 있다.The wearable glasses 1000 according to an embodiment of the present disclosure may provide an image that is not tilted with respect to the user to the user. The wearable glasses 1000 may rotate the display image, move the display position of the display image, enlarge or reduce the size of the display image, or change the shape of the display image, so that the user can compare the wearable state with the reference wearing state. The display image may be adjusted according to the degree to which the wearable glasses 1000 are inclined. For example, as shown in FIG. 2C , when the wearable glasses 1000 support a navigation function for guiding a route to a destination, the wearable glasses 1000 according to an embodiment of the present disclosure may include the wearable glasses 1000 . ) may output the adjusted image 14 according to the degree of inclination. Therefore, the image 14 provided to the user according to an embodiment of the present disclosure is not tilted compared to the actual surrounding environment, that is, information guiding a path to a location matching (matching) the actual surrounding environment. can be provided.

도 3a 및 3b는 본 개시의 일부 실시예에 따른 웨어러블 글래스의 외면을 도시한다.3A and 3B illustrate an outer surface of wearable glasses according to some embodiments of the present disclosure;

도 3a 및 3b를 참조하면, 본 개시의 일부 실시예에 따른 웨어러블 글래스(1000)는 단안식 디스플레이 형태로 구성될 수 있다. 3A and 3B , the wearable glasses 1000 according to some embodiments of the present disclosure may be configured in the form of a monocular display.

도 3a를 참조하면, 웨어러블 글래스(1000)는 사용자의 귀와 코를 이용하여 사용자의 머리에 고정되는 안경 같은 형태로 구성될 수 있다. 그러나, 웨어러블 글래스(1000)의 구성은 이로 제한되지 않으며, 예를 들어, 헬멧(Helmet) 구조에 부착되거나 고글(Goggles) 형태로 변형될 수 있다. Referring to FIG. 3A , the wearable glasses 1000 may be configured in the form of glasses fixed to the user's head using the user's ears and nose. However, the configuration of the wearable glasses 1000 is not limited thereto, and, for example, may be attached to a helmet structure or may be deformed in the form of goggles.

도 3a에 도시된 웨어러블 글래스(1000)는 프레임(1010), 프로세서(1200), 카메라(1050), 오디오 출력부(1020), 디스플레이(1030), 사용자 입력부(1040), 및 전원 공급부(1600)를 포함할 수 있다. 그러나, 도 3a에 도시된 구성 요소 모두가 웨어러블 글래스(1000)의 필수 구성 요소인 것은 아니다. 도 3a에 도시된 구성 요소보다 많은 구성 요소에 의해 웨어러블 글래스(1000)가 구현될 수도 있고, 도 3a에 도시된 구성 요소보다 적은 구성 요소에 의해 웨어러블 글래스(1000)가 구현될 수도 있다.The wearable glasses 1000 illustrated in FIG. 3A include a frame 1010 , a processor 1200 , a camera 1050 , an audio output unit 1020 , a display 1030 , a user input unit 1040 , and a power supply unit 1600 . may include However, not all of the components shown in FIG. 3A are essential components of the wearable glasses 1000 . The wearable glasses 1000 may be implemented by more components than those illustrated in FIG. 3A , or the wearable glasses 1000 may be implemented by fewer components than those illustrated in FIG. 3A .

웨어러블 글래스(1000)에 포함되는 일부 구성 요소는 웨어러블 글래스(1000)에 내장되고, 다른 일부 구성 요소는 웨어러블 글래스(1000)의 외부에 장착될 수 있다. 예를 들어, 프로세서(1200) 및 전원 공급부(1600)는 웨어러블 글래스(1000)에 내장될 수 있다. 디스플레이(1030)는 웨어러블 글래스(1000)의 외부에 장착될 수 있다. 웨어러블 글래스(100)에 내장되는 구성 요소와 웨어러블 글래스(1000)의 외부에 장착되는 구성 요소는 상술한 바로 제한되지 않는다.Some components included in the wearable glasses 1000 may be embedded in the wearable glasses 1000 , and some other components may be mounted outside the wearable glasses 1000 . For example, the processor 1200 and the power supply 1600 may be embedded in the wearable glasses 1000 . The display 1030 may be mounted outside the wearable glasses 1000 . Components embedded in the wearable glass 100 and components mounted outside the wearable glass 1000 are not limited thereto.

웨어러블 글래스(1000)에 포함되는 구성 요소는 도 3a에 도시된 바로 한정되지 않는다. 예를 들어, 도 3a에 도시되지 않았으나, 웨어러블 글래스(1000)는 웨어러블 글래스(1000)에 대한 정보 또는 웨어러블 글래스(1000)의 주변 환경 정보를 획득할 수 있는 센싱부(미도시)를 더 포함할 수 있으며, 외부 디바이스와 통신하기 위한 통신부(미도시)를 더 포함할 수 있다. 예를 들어, 센싱부(미도시) 및 통신부(미도시)는 웨어러블 글래스(1000)에 내장될 수 있다.Components included in the wearable glasses 1000 are not limited to those illustrated in FIG. 3A . For example, although not shown in FIG. 3A , the wearable glasses 1000 may further include a sensing unit (not shown) capable of acquiring information on the wearable glasses 1000 or information on the surrounding environment of the wearable glasses 1000 . and may further include a communication unit (not shown) for communicating with an external device. For example, the sensing unit (not shown) and the communication unit (not shown) may be embedded in the wearable glasses 1000 .

프레임(1010)은 플라스틱 및/또는 금속 등의 소재로 구성될 수 있으며, 웨어러블 글래스(1000)에 포함되는 구성 요소들을 서로 연결하는 배선을 더 포함할 수 있다.The frame 1010 may be made of a material such as plastic and/or metal, and may further include wires connecting components included in the wearable glass 1000 to each other.

도 3a에 도시된 프레임은 일체형으로 구성되지만, 본 개시에 따른 웨어러블 글래스(1000)의 프레임의 형태 및 구조는 도 3a에 도시된 바로 제한되지 않는다. Although the frame illustrated in FIG. 3A is integrally formed, the shape and structure of the frame of the wearable glasses 1000 according to the present disclosure are not limited to those illustrated in FIG. 3A .

예를 들어, 웨어러블 글래스(1000)의 프레임(1010)은 연결 부재(미도시)를 포함함으로써, 프레임(1010)의 적어도 일부가 접힐 수 있는 구조로 구성될 수 있다. 예를 들어, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 접힐 수 있는 프레임(1010)을 포함함으로써, 사용자가 이용하지 않을 경우 웨어러블 글래스(1000)를 접어서 보관할 수 있도록 함으로써 웨어러블 글래스(1000)가 차지하는 공간을 최소화할 수 있다. For example, the frame 1010 of the wearable glass 1000 may include a connecting member (not shown), so that at least a portion of the frame 1010 may be folded. For example, the wearable glasses 1000 according to an embodiment of the present disclosure include a foldable frame 1010 so that the wearable glasses 1000 can be folded and stored when the user is not using the wearable glasses 1000 . ) can be minimized.

또한, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자의 머리의 사이즈에 관계없이 웨어러블 글래스(1000)가 사용자의 머리에 고정되도록 탄성이 있는 밴드를 더 포함할 수 있다.Also, the wearable glasses 1000 according to an embodiment of the present disclosure may further include an elastic band so that the wearable glasses 1000 are fixed to the user's head regardless of the size of the user's head.

한편, 본 개시의 일 실시예에 따른 프레임(1010)은 렌즈(1005)가 탈착이 가능하도록 구성될 수 있다. 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 렌즈(1005)를 포함하지 않을 수 있다. 또한, 도 3a에 도시된 렌즈(1005)는 코걸이(nose bridge)와 일체형으로 구성되는 것으로 도시되었으나 본 개시는 도 3a에 제한되지 않는다. 예를 들어, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)의 코걸이는 프레임(1010)과 일체형으로 구성될 수 있다.Meanwhile, the frame 1010 according to an embodiment of the present disclosure may be configured such that the lens 1005 is detachable. The wearable glasses 1000 according to an embodiment of the present disclosure may not include the lens 1005 . In addition, although the lens 1005 illustrated in FIG. 3A is illustrated as being integrally formed with a nose bridge, the present disclosure is not limited to FIG. 3A . For example, the nose ring of the wearable glass 1000 according to an embodiment of the present disclosure may be formed integrally with the frame 1010 .

렌즈(1005)는 사용자가 렌즈(1005)를 통해 실제 공간을 볼 수 있는 투명한 물질로 구성될 수 있다. 렌즈(1005)는 디스플레이(1030) 상에 디스플레이되는 영상을 구성하는 빛을 통과시킬 수 있는 물질로 구성될 수 있다. 렌즈(1010)를 형성하기 위해 사용될 수 있는 물질은, 예를 들어, 폴리카보네이트와 같은 플라스틱, 또는 유리를 포함할 수 있으나 이로 제한되지 않는다.The lens 1005 may be made of a transparent material through which a user can see the real space through the lens 1005 . The lens 1005 may be made of a material capable of passing light constituting an image displayed on the display 1030 . Materials that may be used to form the lens 1010 may include, but are not limited to, plastic such as polycarbonate, or glass.

프로세서(1200)는 유선 또는 무선으로 웨어러블 글래스(1000)에 연결될 수 있다. 도 3a에는 프로세서(1200)가 프레임(1010)의 왼쪽 측면에 위치한 것으로 도시되었으나, 본 개시는 이에 제한되지 않는다. 예를 들어, 프로세서(1200)는 오른쪽 측면에 위치하거나, 카메라(1050)와 인접하게 웨어러블 글래스(1000)의 전면에 위치할 수 있다. The processor 1200 may be connected to the wearable glasses 1000 by wire or wirelessly. Although the processor 1200 is illustrated as being located on the left side of the frame 1010 in FIG. 3A , the present disclosure is not limited thereto. For example, the processor 1200 may be located on the right side or on the front side of the wearable glasses 1000 adjacent to the camera 1050 .

프로세서(1200)는, 예를 들어, 카메라(1050) 또는 사용자 입력부(1040)들로부터 데이터를 수신하고, 수신된 데이터를 분석하고, 디스플레이(1030) 및 오디오 출력부(1020) 중 적어도 하나를 통해 웨어러블 글래스(1000)의 사용자에게 전달할 정보를 생성할 수 있다. 사용자에게 제공되는 정보는 이미지, 텍스트, 비디오 및 오디오중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다. The processor 1200, for example, receives data from the camera 1050 or the user input units 1040 , analyzes the received data, and through at least one of the display 1030 and the audio output unit 1020 . Information to be transmitted to the user of the wearable glasses 1000 may be generated. The information provided to the user may include at least one of an image, text, video, and audio, but is not limited thereto.

카메라(1050)는 디스플레이(1030)에 포함되는 구성이거나, 디스플레이(1030)와는 구분되는 개별적인 구성으로서 프레임(1010) 상에 위치할 수 있다. 카메라(1050)는 스마트 폰에서 사용되는 카메라나 웹캠(webcams)과 같은 소형 카메라로 구성될 수 있다. 예를 들어, 카메라(1050)는 사용자의 손의 제스처에 대한 영상을 획득하기에 적합하다고 미리 결정된 위치에 장착될 수 있다. 예를 들어, 도 3a에 도시된 바와 같이, 카메라(1050)는, 웨어러블 글래스(1000)를 사용자가 착용했을 때, 사용자의 눈에 인접한 위치에 장착됨으로써, 사용자의 눈을 통해 인식되는 영상과 유사한 영상을 촬영할 수 있다.The camera 1050 may be included in the display 1030 or may be located on the frame 1010 as an individual component distinct from the display 1030 . The camera 1050 may be configured as a camera used in a smart phone or a small camera such as a webcam. For example, the camera 1050 may be mounted at a predetermined position suitable for acquiring an image of a user's hand gesture. For example, as shown in FIG. 3A , when the user wears the wearable glasses 1000 , the camera 1050 is mounted at a position adjacent to the user's eye, thereby similar to an image recognized through the user's eye. You can shoot video.

사용자 입력부(1040)는 사용자의 손가락에 의해 동작 가능한 터치 패드 및 사용자의 푸시 조작에 의해 동작 가능한 버튼 중 적어도 하나를 포함할 수 있으나 이로 제한되지 않는다. 도 3a에는 사용자 입력부(1040)가 프레임(1010)의 측면에 위치한 것으로 도시되나, 웨어러블 글래스(1000) 상의 다른 위치에도 위치할 수 있다.The user input unit 1040 may include at least one of a touch pad operable by a user's finger and a button operable by a user's push operation, but is not limited thereto. Although the user input unit 1040 is illustrated as being located on the side of the frame 1010 in FIG. 3A , it may be located at another position on the wearable glasses 1000 .

사용자 입력부(1040)는 사용자 입력을 수신한다. 사용자 입력이란, 웨어러블 글래스(1000)가 소정 동작을 개시하거나 종료하는 동기가 되는 이벤트를 발생하는, 사용자로부터 입력된 데이터 또는 신호를 포함할 수 있다. The user input unit 1040 receives a user input. The user input may include data or signals input by the user that generate an event synchronous to the start or end of a predetermined operation of the wearable glasses 1000 .

예를 들어, 사용자 입력부(1040)는 웨어러블 글래스(1000)의 전원을 온/오프 할 수 있는 온/오프 스위치를 포함할 수 있다. 또는 본 개시의 일 실시예에 따른 사용자 입력부(1040)는 웨어러블 글래스(1000)를 통해 디스플레이되는 영상을 조정하기 위한 사용자 입력을 수신할 수 있다.For example, the user input unit 1040 may include an on/off switch capable of turning on/off the power of the wearable glasses 1000 . Alternatively, the user input unit 1040 according to an embodiment of the present disclosure may receive a user input for adjusting an image displayed through the wearable glasses 1000 .

디스플레이(1030)는 도 3a에 도시된 바와 같이 렌즈(1005)의 왼쪽 상단에 위치할 수 있다. 도 3a에 도시된 바와 같이, 디스플레이(1030)는 반투명 광 파장 가이드(optical waveguide)(예를 들어, 프리즘)로 구성될 수 있다. 도 3a에 도시된 디스플레이(1030)는 웨어러블 글래스(1000)에 내장된 프로젝터로부터 출력되는 빛을 반사시켜 웨어러블 글래스(1000)를 착용하는 사용자의 눈의 망막(retina)의 횡반(fovea)에 이미지를 포커싱할 수 있다. 그러나, 본 개시에 따른 웨어러블 글래스(1000)에 포함되는 디스플레이(1030)는 도 3a에 제한되지 않으며, 다양한 방식 및 다양한 구성을 이용하여 사용자에게 영상을 접안 디스플레이할 수 있다.The display 1030 may be located on the upper left side of the lens 1005 as shown in FIG. 3A . As shown in FIG. 3A , the display 1030 may be configured as a translucent optical waveguide (eg, a prism). The display 1030 shown in FIG. 3A reflects the light output from the projector built into the wearable glasses 1000 and displays an image on the fovea of the retina of the user's eye wearing the wearable glasses 1000 . can focus. However, the display 1030 included in the wearable glasses 1000 according to the present disclosure is not limited to FIG. 3A , and an image may be displayed ocularly to the user using various methods and various configurations.

도 3a에 도시되지는 않았으나, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 마이크(미도시)를 더 포함할 수 있다. 마이크는 사용자의 음성, 및 웨어러블 글래스(1000)의 주변 환경의 소리 등을 수신할 수 있다.Although not shown in FIG. 3A , the wearable glasses 1000 according to an embodiment of the present disclosure may further include a microphone (not shown). The microphone may receive a user's voice and a sound of an environment surrounding the wearable glasses 1000 .

오디오 출력부(1020)는 웨어러블 글래스(1000)의 사용자의 귀에 장착될 수 있는 이어폰 형태로 구성될 수 있다. 오디오 출력부(1020)는 도 3a에 도시된 바와 같이 웨어러블 글래스(1000)에 고정된 형태로 장착될 수 있으나 본 개시는 이에 제한되지 않는다. 예를 들어, 오디오 출력부(1020)는 웨어러블 글래스(1000)로부터 탈착이 가능하도록 구성되어 웨어러블 글래스(1000)의 사용자가 선택적으로 오디오 출력부(1020)를 귀에 장착할 수 있도록 구성될 수 있다. 예를 들어, 오디오 출력부(1020)는 골전도 스피커로 구성될 수 있다.The audio output unit 1020 may be configured in the form of an earphone that can be mounted on the user's ear of the wearable glasses 1000 . The audio output unit 1020 may be mounted to the wearable glasses 1000 in a fixed form as shown in FIG. 3A , but the present disclosure is not limited thereto. For example, the audio output unit 1020 may be configured to be detachable from the wearable glasses 1000 so that a user of the wearable glasses 1000 can selectively attach the audio output unit 1020 to an ear. For example, the audio output unit 1020 may be configured as a bone conduction speaker.

도 3a에서 전원 공급부(1600)는 웨어러블 글래스(1000)의 프레임(1010)의 단부에 위치한 것으로 도시된다. 그러나, 본 개시는 이에 제한되지 않으며, 전원 공급부(1600)는 웨어러블 글래스(1000)의 프레임(1010) 상의 다양한 위치에 배치될 수 있다. 전원 공급부(1600)는 웨어러블 글래스(1000)의 동작을 위해 필요한 전원을 각 구성에 공급한다. 전원 공급부(1600)는 전력을 충전할 수 있는 배터리(미도시)를 포함할 수 있으며, 외부로부터 전력을 수신할 수 있는 케이블(미도시) 또는 케이블 포트(미도시)를 포함할 수 있다.In FIG. 3A , the power supply 1600 is illustrated as being positioned at an end of the frame 1010 of the wearable glasses 1000 . However, the present disclosure is not limited thereto, and the power supply unit 1600 may be disposed at various positions on the frame 1010 of the wearable glasses 1000 . The power supply unit 1600 supplies power required for the operation of the wearable glasses 1000 to each component. The power supply 1600 may include a battery (not shown) capable of charging power, and may include a cable (not shown) or a cable port (not shown) capable of receiving power from the outside.

도 3b는 사용자가 웨어러블 글래스(1000)를 착용하였을 때, 사용자가 웨어러블 글래스(1000)를 바라보는 방향에서 바라본 웨어러블 글래스(1000)의 외관이다.3B is an external view of the wearable glasses 1000 as viewed from the direction in which the user looks at the wearable glasses 1000 when the user wears the wearable glasses 1000 .

도 3b에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 디스플레이(1030)에 인접하여 사용자의 얼굴을 향하는 카메라(1060)를 포함할 수 있다. 웨어러블 글래스(1000)는, 카메라(1060)를 이용하여 사용자의 눈을 촬영한 영상에 기초하여 디스플레이(1030) 상에 디스플레이되는 영상을 조정할 수 있다. 그러나 카메라(1060)의 위치는 도 3b에 개시된 위치에 제한되지 않으며, 웨어러블 글래스(1000)의 형태에 따라 다양한 위치로 변경 가능하다.As shown in FIG. 3B , the wearable glasses 1000 according to an embodiment of the present disclosure may include a camera 1060 facing the user's face adjacent to the display 1030 . The wearable glasses 1000 may adjust an image displayed on the display 1030 based on an image captured by the user's eyes using the camera 1060 . However, the position of the camera 1060 is not limited to the position shown in FIG. 3B , and may be changed to various positions according to the shape of the wearable glasses 1000 .

또한, 웨어러블 글래스(1000)는 사용자의 얼굴을 향하는 안구 추적용 카메라(1070)를 더 포함할 수 있다. 예를 들어, 안구 추적용 카메라(1070)는, 적외선 카메라를 포함할 수 있다. 안구 추적용 카메라(1070)는 사용자의 눈동자를 추적함으로써, 사용자의 시선을 검출할 수 있다. 그러나 안구 추적용 카메라(1070)의 위치는 도 3b에 개시된 위치에 제한되지 않으며, 웨어러블 글래스(1000)의 형태에 따라 다양한 위치로 변경 가능하다.Also, the wearable glasses 1000 may further include a camera 1070 for eye tracking that faces the user's face. For example, the eye tracking camera 1070 may include an infrared camera. The eye tracking camera 1070 may detect the user's gaze by tracking the user's pupil. However, the position of the eye tracking camera 1070 is not limited to the position shown in FIG. 3B , and may be changed to various positions according to the shape of the wearable glasses 1000 .

한편, 도 4a 및 4b를 참조하면, 본 개시의 일부 실시예에 따른 웨어러블 글래스(1000)는 단안식 디스플레이 형태를 가지며, 사용자의 좌측 머리 또는 우측 머리에 고정되도록 구성될 수 있다. 도 4a 및 4b에 도시된 웨어러블 글래스(1000)에 포함되는 각 구성 요소와 관련하여, 도 3a 및 도 3b에 대한 설명과 중복되는 설명은 생략한다.Meanwhile, referring to FIGS. 4A and 4B , the wearable glasses 1000 according to some embodiments of the present disclosure have a monocular display shape and may be configured to be fixed to a user's left or right head. With respect to each component included in the wearable glasses 1000 illustrated in FIGS. 4A and 4B , descriptions that overlap with those of FIGS. 3A and 3B will be omitted.

도 4a를 참조하면, 웨어러블 글래스(1000)는 사용자의 일측 귀와 코의 일측을 이용하여 사용자의 머리에 고정될 수 있다. 웨어러블 글래스(1000)는 헬멧(Helmet) 구조에 부착될 수 있다. Referring to FIG. 4A , the wearable glasses 1000 may be fixed to the user's head using one side of the user's ear and one side of the nose. The wearable glasses 1000 may be attached to a helmet structure.

도 4a에 도시된 웨어러블 글래스(1000)는 프레임(1010), 프로세서(1200), 카메라(1050), 오디오 출력부(1020), 디스플레이(1030), 사용자 입력부(1040), 및 전원 공급부(1600)를 포함한다.The wearable glasses 1000 illustrated in FIG. 4A include a frame 1010 , a processor 1200 , a camera 1050 , an audio output unit 1020 , a display 1030 , a user input unit 1040 , and a power supply unit 1600 . includes

한편, 도 4a에 도시된 바와 같이 웨어러블 글래스(1000)는 렌즈(1005)가 디스플레이(1030)로서의 기능을 수행하도록 구성될 수 있다. 이러한 경우에 렌즈(1005)는 투명 디스플레이 또는 반투명 디스플레이로 구성될 수 있다. 렌즈(1005)가 반투명 디스플레이로 구성될 경우에, 렌즈(1005)는 적어도 하나의 광 웨이브 가이드(예를 들어, 프리즘), 전자발광 디스플레이(Electroluminescent Display), 또는 LCD(Liquid Crystal Display) 등과 같은 물질로 구성될 수 있으나 이로 제한되지 않는다.Meanwhile, as shown in FIG. 4A , the wearable glasses 1000 may be configured such that a lens 1005 functions as a display 1030 . In this case, the lens 1005 may be configured as a transparent display or a translucent display. When the lens 1005 is configured as a translucent display, the lens 1005 may include at least one optical waveguide (eg, a prism), an electroluminescent display, or a material such as a liquid crystal display (LCD). may consist of, but is not limited thereto.

한편, 도 4b는 사용자가 웨어러블 글래스(1000)를 착용하였을 때, 사용자가 웨어러블 글래스(1000)를 바라보는 방향에서 바라본 웨어러블 글래스(1000)의 외관이다.Meanwhile, FIG. 4B is an external view of the wearable glasses 1000 viewed from the direction in which the user faces the wearable glasses 1000 when the user wears the wearable glasses 1000 .

도 4b에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자의 얼굴을 향하는 카메라(1060)를 포함할 수 있다. 웨어러블 글래스(1000)는, 카메라(1060)를 이용하여 사용자의 눈을 촬영한 영상에 기초하여 디스플레이(1030) 상에 디스플레이되는 영상을 조정할 수 있다. 그러나 카메라(1060)의 위치는 도 4b에 개시된 위치에 제한되지 않으며, 웨어러블 글래스(1000)의 형태에 따라 다양한 위치로 변경 가능하다.As shown in FIG. 4B , the wearable glasses 1000 according to an embodiment of the present disclosure may include a camera 1060 facing the user's face. The wearable glasses 1000 may adjust an image displayed on the display 1030 based on an image captured by the user's eyes using the camera 1060 . However, the position of the camera 1060 is not limited to the position shown in FIG. 4B , and may be changed to various positions according to the shape of the wearable glasses 1000 .

또한, 웨어러블 글래스(1000)는 사용자의 얼굴을 향하는 안구 추적용 카메라(1070)를 더 포함할 수 있다. 안구 추적용 카메라(1070)는 사용자의 눈동자를 추적함으로써, 사용자의 시선을 검출할 수 있다. 그러나 안구 추적용 카메라(1070)의 위치는 도 4b에 개시된 위치에 제한되지 않으며, 웨어러블 글래스(1000)의 형태에 따라 다양한 위치로 변경 가능하다.Also, the wearable glasses 1000 may further include a camera 1070 for eye tracking that faces the user's face. The eye tracking camera 1070 may detect the user's gaze by tracking the user's pupil. However, the position of the eye tracking camera 1070 is not limited to the position shown in FIG. 4B , and may be changed to various positions according to the shape of the wearable glasses 1000 .

한편, 도 5a 및 5b는 본 개시의 일부 실시예에 따른 웨어러블 글래스의 외면을 도시한다.Meanwhile, FIGS. 5A and 5B illustrate an outer surface of wearable glasses according to some embodiments of the present disclosure.

도 5a 및 5b를 참조하면, 본 개시의 일부 실시예에 따른 웨어러블 글래스(1000)는 양안식 디스플레이 형태로 구성될 수 있다. 도 5a 및 5b에 도시된 웨어러블 글래스(1000)에 포함되는 각 구성 요소와 관련하여, 도 3a, 3b, 4a 및 도 4b에 대한 설명과 중복되는 설명은 생략한다.5A and 5B , the wearable glasses 1000 according to some embodiments of the present disclosure may be configured in the form of a binocular display. With respect to each component included in the wearable glasses 1000 illustrated in FIGS. 5A and 5B , descriptions that overlap with those of FIGS. 3A , 3B , 4A and 4B will be omitted.

도 5a에 도시된 웨어러블 글래스(1000)는 프레임(1010), 프로세서(1200), 카메라(1050), 오디오 출력부(1020), 디스플레이(1030), 사용자 입력부(1040), 및 전원 공급부(1600)를 포함한다.The wearable glasses 1000 illustrated in FIG. 5A include a frame 1010 , a processor 1200 , a camera 1050 , an audio output unit 1020 , a display 1030 , a user input unit 1040 , and a power supply unit 1600 . includes

도 5a에 도시된 바와 같이 웨어러블 글래스(1000)는 렌즈(1005)가 디스플레이(1030)로서의 기능을 수행하도록 구성될 수 있다. 이러한 경우에 렌즈(1005)는 투명 디스플레이 또는 반투명 디스플레이로 구성될 수 있다. 렌즈(1005)가 반투명 디스플레이로 구성될 경우에, 렌즈(1005)는 적어도 하나의 광 웨이브 가이드(예를 들어, 프리즘), 전자발광 디스플레이(Electroluminescent Display), 또는 LCD(Liquid Crystal Display) 등과 같은 물질로 구성될 수 있으나 이로 제한되지 않는다.As shown in FIG. 5A , the wearable glasses 1000 may be configured such that a lens 1005 functions as a display 1030 . In this case, the lens 1005 may be configured as a transparent display or a translucent display. When the lens 1005 is configured as a translucent display, the lens 1005 may include at least one optical waveguide (eg, a prism), an electroluminescent display, or a material such as a liquid crystal display (LCD). may consist of, but is not limited thereto.

한편, 도 5b는 사용자가 웨어러블 글래스(1000)를 착용하였을 때, 사용자가 웨어러블 글래스(1000)를 바라보는 방향에서 바라본 웨어러블 글래스(1000)의 외관이다.Meanwhile, FIG. 5B is an external view of the wearable glasses 1000 viewed from the direction in which the user looks at the wearable glasses 1000 when the user wears the wearable glasses 1000 .

도 5b에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자의 얼굴을 향하는 카메라(1060)를 포함할 수 있다. 웨어러블 글래스(1000)는, 카메라(1060)를 이용하여 사용자의 눈을 촬영한 영상에 기초하여 디스플레이(1030) 상에 디스플레이되는 영상을 조정할 수 있다. 그러나 카메라(1060)의 위치는 도 5b에 개시된 위치에 제한되지 않으며, 웨어러블 글래스(1000)의 형태에 따라 다양한 위치로 변경 가능하다.As shown in FIG. 5B , the wearable glasses 1000 according to an embodiment of the present disclosure may include a camera 1060 facing the user's face. The wearable glasses 1000 may adjust an image displayed on the display 1030 based on an image captured by the user's eyes using the camera 1060 . However, the position of the camera 1060 is not limited to the position shown in FIG. 5B , and may be changed to various positions according to the shape of the wearable glasses 1000 .

또한, 웨어러블 글래스(1000)는 사용자의 얼굴을 향하는 안구 추적용 카메라(1070)를 더 포함할 수 있다. 안구 추적용 카메라(1070)는 사용자의 눈동자를 추적함으로써, 사용자의 시선을 검출할 수 있다. 그러나 안구 추적용 카메라(1070)의 위치는 도 5b에 개시된 위치에 제한되지 않으며, 웨어러블 글래스(1000)의 형태에 따라 다양한 위치로 변경 가능하다. 본 개시의 일 실시예에 따르면, 안구 추적용 카메라(1070)는 생략 가능하며, 사용자의 얼굴을 향하는 카메라(1060)에 의해 안구 추적용 카메라(1070)의 사용자의 시선을 검출하는 기능을 대신 수행할 수 있다.Also, the wearable glasses 1000 may further include a camera 1070 for eye tracking that faces the user's face. The eye tracking camera 1070 may detect the user's gaze by tracking the user's pupil. However, the position of the eye tracking camera 1070 is not limited to the position shown in FIG. 5B , and may be changed to various positions according to the shape of the wearable glasses 1000 . According to an embodiment of the present disclosure, the eye tracking camera 1070 may be omitted, and the function of detecting the user's gaze of the eye tracking camera 1070 by the camera 1060 facing the user's face is performed instead can do.

도 3a, 3b, 4a, 4b, 5a 및 5b를 참조하여 기술한 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 그 형태 및 구성 요소가 당업자에 의해 다양하게 변형될 수 있다. 그러나 본 개시가 도 3a, 3b, 4a, 4b, 5a 및 5b에 제한되는 것은 아니며, 도 3a, 3b, 4a, 4b, 5a 및 5b에 도시된 구성 요소 모두가 웨어러블 글래스(1000)의 필수 구성 요소인 것은 아니다. 도 3a, 3b, 4a, 4b, 5a 및 5b에 도시된 구성 요소보다 많은 구성 요소에 의해 웨어러블 글래스(1000)가 구현될 수도 있고, 도 3a, 3b, 4a, 4b, 5a 및 5b에 도시된 구성 요소보다 적은 구성 요소에 의해 웨어러블 글래스(1000)가 구현될 수도 있다.As described with reference to FIGS. 3A, 3B, 4A, 4B, 5A, and 5B, the shape and components of the wearable glass 1000 according to an embodiment of the present disclosure may be variously modified by those skilled in the art. However, the present disclosure is not limited to FIGS. 3A, 3B, 4A, 4B, 5A, and 5B, and all of the components shown in FIGS. 3A, 3B, 4A, 4B, 5A, and 5B are essential components of the wearable glass 1000 . it is not The wearable glass 1000 may be implemented by more components than the components shown in FIGS. 3A, 3B, 4A, 4B, 5A and 5B, and the components shown in FIGS. 3A, 3B, 4A, 4B, 5A and 5B The wearable glasses 1000 may be implemented with fewer elements than elements.

도 6은 본 개시의 일 실시예에 따라 웨어러블 글래스가 영상을 디스플레이하는 방법의 흐름도이다.6 is a flowchart of a method of displaying an image by wearable glasses according to an embodiment of the present disclosure;

단계 S100에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)에서 제공하는 영상을 표시할 수 있다.In operation S100 , the wearable glasses 1000 according to an embodiment of the present disclosure may display an image provided by the wearable glasses 1000 .

웨어러블 글래스(1000)는, 웨어러블 글래스(1000)에서 처리되고 제공되는 영상을 디스플레이(1030)를 통해 출력함으로써 표시할 수 있다. 웨어러블 글래스(1000)에서 제공되는 영상은, 사용자에게 정보를 제공하기 위한 텍스트, 도표, 도형 또는 색상을 포함하는 영상 또는 동영상일 수 있으며, 사용자와 웨어러블 글래스(1000)의 상호작용을 위한 UI(User Interface) 또는 GUI(Graphic User Interface)를 포함하는 영상일 수 있다. The wearable glasses 1000 may display images processed and provided by the wearable glasses 1000 by outputting them through the display 1030 . The image provided by the wearable glasses 1000 may be an image or a moving image including text, diagram, figure, or color for providing information to the user, and may be a user interface (UI) for interaction between the user and the wearable glasses 1000 . Interface) or an image including a GUI (Graphic User Interface).

또한, 예를 들어, 웨어러블 글래스(1000)는, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 착용 상태 정보를 획득하기 위한 테스트 영상을 표시할 수 있다. 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 테스트 영상을 출력하고, 테스트 영상이 비친 사용자의 눈을 촬영한 영상으로부터 사용자가 웨어러블 글래스(1000)를 착용하고 있는 착용 상태 정보를 획득할 수 있다. 단계 S200에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자가 웨어러블 글래스를 착용하고 있는 착용 상태 정보를 획득할 수 있다. Also, for example, the wearable glasses 1000 may display a test image for obtaining information about a wearing state in which the user is wearing the wearable glasses 1000 . The wearable glasses 1000 according to an embodiment of the present disclosure may output a test image, and obtain information about the wearing state in which the user is wearing the wearable glasses 1000 from an image obtained by photographing the user's eyes on which the test image is reflected. have. In step S200 , the wearable glasses 1000 according to an embodiment of the present disclosure may acquire information about a wearing state in which the user is wearing the wearable glasses.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 웨어러블 글래스를 착용하고 있는 사용자의 신체 부위에 대한 정보에 기초하여 사용자가 웨어러블 글래스(1000)를 착용하고 있는 상태를 결정할 수 있다. 웨어러블 글래스(1000)는, 사용자의 신체 부위에 대한 정보를 포함하는 착용 상태 정보를 획득할 수 있다. 웨어러블 글래스(1000)가 획득하는 신체 부위에 대한 정보는, 웨어러블 글래스(1000)가 착용된 신체 부위에 대한 정보를 포함할 수 있다. 즉, 신체 부위에 대한 정보는, 웨어러블 글래스(1000)를 착용하고 있는 머리에 포함되는 적어도 하나의 신체 부위에 대한 웨어러블 글래스(1000)의 상대적인 위치 및 각도를 결정할 수 있는 정보를 포함할 수 있다. 예를 들어, 신체 부위에 대한 정보는, 웨어러블 글래스(1000)가 착용된 사용자의 머리에 포함되는 눈, 코, 귀 및 입 중 적어도 하나에 대한 정보를 포함할 수 있다.The wearable glasses 1000 according to an embodiment of the present disclosure may determine a state in which the user is wearing the wearable glasses 1000 based on information on a body part of the user wearing the wearable glasses. The wearable glasses 1000 may acquire wearing state information including information on a body part of the user. The information on the body part obtained by the wearable glasses 1000 may include information on the body part on which the wearable glasses 1000 is worn. That is, the information on the body part may include information for determining the relative position and angle of the wearable glasses 1000 with respect to at least one body part included in the head on which the wearable glasses 1000 are worn. For example, the information on the body part may include information on at least one of the eyes, nose, ears, and mouth included in the head of the user who wears the wearable glasses 1000 .

웨어러블 글래스(1000)는, 웨어러블 글래스(1000)와 접촉하는 사용자의 신체 부위에 대한 정보를 포함하는 착용 상태 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(1000)가 코걸이와 안경 다리를 포함하는 경우, 웨어러블 글래스(1000)는, 사용자의 코에 대한 코걸이의 위치 및 각도 중 적어도 하나 또는 사용자의 귀에 대한 안경 다리의 위치 및 각도 중 적어도 하나에 대한 정보를 획득할 수 있다. 웨어러블 글래스(1000)는, 기준 착용 상태와 비교하여, 사용자의 코에 대한 코걸이의 위치 및 각도 중 적어도 하나 또는 사용자의 귀에 대한 안경 다리의 위치 및 각도 중 적어도 하나가 변화하였는지 판단할 수 있다. HMD 장치(1000)는 판단 결과에 기초하여, 기준 착용 상태에서의 웨어러블 글래스(1000)의 위치를 기준으로 사용자가 현재 웨어러블 글래스(1000)를 착용하고 있는 상태에 대한 정보를 획득할 수 있다.The wearable glasses 1000 may acquire wearing state information including information on a body part of the user that comes into contact with the wearable glasses 1000 . For example, when the wearable glasses 1000 include a nose pad and a temple, the wearable glasses 1000 may include at least one of the position and angle of the nose pad with respect to the user's nose or the position and angle of the temple with respect to the user's ear. Information on at least one of The wearable glasses 1000 may determine whether at least one of the position and angle of the nose ring with respect to the user's nose or the position and angle of the temple with respect to the user's ear has changed, compared with the reference wearing state. Based on the determination result, the HMD device 1000 may acquire information on the state in which the user is currently wearing the wearable glasses 1000 based on the position of the wearable glasses 1000 in the reference wearing state.

또한, 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)와 접촉하고 있지 않은 신체 부위에 대한 정보를 포함하는 착용 상태 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(1000)는 사용자의 눈을 촬영하고, 기준 착용 상태에서 촬영된 사용자의 눈 영상과 새롭게 촬영된 눈 영상을 비교할 수 있다. 웨어러블 글래스(1000)는, 기준 착용 상태에서 촬영된 사용자의 눈 영상과 새롭게 촬영된 눈 영상을 비교함으로써, 기준 착용 상태에서의 웨어러블 글래스(1000)의 위치를 기준으로 사용자가 현재 웨어러블 글래스(1000)를 착용하고 있는 상태에 대한 정보를 획득할 수 있다. Also, the wearable glasses 1000 may acquire wearing state information including information on body parts that are not in contact with the wearable glasses 1000 . For example, the wearable glasses 1000 may photograph the user's eyes, and compare the user's eye image captured in the standard wearing state with the newly photographed eye image. The wearable glasses 1000 compares the user's eye image captured in the standard wearing state with the newly captured eye image, so that the user currently wears the wearable glasses 1000 based on the position of the wearable glasses 1000 in the standard wearing state. It is possible to obtain information about the state of wearing the.

또한, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자가 웨어러블 글래스(1000)를 올바르게 착용하고 있는 기준 착용 상태와 비교하여, 웨어러블 글래스(1000)의 적어도 일부의 위치 및 각도가 달라졌는지 여부를 나타내는 정보를 포함하는 착용 상태 정보를 획득할 수 있다.In addition, the wearable glasses 1000 according to an embodiment of the present disclosure have different positions and angles of at least a portion of the wearable glasses 1000 compared to a reference wearing state in which the user properly wears the wearable glasses 1000 . Wearing state information including information indicating whether or not it is lost may be obtained.

웨어러블 글래스(1000)는, 웨어러블 글래스(1000)에 구비된 센싱부를 이용하여 사용자가 웨어러블 글래스(1000)를 착용하고 있는 착용 상태 정보를 획득하거나, 외부 디바이스로부터 사용자의 웨어러블 글래스(1000) 착용 상태 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(1000)는, 내부에 구비된 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 자이로스코프 센서, 근접 센서, 광학 센서, 깊이감 센서, 적외선 센서, 및 초음파 센서등을 이용하여 착용 상태 정보를 획득할 수 있다.The wearable glasses 1000 may obtain information about a wearing state in which the user is wearing the wearable glasses 1000 by using a sensing unit provided in the wearable glasses 1000, or information about the wearing state of the user wearing the wearable glasses 1000 from an external device. can be obtained. For example, the wearable glass 1000 includes a magnetic sensor, an acceleration sensor, a gyroscope sensor, a proximity sensor, an optical sensor, a depth sensor, an infrared sensor, and an ultrasonic sensor provided therein. can be used to obtain wearing state information.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)가 초기화되는 경우 또는 웨어러블 글래스의 전원이 ON되는 경우, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 착용 상태 정보를 획득할 수 있다. The wearable glasses 1000 according to an embodiment of the present disclosure obtain information about the wearing state in which the user is wearing the wearable glasses 1000 when the wearable glasses 1000 are initialized or when the wearable glasses are turned on. can do.

또는, 웨어러블 글래스(1000)는, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 착용 상태 정보를 획득하기 위한 사용자의 입력이 수신되는 경우, 착용 상태 정보를 획득할 수 있다. Alternatively, the wearable glasses 1000 may acquire the wearing state information when a user input for acquiring the wearing state information in which the user is wearing the wearable glasses 1000 is received.

또는, 웨어러블 글래스(1000)의 큰 움직임이 발생한 경우, 웨어러블 글래스(1000)는 사용자에 대한 웨어러블 글래스(1000)의 위치가 변경될 가능성이 높다고 판단할 수 있다. 따라서, 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 움직임을 나타내는 측정값, 예를 들어, 가속도 값, 속도 값, 또는 각 운동량 값 중 적어도 하나가 임계 값 이상으로 측정되는 경우, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 착용 상태 정보를 획득할 수 있다.Alternatively, when a large movement of the wearable glasses 1000 occurs, the wearable glasses 1000 may determine that there is a high possibility that the position of the wearable glasses 1000 with respect to the user is changed. Accordingly, when at least one of a measurement value indicating the movement of the wearable glasses 1000 , for example, an acceleration value, a velocity value, or an angular momentum value, is greater than a threshold value, the wearable glasses 1000 may Wearing state information in which the glasses 1000 is worn may be acquired.

사용자가 웨어러블 글래스(1000)를 착용하고 있는 착용 상태 정보는, 사용자가 웨어러블 글래스(1000)를 올바르게 착용하고 있는 기준 착용 상태와 비교하여, 사용자에 대해서 웨어러블 글래스(1000)가 기울어진 정도를 결정하는데 이용될 수 있다. The wearable state information in which the user is wearing the wearable glasses 1000 is compared with the reference wearing state in which the user is properly wearing the wearable glasses 1000 to determine the degree of inclination of the wearable glasses 1000 with respect to the user. can be used

웨어러블 글래스(1000)는, 사용자에 대해서 웨어러블 글래스(1000)가 기울어진 정도를 결정하기 위해서, 웨어러블 글래스(1000)를 착용하고 있는 사용자의 신체 부위에 대한 정보를 포함하는 착용 상태 정보를 획득할 수 있다. 일 예로서, 웨어러블 글래스(1000)가 획득하는 신체 부위에 대한 정보는, 사용자의 눈, 코, 귀, 입, 손 또는 이들의 조합에 대한 정보를 포함할 수 있다. 또한, 웨어러블 글래스(1000)가 획득하는 신체 부위에 대한 정보는, 신체 부위에 대한 영상을 포함할 수 있다. The wearable glasses 1000 may obtain wearing state information including information on the body part of the user who is wearing the wearable glasses 1000 in order to determine the degree of inclination of the wearable glasses 1000 with respect to the user. have. As an example, the information on the body part obtained by the wearable glasses 1000 may include information on the user's eyes, nose, ears, mouth, hands, or a combination thereof. Also, the information on the body part obtained by the wearable glasses 1000 may include an image of the body part.

다른 예로서, 사용자의 신체 부위에 대한 정보는 사용자의 제스처에 대한 정보를 포함할 수 있다. “제스처”란, 소정 시점에서 사용자의 신체 부위가 나타내는 형태, 소정 시간 동안 신체 부위가 나타내는 형태의 변화, 신체 부위의 위치 변화 또는 신체 부위의 동작을 의미할 수 있다. 예를 들어, 제스처에 대한 정보는, 소정 시점에서 사용자의 신체 부위를 촬영한 영상이거나, 사용자 입력부(1040)를 통해 입력되는 터치 입력에 대한 정보일 수 있다. As another example, the information about the user's body part may include information about the user's gesture. A “gesture” may mean a shape represented by a user's body part at a predetermined time point, a change in a shape represented by the body part for a predetermined time, a change in the position of the body part, or an operation of the body part. For example, the information on the gesture may be an image obtained by photographing a body part of the user at a predetermined time point or information about a touch input input through the user input unit 1040 .

일 예로서, 사용자가 마치 안경을 착용하듯이, 코걸이(nose bridge)를 이용하여 웨어러블 글래스(1000)를 착용하는 경우, 웨어러블 글래스(1000)는 사용자의 코 상에 착용된 웨어러블 글래스(1000)의 기울어진 정도를 사용자의 코에 대한 정보로서 획득할 수 있다.As an example, when the user wears the wearable glasses 1000 using a nose bridge as if wearing glasses, the wearable glasses 1000 are the wearable glasses 1000 worn on the user's nose. The degree of inclination may be obtained as information about the user's nose.

다른 예로서, 사용자가, 마치 안경을 착용하듯이, 웨어러블 글래스(1000)의 프레임을 귀에 고정시켜 웨어러블 글래스(1000)를 착용하는 경우, 웨어러블 글래스(1000)는 사용자의 양 귀의 상대적인 위치 정보를 사용자의 귀에 대한 정보로서 획득할 수 있다. As another example, when the user wears the wearable glasses 1000 by fixing the frame of the wearable glasses 1000 to the ears as if wearing glasses, the wearable glasses 1000 may provide the user with the relative position information of both ears of the user. It can be obtained as information about the ears of

또 다른 예로서, 웨어러블 글래스(1000)는 사용자의 적어도 하나의 눈에 대한 영상을 사용자의 눈에 대한 정보로서 획득할 수 있다. 웨어러블 글래스(1000)는 웨어러블 글래스(1000)에 구비된 카메라를 이용하여 사용자의 눈을 촬영함으로써 눈 영상을 획득할 수 있다. 예를 들어, 웨어러블 글래스(1000)는 테스트 영상이 비친 사용자의 눈을 촬영한 영상을 포함하는 착용 상태 정보를 획득할 수 있다.As another example, the wearable glasses 1000 may acquire an image of at least one eye of the user as information about the user's eyes. The wearable glasses 1000 may acquire an eye image by photographing the user's eyes using a camera provided in the wearable glasses 1000 . For example, the wearable glasses 1000 may acquire wearing state information including an image obtained by photographing the user's eyes on which the test image is reflected.

사용자의 신체 부위에 대한 정보로서 사용자의 눈을 촬영한 영상을 획득하는 방법과 관련하여서는, 후에 도 8 내지 도 11c를 참조하여 보다 구체적으로 설명한다.A method of acquiring an image obtained by photographing a user's eyes as information on a user's body part will be described later in more detail with reference to FIGS. 8 to 11C .

단계 S300에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 단계 S200에서 획득된 착용 상태 정보를 이용하여 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정할 수 있다.In operation S300 , the wearable glasses 1000 according to an embodiment of the present disclosure may determine the inclination of the wearable glasses 1000 for the user by using the wearing state information obtained in operation S200 .

사용자에 대한 웨어러블 글래스(1000)의 기울기는, 사용자가 웨어러블 글래스(1000)를 올바르게 착용하고 있는 것으로 미리 결정된 기준 착용 상태를 기준으로, 사용자가 착용하고 있는 웨어러블 글래스(1000)의 기울어진 정도를 의미한다. 즉, 웨어러블 글래스(1000)의 기울기는, 기준 착용 상태에서 사용자에 대한 웨어러블 글래스(1000)의 위치 및 각도를 기준으로 현재 웨어러블 글래스(1000)의 위치 및 각도 변화를 의미할 수 있다. 웨어러블 글래스(1000)는, 단계 S200에서 획득된 착용 상태 정보와 미리 결정된 기준 착용 상태 정보를 비교함으로써, 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정할 수 있다.The inclination of the wearable glasses 1000 with respect to the user refers to the degree of inclination of the wearable glasses 1000 worn by the user based on a reference wearing state determined in advance as that the user is wearing the wearable glasses 1000 correctly. do. That is, the inclination of the wearable glasses 1000 may mean a change in the current position and angle of the wearable glasses 1000 based on the position and angle of the wearable glasses 1000 with respect to the user in the reference wearing state. The wearable glasses 1000 may determine the inclination of the wearable glasses 1000 for the user by comparing the wearing state information obtained in step S200 with the predetermined reference wearing state information.

예를 들어, 기준 착용 상태는, 사용자가 영상을 제공받기에 가장 적합한 위치에 웨어러블 글래스(1000)가 착용된 상태를 의미하는 것으로서, 기준 착용 상태는 기본값(default value)으로서 미리 저장되거나, 사용자에 의해 설정될 수 있다. 사용자에 의해 기준 착용 상태를 설정하는 방법과 관련하여서는 후에 도 33을 참조하여 구체적으로 설명한다.For example, the reference wearing state means a state in which the wearable glasses 1000 are worn at a position most suitable for a user to receive an image, and the reference wearing state is stored in advance as a default value or can be set by A method of setting the reference wearing state by the user will be described in detail later with reference to FIG. 33 .

예를 들어, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 상태에 대한 정보는, 사용자의 신체 부위에 대한 영상을 포함할 수 있다. 웨어러블 글래스(1000)는, 신체 부위에 대한 영상으로부터 신체 부위에 대응되는 영역을 검출하고, 검출된 영역으로부터 신체 부위에 대한 특성값을 획득할 수 있다. 웨어러블 글래스(1000)는, 신체 부위에 대한 영상 내에서 검출되는 신체 부위에 대응되는 영역의 위치, 형태, 또는 크기와 관련된 특성값을 획득할 수 있다. 웨어러블 글래스(1000)는, 획득된 특성값과 기준 착용 상태 정보에 포함되는 기준값을 비교함으로써 기울기를 결정할 수 있다. 기준 착용 상태 정보에 포함되는 기준값은, 기준 착용 상태에서 획득되는 신체 부위에 대한 영상으로부터 검출되는 특성값일 수 있다. 기준값은 미리 저장된 값이거나 사용자에 의해 설정된 값일 수 있다. For example, the information about the state in which the user is wearing the wearable glasses 1000 may include an image of the user's body part. The wearable glasses 1000 may detect a region corresponding to the body part from the image of the body part, and obtain a characteristic value of the body part from the detected region. The wearable glasses 1000 may acquire a characteristic value related to a location, shape, or size of a region corresponding to a body part detected in an image of the body part. The wearable glasses 1000 may determine the inclination by comparing the acquired characteristic value with a reference value included in the reference wearing state information. The reference value included in the reference wearing state information may be a characteristic value detected from an image of a body part obtained in the reference wearing state. The reference value may be a value stored in advance or a value set by a user.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 복수의 기준 착용 상태 및/또는 기준값들을 복수의 신체 부위들과 매핑하여 저장할 수 있다. 또는, 웨어러블 글래스(1000)는, 복수의 기준 착용 상태 및/또는 기준값들을 복수의 사용자들과 매핑하여 저장함으로써, 사용자에 따라 웨어러블 글래스(1000)의 기울어짐을 보상하기 위한 서로 다른 기준을 적용할 수 있다. The wearable glasses 1000 according to an embodiment of the present disclosure may map and store a plurality of reference wearing states and/or reference values with a plurality of body parts. Alternatively, the wearable glasses 1000 may apply different standards for compensating for the inclination of the wearable glasses 1000 according to users by mapping and storing a plurality of reference wearing states and/or reference values with a plurality of users. have.

신체 부위에 대한 영상으로부터 웨어러블 글래스(1000)의 기울기를 결정하는 방법에 대해서는, 후에 도 12 내지 17을 참조하여 구체적으로 설명한다. A method of determining the inclination of the wearable glasses 1000 from an image of a body part will be described in detail later with reference to FIGS. 12 to 17 .

도 7은 본 개시의 일 실시예에 따라 기준 착용 상태에 기초하여 결정되는 사용자에 대한 웨어러블 글래스의 기울기를 설명하기 위한 도면이다. 사용자에 대한 웨어러블 글래스(1000)의 기울기는, 미리 결정된 기준 착용 상태를 기준으로, 사용자가 착용하고 있는 웨어러블 글래스(1000)의 기울어진 정도를 의미할 수 있다.7 is a view for explaining a tilt of wearable glasses for a user determined based on a reference wearing state according to an embodiment of the present disclosure. The inclination of the wearable glasses 1000 with respect to the user may mean a degree of inclination of the wearable glasses 1000 worn by the user based on a predetermined reference wearing state.

도 7은, 웨어러블 글래스(1000)가 사용자에 대해서 기준 착용 상태에 있는 경우를 도시한다. 기준 착용 상태란, 사용자가 웨어러블 글래스(1000)로부터 영상을 제공받기에 가장 적합하다고 결정된 위치에 웨어러블 글래스(1000)가 위치하는 상태를 의미하는 것으로서, 기본값으로서 미리 저장되거나 사용자에 의해 설정될 수 있다.7 illustrates a case in which the wearable glasses 1000 are in a standard wearing state for the user. The reference wearing state refers to a state in which the wearable glasses 1000 are positioned at a position where the user is determined to be most suitable for receiving an image from the wearable glasses 1000, and may be stored in advance as a default value or set by the user. .

예를 들어, 웨어러블 글래스(1000)는, 공간 상에 정의된 가상의 축을 기준으로 웨어러블 글래스(1000)가 회전한 각도를 기울기 값으로서 획득할 수 있다. 예를 들어, 사용자에 대한 웨어러블 글래스(1000)의 기울기는, 웨어러블 글래스(1000)의 기준 착용 상태에서 공간 상에 정의된 세 축을 기준으로 결정되는 전후 기울기, 상하 기울기 및 좌우 기울기를 포함할 수 있다. 사용자에 대한 웨어러블 글래스(1000)의 기울기는, 기준 착용 상태를 기준으로, 사용자의 특정 신체 부위에 대해서 웨어러블 글래스(1000)가 기울어진 정도를 나타내는 상대적인 기울기를 의미할 수 있다.For example, the wearable glasses 1000 may obtain an angle at which the wearable glasses 1000 is rotated based on a virtual axis defined in space as a tilt value. For example, the inclination of the wearable glasses 1000 with respect to the user may include a front-to-back inclination, a vertical inclination, and a left-to-right inclination determined based on three axes defined in space in a standard wearing state of the wearable glasses 1000 . . The inclination of the wearable glasses 1000 with respect to the user may mean a relative inclination indicating the degree of inclination of the wearable glasses 1000 with respect to a specific body part of the user based on the reference wearing state.

도 7에 도시된 바와 같이, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 상태가 기준 착용 상태인 경우를 기준으로, 웨어러블 글래스(1000)를 중심으로 x축, y축 및 z축이 정의될 수 있다. 기준 착용 상태에서 웨어러블 글래스(1000)의 x축은, 사용자의 신체의 관상면(coronal plane) 및 횡단면(transverse plane)이 교차하는 축과 평행할 수 있다. 기준 착용 상태에서 웨어러블 글래스(1000)의 y축은 사용자의 신체의 시상면(sagittal plane) 및 횡단면(transverse plane)이 교차하는 축과 평행할 수 있다. 기준 착용 상태에서 웨어러블 글래스(1000)의 z축은 사용자의 신체의 시상면(sagittal plane) 및 관상면(coronal plane)이 교차하는 축과 평행할 수 있다. 다만, 본 발명의 기준 착용 상태는 상술한 바에 제한되지 않으며, 사용자의 설정에 따라 변경 가능하다,As shown in FIG. 7 , based on a case in which a state in which the user is wearing the wearable glasses 1000 is the reference wearing state, an x-axis, a y-axis, and a z-axis may be defined centered on the wearable glasses 1000 . have. In the reference wearing state, the x-axis of the wearable glasses 1000 may be parallel to an axis where a coronal plane and a transverse plane of the user's body intersect. In the reference wearing state, the y-axis of the wearable glasses 1000 may be parallel to an axis where a sagittal plane and a transverse plane of the user's body intersect. In the reference wearing state, the z-axis of the wearable glasses 1000 may be parallel to an axis where a sagittal plane and a coronal plane of the user's body intersect. However, the standard wearing state of the present invention is not limited to the above, and can be changed according to the user's setting,

본 명세서에서, 웨어러블 글래스(1000)의 전후 기울기란, 기준 착용 상태에서 사용자에 대한 웨어러블 글래스(1000)의 위치(이하, 기준 위치라 한다)를 기준으로 x축을 중심으로 회전한 각도를 의미한다. 예를 들어, x축은, 기준 착용 상태에서 사용자의 양 눈을 연결한 직선과 평행한 축일 수 있다.In the present specification, the front and rear inclination of the wearable glasses 1000 refers to an angle rotated about the x-axis based on the position of the wearable glasses 1000 with respect to the user in the reference wearing state (hereinafter referred to as a reference position). For example, the x-axis may be an axis parallel to a straight line connecting both eyes of the user in the standard wearing state.

웨어러블 글래스(1000)의 상하 기울기란, 웨어러블 글래스(1000) 가 기준 위치로부터 y축을 중심으로 회전한 각도를 의미한다. 예를 들어, y축은, 기준 착용 상태에서 사용자가 정면을 바라보는 시선 방향과 평행한 축일 수 있다. The vertical inclination of the wearable glass 1000 means an angle at which the wearable glass 1000 is rotated from the reference position about the y-axis. For example, the y-axis may be an axis parallel to the gaze direction in which the user faces the front in the standard wearing state.

웨어러블 글래스(1000)의 좌우 기울기란, 웨어러블 글래스(1000) 가 기준 위치로부터 z축을 중심으로 회전한 각도를 의미한다. z축은 x축과 y축에 수직한 축일 수 있다.The left and right inclination of the wearable glass 1000 means an angle at which the wearable glass 1000 is rotated from the reference position about the z-axis. The z-axis may be an axis perpendicular to the x-axis and the y-axis.

본 명세서에서는 설명의 편의를 위하여, 도 7에 도시된 x축, y축 및 z축에 대한 웨어러블 글래스(1000)의 회전 각도를 웨어러블 글래스(1000)의 기울기로서 결정하는 경우를 예로 들어 설명한다. 다만, 본 개시는 도 7에 제한되지 않으며, 사용자에 대해서 웨어러블 글래스(1000)가 기울어진 정도를 결정하는데 있어서, 다양한 방식과 다양한 기준이 이용될 수 있다.In the present specification, for convenience of explanation, a case in which the rotation angle of the wearable glass 1000 with respect to the x-axis, y-axis, and z-axis illustrated in FIG. 7 is determined as the inclination of the wearable glass 1000 will be described as an example. However, the present disclosure is not limited to FIG. 7 , and various methods and various criteria may be used in determining the degree of inclination of the wearable glasses 1000 with respect to the user.

사용자의 착용 상태 정보를 이용하여 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정하는 방법과 관련하여서는, 후에 도 12 내지 도 17을 참조하여 보다 구체적으로 설명한다.A method of determining the inclination of the wearable glasses 1000 for the user by using the user's wearing state information will be described later in more detail with reference to FIGS. 12 to 17 .

한편, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자의 제스처에 대한 정보에 기초하여 웨어러블 글래스(1000)의 기울기를 결정할 수 있다. 웨어러블 글래스(1000)는, 여러 제스처들에 대한 정보와 기울기를 매핑하여 저장하거나, 제스처에 대한 정보에 기초하여 기울기를 산출할 수 있는 관계식을 저장할 수 있다. 웨어러블 글래스(1000)는, 획득된 정보에 기초하여 미리 저장된 기울기를 검색하거나, 검색된 관계식을 이용하여 기울기를 산출함으로써 기울기를 결정할 수 있다.Meanwhile, the wearable glasses 1000 according to an embodiment of the present disclosure may determine the inclination of the wearable glasses 1000 based on information about the user's gesture. The wearable glasses 1000 may map and store information on various gestures and gradients, or store a relational expression capable of calculating gradients based on information on gestures. The wearable glasses 1000 may determine the inclination by searching for a pre-stored gradient based on the obtained information or calculating the gradient using the searched relational expression.

단계 S400에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 결정된 기울기에 기초하여 디스플레이(1030) 상에 표시되는 영상을 조정한다. 웨어러블 글래스(1000)는, 기준 착용 상태를 기준으로 결정된 기울기에 기초하여 디스플레이(1030) 상에 표시되는 영상을 조정한다.In operation S400 , the wearable glasses 1000 according to an embodiment of the present disclosure adjust an image displayed on the display 1030 based on the determined inclination. The wearable glasses 1000 adjust the image displayed on the display 1030 based on the inclination determined based on the reference wearing state.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자에 대한 웨어러블 글래스(10)의 기울기에 기초하여, 디스플레이(1030)를 통해 표시되는 영상을 조정함으로써, 웨어러블 글래스(1000)의 기울어짐에도 불구하고 사용자가 왜곡되지 않은 영상을 제공받을 수 있도록 할 수 있다.The wearable glasses 1000 according to an embodiment of the present disclosure adjust the image displayed through the display 1030 based on the inclination of the wearable glasses 10 with respect to the user, thereby tilting the wearable glasses 1000 . In spite of this, the user may be provided with an undistorted image.

예를 들어, 웨어러블 글래스(1000)는, 단계 S300에서 결정된 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이 영상의 회전 각도, 크기 및 형태 중 적어도 하나를 조정할 수 있다.For example, the wearable glasses 1000 may adjust at least one of a rotation angle, a size, and a shape of the display image based on the inclination of the wearable glasses 1000 determined in step S300 .

또한, 예를 들어, 웨어러블 글래스(1000)의 디스플레이(1030)가 반투명 광 파장 가이드(예를 들어, 프리즘)로 구성되는 경우, 웨어러블 글래스(1000)는 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이(1030)의 프로젝터로부터 출력되는 빛이 포커싱되는 초점의 위치를 조정할 수 있다.Also, for example, when the display 1030 of the wearable glasses 1000 is configured as a translucent light wavelength guide (eg, a prism), the wearable glasses 1000 display the display based on the inclination of the wearable glasses 1000 . It is possible to adjust the position of the focal point where the light output from the projector of 1030 is focused.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 기울어짐을 보상하기 위해 필요한 영상 조정(예를 들어, 수평 변환(horizontal translation), 수직 변환(vertical translation), 키 스토닝(keystoning), 및/또는 사용자가 왜곡되지 않은 영상을 제공 받을 수 있도록 보정하는 다양한 영상 처리)을 수행할 수 있다. The wearable glasses 1000 according to an embodiment of the present disclosure include image adjustments (eg, horizontal translation, vertical translation), kissing necessary to compensate for the inclination of the wearable glasses 1000 . Toning (keystoning) and/or various image processing for correcting a user to receive an undistorted image) may be performed.

예를 들어, 웨어러블 글래스(1000)가 사용자에 대해서 상하로 기울어진 경우, 즉, 상하 기울기가 0이 아닌 값으로 결정된 경우, 디스플레이 영상에 대해서 웨어러블 글래스(1000)의 상하 기울기를 보상해줄 수 있다. 즉, 웨어러블 글래스가 기울어진 반대 방향으로, 결정된 상하 기울기만큼 디스플레이되는 영상을 회전시킬 수 있다.For example, when the wearable glasses 1000 are tilted up and down with respect to the user, that is, when the vertical tilt is determined to be a value other than 0, the vertical tilt of the wearable glasses 1000 may be compensated for the display image. That is, the displayed image may be rotated in the opposite direction in which the wearable glasses are inclined by the determined vertical inclination.

따라서, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)를 사용하는 사용자는, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 상태가 기준 착용 상태에서 벗어난 경우에도, 웨어러블 글래스(1000)의 위치를 바로 잡기 위한 동작을 하지 않아도 기울어짐이 보상된 영상을 제공받을 수 있다. Accordingly, a user who uses the wearable glasses 1000 according to an embodiment of the present disclosure may determine the position of the wearable glasses 1000 even when the state in which the user is wearing the wearable glasses 1000 deviates from the reference wearing state. Even if you do not take an action to correct it, you can receive an image in which the tilt is compensated.

웨어러블 글래스(1000)의 기울기에 기초하여 조정된 영상을 디스플레이하는 방법과 관련하여서는, 후에 도 19 내지 도 26을 참조하여 보다 구체적으로 설명한다.A method of displaying an image adjusted based on the inclination of the wearable glasses 1000 will be described later in more detail with reference to FIGS. 19 to 26 .

도 8은 본 개시의 일 실시예에 따라 웨어러블 글래스가 사용자의 신체 부위의 정보를 획득하는 방법의 흐름도이다.8 is a flowchart of a method by which wearable glasses obtain information on a body part of a user according to an embodiment of the present disclosure.

기준 착용 상태를 기준으로 웨어러블 글래스(1000)의 기울어진 정도를 판단하기 위해서 사용자가 웨어러블 글래스(1000)를 착용하고 있는 착용 상태 정보를 이용하는 경우, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 소정 시간 간격으로 사용자의 착용 상태 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(1000)는 사용자의 착용 상태 정보를 획득하기 위해서, 소정 시간 간격으로 사용자의 눈을 촬영하는 동작을 수행할 수 있다. When the wearable state information in which the user is wearing the wearable glasses 1000 is used to determine the degree of inclination of the wearable glasses 1000 based on the reference wearing state, the wearable glasses 1000 according to an embodiment of the present disclosure may acquire the user's wearing state information at predetermined time intervals. For example, the wearable glasses 1000 may perform an operation of photographing the user's eyes at predetermined time intervals in order to obtain the user's wearing state information.

그러나, 계속적으로 사용자의 착용 상태 정보를 획득하는 것은, 메모리 용량 및 프로세서의 연산량의 과부하를 초래할 수 있다. 따라서, 본 개시의 일 실시예에 따르면, 도 8에 도시된 바와 같이, 소정 이벤트가 발생하였을 경우에만 사용자의 착용 상태 정보를 획득할 수 있다.However, continuously acquiring the user's wearing state information may result in overload of the memory capacity and the amount of computation of the processor. Accordingly, according to an embodiment of the present disclosure, as shown in FIG. 8 , information on the user's wearing state may be acquired only when a predetermined event occurs.

단계 S210에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)가 초기화되는지 여부를 판단한다. 예를 들어, 웨어러블 글래스(1000)는, 전원이 ON되는 경우 또는 사용자로부터 웨어러블 글래스(1000)를 초기화하기 위한 초기화 입력이 수신되는 경우, 초기화될 수 있다.In operation S210, the wearable glasses 1000 according to an embodiment of the present disclosure determine whether the wearable glasses 1000 are initialized. For example, the wearable glasses 1000 may be initialized when power is turned on or when an initialization input for initializing the wearable glasses 1000 is received from a user.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)가 초기화될 때, 사용자의 착용 상태 정보를 획득할 수 있다(S250). 웨어러블 글래스(1000)가 초기화된 이후에는, 웨어러블 글래스(1000)는 단계 S220을 수행함으로써 움직임 상태값에 기초하여 사용자의 착용 상태 정보를 획득할 수 있다.The wearable glasses 1000 according to an embodiment of the present disclosure may obtain information on the user's wearing state when the wearable glasses 1000 are initialized ( S250 ). After the wearable glasses 1000 are initialized, the wearable glasses 1000 may obtain information on the user's wearing state based on the movement state value by performing step S220 .

단계 S220에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 움직임 상태값을 측정한다. 움직임 상태값이란, 웨어러블 글래스(1000)의 움직임을 나타내는 값을 의미한다. In operation S220 , the wearable glasses 1000 according to an embodiment of the present disclosure measure a motion state value of the wearable glasses 1000 . The motion state value means a value representing the motion of the wearable glasses 1000 .

예를 들어, 웨어러블 글래스(1000)는, 가속도 값, 속도 값, 또는 각 운동량 값 중 적어도 하나를 움직임 상태값으로서 측정할 수 있다. 웨어러블 글래스(1000)는 움직임 상태값이 소정 값 이상인지 여부를 판단하여(S230), 측정된 움직임 상태값이 소정 값 이상일 경우, 착용 상태 정보를 획득할 수 있다(S250). 예를 들어, 웨어러블 글래스(1000)의 움직임 상태값이 소정 값 미만인 경우, 웨어러블 글래스(1000)는 단계 S240을 수행함으로써 사용자 입력에 기초하여 사용자의 눈을 촬영할 수 있다.For example, the wearable glasses 1000 may measure at least one of an acceleration value, a velocity value, and an angular momentum value as a motion state value. The wearable glasses 1000 may determine whether the movement state value is greater than or equal to a predetermined value (S230), and when the measured movement state value is greater than or equal to a predetermined value, may acquire wearing state information (S250). For example, when the motion state value of the wearable glasses 1000 is less than a predetermined value, the wearable glasses 1000 may photograph the user's eyes based on the user input by performing step S240 .

단계 S240에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자로부터 디스플레이 영상을 조정하기 위한 입력이 수신되었는지 여부를 판단한다. 웨어러블 글래스(1000)의 위치가 변경되어 왜곡된 화면이 제공되는 경우, 사용자는 웨어러블 글래스(1000)에게 기준 착용 상태를 기준으로 웨어러블 글래스(1000)가 기울어진 정도에 기초하여 디스플레이 영상을 조정하도록 하는 명령을 입력할 수 있다.In step S240 , the wearable glasses 1000 according to an embodiment of the present disclosure determine whether an input for adjusting a display image is received from a user. When the position of the wearable glasses 1000 is changed and a distorted screen is provided, the user causes the wearable glasses 1000 to adjust the display image based on the degree of inclination of the wearable glasses 1000 based on the reference wearing state. You can enter commands.

웨어러블 글래스(1000)는 영상을 조정하기 위한 사용자 입력이 수신되었는지 여부를 판단(S240)한다. 영상을 조정하기 위한 사용자 입력이 수신되는 경우, 착용 상태 정보를 획득할 수 있다(S250). 웨어러블 글래스(1000)의 사용자 입력이 수신되지 않는 경우, 단계 S210 내지 S240을 반복하여 수행할 수 있다.The wearable glasses 1000 determine whether a user input for adjusting an image is received ( S240 ). When a user input for adjusting an image is received, wearing state information may be acquired (S250). When the user input of the wearable glasses 1000 is not received, steps S210 to S240 may be repeatedly performed.

단계 S250에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자의 착용 상태 정보를 획득할 수 있다. 웨어러블 글래스(1000)는 가이드 영상을 출력함으로써, 사용자가 정면을 바라보도록 유도함으로써, 웨어러블 글래스(1000)의 기울기 측정의 정확도를 높일 수 있다. 예를 들어, 도 9에 도시된 바와 같이, 웨어러블 글래스(1000)는, 영상 조정을 위해 사용자의 눈을 촬영함을 사용자에게 통지하는 영상(901)을 디스플레이(1030) 상에 디스플레이할 수 있다. 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 가이드 영상을 출력한 후, 사용자의 눈을 촬영할 수 있다. 그러나, 본 개시는 이에 제한되지 않으며, 가이드 영상을 출력하지 않고, 사용자의 눈을 촬영할 수도 있다.In operation S250 , the wearable glasses 1000 according to an embodiment of the present disclosure may acquire information about the user's wearing state. The wearable glasses 1000 may increase the accuracy of measuring the tilt of the wearable glasses 1000 by inducing the user to look at the front by outputting a guide image. For example, as shown in FIG. 9 , the wearable glasses 1000 may display an image 901 notifying the user that the user's eyes are photographed for image adjustment on the display 1030 . The wearable glasses 1000 according to an embodiment of the present disclosure may photograph the user's eyes after outputting a guide image. However, the present disclosure is not limited thereto, and the user's eyes may be photographed without outputting a guide image.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 상태에 대한 정보를 획득하기 위해서 사용자의 신체 부위를 촬영할 수 있다. 예를 들어, 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)를 착용하고 있는 사용자의 눈을 촬영한 영상을 포함하는 착용 상태 정보를 획득할 수 있다. 도 10a, 10b, 도 11a, 11b 및 11c는 본 개시의 일부 실시예에 따라, 웨어러블 글래스(1000)를 통해 획득된 사용자의 눈을 촬영한 영상의 예이다.The wearable glasses 1000 according to an embodiment of the present disclosure may photograph a body part of a user in order to obtain information about a state in which the user is wearing the wearable glasses 1000 . For example, the wearable glasses 1000 may obtain wearing state information including an image obtained by photographing the eyes of a user wearing the wearable glasses 1000 . 10A, 10B, 11A, 11B, and 11C are examples of images obtained by photographing the user's eyes obtained through the wearable glasses 1000, according to some embodiments of the present disclosure.

도 10a에 도시된 바와 같이, 웨어러블 글래스(1000)는, 사용자의 단안을 촬영할 수 있다. 또는, 도 10b에 도시된 바와 같이, 웨어러블 글래스(1000)는, 사용자의 양안을 촬영할 수 있다.As shown in FIG. 10A , the wearable glasses 1000 may capture a user's monocular image. Alternatively, as shown in FIG. 10B , the wearable glasses 1000 may photograph both eyes of the user.

도 10a 및 10b는, 기준 착용 상태를 기준으로 사용자에 대해 웨어러블 글래스(1000)가 기울어지지 않은 경우, 본 개시의 일부 실시예에 따라, 웨어러블 글래스(1000)를 통해 획득되는 사용자의 눈을 촬영한 영상의 예이다.10A and 10B illustrate images of the user's eyes obtained through the wearable glasses 1000 according to some embodiments of the present disclosure when the wearable glasses 1000 are not tilted with respect to the user based on the reference wearing state. This is an example of a video.

한편, 도 11a, 11b 및 11c는, 기준 착용 상태를 기준으로 사용자에 대해 웨어러블 글래스(1000)가 기울어진 경우, 본 개시의 일부 실시예에 따라 웨어러블 글래스(1000)를 통해 획득되는 사용자의 눈을 촬영한 영상의 예이다.Meanwhile, FIGS. 11A, 11B and 11C illustrate the user's eyes obtained through the wearable glasses 1000 according to some embodiments of the present disclosure when the wearable glasses 1000 are tilted with respect to the user based on the reference wearing state. This is an example of a recorded video.

도 11a는 웨어러블 글래스(1000)가 사용자에 대해 상하로 기울어져 상하 기울기가 존재하는 경우에 웨어러블 글래스(1000)를 통해 획득되는 사용자의 눈을 촬영한 영상의 예를 도시한다. 도 11a는 기준 착용 상태에서 웨어러블 글래스(1000)의 y축(즉, 기준 착용 상태에서 사용자가 정면을 바라보는 시선 방향과 평행한 축)을 기준으로 웨어러블 글래스(1000)가 회전한 경우에 사용자의 눈을 촬영한 영상을 도시한다. 도 10b에 도시되는 양 눈의 위치와 비교하여, 도 11a에 도시되는 양 눈의 위치 및 각도가 변화하였음을 알 수 있다.11A illustrates an example of an image obtained by photographing the user's eyes obtained through the wearable glasses 1000 when the wearable glasses 1000 are tilted up and down with respect to the user and there is a vertical inclination. 11A is a diagram illustrating the user's actions when the wearable glasses 1000 are rotated with respect to the y-axis of the wearable glasses 1000 in the standard wearing state (ie, an axis parallel to the direction in which the user faces the front in the standard wearing state). An image of the eye is shown. It can be seen that the positions and angles of both eyes shown in FIG. 11A are changed compared with the positions of both eyes shown in FIG. 10B .

도 11b는 웨어러블 글래스(1000)가 사용자에 대해 좌우로 기울어져 좌우 기울기가 존재하는 경우에 웨어러블 글래스(1000)를 통해 획득되는 사용자의 눈을 촬영한 영상의 예를 도시한다. 도 11b는 기준 착용 상태에서 웨어러블 글래스(1000)의 z축(즉, 기준 착용 상태에서 사용자의 양 눈을 연결한 직선과 평행한 축인 x축 및 y축과 수직인 축)을 기준으로 웨어러블 글래스(1000)가 회전한 경우에 사용자의 눈을 촬영한 영상을 도시한다. 11B illustrates an example of an image obtained by photographing the user's eyes obtained through the wearable glasses 1000 when the wearable glasses 1000 are tilted left and right with respect to the user and there is a left and right inclination. 11B shows the wearable glasses (ie, the x-axis and the y-axis, which are axes parallel to the straight line connecting the user's eyes in the standard wear state) of the wearable glasses 1000 in the standard wearing state, based on the z-axis ( 1000) shows an image captured by the user's eyes when rotated.

웨어러블 글래스(1000)가 사용자에 대해 좌우로 기울어짐에 의해 웨어러블 글래스(1000)의 일측으로부터 사용자의 소정 눈까지의 거리가 멀어진 경우, 해당 눈을 촬영한 영상에 도시되는 눈의 크기는 작아진다. 또한, 웨어러블 글래스(1000)가 사용자에 대해 좌우로 기울어짐에 의해 웨어러블 글래스(1000)의 타측으로부터 사용자의 소정 눈까지의 거리가 가까워진 경우, 해당 눈을 촬영한 영상에 도시되는 눈의 크기는 커진다. 도 10a에 도시되는 양 눈의 위치와 비교하여, 도 11b에 도시되는 눈의 크기가 변화하였음을 알 수 있다. 도 11b를 참고하면, 촬영된 눈 영상 상에 나타나는 사용자의 우측 눈이 작아졌으므로, 웨어러블 글래스(1000)의 우측으로부터 사용자의 우측 눈까지의 거리가 멀어졌음을 알 수 있다. 또한, 촬영된 눈 영상 상에 나타나는 사용자의 좌측 눈이 커졌으므로, 웨어러블 글래스(1000)의 좌측으로부터 사용자의 좌측 눈까지의 거리가 가까워졌음을 알 수 있다. 즉, 도 11b는, 기준 착용 상태에서 웨어러블 글래스(1000)의 z축을 기준으로, 사용자로부터 웨어러블 글래스(1000)의 우측 단부는 멀어지고, 좌측 단부는 가까워지는 방향으로 웨어러블 글래스(1000)가 회전한 경우에 촬영된 영상의 예를 도시함을 알 수 있다.When the distance from one side of the wearable glasses 1000 to the user's predetermined eye increases due to the wearable glasses 1000 being tilted left and right with respect to the user, the size of the eyes shown in the image obtained by photographing the corresponding eyes decreases. In addition, when the distance from the other side of the wearable glasses 1000 to the user's predetermined eye gets closer as the wearable glasses 1000 are tilted left and right with respect to the user, the size of the eyes shown in the image obtained by photographing the corresponding eyes increases. . It can be seen that the size of the eyes shown in FIG. 11B has changed compared with the positions of both eyes shown in FIG. 10A . Referring to FIG. 11B , it can be seen that the distance from the right side of the wearable glasses 1000 to the user's right eye is increased because the user's right eye displayed on the photographed eye image is reduced. Also, since the user's left eye appearing on the photographed eye image has increased, it can be seen that the distance from the left side of the wearable glasses 1000 to the user's left eye has increased. That is, in FIG. 11B , the wearable glass 1000 rotates in a direction where the right end of the wearable glass 1000 moves away from the user and the left end approaches the user with respect to the z-axis of the wearable glass 1000 in the standard wearing state. In this case, it can be seen that an example of a photographed image is shown.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자의 눈을 촬영한 영상을 신체 부위에 대한 정보로서 획득하고, 촬영된 눈 영상을 이용하여 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정할 수 있다. 이 때, 웨어러블 글래스(1000)는, 내부에 구비된 카메라를 이용하여 사용자의 눈을 직접 촬영하거나, 외부 디바이스가 사용자의 눈을 촬영한 영상을 외부 디바이스로부터 수신함으로써 사용자의 눈을 촬영한 영상을 획득할 수 있다.The wearable glasses 1000 according to an embodiment of the present disclosure obtain an image obtained by photographing the user's eyes as information on body parts, and measure the inclination of the wearable glasses 1000 with respect to the user by using the photographed eye image. can decide In this case, the wearable glasses 1000 may directly photograph the user's eyes using a camera provided therein, or an external device receives an image of the user's eyes from an external device to capture an image of the user's eyes. can be obtained

도 12는 본 개시의 일 실시예에 따라 웨어러블 글래스가 사용자의 눈을 촬영한 영상으로부터 웨어러블 글래스의 기울기를 결정하는 방법의 흐름도이다.12 is a flowchart of a method for the wearable glasses to determine a tilt of the wearable glasses from an image captured by the user's eyes according to an embodiment of the present disclosure.

단계 S310에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 촬영된 눈 영상으로부터 사용자의 눈에 대응되는 제1 영역을 결정할 수 있다.In operation S310 , the wearable glasses 1000 according to an embodiment of the present disclosure may determine a first area corresponding to the user's eye from the captured eye image.

예를 들어, 웨어러블 글래스(1000)는, 촬영된 눈 영상의 밝기 또는 색감 중 적어도 하나의 변화에 기초하여 사용자의 눈에 대응되는 제1 영역을 결정할 수 있다.For example, the wearable glasses 1000 may determine the first region corresponding to the user's eye based on a change in at least one of brightness and color of the captured eye image.

도 13은 사용자의 눈을 촬영한 영상의 일 예를 도시한다. 웨어러블 글래스(1000)는 도 13에 점선으로 표시된 영역(1301)을 사용자의 눈에 대응되는 제1 영역으로서 결정할 수 있다. 13 illustrates an example of an image obtained by photographing a user's eyes. The wearable glasses 1000 may determine the area 1301 indicated by the dotted line in FIG. 13 as the first area corresponding to the user's eye.

단계 S320에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 촬영된 눈 영상으로부터 사용자의 눈동자에 대응되는 제2 영역을 결정할 수 있다.In operation S320 , the wearable glasses 1000 according to an embodiment of the present disclosure may determine a second region corresponding to the user's pupil from the captured eye image.

예를 들어, 웨어러블 글래스(1000)는, 촬영된 눈 영상의 밝기 또는 색감 중 적어도 하나의 변화에 기초하여 사용자의 눈동자에 대응되는 제2 영역을 결정할 수 있다. 웨어러블 글래스(1000)는 단계 S310에서 결정된 제1 영역 내에서 제2 영역을 결정함으로써, 전체 영상 내에서 제2 영역을 결정하는 경우보다 연산량을 줄일 수 있다.For example, the wearable glasses 1000 may determine the second region corresponding to the user's pupil based on a change in at least one of brightness and color of the captured eye image. The wearable glasses 1000 may reduce the amount of computation by determining the second area within the first area determined in step S310 compared to the case of determining the second area within the entire image.

도 14는 사용자의 눈을 촬영한 영상의 일 예를 도시한다. 웨어러블 글래스(1000)는 도 14에 점선으로 표시된 영역(1401)을 사용자의 눈동자에 대응되는 제2 영역으로서 결정할 수 있다.14 illustrates an example of an image obtained by photographing a user's eyes. The wearable glasses 1000 may determine the area 1401 indicated by the dotted line in FIG. 14 as the second area corresponding to the user's pupil.

웨어러블 글래스(1000)는 사용자의 동공에 대응되는 영역(1403) 또는 제2 영역의 중심점(1405)을 더 결정할 수 있다. 도 14에 도시된 바와 같이, 웨어러블 글래스(1000)는 사용자의 동공에 대응되는 영역(1403) 또는 제2 영역(1401)의 중심점(1405)을 사용자의 눈을 촬영한 영상으로부터 더 결정할 수 있다.The wearable glasses 1000 may further determine an area 1403 corresponding to the user's pupil or a center point 1405 of the second area. 14 , the wearable glasses 1000 may further determine a central point 1405 of an area 1403 corresponding to the user's pupil or a center point 1405 of the second area 1401 from the image captured by the user's eyes.

단계 S330에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 제1 영역 및 제2 영역 중 적어도 하나에 기초하여 사용자의 눈에 대한 특성값을 획득할 수 있다. 사용자의 눈에 대한 특성값은, 눈을 촬영한 영상 내에서 눈의 장축의 길이 값, 단축의 길이 값, 장축이 회전된 각도값, 단축이 회전된 각도 값 및 눈동자의 위치를 나타내는 값 중 적어도 하나를 포함할 수 있다.In operation S330 , the wearable glasses 1000 according to an embodiment of the present disclosure may acquire a characteristic value of the user's eyes based on at least one of the first area and the second area. The characteristic value of the user's eye may include at least one of a length value of a major axis, a length value of a minor axis, an angle value in which the major axis is rotated, an angle value in which the minor axis is rotated, and a value indicating the position of the pupil in the image obtained by photographing the eye. may contain one.

도 15는 본 개시의 일 실시예에 따라 촬영된 눈 영상으로부터 획득되는 특성값을 설명하기 위한 도면이다.15 is a diagram for describing a characteristic value obtained from an eye image captured according to an embodiment of the present disclosure.

도 15에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자의 눈에 대응되는 제1 영역(1301)의 두 초점들(focal points)을 지나가는 직선과 제1 영역(1301)이 교차하는 점들을 잇는 선분(1501)을 장축으로 결정하고, 선분(1501)의 길이를 장축의 길이로 결정할 수 있다. 제1 영역(1301)의 두 초점들은, 제1 영역(1301)을 타원에 근사화할 때, 타원으로 근사화된 제1 영역의 두 초점들을 의미할 수 있다.15 , the wearable glasses 1000 according to an embodiment of the present disclosure include a straight line passing through two focal points of a first area 1301 corresponding to the user's eye and a first area ( A line segment 1501 connecting points where 1301 intersects may be determined as a major axis, and a length of the line segment 1501 may be determined as a length of a major axis. The two foci of the first region 1301 may mean two foci of the first region approximated by an ellipse when the first region 1301 is approximated to an ellipse.

또한, 웨어러블 글래스(1000)는 선분(1501)을 수직이등분하는 선분(1503)을 단축으로 결정하고, 선분(1503)의 길이를 단축의 길이로 결정할 수 있다. Also, the wearable glasses 1000 may determine the line segment 1503 that vertically bisects the line segment 1501 as the short axis, and determine the length of the line segment 1503 as the short axis length.

웨어러블 글래스(1000)는 사용자의 눈동자에 대응되는 제2 영역(1401)의 중심(1405)의 위치를 눈동자의 위치를 나타내는 값으로 획득할 수 있다.The wearable glasses 1000 may acquire the position of the center 1405 of the second region 1401 corresponding to the user's pupil as a value indicating the position of the pupil.

한편, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 눈을 촬영한 영상의 가로축 및/또는 세로축과 비교하여 장축의 각도 및/또는 단축의 각도를 획득할 수 있다. 눈을 촬영한 영상의 가로축 및 세로축은, 기준 착용 상태에서 촬영된 사용자의 눈 영상으로부터 획득된 눈에 대응되는 영역의 장축 및 단축일 수 있다.Meanwhile, the wearable glasses 1000 according to an embodiment of the present disclosure may obtain an angle of a major axis and/or an angle of a minor axis compared with a horizontal axis and/or a vertical axis of an image obtained by photographing an eye. The horizontal axis and the vertical axis of the image obtained by photographing the eye may be the long axis and the short axis of a region corresponding to the eye obtained from the user's eye image photographed in the reference wearing state.

웨어러블 글래스(1000)는 사용자의 눈에 대응되는 제1 영역(1301)의 장축과 영상의 가로축 (1509-3)이 이루는 각도(1505)를 장축의 각도로 결정할 수 있다. 또한, 웨어러블 글래스(1000)는 사용자의 눈에 대응되는 제1 영역(1301)의 단축과 영상의 세로 축(1509-1)이 이루는 각도(1507)를 단축의 각도로 결정할 수 있다.The wearable glasses 1000 may determine an angle 1505 between the long axis of the first region 1301 corresponding to the user's eye and the horizontal axis 1509 - 3 of the image as the long axis angle. Also, the wearable glasses 1000 may determine an angle 1507 formed between the short axis of the first region 1301 corresponding to the user's eye and the vertical axis 1509 - 1 of the image as the angle of the short axis.

단계 S340에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 획득된 특성값에 기초하여 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정할 수 있다. 예를 들어, 웨어러블 글래스(1000)는, 획득된 특성값과 기준 착용 상태 정보에 포함되는 기준값을 비교함으로써 기울기를 결정할 수 있다. 기준 착용 상태 정보에 포함되는 기준값은, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 상태가 기준 착용 상태인 경우에 획득되는 신체 부위에 대한 영상으로부터 검출되는 특성값일 수 있다. 기준값은 미리 결정된 값이거나 사용자에 의해 설정된 값일 수 있다.In operation S340 , the wearable glasses 1000 according to an embodiment of the present disclosure may determine the inclination of the wearable glasses 1000 with respect to the user based on the acquired characteristic value. For example, the wearable glasses 1000 may determine the inclination by comparing the acquired characteristic value with a reference value included in the reference wearing state information. The reference value included in the reference wearing state information may be a characteristic value detected from an image of a body part obtained when the user wearing the wearable glasses 1000 is the reference wearing state. The reference value may be a predetermined value or a value set by a user.

도 16 및 17은 본 개시의 일부 실시예에 따라 웨어러블 글래스가 눈 영상으로부터 웨어러블 글래스의 기울기를 결정하는 방법을 설명하기 위한 도면이다.16 and 17 are diagrams for explaining a method by which wearable glasses determine a tilt of wearable glasses from an eye image according to some embodiments of the present disclosure;

도 16을 참조하면, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자의 양 눈의 눈동자들의 중심들(1405-1, 1405-2)을 연결한 직선과 영상의 가로축 (1509-3)이 이루는 각도(1601)를 특성값으로서 추출할 수 있다. 웨어러블 글래스(1000)는 기준값과 특성값을 비교하여 웨어러블 글래스(1000)의 상하 기울기를 결정할 수 있다.Referring to FIG. 16 , the wearable glasses 1000 according to an embodiment of the present disclosure include a straight line connecting the centers 1405 - 1 and 1405 - 2 of pupils of both eyes of the user and the horizontal axis 1509 - 3) can be extracted as an angle 1601 formed by the characteristic value. The wearable glasses 1000 may determine the vertical inclination of the wearable glasses 1000 by comparing the reference value and the characteristic value.

예를 들어, 사용자의 양 눈의 눈동자들의 중심들을 연결한 직선과 영상의 가로축(1509-3)이 이루는 각도의 기준값이 0인 경우, 사용자의 양 눈의 눈동자들의 중심들(1405-1, 1405-2)을 연결한 직선과 영상의 가로축 (1509-3)이 이루는 각도(1601)가 상하 기울기로서 결정될 수 있다. 웨어러블 글래스(1000)는, 결정된 상하 기울기에 기초하여 디스플레이 영상의 회전 각도, 크기 및 형태 중 적어도 하나를 조정할 수 있다.For example, when the reference value of the angle between the straight line connecting the centers of the pupils of both eyes of the user and the horizontal axis 1509-3 of the image is 0, the centers 1405-1 and 1405 of the pupils of both eyes of the user An angle 1601 between the straight line connecting -2) and the horizontal axis 1509-3 of the image may be determined as the vertical inclination. The wearable glasses 1000 may adjust at least one of a rotation angle, a size, and a shape of the display image based on the determined vertical inclination.

도 17을 참조하면, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자의 양 눈의 장축(1501-1, 1501-2)의 길이를 특성값으로서 추출할 수 있다. 웨어러블 글래스(1000)는 기준값과 특성값을 비교하여 웨어러블 글래스(1000)의 좌우 기울기를 결정할 수 있다. 예를 들어, 웨어러블 글래스(1000)는 기준값으로서 장축의 길이를 미리 저장할 수 있다. 웨어러블 글래스(1000)는, 미리 저장된 장축의 길이와 새롭게 측정된 장축의 길이에 기초하여 웨어러블 글래스(1000)와 사용자 간의 거리 변화를 산출하고, 산출된 거리에 기초하여 디스플레이 영상의 크기 및 형태 중 적어도 하나를 조정할 수 있다.Referring to FIG. 17 , the wearable glasses 1000 according to an embodiment of the present disclosure may extract lengths of long axes 1501-1 and 1501-2 of both eyes of a user as a characteristic value. The wearable glasses 1000 may determine a left and right inclination of the wearable glasses 1000 by comparing the reference value and the characteristic value. For example, the wearable glasses 1000 may store the length of the long axis in advance as a reference value. The wearable glasses 1000 calculate a change in the distance between the wearable glasses 1000 and the user based on the previously stored length of the long axis and the newly measured length of the long axis, and based on the calculated distance, at least the size and shape of the display image. You can adjust one.

도 18은 본 개시의 일 실시예에 따라 웨어러블 글래스(1000)가 웨어러블 글래스(1000)의 기울기에 기초하여 조정된 영상을 디스플레이하는 방법의 흐름도이다.18 is a flowchart of a method of displaying, by the wearable glasses 1000 , an image adjusted based on a tilt of the wearable glasses 1000 according to an embodiment of the present disclosure.

단계 S410에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이 영상을 회전함으로써 디스플레이 영상을 조정한다. 예를 들어, 웨어러블 글래스(1000)는, 기준 착용 상태를 기준으로, 사용자가 정면을 바라보는 시선 방향과 평행한 축을 기준으로 회전한 기울기(즉, 상하 기울기)에 기초하여 디스플레이 영상을 회전할 수 있다.In operation S410 , the wearable glasses 1000 according to an embodiment of the present disclosure adjust the display image by rotating the display image based on the tilt of the wearable glasses 1000 . For example, the wearable glasses 1000 may rotate the display image based on a tilt (that is, up and down tilt) rotated based on an axis parallel to the direction of the user's frontal gaze, based on the reference wearing state. have.

웨어러블 글래스(1000)는, 기준 착용 상태와 비교하여 웨어러블 글래스(1000)가 기울어진 기울기를 결정하고, 웨어러블 글래스(1000)가 기울어진 방향의 역방향으로 결정된 기울기만큼 디스플레이 영상을 회전할 수 있다.The wearable glasses 1000 may determine the inclination of the wearable glasses 1000 in comparison with the reference wearing state, and may rotate the display image by the determined inclination in a direction opposite to the inclination direction of the wearable glasses 1000 .

단계 S450에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 웨어러블 글래스(1000)의 기울기에 기초하여 조정된 영상을 디스플레이한다. 웨어러블 글래스(1000)는, 기준 착용 상태를 기준으로 결정된 기울기에 기초하여 디스플레이(1030) 상에 표시되는 영상을 조정한다.In operation S450 , the wearable glasses 1000 according to an embodiment of the present disclosure display an image adjusted based on the tilt of the wearable glasses 1000 . The wearable glasses 1000 adjust the image displayed on the display 1030 based on the inclination determined based on the reference wearing state.

도 20, 21a 및 21b는, 본 개시의 일부 실시예에 따라 웨어러블 글래스의 기울기에 기초하여, 디스플레이를 통해 표시되는 영상을 설명하기 위한 도면이다. 도 20, 21a 및 21b에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 프리즘 방식을 이용하여 디스플레이(1030)를 통해 영상을 표시할 수 있다. 그러나, 본 발명은 이에 제한되지 않으며, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 도 4a 및 도 4b에 도시된 단안식 디스플레이 방식, 도 5a 및 도 5b에 도시된 양안식 디스플레이 방식 및 이와 유사한 방식을 이용하여 디스플레이(1030)를 통해 영상을 표시할 수 있다.20, 21A, and 21B are diagrams for explaining an image displayed through a display based on a tilt of wearable glasses according to some embodiments of the present disclosure; 20 , 21A and 21B , the wearable glasses 1000 according to an embodiment of the present disclosure may display an image through the display 1030 using a prism method. However, the present invention is not limited thereto, and the wearable glasses 1000 according to an embodiment of the present disclosure include the monocular display method illustrated in FIGS. 4A and 4B and the binocular display method illustrated in FIGS. 5A and 5B . and an image may be displayed through the display 1030 using a similar method.

도 20은, 기준 착용 상태에서 사용자가 웨어러블 글래스(1000)를 착용하고 있는 경우를 도시한다. 웨어러블 글래스(1000)는, 도 20에 도시된 바와 같이 디스플레이(1030)를 통해 사용자에게 영상(2001)을 제공할 수 있다.20 illustrates a case in which the user wears the wearable glasses 1000 in the standard wearing state. The wearable glasses 1000 may provide an image 2001 to the user through the display 1030 as shown in FIG. 20 .

도 21a는, 도 20에 도시된 기준 착용 상태와 비교하여 웨어러블 글래스(1000)가 기울어진 경우, 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이를 통해 표시되는 영상을 조정하는 경우를 도시한다.21A illustrates a case in which an image displayed through a display is adjusted based on the inclination of the wearable glasses 1000 when the wearable glasses 1000 are tilted compared to the reference wearing state illustrated in FIG. 20 .

기준 착용 상태와 비교하여 웨어러블 글래스(1000)가 사용자가 정면을 바라보는 시선 방향과 평행한 축을 기준으로 기울어진 경우, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 웨어러블 글래스(1000)가 회전한 각도(θ)를 상하 기울기로서 결정할 수 있다. 도 21a에 도시된 바와 같이, 웨어러블 글래스(1000)는, 결정된 상하 기울기만큼 반대 방향으로 회전된 영상(2101)을 디스플레이할 수 있다.When the wearable glasses 1000 are tilted based on an axis parallel to the gaze direction in which the user faces the front as compared to the reference wearing state, the wearable glasses 1000 according to an embodiment of the present disclosure are the wearable glasses 1000 The rotated angle θ can be determined as the vertical inclination. As shown in FIG. 21A , the wearable glasses 1000 may display the image 2101 rotated in the opposite direction by the determined vertical inclination.

도 19는 본 개시의 일 실시예에 따라 웨어러블 글래스(1000)가 웨어러블 글래스(1000)의 기울기에 기초하여 조정된 영상을 디스플레이하는 방법의 흐름도이다.19 is a flowchart of a method in which the wearable glasses 1000 display an image adjusted based on a tilt of the wearable glasses 1000 according to an embodiment of the present disclosure.

단계 S420에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이 영상의 크기, 회전 각도 및 형태 중 적어도 하나를 조정한다. 예를 들어, 웨어러블 글래스(1000)는 기준 착용 상태를 기준으로 사용자로부터 웨어러블 글래스(1000)까지의 거리가 달라지는 경우, 디스플레이되는 영상의 크기를 조정할 수 있다. 또는, 기준 착용 상태와 비교하여 소정 축을 기준으로 웨어러블 글래스(1000)가 기울어진 기울기를 결정하고, 웨어러블 글래스(1000)가 기울어진 방향의 역방향으로 디스플레이 영상을 회전할 수 있다. 또는, 웨어러블 글래스(1000)는, 기준 착용 상태를 기준으로 웨어러블 글래스(1000)의 위치 및 각도 중 적어도 하나가 변화하는 경우, 사용자에게 왜곡되지 않은 영상이 제공되도록 디스플레이 영상의 형태를 조정할 수 있다.In operation S420 , the wearable glasses 1000 according to an embodiment of the present disclosure adjust at least one of a size, a rotation angle, and a shape of a display image based on the inclination of the wearable glasses 1000 . For example, the wearable glasses 1000 may adjust the size of a displayed image when the distance from the user to the wearable glasses 1000 is changed based on the reference wearing state. Alternatively, the inclination of the wearable glasses 1000 may be determined based on a predetermined axis compared to the reference wearing state, and the display image may be rotated in a direction opposite to the direction in which the wearable glasses 1000 are inclined. Alternatively, when at least one of a position and an angle of the wearable glasses 1000 is changed based on the reference wearing state, the wearable glasses 1000 may adjust the display image to provide an undistorted image to the user.

단계 S450에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 웨어러블 글래스(1000)의 기울기에 기초하여 조정된 영상을 디스플레이한다.In operation S450 , the wearable glasses 1000 according to an embodiment of the present disclosure display an image adjusted based on the tilt of the wearable glasses 1000 .

도 21b는, 도 20에 도시된 기준 착용 상태와 비교하여 사용자로부터 웨어러블 글래스(1000)까지의 거리가 멀어진 경우, 웨어러블 글래스(1000)의 위치 변화에 기초하여 디스플레이를 통해 표시되는 영상을 조정하는 경우를 도시한다.FIG. 21B shows when the distance from the user to the wearable glasses 1000 increases compared to the reference wearing state shown in FIG. 20 , and when the image displayed through the display is adjusted based on a change in the position of the wearable glasses 1000 shows

기준 착용 상태와 비교하여 사용자로부터 웨어러블 글래스(1000)까지의 거리가 멀어진 경우, 사용자는 기준 착용 상태에서 제공되는 영상보다 작게 영상을 제공받게 된다. 따라서, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 웨어러블 글래스(1000)가 사용자로부터 멀어진 거리에 기초하여 확대된 영상(2103)을 디스플레이할 수 있다.When the distance from the user to the wearable glasses 1000 increases compared to the reference wearing state, the user is provided with an image smaller than the image provided in the reference wearing state. Accordingly, the wearable glasses 1000 according to an embodiment of the present disclosure may display an enlarged image 2103 based on the distance at which the wearable glasses 1000 are distant from the user.

도 21b는 사용자의 하나의 눈에 영상을 투사하는 프리즘을 이용하는 웨어러블 글래스의 경우를 예로 들어 도시하였다. 그러나 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 도 21b에 제한되지 않는다. 도 5a 및 5b에 도시된 바와 같이 양안식 디스플레이 형태로 구성되는 웨어러블 글래스(1000)의 경우, 웨어러블 글래스(1000)가 사용자에 대해 좌우로 기울어져 좌우 기울기가 존재하게 되면 웨어러블 글래스(1000)의 일측으로부터 사용자의 눈까지의 거리 및 웨어러블 글래스(1000)의 타측으로부터 사용자의 눈까지의 거리가 달라지게 된다.21B illustrates a case of wearable glasses using a prism for projecting an image to one eye of a user as an example. However, the wearable glasses 1000 according to an embodiment of the present disclosure are not limited to FIG. 21B . As shown in FIGS. 5A and 5B , in the case of the wearable glasses 1000 configured in the form of a binocular display, if the wearable glasses 1000 are tilted left and right with respect to the user and a left and right inclination exists, one side of the wearable glasses 1000 The distance from the to the user's eye and the distance from the other side of the wearable glasses 1000 to the user's eye are changed.

사용자에 대해서 웨어러블 글래스(1000)가 좌우로 기울어진 경우, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자에 대해서 웨어러블 글래스(1000)가 좌우로 기울어진 각도를 좌우 기울기로서 결정할 수 있다.When the wearable glasses 1000 are tilted from side to side with respect to the user, the wearable glasses 1000 according to an embodiment of the present disclosure may determine the angle at which the wearable glasses 1000 are tilted from side to side with respect to the user as the left and right tilt. .

예를 들어, 도 17에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자의 양 눈의 장축(1501-1, 1501-2)의 길이에 기초하여, 웨어러블 글래스(1000)의 좌우 기울기를 결정할 수 있다. 웨어러블 글래스(1000)가 사용자에 대해 좌우로 기울어진 경우, 웨어러블 글래스(1000)의 일측으로부터 사용자의 눈까지의 거리가 변화할 수 있다. 따라서, 도 17에 도시된 바와 같이 웨어러블 글래스(1000)의 일측으로부터 사용자의 소정 눈까지의 거리가 멀어진 경우, 해당 눈을 촬영한 영상에 도시되는 해당 눈의 크기는 작아진다. 또한, 웨어러블 글래스(1000)의 타측으로부터 사용자의 소정 눈까지의 거리가 가까워진 경우, 해당 눈을 촬영한 영상에 도시되는 눈의 크기는 커진다.For example, as shown in FIG. 17 , the wearable glasses 1000 according to an embodiment of the present disclosure are based on the lengths of the long axes 1501-1 and 1501-2 of both eyes of the user. It is possible to determine the left and right slope of (1000). When the wearable glasses 1000 are tilted left and right with respect to the user, the distance from one side of the wearable glasses 1000 to the user's eyes may change. Accordingly, as shown in FIG. 17 , when the distance from one side of the wearable glasses 1000 to the user's predetermined eye increases, the size of the corresponding eye shown in the image obtained by photographing the corresponding eye decreases. In addition, when the distance from the other side of the wearable glasses 1000 to the user's predetermined eye increases, the size of the eye shown in the image obtained by photographing the corresponding eye increases.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 기준 착용 상태와 비교하여 웨어러블 글래스(1000)의 좌우 기울기를 결정하고, 결정된 좌우 기울기만큼 디스플레이되고 있는 영상의 크기를 조정할 수 있다. 예를 들어, 웨어러블 글래스(1000)는, 좌우 기울기에 기초하여, 웨어러블 글래스(1000)로부터 사용자의 눈까지의 거리 변화를 추정할 수 있다. 웨어러블 글래스(1000)는 추정된 거리 변화에 기초하여 디스플레이되고 있는 영상의 크기를 조정할 수 있다.The wearable glasses 1000 according to an embodiment of the present disclosure may determine a left/right tilt of the wearable glasses 1000 compared to a reference wearing state, and may adjust the size of a displayed image by the determined left/right tilt. For example, the wearable glasses 1000 may estimate a change in the distance from the wearable glasses 1000 to the user's eyes based on the left and right inclinations. The wearable glasses 1000 may adjust the size of the image being displayed based on the estimated distance change.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 기울기에 기초하여 필요한 영상 조정(예를 들어, 수평 변환(horizontal translation), 수직 변환(vertical translation), 키 스토닝(keystoning), 및/또는 사용자가 왜곡되지 않은 영상을 제공 받을 수 있도록 보정하는 다양한 영상 처리)을 수행할 수 있다.In the wearable glasses 1000 according to an embodiment of the present disclosure, necessary image adjustments (eg, horizontal translation, vertical translation), and key stoning are performed based on the tilt of the wearable glasses 1000 . (keystoning, and/or various image processing for correcting so that the user can receive an undistorted image) may be performed.

이하, 본 개시의 일부 실시예에 따른 웨어러블 글래스(1000)가 디스플레이를 통해 표시되는 영상을 조정하는 구체적인 방법과 관련하여 도 22a, 22b 및 22c를 참조하여 설명한다.Hereinafter, a detailed method of adjusting an image displayed through the display by the wearable glasses 1000 according to some embodiments of the present disclosure will be described with reference to FIGS. 22A, 22B and 22C.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 기준 착용 상태와 비교하여 사용자에 대한 웨어러블 글래스(1000)의 위치 변화를 결정할 수 있다. 예를 들어, 웨어러블 글래스(1000)는 기준 착용 상태와 비교하여 웨어러블 글래스(1000)의 기울기를 결정할 수 있다.The wearable glasses 1000 according to an embodiment of the present disclosure may determine a change in the position of the wearable glasses 1000 with respect to the user in comparison with the reference wearing state. For example, the wearable glasses 1000 may determine the inclination of the wearable glasses 1000 in comparison with the reference wearing state.

웨어러블 글래스(1000)는, 결정된 위치 변화에 기초하여, 디스플레이(1030)를 통해 표시되는 영상을 조정할 수 있다. 웨어러블 글래스(1000)는, 화면 상에 표시되는 영상에 대해 변환식을 적용하여 재맵핑함으로써, 조정된 영상을 표시할 수 있다.The wearable glasses 1000 may adjust an image displayed through the display 1030 based on the determined change in position. The wearable glasses 1000 may display the adjusted image by applying a transformation equation to the image displayed on the screen and re-mapping.

도 22a에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 디스플레이(1030)를 통해 영상(2201)을 표시할 수 있다. 22A , the wearable glasses 1000 according to an embodiment of the present disclosure may display an image 2201 through a display 1030 .

사용자가 웨어러블 글래스(10)를 장시간 착용하고 있는 경우, 사용자의 움직임 또는 외부 환경 변화에 따라 사용자의 머리 상에서 웨어러블 글래스(1000)의 위치가 바뀔 수 있다. 웨어러블 글래스(1000)는, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 착용 상태 정보를 획득할 수 있다. 웨어러블 글래스(1000)는, 미리 결정된 기준 착용 상태를 기준으로 획득된 착용 상태 정보로부터 웨어러블 글래스(1000)의 위치 변화 정도를 결정할 수 있다. 웨어러블 글래스(1000)는, 결정된 위치 변화에 기초하여, 디스플레이되고 있는 영상을 조정하기 위한 변환식을 산출할 수 있다.When the user wears the wearable glasses 10 for a long time, the position of the wearable glasses 1000 on the user's head may change according to the user's movement or changes in the external environment. The wearable glasses 1000 may acquire information about a wearing state in which the user is wearing the wearable glasses 1000 . The wearable glasses 1000 may determine the degree of change in the position of the wearable glasses 1000 from wearing state information obtained based on a predetermined reference wearing state. The wearable glasses 1000 may calculate a conversion equation for adjusting the displayed image based on the determined position change.

웨어러블 글래스(1000)에 의해 산출된 변환식은 수학식 1과 같이 나타낼 수 있다.The conversion equation calculated by the wearable glasses 1000 may be expressed as Equation (1).

Figure 112015014140909-pat00001
Figure 112015014140909-pat00001

수학식 1에서 src는 회전시키기 전의 원본 영상이며, dst는 회전 후의 결과 영상이다. (x,y)는 이미지의 좌표를 의미한다. fx(x,y)는 소정 픽셀의 x축 값에 대한 변환식을 의미하고, fy(x,y)는 소정 픽셀의 y축 값에 대한 변환식을 의미한다.In Equation 1, src is the original image before rotation, and dst is the result image after rotation. (x,y) means the coordinates of the image. fx(x,y) denotes a transformation equation for the x-axis value of a predetermined pixel, and fy(x,y) denotes a transformation equation for the y-axis value of a predetermined pixel.

도 22a에 도시된 바와 같이, 웨어러블 글래스(1000)는, 화면 상에 표시되는 영상(2201)에 대해 변환식을 적용하여 영상(2201) 내에 포함되는 각 픽셀을 재맵핑함으로써, 조정된 영상(2203)을 생성하고 표시할 수 있다. 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 디스플레이되고 있는 영상에 대해 변환식을 적용함으로써, 영상의 위치, 회전 각도, 크기 및 형태 중 적어도 하나를 조정할 수 있다.As shown in FIG. 22A , the wearable glasses 1000 apply a transformation equation to the image 2201 displayed on the screen and remap each pixel included in the image 2201 to adjust the image 2203 . can be created and displayed. The wearable glasses 1000 according to an embodiment of the present disclosure may adjust at least one of a position, a rotation angle, a size, and a shape of an image by applying a transformation equation to a displayed image.

도 22b는 웨어러블 글래스(1000)를 통해 제공되는 영상의 위치를 조정하는 방법을 도시한다. 도 22b에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 디스플레이(1030)를 통해 영상(2211)을 표시할 수 있다.22B illustrates a method of adjusting a position of an image provided through the wearable glasses 1000 . 22B , the wearable glasses 1000 according to an embodiment of the present disclosure may display an image 2211 through a display 1030 .

사용자가 웨어러블 글래스(1000)를 장시간 착용하고 있는 경우, 사용자의 움직임 또는 외부 환경 변화에 따라 사용자의 머리 상에서 웨어러블 글래스(1000)의 위치가 바뀔 수 있다. 사용자의 머리 상에서 웨어러블 글래스(1000)의 위치가 바뀌는 경우, 웨어러블 글래스(1000)를 통해 제공되는 영상이 사용자의 시야를 벗어날 수 있다. 특히, 웨어러블 글래스(1000)의 디스플레이(1030)가 프리즘 형태로 구성되는 경우, 사용자의 머리 상에서 웨어러블 글래스(1000)의 위치가 바뀌게 되면, 디스플레이(1030)의 프로젝터로부터 출력되는 빛이 포커싱되는 초점의 위치가 변경됨으로써 사용자가 왜곡된 영상을 제공받게 된다.When the user wears the wearable glasses 1000 for a long time, the position of the wearable glasses 1000 on the user's head may change according to the user's movement or changes in the external environment. When the position of the wearable glasses 1000 on the user's head is changed, an image provided through the wearable glasses 1000 may deviate from the user's field of view. In particular, when the display 1030 of the wearable glasses 1000 is configured in a prism shape, when the position of the wearable glasses 1000 on the user's head is changed, the light output from the projector of the display 1030 is focused. As the location is changed, the user is provided with a distorted image.

따라서, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 기준 착용 상태와 비교하여 사용자에 대한 웨어러블 글래스(1000)의 위치 변화를 결정하고, 결정된 위치 변화에 기초하여 디스플레이되고 있는 영상을 조정할 수 있다. 웨어러블 글래스(1000)는, 디스플레이되고 있는 영상(2211)을 조정하기 위한 변환식을 산출할 수 있다.Accordingly, the wearable glasses 1000 according to an embodiment of the present disclosure determine a change in the position of the wearable glasses 1000 with respect to the user compared to the reference wearing state, and adjust the displayed image based on the determined position change. can The wearable glasses 1000 may calculate a conversion equation for adjusting the displayed image 2211 .

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)가 디스플레이되고 있는 영상을 x축 방향으로 k만큼, y축 방향으로 l만큼 이동시키기 위해 산출되는 변환식은 수학식 2와 같이 나타낼 수 있다.A conversion equation calculated to move the image displayed on the wearable glasses 1000 by k in the x-axis direction and by l in the y-axis direction according to an embodiment of the present disclosure may be expressed as Equation (2).

Figure 112015014140909-pat00002
Figure 112015014140909-pat00002

수학식 2에서 src는 디스플레이되고 있는 위치를 변화시키기 전의 원본 영상이며, dst는 위치 변화 후의 결과 영상이다. (x,y)는 이미지의 좌표를 의미한다. 점(2215)는 디스플레이되고 있는 영상(2211) 내의 소정점을 의미한다. 도 22b는 디스플레이되고 있는 영상(2211)을 x축 방향으로 k만큼, y축 방향으로 l만큼 이동시키는 경우를 도시한다. 도 22b에 도시된 바와 같이, 기존에 디스플레이되고 있던 영상(2211) 내의 소정 픽셀(2215)은 x축 방향으로 k만큼, y축 방향으로 l만큼 이동되어 화면 상의 픽셀(2217)에 재맵핑될 수 있다.In Equation 2, src is the original image before changing the position being displayed, and dst is the result image after changing the position. (x,y) means the coordinates of the image. The point 2215 means a predetermined point in the image 2211 being displayed. 22B illustrates a case in which the displayed image 2211 is moved by k in the x-axis direction and by l in the y-axis direction. As shown in FIG. 22B , a predetermined pixel 2215 in an image 2211 that was previously displayed may be moved by k in the x-axis direction and by l in the y-axis direction to be remapped to a pixel 2217 on the screen. have.

도 22b에 도시된 바와 같이, 웨어러블 글래스(1000)는, 화면 상에 표시되는 영상(2211)에 대해 수학식 2를 적용하여 영상(2211) 내에 포함되는 각 픽셀을 재맵핑함으로써, 조정된 영상(2213)을 생성하고 표시할 수 있다.도 22c는 웨어러블 글래스(1000)를 통해 제공되는 영상을 소정 각도로 회전하는 방법을 도시한다. 도 22c에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 디스플레이(1030)를 통해 영상(2221)을 표시할 수 있다.As shown in FIG. 22B , the wearable glasses 1000 apply Equation 2 to the image 2211 displayed on the screen and remap each pixel included in the image 2211 to obtain an adjusted image ( 2213 may be generated and displayed. FIG. 22C illustrates a method of rotating an image provided through the wearable glasses 1000 by a predetermined angle. As shown in FIG. 22C , the wearable glasses 1000 according to an embodiment of the present disclosure may display an image 2221 through a display 1030 .

사용자가 웨어러블 글래스(1000)를 장시간 착용하고 있는 경우, 사용자의 움직임 또는 외부 환경 변화에 따라 사용자의 머리 상에서 웨어러블 글래스(1000)의 위치가 바뀔 수 있다. 사용자의 머리 상에서 웨어러블 글래스(1000)가 소정 축을 기준으로 회전하는 경우, 사용자가 왜곡된 영상을 제공받게 된다.When the user wears the wearable glasses 1000 for a long time, the position of the wearable glasses 1000 on the user's head may change according to the user's movement or changes in the external environment. When the wearable glasses 1000 on the user's head rotate about a predetermined axis, the user is provided with a distorted image.

따라서, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 기준 착용 상태와 비교하여 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정하고, 결정된 기울기에 기초하여 디스플레이되고 있는 영상을 조정할 수 있다. 웨어러블 글래스(1000)는, 디스플레이되고 있는 영상(2221)을 조정하기 위한 변환식을 산출할 수 있다. 예를 들어, 기준 착용 상태와 비교하여 웨어러블 글래스(1000)가 사용자가 정면을 바라보는 시선 방향과 평행한 축을 기준으로 기울어진 경우, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 웨어러블 글래스(1000)가 회전한 각도(θ)를 상하 기울기로서 결정할 수 있다. 도 22c에 도시된 바와 같이, 웨어러블 글래스(1000)는, 결정된 상하 기울기만큼 반대 방향으로 회전된 영상(2221)을 디스플레이할 수 있다.Accordingly, the wearable glasses 1000 according to an embodiment of the present disclosure may determine the inclination of the wearable glasses 1000 for the user compared to the reference wearing state, and adjust the displayed image based on the determined inclination. . The wearable glasses 1000 may calculate a conversion equation for adjusting the displayed image 2221 . For example, when the wearable glasses 1000 are tilted based on an axis parallel to the gaze direction in which the user faces the front, compared to the reference wearing state, the wearable glasses 1000 according to an embodiment of the present disclosure are the wearable glasses. The angle θ rotated by (1000) may be determined as the vertical inclination. As shown in FIG. 22C , the wearable glasses 1000 may display an image 2221 rotated in the opposite direction by the determined vertical inclination.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)가 디스플레이되고 있는 영상을 상하 기울기만큼 반대 방향으로 회전시키기 위해 산출되는 변환식은 수학식 3과 같이 나타낼 수 있다. A conversion equation calculated to rotate the image displayed on the wearable glasses 1000 in the opposite direction by the vertical inclination according to an embodiment of the present disclosure may be expressed as Equation (3).

웨어러블 글래스(1000)가 기울어진 반대 방향으로 디스플레이 영상을 회전하기 위한 변환 행렬 M은 다음과 같이 나타낼 수 있다. 즉, M은 디스플레이 영상을 -θ°만큼 회전시키기 위한 변환 행렬이다.A transformation matrix M for rotating the display image in the opposite direction in which the wearable glasses 1000 is tilted may be expressed as follows. That is, M is a transformation matrix for rotating the display image by -θ°.

Figure 112015014140909-pat00003
Figure 112015014140909-pat00003

Figure 112015014140909-pat00004
Figure 112015014140909-pat00004

Figure 112015014140909-pat00005
Figure 112015014140909-pat00005

상기 수학식 3에서 center는 회전시키고자 하는 디스플레이 영상의 중심점이고, scale은 디스플레이 영상에 변환 행렬을 적용하여 도출된 결과 영상의 크기를 결정하는 파라미터이다.In Equation 3, center is the center point of the display image to be rotated, and scale is a parameter that determines the size of the resulting image derived by applying a transformation matrix to the display image.

디스플레이 영상에 변환 행렬을 적용하여 산출되는 변환식은 수학식 4와 같이 나타낼 수 있다.A transformation equation calculated by applying a transformation matrix to a display image may be expressed as Equation (4).

Figure 112015014140909-pat00006
Figure 112015014140909-pat00006

수학식 4에서 src는 회전시키기 전의 원본 영상이며, dst는 회전 후의 결과 영상이다. (x,y)는 이미지의 좌표를 의미한다. 도 22c에 도시된 바와 같이, 웨어러블 글래스(1000)는 디스플레이되고 있던 영상(2221)을 중심점(2225)을 기준으로 -θ°만큼 회전된 영상(2223)을 생성하고 표시할 수 있다. In Equation 4, src is the original image before rotation, and dst is the result image after rotation. (x,y) means the coordinates of the image. As shown in FIG. 22C , the wearable glasses 1000 may generate and display an image 2223 that is rotated by -θ° with respect to the central point 2225 of the displayed image 2221 .

한편, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 디스플레이 상에 표시되는 영상을 웨어러블 글래스(1000)의 기울기에 기초하여 조정된 영상으로 갱신하여 디스플레이함에 있어서, 애니메이션 효과를 적용할 수 있다.Meanwhile, in the wearable glasses 1000 according to an embodiment of the present disclosure, an animation effect may be applied when an image displayed on the display is updated to an image adjusted based on the inclination of the wearable glasses 1000 and displayed. .

예를 들어, 도 23에 도시된 바와 같이, 웨어러블 글래스(1000)는, 디스플레이 영상(2301)이 화살표(2305) 방향으로 회전되어 디스플레이됨을 나타내는 애니메이션 효과를 디스플레이(1030)를 통해 디스플레이되는 영상(2301)에 대해 적용할 수 있다.For example, as shown in FIG. 23 , the wearable glasses 1000 display an animation effect indicating that the display image 2301 is rotated and displayed in the direction of the arrow 2305 to be displayed on the image 2301 displayed through the display 1030 . ) can be applied to

웨어러블 글래스(1000)의 기울기에 기초한 영상 조정 동작이 완료된 후에는, 도 24에 도시된 바와 같이, 영상 조정 동작이 완료되었음을 나타내는 영상(2401)을 출력할 수 있다.After the image adjustment operation based on the inclination of the wearable glasses 1000 is completed, as shown in FIG. 24 , an image 2401 indicating that the image adjustment operation is completed may be output.

한편, 본 개시의 일 실시예에 따르면, 웨어러블 글래스(1000)의 기울기에 기초하여 조정된 영상이 웨어러블 글래스(1000)가 디스플레이할 수 있는 영역을 벗어나는 경우, 조정된 영상을 축소하여 디스플레이할 수 있다.Meanwhile, according to an embodiment of the present disclosure, when an image adjusted based on the inclination of the wearable glasses 1000 is out of an area that can be displayed by the wearable glasses 1000, the adjusted image may be reduced and displayed. .

도 25는 본 개시의 일 실시예에 따라 웨어러블 글래스가 조정된 영상을 축소하여 디스플레이하는 방법의 흐름도이다.25 is a flowchart of a method for displaying a reduced image of which wearable glasses are adjusted according to an embodiment of the present disclosure;

도 25의 단계 S200, S300, 및 S400은 도 6의 단계 S200, S300, 및 S400과 각각 대응되므로, 중복되는 설명은 생략한다.Steps S200 , S300 , and S400 of FIG. 25 correspond to steps S200 , S300 , and S400 of FIG. 6 , respectively, and thus overlapping descriptions will be omitted.

도 25에 도시된 바와 같이, 단계 S430에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 결정된 기울기에 기초하여, 디스플레이 상에 표시되는 영상을 조정한다.25 , in step S430 , the wearable glasses 1000 according to an embodiment of the present disclosure adjust an image displayed on the display based on the determined inclination.

단계 S440에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 조정된 영상이 웨어러블 글래스(1000)가 디스플레이할 수 있는 영역을 벗어나는지 여부를 결정한다.In operation S440 , the wearable glasses 1000 according to an embodiment of the present disclosure determine whether the adjusted image is out of a display area of the wearable glasses 1000 .

일 예로서, 도 4a, 4b, 5a 및 5b에 도시된 디스플레이 방식의 웨어러블 글래스(1000)에 있어서 웨어러블 글래스(1000)가 디스플레이할 수 있는 영역이란, 영상을 구성하는 픽셀들에 대응되는 빛 및 색상을 출력할 수 있는 디스플레이(1030) 상의 영역을 의미할 수 있다. 다른 예로서 도 3a 및 3b에 도시된 프리즘 방식의 웨어러블 글래스(1000)에 있어서 웨어러블 글래스(1000)가 디스플레이할 수 있는 영역이란, 웨어러블 글래스(1000)에 내장된 프로젝터로부터 출력되는 빛을 반사시켜 웨어러블 글래스(1000)를 착용하는 사용자의 눈의 망막(retina)의 횡반(fovea)에 영상을 포커싱할 수 있는 영역을 의미할 수 있다.As an example, in the display-type wearable glasses 1000 shown in FIGS. 4A, 4B, 5A, and 5B, the area that the wearable glasses 1000 can display is light and color corresponding to pixels constituting the image. It may mean an area on the display 1030 that can output . As another example, in the prismatic wearable glasses 1000 shown in FIGS. 3A and 3B , the area that the wearable glasses 1000 can display is a wearable area by reflecting light output from a projector built in the wearable glasses 1000 . It may refer to an area capable of focusing an image on a fovea of a retina of a user's eye wearing the glasses 1000 .

예를 들어, 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이 영상을 회전함에 있어서, 회전 각도가 소정값 이상인 경우, 웨어러블 글래스(1000)는 조정된 영상이 웨어러블 글래스(1000)가 디스플레이할 수 있는 영역을 벗어나는 것으로 판단할 수 있다. For example, in rotating the display image based on the inclination of the wearable glasses 1000 , when the rotation angle is greater than or equal to a predetermined value, the wearable glasses 1000 may display the adjusted image on the area in which the wearable glasses 1000 can display. can be considered as out of

또는, 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이 영상의 크기를 변경함에 있어서, 변경된 디스플레이 영상의 크기가 소정값 이상인 경우, 웨어러블 글래스(1000)는 조정된 영상이 웨어러블 글래스(1000)가 디스플레이할 수 있는 영역을 벗어나는 것으로 판단할 수 있다.Alternatively, in changing the size of the display image based on the inclination of the wearable glasses 1000 , when the size of the changed display image is greater than or equal to a predetermined value, the wearable glasses 1000 display the adjusted image to be displayed by the wearable glasses 1000 . It can be judged to be outside the scope of

조정된 영상이 웨어러블 글래스(1000)가 디스플레이할 수 있는 영역 내에 포함되는 경우, 단계 S470에서 웨어러블 글래스(1000)는 조정된 영상을 디스플레이할 수 있다. 반면에, 조정된 영상이 웨어러블 글래스(1000)가 디스플레이할 수 있는 영역을 벗어나는 경우, 단계 S460에서 웨어러블 글래스(1000)는 조정된 영상을 축소할 수 있다.When the adjusted image is included in the area that can be displayed by the wearable glasses 1000 , the wearable glasses 1000 may display the adjusted image in operation S470 . On the other hand, when the adjusted image is out of a display area of the wearable glasses 1000 , the wearable glasses 1000 may reduce the adjusted image in operation S460 .

도 26은 본 개시의 일 실시예에 따라 웨어러블 글래스의 기울기에 기초하여 축소되어 디스플레이되는 영상을 설명하기 위한 도면이다.26 is a view for explaining an image that is reduced and displayed based on a tilt of wearable glasses according to an embodiment of the present disclosure;

도 26은, 도 20에 도시된 기준 착용 상태와 비교하여 웨어러블 글래스(1000)가 기울어진 경우, 사용자에 대한 웨어러블 글래스(1000)의 상하 기울기에 기초하여, 디스플레이 상에 표시되는 영상의 회전 각도를 조정하는 경우를 도시한다. 이 때, 도 26에서 점선(2601)으로 도시된 바와 같이, 조정된 영상이 디스플레이할 수 있는 영역을 벗어나는 경우, 본 개시의 일 실시예에 따라 웨어러블 글래스(1000)는 조정된 영상을 축소하고, 축소된 영상(2603)을 디스플레이할 수 있다.26 is a diagram illustrating a rotation angle of an image displayed on a display based on a vertical inclination of the wearable glasses 1000 with respect to a user when the wearable glasses 1000 are tilted compared to the reference wearing state shown in FIG. 20 . A case of adjustment is shown. At this time, as shown by a dotted line 2601 in FIG. 26 , when the adjusted image is outside the displayable area, the wearable glasses 1000 reduce the adjusted image according to an embodiment of the present disclosure, A reduced image 2603 may be displayed.

한편, 기준 착용 상태와 비교하여 사용자에 대한 웨어러블 글래스(1000)의 위치가 크게 변경되는 경우, 웨어러블 글래스(1000)가 기울기에 기초하여 디스플레이 상에 표시되는 영상을 조정하더라도 사용자에게 왜곡된 영상이 제공될 수 있다. 이러한 경우, 본 개시의 일 실시예에 따르면, 웨어러블 글래스(1000)는 사용자에게 HMD 장치(1000)의 위치를 바로 잡을 것을 안내하는 영상을 출력할 수 있다.On the other hand, when the position of the wearable glasses 1000 with respect to the user is significantly changed compared to the reference wearing state, a distorted image is provided to the user even if the image displayed on the display is adjusted based on the inclination of the wearable glasses 1000 can be In this case, according to an embodiment of the present disclosure, the wearable glasses 1000 may output an image guiding the user to correct the position of the HMD device 1000 .

도 27은 본 개시의 일 실시예에 따라 웨어러블 글래스가 사용자에게 웨어러블 글래스를 고쳐쓰도록 통지하는 영상을 디스플레이하는 방법의 흐름도이다. 27 is a flowchart of a method of displaying an image in which wearable glasses notify a user to rewrite wearable glasses according to an embodiment of the present disclosure;

도 27의 단계 S200, 및 S300은 도 6의 단계 S200, 및 S300과 각각 대응되므로, 중복되는 설명은 생략한다.Steps S200 and S300 of FIG. 27 correspond to steps S200 and S300 of FIG. 6 , respectively, and thus overlapping descriptions will be omitted.

도 27에 도시된 바와 같이, 단계 S300에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정한다.27 , in step S300 , the wearable glasses 1000 according to an embodiment of the present disclosure determine the inclination of the wearable glasses 1000 with respect to the user.

단계 S350에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 단계 S300에서 결정된 웨어러블 글래스(1000)의 기울기가 소정값 이상인지 여부를 결정한다. 이 때, 소정값은 미리 저장된 값이거나, 사용자에 의해 설정된 값일 수 있다.In operation S350 , the wearable glasses 1000 according to an embodiment of the present disclosure determine whether the inclination of the wearable glasses 1000 determined in operation S300 is equal to or greater than a predetermined value. In this case, the predetermined value may be a value stored in advance or a value set by the user.

결정된 웨어러블 글래스(1000)의 기울기가 소정값 미만인 경우, 단계 S430에서 웨어러블 글래스(1000)는 결정된 기울기에 기초하여 디스플레이 상에 표시되는 영상을 조정할 수 있다. 반면에, 웨어러블 글래스(1000)의 기울기가 소정값 이상인 경우, 단계 S480에서 웨어러블 글래스(1000)는 사용자에게 웨어러블 글래스(1000)를 고쳐 쓰도록 통지하는 영상을 디스플레이할 수 있다.When the determined inclination of the wearable glasses 1000 is less than a predetermined value, in operation S430 , the wearable glasses 1000 may adjust an image displayed on the display based on the determined inclination. On the other hand, when the inclination of the wearable glasses 1000 is equal to or greater than a predetermined value, in step S480 , the wearable glasses 1000 may display an image notifying the user to rewrite the wearable glasses 1000 .

도 28은 본 개시의 일 실시예에 따라 디스플레이되는 사용자에게 웨어러블 글래스를 고쳐 쓰도록 통지하는 영상의 예를 도시한다.28 illustrates an example of an image displayed to notify a user to rewrite wearable glasses according to an embodiment of the present disclosure.

도 28에 도시된 바와 같이, 웨어러블 글래스(1000)의 기울기가 소정값 이상인 경우, 웨어러블 글래스(1000)는 사용자에게 웨어러블 글래스(1000)를 고쳐 쓰도록 통지하는 영상(2801)을 디스플레이(1030) 상에 디스플레이할 수 있다. 사용자에게 웨어러블 글래스(1000)를 고쳐 쓰도록 통지하는 영상(2801)은, 웨어러블 글래스(1000)가 사용자에게 바르게 착용된 상태(즉, 기준 착용 상태)에 대한 정보를 제공하는 영상을 포함할 수 있다. As shown in FIG. 28 , when the inclination of the wearable glasses 1000 is equal to or greater than a predetermined value, the wearable glasses 1000 display an image 2801 informing the user to rewrite the wearable glasses 1000 on the display 1030 . can be displayed on The image 2801 notifying the user to rewrite the wearable glasses 1000 may include an image providing information on a state in which the wearable glasses 1000 is properly worn to the user (ie, a reference wearing state). .

예를 들어, 도 28에 도시된 바와 같이, 사용자에게 웨어러블 글래스(1000)를 고쳐 쓰도록 통지하는 영상(2801)은, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 상태가 기준 착용 상태가 되도록 하기 위해서 어떠한 방향으로 웨어러블 글래스(1000)를 고쳐 써야하는지 안내하는 영상(2803)을 포함할 수 있다.For example, as shown in FIG. 28 , the image 2801 notifying the user to rewrite the wearable glasses 1000 is such that the state in which the user is wearing the wearable glasses 1000 becomes the reference wearing state. For this purpose, an image 2803 guiding in which direction the wearable glasses 1000 should be rewritten may be included.

웨어러블 글래스(1000)를 고쳐 쓰도록 통지하는 영상을 제공받은 사용자는, 웨어러블 글래스(1000)의 위치를 물리적으로 변경할 수 있다. 웨어러블 글래스(1000)는, 사용자에게 웨어러블 글래스(1000)를 고쳐쓰도록 통지하는 영상을 디스플레이한 후, 단계 S200으로 돌아가 사용자의 착용 상태에 대한 정보에 기초하여 영상을 조정하는 동작을 반복할 수 있다.A user who is provided with an image notifying that the wearable glasses 1000 needs to be rewritten may physically change the position of the wearable glasses 1000 . The wearable glasses 1000 may display an image notifying the user to rewrite the wearable glasses 1000, then return to step S200 and repeat the operation of adjusting the image based on the information on the user's wearing state. .

한편, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자가 웨어러블 글래스(1000)를 고쳐 쓰도록 유도하는 가이드 영상을 디스플레이할 수 있다.Meanwhile, the wearable glasses 1000 according to an embodiment of the present disclosure may display a guide image inducing a user to rewrite the wearable glasses 1000 .

도 29는 본 개시의 일 실시예에 따라 디스플레이되는 사용자에게 웨어러블 글래스를 고쳐쓰도록 유도하는 가이드 영상의 예를 도시한다.29 illustrates an example of a guide image to induce a user to rewrite wearable glasses, which is displayed according to an embodiment of the present disclosure.

도 29에 도시된 바와 같이, 웨어러블 글래스(1000)의 기울기가 소정값 이상인 경우, 웨어러블 글래스(1000)는 사용자가 웨어러블 글래스(1000)를 고쳐쓰도록 통지하는 영상(2901)을 디스플레이(1030) 상에 디스플레이할 수 있다. 이 때, 사용자가 웨어러블 글래스(1000)를 고쳐쓰도록 통지하는 영상(2901)은 사용자에게 웨어러블 글래스(1000)를 고쳐쓰도록 유도하는 가이드 영상(2905)을 포함할 수 있다.As shown in FIG. 29 , when the inclination of the wearable glasses 1000 is equal to or greater than a predetermined value, the wearable glasses 1000 display an image 2901 informing the user to rewrite the wearable glasses 1000 on the display 1030 . can be displayed on In this case, the image 2901 instructing the user to rewrite the wearable glasses 1000 may include a guide image 2905 inducing the user to rewrite the wearable glasses 1000 .

가이드 영상(2905)은, 기준 착용 상태 에 대한 정보를 제공하는 영상일 수 있다. 예를 들어, 도 29에 도시된 바와 같이, 가이드 영상(2905)은, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 상태가 기준 착용 상태가 되도록 하기 위해서 어떠한 방향으로 웨어러블 글래스(1000)를 고쳐 써야하는지 안내하는 영상일 수 있다.The guide image 2905 may be an image providing information on the standard wearing state. For example, as shown in FIG. 29 , in the guide image 2905 , the wearable glasses 1000 must be rewritten in any direction so that the state in which the user is wearing the wearable glasses 1000 becomes the reference wearing state. It may be a video that guides you on how to do it.

예를 들어, 가이드 영상(2905)은, 웨어러블 글래스(1000)가 수평 상태(즉, 웨어러블 글래스(1000)가 지구 중력의 방향과 직각을 이루는 상태)일 경우를 나타내는 영상이거나, 웨어러블 글래스(1000)가 기준 위치에 위치할 경우 사용자에게 제공될 것으로 예상되는 영상일 수 있다. 기준 위치란, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 상태가 기준 착용 상태인 경우에 있어서 사용자에 대한 웨어러블 글래스(1000)의 위치를 의미하는 것으로서, 디폴트 값으로서 미리 저장된 값이나 사용자에 의해 설정된 값에 의해 결정될 수 있다.For example, the guide image 2905 is an image representing a case in which the wearable glasses 1000 are in a horizontal state (that is, a state in which the wearable glasses 1000 are perpendicular to the direction of the earth's gravity) or the wearable glasses 1000 It may be an image expected to be provided to the user when is located at the reference position. The reference position refers to the position of the wearable glasses 1000 relative to the user when the user wears the wearable glasses 1000 as the reference wearing state. It can be determined by value.

예를 들어, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 내장된 센서에 기초하여, 웨어러블 글래스(1000)가 수평 상태일 때 사용자에게 제공될 것으로 추측되는 영상을 가이드 영상(2905)으로서 디스플레이할 수 있다.For example, in the wearable glasses 1000 according to an embodiment of the present disclosure, based on a built-in sensor, an image estimated to be provided to the user when the wearable glasses 1000 is in a horizontal state is displayed as a guide image 2905 . can be displayed as

따라서, 도 29에 도시된 바와 같이, 사용자는 디스플레이 영상(2903)과 가이드 영상(2905)이 대응되도록 웨어러블 글래스(1000)의 위치를 물리적으로 변경할 수 있다.Accordingly, as shown in FIG. 29 , the user may physically change the position of the wearable glasses 1000 so that the display image 2903 and the guide image 2905 correspond.

일 예로서, 가이드 영상(2905)이 웨어러블 글래스(1000)가 수평 상태일 경우를 나타내는 영상인 경우, 디스플레이 영상(2903)과 가이드 영상(2905)이 대응되는 것은 웨어러블 글래스(1000)가 수평 상태에 위치함을 나타낸다. 따라서, 사용자는, 디스플레이 영상(2903)과 가이드 영상(2905)이 대응될 때까지 웨어러블 글래스(100)의 위치를 변경하는 동작을 반복함으로써, 웨어러블 글래스(1000)가 수평 상태에 위치하도록 할 수 있다.As an example, when the guide image 2905 is an image representing a case in which the wearable glasses 1000 are in a horizontal state, the correspondence between the display image 2903 and the guide image 2905 indicates that the wearable glasses 1000 are in a horizontal state. indicates location. Accordingly, the user may repeat the operation of changing the position of the wearable glasses 100 until the display image 2903 and the guide image 2905 match, so that the wearable glasses 1000 are positioned in a horizontal state. .

다른 예로서, 가이드 영상(2905)이 웨어러블 글래스(1000)가 기준 위치에 위치할 경우를 나타내는 영상인 경우, 디스플레이 영상(2903)과 가이드 영상(2905)이 대응되는 것은 웨어러블 글래스(1000)가 사용자가 영상을 제공받기에 가장 적합한 위치에 위치함을 나타낸다. 따라서, 사용자는, 디스플레이 영상(2903)과 가이드 영상(2905)이 대응될 때까지 웨어러블 글래스(100)의 위치를 변경하는 동작을 반복함으로써, 웨어러블 글래스(1000)가 기준 위치에 위치하도록 할 수 있다.As another example, when the guide image 2905 is an image representing a case in which the wearable glasses 1000 are positioned at the reference position, the correspondence between the display image 2903 and the guide image 2905 is that the wearable glasses 1000 are the user indicates that is located in the most suitable position to receive the image. Accordingly, the user may repeat the operation of changing the position of the wearable glasses 100 until the display image 2903 and the guide image 2905 match, so that the wearable glasses 1000 are located at the reference position. .

한편, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 상태가 기준 착용 상태가 되도록 하기 위해서 사용자에 의해 웨어러블 글래스(1000)의 위치를 변경하는 것에 제한되지 않는다. 웨어러블 글래스(1000)는, 사용자의 웨어러블 글래스(1000) 착용 상태를 바꿀 수 있는 구동부(미도시)를 포함할 수 있다. 예를 들어, 웨어러블 글래스(1000)가 안경과 같은 형태일 경우, 웨어러블 글래스(1000)는, 다리 또는 코걸이 내에 구동부(미도시)를 포함함으로써 사용자에 대한 웨어러블 글래스(1000)의 기울어짐을 보정할 수 있다.On the other hand, in the wearable glasses 1000 according to an embodiment of the present disclosure, the position of the wearable glasses 1000 is changed by the user so that the state in which the user is wearing the wearable glasses 1000 becomes the reference wearing state. not limited to The wearable glasses 1000 may include a driving unit (not shown) capable of changing a wearable state of the wearable glasses 1000 by the user. For example, when the wearable glasses 1000 have the same shape as glasses, the wearable glasses 1000 may correct the inclination of the wearable glasses 1000 with respect to the user by including a driving unit (not shown) in the legs or nose pads. have.

한편, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 기울기뿐만 아니라 웨어러블 글래스(1000)의 위치나 외부 환경의 밝기 변화를 더 고려하여 디스플레이 상에 표시되는 영상을 조정할 수 있다. 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 위치나 외부 환경의 밝기 변화에 기초하여, 디스플레이(1030) 상에 디스플레이되는 영상의 밝기를 변경할 수 있다. 예를 들어, 웨어러블 글래스(1000)는, 사용자의 눈을 촬영한 영상을 이용하여 외부 환경의 밝기 변화를 결정할 수 있다.On the other hand, the wearable glasses 1000 according to an embodiment of the present disclosure take into consideration not only the inclination of the wearable glasses 1000 but also the position of the wearable glasses 1000 or the change in brightness of the external environment to display an image displayed on the display. Can be adjusted. The wearable glasses 1000 may change the brightness of an image displayed on the display 1030 based on a position of the wearable glasses 1000 or a change in brightness of an external environment. For example, the wearable glasses 1000 may determine a change in brightness of the external environment using an image captured by the user's eyes.

도 30은 본 개시의 일 실시예에 따라 웨어러블 글래스가 디스플레이 영상을 조정하는 방법의 흐름도이다.30 is a flowchart of a method of adjusting a display image by wearable glasses according to an embodiment of the present disclosure;

단계 S510에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자의 눈을 촬영한 영상을 이용하여 웨어러블 글래스(1000)가 움직인 방향 및 거리 중 적어도 하나를 결정할 수 있다. In operation S510 , the wearable glasses 1000 according to an embodiment of the present disclosure may determine at least one of a direction and a distance in which the wearable glasses 1000 move by using an image captured by the user's eyes.

예를 들어, 웨어러블 글래스(1000)는 사용자의 눈을 촬영한 영상으로부터 사용자의 눈의 위치값을 결정할 수 있다. 웨어러블 글래스(1000)는, 결정된 위치값과 기준 착용 상태 정보에 포함되는 기준값을 비교하고, 비교 결과에 기초하여 웨어러블 글래스가(1000) 움직인 방향 및 거리 중 적어도 하나를 결정할 수 있다.For example, the wearable glasses 1000 may determine the position value of the user's eye from an image obtained by photographing the user's eye. The wearable glasses 1000 may compare the determined position value with a reference value included in the reference wearing state information, and determine at least one of a direction and a distance in which the wearable glasses 1000 moved based on the comparison result.

도 31은 본 개시의 일 실시예에 따라 웨어러블 글래스가 디스플레이 영상의 위치 및 크기를 조정하는 방법을 설명하기 위한 도면이다.31 is a view for explaining a method of adjusting a position and size of a display image by wearable glasses according to an embodiment of the present disclosure;

도 31에는 사용자의 눈을 촬영한 영상으로부터 결정된 사용자의 눈에 대응하는 제1 영역(1301) 및 사용자의 눈동자에 대응하는 제2 영역(1401)이 도시된다. 도 31은, 사용자의 눈동자의 위치를 나타내는 값에 기초하여 웨어러블 글래스(1000)가 움직인 방향 및 거리를 결정하는 경우를 예로서 도시한다. 예를 들어, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자의 눈동자에 대응되는 제2 영역(1401)의 중심(1405)의 위치를 눈동자의 위치를 나타내는 값으로 결정할 수 있다.31 shows a first area 1301 corresponding to the user's eye and a second area 1401 corresponding to the user's pupil determined from an image obtained by photographing the user's eye. 31 illustrates an example in which the direction and distance in which the wearable glasses 1000 are moved are determined based on a value indicating the position of the user's pupil. For example, the wearable glasses 1000 according to an embodiment of the present disclosure may determine the position of the center 1405 of the second region 1401 corresponding to the pupil of the user as a value indicating the position of the pupil.

도 31에 도시된 바와 같이, 웨어러블 글래스(1000)는 사용자의 눈을 촬영한 영상으로부터 결정된 눈동자의 위치(1405)와 미리 저장된 눈동자의 기준 위치(3101)를 비교하고, 비교 결과에 기초하여 웨어러블 글래스(1000) 움직인 방향 및 거리 중 적어도 하나를 결정할 수 있다. 웨어러블 글래스(1000)의 움직임은, 사용자의 눈을 촬영한 영상으로부터 결정된 눈동자의 위치(1405)와 미리 저장된 눈동자의 기준 위치(3101)를 연결하는 화살표(3103)로서 표현될 수 있다. 이 때, 화살표 (3103)가 가리키는 방향이 웨어러블 글래스(1000)가 움직인 방향이 되고, 화살표(3103)의 길이가 웨어러블 글래스(1000)가 움직인 거리가 될 수 있다.31 , the wearable glasses 1000 compare the pupil position 1405 determined from the image captured by the user's eye with the pre-stored reference position 3101 of the pupil, and based on the comparison result, the wearable glasses (1000) At least one of a moving direction and a distance may be determined. The movement of the wearable glasses 1000 may be expressed as an arrow 3103 connecting the pupil position 1405 determined from the image captured by the user's eye and the pre-stored reference position 3101 of the pupil. In this case, the direction indicated by the arrow 3103 may be the direction in which the wearable glasses 1000 move, and the length of the arrow 3103 may be the distance in which the wearable glasses 1000 are moved.

단계 S520에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자의 눈을 촬영한 영상을 이용하여 사용자의 동공의 크기 변화를 측정할 수 있다. In operation S520 , the wearable glasses 1000 according to an embodiment of the present disclosure may measure a change in the size of the user's pupil using an image captured by the user's eyes.

예를 들어, 웨어러블 글래스(1000)는 사용자의 눈을 촬영한 영상으로부터 사용자의 동공에 대응되는 영역을 결정하고, 사용자의 동공에 대응되는 영역의 넓이를 나타내는 값을 결정할 수 있다. 웨어러블 글래스(1000)는, 사용자의 동공에 대응되는 영역에 대해서 사용자의 눈을 촬영한 영상으로부터 결정된 값과 기준 착용 상태 정보에 포함되는 기준값을 비교할 수 있다. 웨어러블 글래스(1000)는, 비교 결과에 기초하여 사용자의 동공의 크기 변화를 측정할 수 있다.For example, the wearable glasses 1000 may determine an area corresponding to the user's pupil from an image captured by the user's eyes, and determine a value indicating the width of the area corresponding to the user's pupil. The wearable glasses 1000 may compare a value determined from an image obtained by photographing the user's eyes with respect to a region corresponding to the user's pupil and a reference value included in the reference wearing state information. The wearable glasses 1000 may measure a change in the size of the user's pupil based on the comparison result.

도 32는 본 개시의 일 실시예에 따라 웨어러블 글래스가 디스플레이 영상의 밝기를 조정하는 방법을 설명하기 위한 도면이다.32 is a view for explaining a method of adjusting the brightness of a display image by wearable glasses according to an embodiment of the present disclosure;

도 32에는 사용자의 눈을 촬영한 영상으로부터 결정된 사용자의 눈에 대응하는 제1 영역(1301), 사용자의 눈동자에 대응하는 제2 영역(1401), 및 제2 영역 내에 포함되는 사용자의 동공에 대응하는 영역(1403)이 도시된다. In FIG. 32 , a first area 1301 corresponding to the user's eye determined from an image obtained by photographing the user's eye, a second area 1401 corresponding to the user's pupil, and corresponding to the user's pupil included in the second area A region 1403 is shown.

도 32에 도시된 바와 같이, 웨어러블 글래스(1000)는 사용자의 눈을 촬영한 영상으로부터 결정된 동공에 대응되는 영역(1403)과 미리 저장된 동공에 대응되는 영역(3201)을 비교하고, 비교 결과에 기초하여 사용자의 동공의 크기 변화를 측정할 수 있다. 도 32를 참조하면, 화살표(3203)으로 표시된 바와 같이 사용자의 동공의 크기가 커졌음을 알 수 있다.As shown in FIG. 32 , the wearable glasses 1000 compare an area 1403 corresponding to a pupil determined from an image captured by the user's eye with an area 3201 corresponding to a pre-stored pupil, and based on the comparison result Thus, a change in the size of the user's pupil can be measured. Referring to FIG. 32 , it can be seen that the size of the user's pupil is increased as indicated by an arrow 3203 .

단계 S530에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 단계 S510에서 결정된 웨어러블 글래스(1000)가 움직인 방향 및 거리 중 적어도 하나에 기초하여, 디스플레이 영상의 위치 및 크기 중 적어도 하나를 조정할 수 있다.In step S530 , the wearable glasses 1000 according to an embodiment of the present disclosure determine at least one of the location and size of the display image based on at least one of the direction and distance in which the wearable glasses 1000 determined in step S510 . Can be adjusted.

예를 들어, 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)가 움직인 방향의 반대 방향으로 웨어러블 글래스(1000)가 움직인 거리에 대응되는 거리만큼 이동하도록, 디스플레이 상에 표시되는 영상을 조정할 수 있다.For example, the wearable glasses 1000 may adjust the image displayed on the display to move in a direction opposite to the direction in which the wearable glasses 1000 moved by a distance corresponding to the movement distance of the wearable glasses 1000 . have.

한편, 웨어러블 글래스(1000)의 사용자에 대한 위치가 변경되는 경우, 사용자의 눈으로부터 웨어러블 글래스(1000)까지의 거리가 달라질 수 있다. 따라서, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 기준 착용 상태와 비교하여 사용자의 눈으로부터 웨어러블 글래스(1000)까지의 거리가 변화되는 경우, 거리 변화가 보상된 디스플레이 영상을 디스플레이할 수 있다. 예를 들어, 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 움직임에 따라 사용자의 눈으로부터 디스플레이 영상까지의 거리가 멀어진 경우, 멀어진 거리에 대응되는 배율로 크기가 변경된 디스플레이 영상을 디스플레이할 수 있다.Meanwhile, when the position of the wearable glasses 1000 with respect to the user is changed, the distance from the user's eyes to the wearable glasses 1000 may be changed. Accordingly, the wearable glasses 1000 according to an embodiment of the present disclosure may display a display image in which the distance change is compensated when the distance from the user's eyes to the wearable glasses 1000 is changed compared to the reference wearing state. can For example, when the distance from the user's eyes to the display image increases according to the movement of the wearable glasses 1000, the wearable glasses 1000 may display the display image whose size is changed at a magnification corresponding to the distance. .

단계 S540에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 단계 S520에서 측정된 사용자의 동공의 크기 변화에 기초하여, 디스플레이 영상의 밝기를 조정할 수 있다.In operation S540 , the wearable glasses 1000 according to an embodiment of the present disclosure may adjust the brightness of the display image based on the change in the size of the user's pupil measured in operation S520 .

예를 들어, 웨어러블 글래스(1000) 주변의 밝기가 증가하는 경우, 사용자가 웨어러블 글래스(1000) 상에 디스플레이되는 영상을 식별하기 위해서는 디스플레이 영상의 밝기도 함께 증가하여야 한다. 또한, 웨어러블 글래스(1000) 주변의 밝기가 감소하는 경우, 사용자의 눈부심을 방지하기 위해서 웨어러블 글래스(1000) 상에 디스플레이되는 영상의 밝기도 함께 감소하여야 한다.For example, when the brightness around the wearable glasses 1000 increases, in order for the user to identify the image displayed on the wearable glasses 1000, the brightness of the display image must also increase. In addition, when the brightness around the wearable glasses 1000 is decreased, the brightness of the image displayed on the wearable glasses 1000 should also be decreased in order to prevent glare of the user.

웨어러블 글래스(1000)의 외부 환경의 밝기에 대한 정보를 획득하기 위해서는, 웨어러블 글래스(1000)에 구비된 밝기 센서를 이용하여 직접적으로 정보를 획득할 수 있다. 또는, 웨어러블 글래스(1000)를 착용하고 있는 사용자의 동공의 크기 변화에 기초하여, 웨어러블 글래스(1000)의 외부 환경의 밝기에 대한 정보를 간접적으로 획득할 수 있다.In order to obtain information on the brightness of the external environment of the wearable glasses 1000 , the information may be directly obtained using a brightness sensor provided in the wearable glasses 1000 . Alternatively, information on the brightness of the external environment of the wearable glasses 1000 may be obtained indirectly based on a change in the size of the pupil of the user wearing the wearable glasses 1000 .

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자의 동공의 크기 변화에 기초하여 밝기가 조정된 디스플레이 영상을 디스플레이할 수 있다. 일 예로서, 웨어러블 글래스(1000)는, 사용자의 동공의 크기가 커진 경우, 주변의 밝기가 감소하였다고 보고, 디스플레이 영상의 밝기를 감소시키고, 사용자의 동공의 크기가 작아진 경우, 주변의 밝기가 증가하였다고 보고, 디스플레이 영상의 밝기를 증가시킬 수 있다.The wearable glasses 1000 according to an embodiment of the present disclosure may display a display image whose brightness is adjusted based on a change in the size of the user's pupil. As an example, the wearable glasses 1000, when the size of the user's pupil increases, sees that the brightness of the surroundings has decreased, reduces the brightness of the display image, and when the size of the user's pupil decreases, the brightness of the surroundings decreases. It is reported that it has increased, and the brightness of the display image can be increased.

다른 예로서, 웨어러블 글래스(1000)는, 사용자가 웨어러블 글래스(1000) 상에 디스플레이되는 영상을 식별하기에 충분히 높은 밝기를 가지면서도, 사용자가 눈부심을 느끼지 않을 정도로 낮은 밝기를 갖는 디스플레이 영상을 사용자에게 제공하여야 한다.As another example, the wearable glasses 1000 provide the user with a display image having a brightness that is high enough for the user to identify an image displayed on the wearable glasses 1000 and low enough that the user does not feel glare. should be provided

따라서, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자의 동공의 크기가 커진 경우, 디스플레이 영상의 밝기가 너무 낮다고 판단하여 밝기를 증가시키고, 사용자의 동공의 크기가 작아진 경우, 디스플레이 영상의 밝기가 너무 높다고 판단하여 밝기를 감소시킬 수 있다.Therefore, in the wearable glasses 1000 according to an embodiment of the present disclosure, when the size of the user's pupil increases, it is determined that the brightness of the display image is too low and increases the brightness, and when the size of the user's pupil becomes small, It may be determined that the brightness of the display image is too high, and thus the brightness may be decreased.

도 30에는, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)가 웨어러블 글래스(1000)의 움직임 및 동공의 크기를 모두 고려하여 디스플레이 영상을 조정하는 경우를 예로 들어 도시하였지만, 본 개시는 이에 제한되지 않는다. 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 움직임 및 동공의 크기 중 적어도 하나에 기초하여, 디스플레이 영상의 위치, 크기 및 밝기 중 적어도 하나를 조정하도록 구성될 수 있다.In FIG. 30 , an example is shown in which the wearable glasses 1000 according to an embodiment of the present disclosure adjust the display image in consideration of both the movement of the wearable glasses 1000 and the size of the pupil, but the present disclosure is limited thereto. doesn't happen The wearable glasses 1000 according to an embodiment of the present disclosure may be configured to adjust at least one of a position, a size, and a brightness of a display image based on at least one of a movement of the wearable glasses 1000 and a size of a pupil. have.

한편, 본 개시의 일 실시예에 따르면 도 6에 도시된 웨어러블 글래스는, 웨어러블 글래스(1000)를 장시간 착용하기에 앞서, 기준 착용 상태를 설정하는 동작을 더 수행할 수 있다. 사용자는, 웨어러블 글래스(1000)로부터 영상을 제공받기에 가장 적합한 것으로 판단되는 상태를 기준 착용 상태로서 설정할 수 있다.Meanwhile, according to an embodiment of the present disclosure, the wearable glasses illustrated in FIG. 6 may further perform an operation of setting a reference wearing state before wearing the wearable glasses 1000 for a long time. The user may set a state determined to be most suitable for receiving an image from the wearable glasses 1000 as a reference wearing state.

본 개시의 일 실시예에 따르면, 기준 위치에 위치한 웨어러블 글래스(1000)에서 획득된 사용자의 신체 부위에 대한 정보에 기초하여 기준값이 설정될 수 있다. 웨어러블 글래스(1000)는, 기준 착용 상태 정보로서 기준값을 저장할 수 있다.According to an embodiment of the present disclosure, a reference value may be set based on information about a user's body part obtained from the wearable glasses 1000 located at a reference position. The wearable glasses 1000 may store a reference value as reference wearing state information.

예를 들어, 사용자의 신체 부위에 대한 정보가 사용자의 눈을 촬영한 영상을 포함하는 경우, 기준 위치에 위치한 웨어러블 글래스(1000)가 사용자의 눈을 촬영한 영상으로부터 측정되는 사용자의 눈에 대한 특성값이 기준값으로서 설정될 수 있다.For example, when the information on the user's body part includes an image obtained by photographing the user's eyes, the wearable glasses 1000 located at the reference position measure the characteristics of the user's eyes from the image obtained by photographing the user's eyes A value may be set as a reference value.

도 33은 본 개시의 일 실시예에 따라, 웨어러블 글래스가 기준 착용 상태를 설정하는 방법을 설명하기 위한 도면이다.33 is a view for explaining a method of setting a reference wearing state of wearable glasses according to an embodiment of the present disclosure;

도 33에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 웨어러블 글래스(1000)의 적어도 일부에 대한 사용자의 터치가 발생하는 경우, 웨어러블 글래스(1000)가 기준 위치에 위치하도록 사용자가 웨어러블 글래스(1000)를 물리적으로 움직이고 있다고 판단할 수 있다.As shown in FIG. 33 , in the wearable glasses 1000 according to an embodiment of the present disclosure, when a user touches at least a part of the wearable glasses 1000 , the wearable glasses 1000 are positioned at a reference position. To do this, it may be determined that the user is physically moving the wearable glasses 1000 .

따라서, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자의 터치가 종료되는 시점에 웨어러블 글래스(1000)를 통해 획득된 사용자의 착용 상태 정보를 기준 착용 상태 정보로 결정할 수 있다. 웨어러블 글래스(1000)는, 새롭게 획득된 착용 상태 정보로 기존에 저장되어 있던 기준 착용 상태 정보를 갱신할 수 있다. 예를 들어, 웨어러블 글래스(1000)는, 사용자의 터치가 종료되는 시점에 사용자의 신체 부위를 촬영하고, 촬영된 영상을 착용 상태 정보로서 저장할 수 있다.Accordingly, the wearable glasses 1000 according to an embodiment of the present disclosure may determine the user's wearing state information acquired through the wearable glasses 1000 at the point in time when the user's touch is terminated as the reference wearing state information. The wearable glasses 1000 may update the previously stored reference wearing state information with the newly acquired wearing state information. For example, the wearable glasses 1000 may photograph the user's body part at the point in time when the user's touch is terminated, and store the captured image as wearing state information.

또한, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자가 의도하지 않게 웨어러블 글래스(1000)를 터치한 경우에는 기준 착용 상태 정보가 갱신되지 않도록 할 수 있다. 예를 들어, 웨어러블 글래스(1000)는 웨어러블 글래스(1000)에 대한 사용자의 터치가 발생한 경우, 현재 웨어러블 글래스(1000)의 위치에 기초하여 기준 착용 상태 정보를 설정할 것인지 여부를 사용자로부터 확인받기 위한 GUI(3301)를 출력할 수 있다. 웨어러블 글래스(1000)는, 현재 웨어러블 글래스(1000)의 위치에 기초하여 기준 착용 상태 정보를 설정하라는 사용자의 입력을 수신하는 경우에만 기준 착용 상태 정보를 갱신할 수 있다.Also, the wearable glasses 1000 according to an embodiment of the present disclosure may prevent the reference wearing state information from being updated when the user unintentionally touches the wearable glasses 1000 . For example, in the wearable glasses 1000 , when a user touches the wearable glasses 1000 , a GUI for receiving confirmation from the user whether to set reference wearing state information based on the current position of the wearable glasses 1000 . (3301) can be output. The wearable glasses 1000 may update the reference wearing state information only when receiving a user input to set the reference wearing state information based on the current position of the wearable glasses 1000 .

한편, 본 개시의 일 실시예에 따르면 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이 상에 표시되는 영상을 조정함에 있어서, 사용자의 안구에 비친 영상을 더 고려할 수 있다.Meanwhile, according to an embodiment of the present disclosure, the wearable glasses 1000 may further consider an image reflected on the user's eye when adjusting the image displayed on the display based on the inclination of the wearable glasses 1000 .

웨어러블 글래스(1000)의 디스플레이(1030)를 통해 출력되는 빛의 일부는 사용자의 안구로 흡수되고, 사용자는 흡수된 빛으로부터 디스플레이 영상을 인지할 수 있다. 또한, 웨어러블 글래스(1000)의 디스플레이(1030)를 통해 출력되는 빛의 일부는 사용자의 안구로부터 반사될 수 있다.A portion of the light output through the display 1030 of the wearable glasses 1000 is absorbed by the user's eye, and the user may recognize the display image from the absorbed light. Also, a portion of light output through the display 1030 of the wearable glasses 1000 may be reflected from the user's eyeball.

도 34에 도시된 바와 같이, 본 개시의 일 실시예에 따르면, 웨어러블 글래스(1000)는 사용자의 안구로부터 반사되는 영상에 기초하여 디스플레이 영상을 조정하는 방법을 제공한다. 본 개시의 일 실시예에 따르면, 웨어러블 글래스(1000)는 사용자의 눈을 촬영하기 위한 카메라(1060)를 구비할 수 있다. 카메라(1060)에 의해 사용자의 눈을 촬영한 영상은, 사용자의 안구(3401)에 비친 영상(3403)을 포함할 수 있다.As shown in FIG. 34 , according to an embodiment of the present disclosure, the wearable glasses 1000 provide a method of adjusting a display image based on an image reflected from the user's eyeball. According to an embodiment of the present disclosure, the wearable glasses 1000 may include a camera 1060 for photographing the user's eyes. An image obtained by photographing the user's eye by the camera 1060 may include an image 3403 reflected on the user's eye 3401 .

본 개시의 일 실시예에 따르면, 웨어러블 글래스(1000)는 테스트 영상을 디스플레이하고, 테스트 영상을 구성하는 빛의 일부가 안구로부터 반사됨으로써 획득된 반사 영상에 기초하여 디스플레이 영상을 조정할 수 있다. According to an embodiment of the present disclosure, the wearable glasses 1000 may display a test image and adjust the display image based on the reflected image obtained by partially reflecting light constituting the test image from the eyeball.

도 35는 본 개시의 일 실시예에 따라 웨어러블 글래스가 사용자의 눈으로부터 반사되는 테스트 영상에 기초하여 디스플레이 영상을 보정하는 방법의 흐름도이다.35 is a flowchart of a method of correcting a display image by wearable glasses based on a test image reflected from a user's eye according to an embodiment of the present disclosure;

단계 S1150에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 테스트 영상을 표시한다. 테스트 영상은, 웨어러블 글래스(1000)의 기울기를 결정하는데 이용되는 영상을 의미한다. 예를 들어, 테스트 영상은 기울기를 결정하는데 이용되도록 미리 결정된 영상이거나, 디스플레이 상에 표시되고 있는 영상 그 자체일 수 있다.In operation S1150, the wearable glasses 1000 according to an embodiment of the present disclosure display a test image. The test image refers to an image used to determine the inclination of the wearable glasses 1000 . For example, the test image may be an image predetermined to be used to determine a slope, or may be an image itself being displayed on a display.

도 36a, 36b 및 36c는 본 개시의 일부 실시예에 따라 사용되는 테스트 영상의 예를 도시한다.36A, 36B, and 36C show examples of test images used in accordance with some embodiments of the present disclosure.

도 36a에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 복수의 점들로 구성된 테스트 영상을 디스플레이할 수 있다.As shown in FIG. 36A , the wearable glasses 1000 according to an embodiment of the present disclosure may display a test image composed of a plurality of dots.

도 36b에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 복수의 선분들로 구성된 테스트 영상을 디스플레이할 수 있다.As shown in FIG. 36B , the wearable glasses 1000 according to an embodiment of the present disclosure may display a test image composed of a plurality of line segments.

도 36c에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 소정 색깔의 다각형을 포함하는 테스트 영상을 디스플레이할 수 있다.As shown in FIG. 36C , the wearable glasses 1000 according to an embodiment of the present disclosure may display a test image including polygons of a predetermined color.

단계 S1200에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 테스트 영상이 비친 사용자의 눈을 촬영한 영상을 획득한다. 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 상태에 대한 정보로서 테스트 영상이 비친 사용자의 눈을 촬영한 영상을 획득할 수 있다.In operation S1200 , the wearable glasses 1000 according to an embodiment of the present disclosure acquires an image obtained by photographing the user's eyes on which the test image is reflected. The wearable glasses 1000 according to an embodiment of the present disclosure may acquire an image obtained by photographing the user's eyes through which the test image is reflected as information on a state in which the user is wearing the wearable glasses 1000 .

예를 들어, 웨어러블 글래스(1000)는 사용자가 인지하지 못할 정도로 짧은 시간 동안 테스트 영상을 출력하고, 테스트 영상이 비친 사용자의 눈을 촬영한 영상을 획득함으로써 테스트 영상의 반사 영상에 기초하여 웨어러블 글래스(1000)의 동작을 제어할 수 있다.For example, the wearable glasses 1000 outputs a test image for a short time so that the user does not recognize it, and acquires an image obtained by photographing the user's eyes on which the test image is reflected, so that the wearable glasses ( 1000) can be controlled.

도 37a, 37b 및 37c는 본 개시의 일부 실시예에 따라 웨어러블 글래스가 테스트 영상이 반사되는 사용자의 눈을 촬영한 영상의 예를 도시한다.37A, 37B, and 37C illustrate examples of images obtained by photographing the eyes of a user in which wearable glasses reflect a test image, according to some embodiments of the present disclosure.

일 예로서, 웨어러블 글래스(1000)가 도 36a에 도시된 테스트 영상을 출력하는 경우, 웨어러블 글래스(1000)는 도 37a와 같이 테스트 영상이 비친 사용자의 눈을 촬영할 수 있다.As an example, when the wearable glasses 1000 outputs the test image shown in FIG. 36A , the wearable glasses 1000 may photograph the eyes of the user through which the test image is reflected as shown in FIG. 37A .

다른 예로서, 웨어러블 글래스(1000)가 도 36b에 도시된 테스트 영상을 출력하는 경우, 웨어러블 글래스(1000)는 도 37b와 같이 테스트 영상이 비친 사용자의 눈을 촬영할 수 있다.As another example, when the wearable glasses 1000 outputs the test image shown in FIG. 36B , the wearable glasses 1000 may photograph the eyes of the user through which the test image is reflected as shown in FIG. 37B .

다른 예로서, 웨어러블 글래스(1000)가 도 36c에 도시된 테스트 영상을 출력하는 경우, 웨어러블 글래스(1000)는 도 37c와 같이 테스트 영상이 비친 사용자의 눈을 촬영할 수 있다.As another example, when the wearable glasses 1000 outputs the test image shown in FIG. 36C , the wearable glasses 1000 may photograph the eyes of the user through which the test image is reflected as shown in FIG. 37C .

도 35의 단계 S1200에는 도 6의 S200에 대한 설명이 적용될 수 있다. 이하 중복되는 설명은 생략한다.The description of S200 of FIG. 6 may be applied to step S1200 of FIG. 35 . Hereinafter, overlapping descriptions will be omitted.

단계 S1300에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 촬영된 눈의 영상을 이용하여 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정한다.In step S1300 , the wearable glasses 1000 according to an embodiment of the present disclosure determine the inclination of the wearable glasses 1000 with respect to the user by using the captured eye image.

사용자에 대한 웨어러블 글래스(1000)의 기울기는, 기준 착용 상태를 기준으로 사용자가 착용하고 있는 웨어러블 글래스(1000)의 기울어진 정도를 의미한다. 웨어러블 글래스(1000)는, 단계 S1200에서 획득된 사용자의 눈을 촬영한 영상과 기준 착용 상태 정보를 비교함으로써, 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정할 수 있다. 웨어러블 글래스(1000)는 기준 착용 상태에서 획득되는 사용자의 눈을 촬영한 영상을 포함하는 기준 착용 상태 정보를 저장할 수 있다. 웨어러블 글래스(1000)는, 기준 착용 상태에서 획득되는 눈의 영상에 포함되는 테스트 영상의 반사 영상을 기준 착용 상태 정보로서 저장할 수 있다.The inclination of the wearable glasses 1000 with respect to the user means the degree of inclination of the wearable glasses 1000 worn by the user based on the reference wearing state. The wearable glasses 1000 may determine the inclination of the wearable glasses 1000 with respect to the user by comparing the image of the user's eyes obtained in step S1200 with the reference wearing state information. The wearable glasses 1000 may store reference wearing state information including an image obtained by photographing the user's eyes obtained in the reference wearing state. The wearable glasses 1000 may store a reflection image of a test image included in an image of an eye obtained in a reference wearing state as reference wearing state information.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 촬영된 눈 영상으로부터 테스트 영상의 반사 영상을 추출할 수 있다. 웨어러블 글래스(1000)는 반사 영상의 크기 및 형태 중 적어도 하나에 기초하여 웨어러블 글래스(1000)의 기울기를 결정할 수 있다.The wearable glasses 1000 according to an embodiment of the present disclosure may extract a reflection image of a test image from a photographed eye image. The wearable glasses 1000 may determine the inclination of the wearable glasses 1000 based on at least one of a size and a shape of the reflected image.

예를 들어, 웨어러블 글래스(1000)는, 촬영된 눈의 영상으로부터 추출된 반사 영상을 기준 영상과 비교함으로써 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정할 수 있다.For example, the wearable glasses 1000 may determine the inclination of the wearable glasses 1000 with respect to the user by comparing a reflection image extracted from the photographed eye image with a reference image.

이하 도 38, 39a, 39b, 39c, 42, 43a, 43b, 43c, 44a, 44b에서는 설명의 편의를 위하여, 도 36b에 도시된 사각형의 테스트 영상이 디스플레이된 경우를 예로 들어 설명한다. 그러나, 본 개시는 이에 한정되지 않으며, 다양한 테스트 영상이 이용될 수 있음을 당업자라면 알 수 있다.Hereinafter, in FIGS. 38, 39a, 39b, 39c, 42, 43a, 43b, 43c, 44a, and 44b, for convenience of explanation, a case in which the rectangular test image shown in FIG. 36B is displayed will be described as an example. However, the present disclosure is not limited thereto, and those skilled in the art can recognize that various test images may be used.

도 38은, 본 개시의 일 실시예에 따라, 사용자에 대해 웨어러블 글래스(1000)가 기울어지지 않은 경우, 웨어러블 글래스(1000)를 통해 획득되는 사용자의 눈을 촬영한 영상(3801)의 예이다.38 is an example of an image 3801 of a user's eyes obtained through the wearable glasses 1000 when the wearable glasses 1000 are not tilted with respect to the user according to an embodiment of the present disclosure.

도 38에 도시된 바와 같이, 웨어러블 글래스(1000)가 획득하는 촬영된 눈 영상(3801)은, 테스트 영상의 반사 영상(3803)을 포함할 수 있다.38 , a photographed eye image 3801 acquired by the wearable glasses 1000 may include a reflection image 3803 of a test image.

예를 들어, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 도 38을 촬영한 웨어러블 글래스(1000)의 위치를 기준 위치로 결정할 수 있다. 웨어러블 글래스(1000)는, 기준 위치에서 획득된 눈 영상 (3801)을 기준 영상으로서 설정하고 저장할 수 있다. 또는, 웨어러블 글래스(1000)는, 기준 위치에서 획득된 반사 영상(3803)을 기준 영상으로서 설정하고 저장할 수 있다.For example, the wearable glasses 1000 according to an embodiment of the present disclosure may determine the position of the wearable glasses 1000 photographed in FIG. 38 as a reference position. The wearable glasses 1000 may set and store the eye image 3801 acquired at the reference position as the reference image. Alternatively, the wearable glasses 1000 may set and store the reflection image 3803 acquired at the reference position as the reference image.

이하, 도 38의 반사 영상(3805)이 기준 영상으로 설정된 경우를 예로 들어 설명한다, 도 39a, 39b 및 39c는 본 개시의 일부 실시예에 따라, 사용자에 대해 웨어러블 글래스(1000)가 기울어진 경우, 웨어러블 글래스(1000)를 통해 획득되는 사용자의 눈을 촬영한 영상의 예이다.Hereinafter, a case in which the reflection image 3805 of FIG. 38 is set as a reference image will be described as an example. FIGS. 39A, 39B, and 39C show when the wearable glasses 1000 are tilted with respect to the user according to some embodiments of the present disclosure. , is an example of an image obtained by photographing the user's eyes obtained through the wearable glasses 1000 .

도 39a는 웨어러블 글래스(1000)가 사용자에 대해 상하로 기울어져 상하 기울기가 측정되는 경우를 도시한다. 도 38과 비교하여, 도 38의 반사 영상(3803)의 형태와 도 39a의 반사 영상(3903)의 형태는 동일하지만, 도 38에 도시되는 사용자의 눈(3801)과 비교하여 도 39a의 눈(3901-1)이 기울어져 있음을 알 수 있다. 따라서, 사용자에 대한 웨어러블 글래스(1000)의 위치가 변화하였음을 알 수 있다.FIG. 39A illustrates a case in which the wearable glasses 1000 are tilted up and down with respect to the user to measure the vertical inclination. Compared with FIG. 38 , the shape of the reflection image 3803 of FIG. 38 and the shape of the reflection image 3903 of FIG. 39A are the same, but compared with the user's eye 3801 shown in FIG. 38 , the eye ( 3901-1) is inclined. Accordingly, it can be seen that the position of the wearable glasses 1000 with respect to the user has changed.

도 39b는 웨어러블 글래스(1000)가 사용자에 대해 전후로 기울어져 전후 기울기가 측정되는 경우를 도시한다. 도 38에 도시된 사용자의 눈(3801)과 비교하여, 도 39b에 도시된 눈(3901-2)의 위치 및 형태가 동일하지만, 도 38의 반사 영상(3803)의 형태와 도 39b의 반사 영상(3905)의 형태가 상이함을 알 수 있다. 따라서, 사용자에 대한 웨어러블 글래스(1000)의 위치가 변화하였음을 알 수 있다.FIG. 39B illustrates a case in which the wearable glasses 1000 are tilted back and forth with respect to the user so that the front and rear tilt is measured. Compared to the user's eye 3801 shown in FIG. 38 , the position and shape of the eye 3901-2 shown in FIG. 39B are the same, but the shape of the reflection image 3803 of FIG. 38 and the reflection image of FIG. 39B are the same. It can be seen that the shape of (3905) is different. Accordingly, it can be seen that the position of the wearable glasses 1000 with respect to the user has changed.

도 39c는 웨어러블 글래스(1000)가 사용자에 대해 좌우로 기울어져 전후 기울기가 측정되는 경우를 도시한다. 도 38에 도시된 사용자의 눈(3801)과 비교하여, 도 39c에 도시된 눈(3901-3)의 위치 및 형태가 동일하지만, 도 38의 반사 영상(3803)의 형태와 도 39c의 반사 영상(3907)의 형태가 상이함을 알 수 있다. 따라서, 사용자에 대한 웨어러블 글래스(1000)의 위치가 변화하였음을 알 수 있다.FIG. 39C illustrates a case in which the wearable glasses 1000 are tilted left and right with respect to the user so that the front and rear tilts are measured. Compared to the user's eye 3801 shown in FIG. 38 , the position and shape of the eyes 3901-3 shown in FIG. 39C are the same, but the shape of the reflection image 3803 of FIG. 38 and the reflection image of FIG. 39C are the same. It can be seen that the shape of (3907) is different. Accordingly, it can be seen that the position of the wearable glasses 1000 with respect to the user has changed.

촬영된 눈의 영상을 이용하여 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정하는 방법에 대해서는, 후에 도 40 내지 도 43c를 참조하여 구체적으로 설명한다.A method of determining the inclination of the wearable glasses 1000 for the user by using the captured eye image will be described in detail later with reference to FIGS. 40 to 43C .

도 35로 돌아와서, 단계 S1400에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 결정된 기울기에 기초하여, 디스플레이 상에 표시되는 영상을 조정한다.Returning to FIG. 35 , in step S1400 , the wearable glasses 1000 according to an embodiment of the present disclosure adjust an image displayed on the display based on the determined inclination.

웨어러블 글래스(1000)는, 단계 S1300에서 결정된 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이 영상의 회전 각도, 크기 및 형태 중 적어도 하나를 조정할 수 있다. 그러나, 본 개시는 이에 제한되지 않으며, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자에게 디스플레이되는 디스플레이 영상의 다양한 파라미터를 조정할 수 있다. The wearable glasses 1000 may adjust at least one of a rotation angle, a size, and a shape of the display image based on the inclination of the wearable glasses 1000 determined in step S1300 . However, the present disclosure is not limited thereto, and the wearable glasses 1000 according to an embodiment of the present disclosure may adjust various parameters of a display image displayed to a user.

일 예로서, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 디스플레이 영상의 밝기, 디스플레이(1030) 상에 디스플레이되는 영상의 위치, 또는 색 중 적어도 하나를 더 조정할 수 있다. 다른 예로서, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)의 디스플레이(1030)가 반투명 광 파장 가이드(예를 들어, 프리즘)로 구성되는 경우, 웨어러블 글래스(1000)는 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이(1030)의 프로젝터로부터 출력되는 빛이 포커싱되는 초점의 위치를 조정할 수 있다.As an example, the wearable glasses 1000 according to an embodiment of the present disclosure may further adjust at least one of a brightness of a display image, a position of an image displayed on the display 1030 , and a color. As another example, when the display 1030 of the wearable glasses 1000 according to an embodiment of the present disclosure is configured with a translucent light wavelength guide (eg, a prism), the wearable glasses 1000 may include the wearable glasses 1000 . A position of a focal point at which light output from the projector of the display 1030 is focused may be adjusted based on the inclination of .

따라서, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)를 사용하는 사용자는, 웨어러블 글래스(1000)가 사용자에 대해서 기울어진 경우에도, 웨어러블 글래스(1000)의 기울어짐을 바로 잡기 위한 별도의 동작을 하지 않아도 왜곡되지 않은 영상을 제공받을 수 있다.Therefore, a user using the wearable glasses 1000 according to an embodiment of the present disclosure performs a separate operation for correcting the inclination of the wearable glasses 1000 even when the wearable glasses 1000 are tilted with respect to the user. Even if you don't, you can receive undistorted images.

도 35의 단계 S1400에는 도 6의 S400에 대한 설명이 적용될 수 있다. 이하 중복되는 설명은 생략한다.The description of S400 of FIG. 6 may be applied to step S1400 of FIG. 35 . Hereinafter, overlapping descriptions will be omitted.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 테스트 영상을 디스플레이하고, 사용자의 눈을 촬영한 영상을 착용 상태 정보로서 획득하고, 촬영된 눈 영상으로부터 테스트 영상의 반사 영상을 추출하고, 반사 영상을 분석함으로써 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정할 수 있다. The wearable glasses 1000 according to an embodiment of the present disclosure display a test image, obtain an image photographed of the user's eyes as wearing state information, extract a reflection image of the test image from the photographed eye image, The inclination of the wearable glasses 1000 with respect to the user may be determined by analyzing the reflection image.

이 때, 웨어러블 글래스(1000)는, 내부에 구비된 카메라를 이용하여 사용자의 눈을 직접 촬영하거나, 외부 디바이스가 사용자의 눈을 촬영한 영상을 외부 디바이스로부터 수신함으로써 사용자의 눈을 촬영한 영상을 획득할 수 있다.In this case, the wearable glasses 1000 may directly photograph the user's eyes using a camera provided therein, or an external device receives an image of the user's eyes from an external device to capture an image of the user's eyes. can be obtained

도 40은 본 개시의 일 실시예에 따라 촬영된 눈 영상으로부터 웨어러블 글래스의 기울기를 결정하는 방법의 흐름도이다.40 is a flowchart of a method of determining a tilt of wearable glasses from a photographed eye image according to an embodiment of the present disclosure.

단계 S1310에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 촬영된 눈 영상으로부터 테스트 영상의 반사 영상을 추출할 수 있다.In operation S1310, the wearable glasses 1000 according to an embodiment of the present disclosure may extract a reflection image of the test image from the captured eye image.

예를 들어, 웨어러블 글래스(1000)는, 사용자의 눈을 촬영한 영상으로부터 사용자의 눈에 대응되는 제1 영역(1301)을 결정하고, 제1 영역(1301) 내에 포함되는 사용자의 눈동자에 대응되는 제2 영역(1401)을 결정할 수 있다. 웨어러블 글래스(1000)는, 제2 영역(1301) 내의 밝기 또는 색감 중 적어도 하나에 기초하여 테스트 영상의 반사 영상(4205)를 추출할 수 있다.For example, the wearable glasses 1000 may determine a first area 1301 corresponding to the user's eye from an image obtained by photographing the user's eye, and may determine the first area 1301 corresponding to the user's pupil included in the first area 1301 . A second region 1401 may be determined. The wearable glasses 1000 may extract the reflection image 4205 of the test image based on at least one of brightness and color in the second region 1301 .

단계 S1320에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 반사 영상의 크기 및 형태 중 적어도 하나에 기초하여 웨어러블 글래스(1000)의 기울기를 결정할 수 있다. In operation S1320 , the wearable glasses 1000 according to an embodiment of the present disclosure may determine the inclination of the wearable glasses 1000 based on at least one of a size and a shape of the reflected image.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 기준 영상의 크기 및 형태 중 적어도 하나와 추출된 반사 영상의 크기 및 형태 중 적어도 하나를 비교함으로써, 사용자에 대한 웨어러블 글래스(1000)의 기울어짐을 검출할 수 있다.The wearable glasses 1000 according to an embodiment of the present disclosure compare at least one of a size and a shape of a reference image with at least one of a size and a shape of the extracted reflected image, thereby reducing the inclination of the wearable glasses 1000 with respect to the user. can be detected.

도 41은 본 개시의 일 실시예에 따라 웨어러블 글래스(1000)가 웨어러블 글래스(1000)의 기울기에 기초하여 조정된 영상을 디스플레이하는 방법의 흐름도이다.41 is a flowchart of a method of displaying an image adjusted based on a tilt of the wearable glasses 1000 by the wearable glasses 1000 according to an embodiment of the present disclosure.

도 12에는 사용자의 눈을 촬영한 영상을 분석하여 눈에 대한 특성값을 획득하고, 눈에 대한 특성값에 기초하여 웨어러블 글래스(1000)의 기울기를 결정하는 방법이 도시된다. 도 12에 도시된 방법은, 웨어러블 글래스(1000)의 상하 기울기를 결정하는데 적합하다. 그러나 도 41에 도시된 방법을 수행하는 웨어러블 글래스(1000)는, 테스트 영상의 반사 영상을 더 고려함으로써, 웨어러블 글래스(1000)의 상하 기울기 뿐만 아니라 좌우 기울기 및 전후 기울기도 높은 정확도로 결정할 수 있다.FIG. 12 illustrates a method of acquiring a characteristic value for the eye by analyzing an image captured by the user's eye, and determining the inclination of the wearable glasses 1000 based on the characteristic value of the eye. The method illustrated in FIG. 12 is suitable for determining the vertical inclination of the wearable glasses 1000 . However, in the wearable glasses 1000 performing the method shown in FIG. 41 , by further considering the reflection image of the test image, not only the vertical inclination of the wearable glasses 1000, but also the left and right and front and rear inclinations can be determined with high accuracy.

단계 S1305에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 상하 기울기를 결정할 수 있다. In operation S1305 , the wearable glasses 1000 according to an embodiment of the present disclosure may determine the vertical inclination of the wearable glasses 1000 .

도 42는 본 개시의 일 실시예에 따라 촬영된 눈 영상으로부터 측정되는 사용자의 눈에 대한 특성값들을 설명하기 위한 도면이다.42 is a diagram for describing characteristic values of a user's eye measured from an eye image captured according to an embodiment of the present disclosure.

도 42에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자의 눈에 대응되는 제1 영역(1301)의 두 초점들을 지나가는 직선과 제1 영역(1301)이 교차하는 점들을 잇는 선분(1501)을 장축으로 결정하고, 선분(1501)의 길이를 장축의 길이로 결정할 수 있다.As shown in FIG. 42 , the wearable glasses 1000 according to an embodiment of the present disclosure intersect a straight line passing through two focal points of a first area 1301 corresponding to the user's eye and the first area 1301 . A line segment 1501 connecting the points may be determined as a long axis, and a length of the line segment 1501 may be determined as a long axis length.

또한, 웨어러블 글래스(1000)는 선분(1501)을 수직이등분하는 선분(1503)을 단축으로 결정하고, 선분(1503)의 길이를 단축의 길이로 결정할 수 있다. Also, the wearable glasses 1000 may determine the line segment 1503 that vertically bisects the line segment 1501 as the short axis, and determine the length of the line segment 1503 as the short axis length.

웨어러블 글래스(1000)는 사용자의 눈동자에 대응되는 제2 영역(1401)으로부터 테스트 영상의 반사 영상(4205)을 추출할 수 있다.The wearable glasses 1000 may extract the reflection image 4205 of the test image from the second region 1401 corresponding to the user's pupil.

한편, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 눈을 촬영한 영상의 가로축 및/또는 세로축과 비교하여 장축의 각도 및/또는 단축의 각도를 획득할 수 있다. 웨어러블 글래스(1000)는 반사 영상이 다각형인 경우, 반사 영상의 적어도 하나의 변과 웨어러블 글래스(1000)의 가로축(1509-3) 또는 세로축(1509-1)이 이루는 각도를 웨어러블 글래스(1000)의 기울기로서 결정할 수 있다.Meanwhile, the wearable glasses 1000 according to an embodiment of the present disclosure may obtain an angle of a major axis and/or an angle of a minor axis compared with a horizontal axis and/or a vertical axis of an image obtained by photographing an eye. When the reflection image is a polygon, the wearable glass 1000 may form an angle between at least one side of the reflection image and a horizontal axis 1509-3 or a vertical axis 1509-1 of the wearable glass 1000 of the wearable glass 1000 . It can be determined as the slope.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 도 12에 도시된 방법에 따라 웨어러블 글래스(1000)의 상하 기울기를 결정할 수 있다. 도 12에 대한 설명과 중복되는 설명은 생략한다.The wearable glasses 1000 according to an embodiment of the present disclosure may determine the vertical inclination of the wearable glasses 1000 according to the method illustrated in FIG. 12 . A description overlapping with the description of FIG. 12 will be omitted.

단계 S1310에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 촬영된 눈의 영상으로부터 테스트 영상의 반사 영상을 추출할 수 있다.In operation S1310 , the wearable glasses 1000 according to an embodiment of the present disclosure may extract a reflection image of the test image from the photographed eye image.

단계 S1330에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 단계 S1310에서 추출된 반사 영상의 크기 및 형태 중 적어도 하나에 기초하여 웨어러블 글래스의 좌우 기울기 및 전후 기울기를 결정할 수 있다.In operation S1330 , the wearable glasses 1000 according to an embodiment of the present disclosure may determine a left and right inclination and a front and rear inclination of the wearable glasses based on at least one of a size and a shape of the reflected image extracted in operation S1310 .

도 43a, 43b 및 43c는 본 개시의 일부 실시예에 따라 웨어러블 글래스가 촬영된 눈 영상에 포함되는 테스트 영상의 반사 영상에 기초하여 기울기를 결정하는 방법을 설명하기 위한 도면이다.43A, 43B, and 43C are diagrams for explaining a method of determining a gradient based on a reflection image of a test image included in an eye image in which wearable glasses are photographed, according to some embodiments of the present disclosure;

도 43a를 참조하면, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 반사 영상(4205)의 적어도 한 변과 눈의 장축(1501)이 이루는 각도(4301)를 웨어러블 글래스(1000)의 상하 기울기로서 결정할 수 있다.Referring to FIG. 43A , in the wearable glasses 1000 according to an embodiment of the present disclosure, an angle 4301 between at least one side of a reflection image 4205 and the long axis 1501 of the eye is formed by the wearable glasses 1000 . It can be determined as a vertical inclination.

도 43b를 참조하면, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 반사 영상(4205)에 포함되는 두 변(4303, 4305)의 길이의 비율에 기초하여 웨어러블 글래스(1000)의 전후 기울기를 결정할 수 있다. 예를 들어, 테스트 영상이 사각형의 형태를 갖고, 반사 영상(4205)이 사다리꼴의 형태를 가질 때, 윗변(4303)과 아랫변(4305)의 길이의 비율이 클수록 사용자에 대한 웨어러블 글래스(1000)의 전후 기울기가 크다고 결정할 수 있다.Referring to FIG. 43B , the wearable glasses 1000 according to an embodiment of the present disclosure may be disposed of before and after the wearable glasses 1000 based on the ratio of the lengths of the two sides 4303 and 4305 included in the reflection image 4205 . slope can be determined. For example, when the test image has a quadrangular shape and the reflection image 4205 has a trapezoidal shape, as the ratio of the lengths of the upper side 4303 and the lower side 4305 increases, the wearable glasses 1000 for the user It can be determined that the anterior-posterior slope of is large.

도 43c를 참조하면, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 반사 영상(4205)에 포함되는 두 변(4307, 4309)의 길이의 비율에 기초하여 웨어러블 글래스(1000)의 좌우 기울기를 결정할 수 있다. 예를 들어, 테스트 영상이 사각형의 형태를 갖고, 반사 영상(4205)이 90도 회전된 사다리꼴의 형태를 가질 때, 윗변(4307)과 아랫변(4309)의 길이의 비율이 클수록 사용자에 대한 웨어러블 글래스(1000)의 좌우 기울기가 크다고 결정할 수 있다.Referring to FIG. 43C , in the wearable glasses 1000 according to an embodiment of the present disclosure, the left and right sides of the wearable glasses 1000 based on the ratio of the lengths of the two sides 4307 and 4309 included in the reflection image 4205 . slope can be determined. For example, when the test image has a rectangular shape and the reflected image 4205 has a trapezoidal shape rotated by 90 degrees, as the ratio of the length of the upper side 4307 to the lower side 4309 increases, the wearable for the user It may be determined that the left and right inclination of the glass 1000 is large.

단계 S1340에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 상하 기울기, 좌우 기울기 및 전후 기울기 중 적어도 하나에 기초하여, 디스플레이 영상의 회전 각도, 크기 및 형태 중 적어도 하나를 조정할 수 있다. 그러나, 본 개시는 이에 제한되지 않으며, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자에게 디스플레이되는 디스플레이 영상의 다양한 파라미터를 조정할 수 있다. 일 예로서, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 디스플레이 영상의 밝기, 디스플레이(1030) 상에 디스플레이되는 위치, 또는 색 중 적어도 하나를 더 조정할 수 있다. 다른 예로서, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)의 디스플레이(1030)가 반투명 광 파장 가이드(예를 들어, 프리즘)로 구성되는 경우, 웨어러블 글래스(1000)는 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이(1030)의 프로젝터로부터 출력되는 빛이 포커싱되는 초점의 위치를 조정할 수 있다.In step S1340 , the wearable glasses 1000 according to an embodiment of the present disclosure may display at least one of a rotation angle, a size, and a shape of the display image based on at least one of a vertical tilt, a left/right tilt, and a front/rear tilt of the wearable glass 1000 . You can adjust one. However, the present disclosure is not limited thereto, and the wearable glasses 1000 according to an embodiment of the present disclosure may adjust various parameters of a display image displayed to a user. As an example, the wearable glasses 1000 according to an embodiment of the present disclosure may further adjust at least one of a brightness of a display image, a position displayed on the display 1030, and a color. As another example, when the display 1030 of the wearable glasses 1000 according to an embodiment of the present disclosure is configured with a translucent light wavelength guide (eg, a prism), the wearable glasses 1000 may include the wearable glasses 1000 . A position of a focal point at which light output from the projector of the display 1030 is focused may be adjusted based on the inclination of .

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 상하 기울기, 좌우 기울기 및 전후 기울기 중 적어도 하나에 기초하여 필요한 영상 조정(예를 들어, 수평 변환(horizontal translation), 수직 변환(vertical translation), 키 스토닝(keystoning), 및/또는 사용자가 왜곡되지 않은 영상을 제공 받을 수 있도록 보정하는 다양한 영상 처리)을 수행할 수 있다. The wearable glasses 1000 according to an embodiment of the present disclosure include necessary image adjustments (eg, horizontal translation) based on at least one of a vertical tilt, a left/right tilt, and a front/rear tilt of the wearable glasses 1000 , vertical translation, keystoning, and/or various image processing for correcting a user to receive an undistorted image) may be performed.

한편, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 테스트 영상의 반사 영상을 분석함으로써 웨어러블 글래스(1000)의 동작을 제어하는데 이용할 수 있다. Meanwhile, the wearable glasses 1000 according to an embodiment of the present disclosure may be used to control the operation of the wearable glasses 1000 by analyzing a reflection image of a test image.

도 44a 및 44b는 본 개시의 일부 실시예에 따라 웨어러블 글래스가 촬영된 눈 영상에 기초하여 동작하는 방법을 설명하기 위한 도면이다.44A and 44B are diagrams for explaining a method of operating wearable glasses based on a captured eye image according to some embodiments of the present disclosure;

도 44a에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자의 눈을 촬영한 영상으로부터 눈에 대응되는 제1 영역(1301) 및 눈동자에 대응되는 제2 영역(1401)을 결정할 수 있다. 웨어러블 글래스(1000)는 사용자의 눈을 촬영한 영상으로부터 테스트 영상의 반사 영상(4401)을 추출할 수 있다.As shown in FIG. 44A , the wearable glasses 1000 according to an embodiment of the present disclosure include a first area 1301 corresponding to the eye and a second area 1401 corresponding to the pupil from an image captured by the user's eye. ) can be determined. The wearable glasses 1000 may extract a reflection image 4401 of a test image from an image captured by the user's eyes.

도 44b에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 반사 영상(4401)이 제2 영역(1401)을 벗어나는 경우, 웨어러블 글래스(1000)는 소정 동작을 수행 할 수 있다.As shown in FIG. 44B , in the wearable glasses 1000 according to an embodiment of the present disclosure, when the reflective image 4401 leaves the second area 1401 , the wearable glasses 1000 may perform a predetermined operation. have.

예를 들어, 사용자가 웨어러블 글래스(1000)를 통해서 동영상을 시청하고 있는 경우, 사용자는 웨어러블 글래스(1000)의 디스플레이(1030)가 아닌 다른 곳을 볼 수 있다. 사용자가 웨어러블 글래스(1000)의 디스플레이(1030)가 아닌 다른 곳을 보는 경우, 테스트 영상은 사용자의 눈동자를 벗어난 위치에서 반사될 수 있다. 테스트 영상의 반사 영상이 눈동자에 대응되는 영역을 벗어나는 경우, 웨어러블 글래스(1000)는 동영상의 재생을 정지할 수 있다.For example, when the user is watching a video through the wearable glasses 1000 , the user may view a place other than the display 1030 of the wearable glasses 1000 . When the user looks at a location other than the display 1030 of the wearable glasses 1000 , the test image may be reflected from a location outside the user's pupil. When the reflection image of the test image is out of the area corresponding to the pupil, the wearable glasses 1000 may stop the reproduction of the video.

테스트 영상은, 도 36a, 36b 및 36c에 도시된 바와 같이 웨어러블 글래스(1000)의 동작을 제어하는데 이용하기 위해서 미리 결정된 영상이거나, 동영상에 포함되는 어느 한 시점의 정지 영상일 수 있다. The test image may be a predetermined image to be used to control the operation of the wearable glasses 1000 as shown in FIGS. 36A, 36B and 36C , or may be a still image of any one viewpoint included in the moving image.

예를 들어, 웨어러블 글래스(1000)는 동영상이 재생되는 동안, 사용자가 인지하지 못할 정도로 짧은 시간 동안 테스트 영상을 출력하고, 테스트 영상이 비친 사용자의 눈을 촬영한 영상을 획득함으로써 테스트 영상의 반사 영상에 기초하여 웨어러블 글래스(1000)의 동작을 제어할 수 있다.For example, the wearable glasses 1000 output a test image for a short time so that the user does not recognize it while the video is being played, and acquire an image of the user's eyes in which the test image is reflected, thereby reflecting the test image. The operation of the wearable glasses 1000 may be controlled based on the

한편, 본 개시의 일 실시예에 따르면 웨어러블 글래스(1000)는 사용자의 제스처에 기초하여 디스플레이 영상을 조정할 수 있다. “제스처”란, 소정 시점에서 사용자의 신체 부위가 나타내는 형태, 소정 시간 동안 신체 부위가 나타내는 형태의 변화, 위치 변화 또는 신체 부위의 동작을 의미할 수 있다.Meanwhile, according to an embodiment of the present disclosure, the wearable glasses 1000 may adjust a display image based on a user's gesture. A “gesture” may mean a shape represented by a user's body part at a predetermined time point, a change in a shape represented by the body part for a predetermined time, a change in position, or an operation of the body part.

도 45는 본 개시의 일 실시예에 따라 웨어러블 글래스(1000)가 사용자의 제스처에 기초하여 디스플레이 영상을 조정하는 방법을 설명하기 위한 도면이다.45 is a diagram for explaining a method of adjusting a display image based on a user's gesture by the wearable glasses 1000 according to an embodiment of the present disclosure.

도 45에 도시된 바와 같이, 본 개시의 일 실시예에 따라 웨어러블 글래스(1000)는 관심 공간(4501) 내의 사용자의 제스처에 기초하여 디스플레이 영상을 조정할 수 있다. 예를 들어, 웨어러블 글래스(1000)는 사용자의 손(7)의 제스처에 기초하여 디스플레이 영상을 조정할 수 있다.As shown in FIG. 45 , according to an embodiment of the present disclosure, the wearable glasses 1000 may adjust a display image based on a user's gesture in a space of interest 4501 . For example, the wearable glasses 1000 may adjust the display image based on the gesture of the user's hand 7 .

사용자의 제스처를 검출하기 위해서, 웨어러블 글래스(1000)는, 영상을 획득할 수 있는 카메라 또는 각종 센서를 포함할 수 있다. 웨어러블 글래스(1000)에 포함될 수 있는 센서에는 깊이감 센서, 적외선 센서, 초음파 센서 및 이와 유사한 센서가 포함될 수 있다. 일 예로서, 웨어러블 글래스(1000)는, 사용자의 신체 부위를 촬영한 영상에 기초하여 또는 사용자의 신체 부위로부터 수신되는 신호 (예를 들어, 적외선 신호, 또는 초음파 신호 등) 에 기초하여, 제스처를 검출할 수 있다. 다른 예로서, 웨어러블 글래스(1000)는, 사용자의 손목에 착용된 웨어러블 디바이스(20)로부터 사용자의 제스처와 관련된 신호를 수신하거나, 웨어러블 디바이스(20)의 움직임을 검출함으로써 사용자의 제스처를 검출할 수 있다.In order to detect the user's gesture, the wearable glasses 1000 may include a camera or various sensors capable of acquiring an image. Sensors that may be included in the wearable glasses 1000 may include a depth sensor, an infrared sensor, an ultrasonic sensor, and similar sensors. As an example, the wearable glasses 1000 may perform a gesture based on an image of the user's body part or a signal received from the user's body part (eg, an infrared signal or an ultrasonic signal). can be detected. As another example, the wearable glasses 1000 may detect the user's gesture by receiving a signal related to the user's gesture from the wearable device 20 worn on the user's wrist or detecting the movement of the wearable device 20 . have.

도 46은 본 개시의 일 실시예에 따라 웨어러블 글래스가 사용자의 제스처에 기초하여 디스플레이 영상을 조정하는 방법의 흐름도이다.46 is a flowchart of a method by which wearable glasses adjust a display image based on a user's gesture according to an embodiment of the present disclosure;

단계 S2100에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자의 제스처에 대한 정보를 획득할 수 있다.In operation S2100, the wearable glasses 1000 according to an embodiment of the present disclosure may acquire information about a user's gesture.

웨어러블 글래스(1000)는, 웨어러블 글래스(1000)에 구비된 센싱부를 이용하여 사용자의 제스처에 대한 정보를 획득하거나, 외부 디바이스로부터 사용자의 제스처에 대한 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(1000)는, 내부에 구비된 지자기 센서(Magnetic sensor), 가속도 센서(Acceleration sensor), 자이로스코프 센서, 근접 센서, 광학 센서, 깊이감 센서, 적외선 센서, 및 초음파 센서등을 이용하여 사용자의 제스처에 대한 정보를 획득할 수 있다. 또는, 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)에 구비된 사용자 입력부(1040)를 통해 수신되는 사용자의 터치 제스처에 대한 정보를 획득할 수 있다.The wearable glasses 1000 may obtain information about the user's gesture by using a sensing unit provided in the wearable glasses 1000 or may acquire information about the user's gesture from an external device. For example, the wearable glass 1000 includes a magnetic sensor, an acceleration sensor, a gyroscope sensor, a proximity sensor, an optical sensor, a depth sensor, an infrared sensor, and an ultrasonic sensor provided therein. can be used to obtain information about the user's gesture. Alternatively, the wearable glasses 1000 may acquire information about the user's touch gesture received through the user input unit 1040 provided in the wearable glasses 1000 .

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)가 초기화되는 경우 또는 웨어러블 글래스의 전원이 ON될 때, 웨어러블 글래스(1000)의 기울어짐을 보상하기 위해 이용되는 사용자의 제스처에 대한 정보를 획득할 수 있다. 또는, 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 기울어짐이 보상된 영상을 제공받기를 원하는 사용자의 입력이 수신될 때, 사용자의 제스처에 대한 정보를 획득할 수 있다. The wearable glasses 1000 according to an embodiment of the present disclosure are used to compensate for the inclination of the wearable glasses 1000 when the wearable glasses 1000 are initialized or when the wearable glasses are turned on. information can be obtained. Alternatively, the wearable glasses 1000 may acquire information about the user's gesture when an input of a user who wants to receive an image in which the inclination of the wearable glasses 1000 is compensated is received.

또는, 웨어러블 글래스(1000)의 큰 움직임이 발생한 경우, 웨어러블 글래스(1000)는 사용자에 대한 웨어러블 글래스(1000)의 위치가 변경될 가능성이 높다고 판단할 수 있다. 따라서, 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 움직임 상태값, 예를 들어, 가속도 값, 속도 값, 또는 각 운동량 값 중 적어도 하나가 임계 값 이상으로 측정되는 경우, 사용자의 제스처에 대한 정보를 획득할 수 있다.Alternatively, when a large movement of the wearable glasses 1000 occurs, the wearable glasses 1000 may determine that there is a high possibility that the position of the wearable glasses 1000 with respect to the user is changed. Accordingly, when at least one of a motion state value of the wearable glasses 1000, for example, an acceleration value, a velocity value, or each momentum value, is measured to be greater than or equal to a threshold value, the wearable glasses 1000 respond to the user's gesture. information can be obtained.

예를 들어, 웨어러블 글래스(1000)가 획득하는 사용자의 제스처에 대한 정보는, 제스처를 취한 신체 부위의 위치가 변화된 정도, 형태 변화된 정도 및 움직임의 지속 시간 중 적어도 하나를 획득할 수 있다.For example, the information about the user's gesture obtained by the wearable glasses 1000 may acquire at least one of a degree of change in a position of a body part taking a gesture, a degree of change in shape, and a duration of movement.

사용자의 제스처에 대한 정보는, 디스플레이 영상을 조정하기 위한 조정값을 결정하는데 이용되는 정보일 수 있다. 예를 들어, 웨어러블 글래스(1000)가 획득하는 제스처에 대한 정보는, 사용자의 머리, 손, 눈, 입 또는 이들의 조합에 대한 정보를 포함할 수 있다. 또한, 웨어러블 글래스(1000)가 획득하는 제스처에 대한 정보는, 제스처를 취하는 신체 부위를 촬영한 영상을 포함할 수 있다. 또는, 사용자의 제스처에 대한 정보는, 사용자 입력부(1040)를 통해 수신되는 사용자의 터치 입력에 대한 정보를 포함할 수 있다.The information on the user's gesture may be information used to determine an adjustment value for adjusting a display image. For example, the information on the gesture acquired by the wearable glasses 1000 may include information on the user's head, hand, eyes, mouth, or a combination thereof. Also, the information on the gesture acquired by the wearable glasses 1000 may include an image of a body part taking the gesture. Alternatively, the information on the user's gesture may include information on the user's touch input received through the user input unit 1040 .

일 예로서, 웨어러블 글래스(1000)는, 손에 대한 영상에 기초하여 제스처에 대한 정보를 획득할 수 있다. 웨어러블 글래스(1000) 는, 손에 대한 영상을 획득하고, 획득된 영상으로부터 손의 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화를 검출할 수 있다.As an example, the wearable glasses 1000 may acquire information about a gesture based on an image of a hand. The wearable glasses 1000 may acquire an image of a hand, and detect a change in at least one of a palm, a knuckle, and a fingertip of the hand from the acquired image.

다른 예로서, 웨어러블 글래스(1000)는, 손으로부터 수신되는 소정 신호에 기초하여 제스처를 검출할 수 있다. 웨어러블 글래스(1000)는, 소정의 신호를 손에 전송하고, 전송된 신호에 응답하여 손으로부터 반사된 신호에 기초하여 제스처에 대한 정보를 획득할 수 있다. 예를 들어, 소정의 신호는, 적외선 신호 또는 초음파 신호일 수 있다. 웨어러블 글래스(1000)는, 대상체로부터 수신되는 소정 신호로부터 손의 손바닥, 손가락 관절, 및 손가락 끝 중 적어도 하나의 변화를 검출할 수 있다.As another example, the wearable glasses 1000 may detect a gesture based on a predetermined signal received from a hand. The wearable glasses 1000 may transmit a predetermined signal to the hand, and in response to the transmitted signal, obtain information about the gesture based on a signal reflected from the hand. For example, the predetermined signal may be an infrared signal or an ultrasonic signal. The wearable glasses 1000 may detect a change in at least one of a palm of a hand, a knuckle, and a fingertip from a predetermined signal received from the object.

또 다른 예로서, 사용자의 제스처에 대한 정보는, 사용자 입력부(1040)를 통해 수신되는 사용자 입력에 대한 정보를 포함할 수 있다. 예를 들어, 사용자 입력은 터치 패드를 터치하는 입력, 휠을 회전시키는 입력, 또는 버튼을 푸시하는 입력을 포함할 수 있다. 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 웨어러블 글래스(1000) 상에 구비된 사용자 입력부(1040)를 통해 수신되는 사용자의 터치 입력에 대한 정보를 사용자의 제스처에 대한 정보로서 획득할 수 있다. 예를 들어, 본 개시의 일부 실시예에 따라 웨어러블 글래스(1000)는 사용자 입력부(120)로서 터치 패드를 구비할 수 있다.As another example, the information on the user's gesture may include information on the user input received through the user input unit 1040 . For example, the user input may include an input of touching a touch pad, an input of rotating a wheel, or an input of pushing a button. The wearable glasses 1000 according to an embodiment of the present disclosure may obtain information about the user's touch input received through the user input unit 1040 provided on the wearable glasses 1000 as information about the user's gesture. have. For example, according to some embodiments of the present disclosure, the wearable glasses 1000 may include a touch pad as the user input unit 120 .

사용자의 제스처에 대한 정보를 획득하는 방법과 관련하여서는, 후에 도 47 내지 도 49를 참조하여 보다 구체적으로 설명한다.A method of acquiring information about a user's gesture will be described in more detail later with reference to FIGS. 47 to 49 .

단계 S2200에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 획득된 정보에 기초하여 조정값을 결정할 수 있다. In operation S2200, the wearable glasses 1000 according to an embodiment of the present disclosure may determine an adjustment value based on the obtained information.

조정값은 디스플레이 영상을 조정하기 위해 이용되는 값이다. 조정값은, 디스플레이 영상의 회전 각도, 크기 및 형태 중 적어도 하나를 조정하기 위한 값일 수 있다. 또는, 조정값은 디스플레이 영상의 밝기, 디스플레이(1030) 상에 디스플레이되는 위치, 또는 색을 조정하기 위한 값일 수 있다. 또는, 조정값은, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)의 디스플레이(1030)가 반투명 광 파장 가이드(예를 들어, 프리즘)로 구성되는 경우, 웨어러블 글래스(1000)의 디스플레이(1030)의 프로젝터로부터 출력되는 빛이 포커싱되는 초점의 위치일 수 있다.The adjustment value is a value used to adjust the display image. The adjustment value may be a value for adjusting at least one of a rotation angle, a size, and a shape of the display image. Alternatively, the adjustment value may be a value for adjusting the brightness of a display image, a position displayed on the display 1030 , or a color. Alternatively, the adjustment value is the display 1030 of the wearable glasses 1000 when the display 1030 of the wearable glasses 1000 according to an embodiment of the present disclosure is configured as a translucent light wavelength guide (eg, a prism). ) may be a location of a focal point where the light output from the projector is focused.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 여러 제스처들에 대한 정보와 조정값들을 매핑하여 저장하거나, 제스처에 대한 정보에 기초하여 조정값을 산출할 수 있는 관계식을 저장할 수 있다. 웨어러블 글래스(1000)는, 획득된 정보에 기초하여 미리 저장된 조정값을 검색하거나, 검색된 관계식을 이용하여 조정값을 산출함으로써 조정값을 결정할 수 있다.The wearable glasses 1000 according to an embodiment of the present disclosure may map and store information on various gestures and adjustment values, or store a relational expression capable of calculating an adjustment value based on information on gestures. The wearable glasses 1000 may determine the adjustment value by searching for an adjustment value stored in advance based on the obtained information or calculating the adjustment value using the searched relational expression.

단계 S2300에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 결정된 조정값에 기초하여, 디스플레이(1030)를 통해 표시되는 영상을 조정할 수 있다.In operation S2300 , the wearable glasses 1000 according to an embodiment of the present disclosure may adjust an image displayed through the display 1030 based on the determined adjustment value.

먼저, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 결정된 조정값에 기초하여, 디스플레이(1030)를 통해 표시되는 영상의 회전 각도, 크기 및 형태 중 적어도 하나를 조정할 수 있다. 또는, 웨어러블 글래스(1000)는, 결정된 조정값에 기초하여 디스플레이(1030)를 통해 표시되는 영상의 밝기, 디스플레이되는 위치, 또는 색 중 적어도 하나를 조정할 수 있다. First, the wearable glasses 1000 according to an embodiment of the present disclosure may adjust at least one of a rotation angle, a size, and a shape of an image displayed through the display 1030 based on the determined adjustment value. Alternatively, the wearable glasses 1000 may adjust at least one of a brightness, a displayed position, and a color of an image displayed through the display 1030 based on the determined adjustment value.

또는, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)의 디스플레이(1030)가 반투명 광 파장 가이드(예를 들어, 프리즘)로 구성되는 경우, 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이(1030)의 프로젝터로부터 출력되는 빛이 포커싱되는 초점의 위치를 조정할 수 있다.Alternatively, when the display 1030 of the wearable glasses 1000 according to an embodiment of the present disclosure is configured of a translucent light wavelength guide (eg, a prism), the wearable glasses 1000 may Based on the inclination, a position of a focal point at which light output from the projector of the display 1030 is focused may be adjusted.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 조정값에 기초하여 필요한 영상 조정(예를 들어, 수평 변환(horizontal translation), 수직 변환(vertical translation), 키 스토닝(keystoning), 및/또는 사용자가 왜곡되지 않은 영상을 제공 받을 수 있도록 보정하는 다양한 영상 처리)을 수행할 수 있다.The wearable glasses 1000 according to an embodiment of the present disclosure provide image adjustments (eg, horizontal translation, vertical translation, keystoning) required based on the adjustment value, and / or various image processing that corrects so that the user can receive an undistorted image) may be performed.

또한, 예를 들어, 웨어러블 글래스(1000)의 디스플레이(1030)가 반투명 광 파장 가이드(예를 들어, 프리즘)로 구성되는 경우, 웨어러블 글래스(1000)는 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이(1030)의 프로젝터로부터 출력되는 빛이 포커싱되는 초점의 위치를 조정할 수 있다.Also, for example, when the display 1030 of the wearable glasses 1000 is configured as a translucent light wavelength guide (eg, a prism), the wearable glasses 1000 display the display based on the inclination of the wearable glasses 1000 . It is possible to adjust the position of the focal point where the light output from the projector of 1030 is focused.

다음으로 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 조정된 영상을 디스플레이할 수 있다. 도 46의 단계 S2300에는 도 6의 S400에 대한 설명이 적용될 수 있으며, 중복되는 설명은 생략한다. Next, the wearable glasses 1000 according to an embodiment of the present disclosure may display the adjusted image. The description of S400 of FIG. 6 may be applied to step S2300 of FIG. 46 , and overlapping descriptions will be omitted.

웨어러블 글래스(1000)를 통해 디스플레이되는 영상을 조정하기 위해서 사용자의 제스처를 이용하는 경우, 소정 시간 간격으로 계속적으로 사용자의 제스처에 대한 정보를 획득하는 동작을 수행할 수 있다. 예를 들어, 웨어러블 글래스(1000)는 사용자의 제스처에 대한 정보를 획득하기 위해서, 제스처를 취하는 사용자의 신체 부위를 소정 시간 간격으로 촬영하고, 촬영된 영상을 분석할 수 있다.When a user's gesture is used to adjust an image displayed through the wearable glasses 1000, an operation of continuously acquiring information about the user's gesture at predetermined time intervals may be performed. For example, in order to obtain information on the user's gesture, the wearable glasses 1000 may photograph the body part of the user making the gesture at predetermined time intervals and analyze the captured image.

그러나, 계속적으로 사용자의 제스처에 대한 정보를 획득하는 것은, 메모리 용량 및 프로세서의 연산량의 과부하를 초래할 수 있다. 따라서, 본 개시의 일 실시예에 따르면, 소정 이벤트가 발생하였을 경우에만 사용자의 제스처에 대한 정보를 획득하도록 구성될 수 있다.However, continuously acquiring information about the user's gesture may result in overload of memory capacity and computational amount of the processor. Accordingly, according to an embodiment of the present disclosure, information on the user's gesture may be acquired only when a predetermined event occurs.

도 47은 본 개시의 일 실시예에 따라 웨어러블 글래스가 사용자의 제스처에 대한 정보를 획득하는 방법의 흐름도이다.47 is a flowchart of a method by which wearable glasses obtain information about a user's gesture according to an embodiment of the present disclosure;

본 개시의 일 실시예에 따른 사용자의 제스처에 대한 정보는, 디스플레이 영상을 조정하기 위한 조정값을 결정하는데 이용되는 정보일 수 있다. 예를 들어, 제스처에 대한 정보는, 제스처를 취하는 신체 부위를 촬영한 영상을 포함할 수 있다.Information about a user's gesture according to an embodiment of the present disclosure may be information used to determine an adjustment value for adjusting a display image. For example, the information about the gesture may include an image of a body part taking the gesture.

단계 S2110에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)가 초기화되는지 여부를 판단한다. 예를 들어, 웨어러블 글래스(1000)는, 전원이 ON되는 경우 또는 사용자로부터 웨어러블 글래스(1000)를 초기화 하기 위한 초기화 입력이 수신되는 경우 초기화할 수 있다.In operation S2110, the wearable glasses 1000 according to an embodiment of the present disclosure determine whether the wearable glasses 1000 are initialized. For example, the wearable glasses 1000 may be initialized when the power is turned on or when an initialization input for initializing the wearable glasses 1000 is received from the user.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)가 초기화될 때, 사용자의 제스처에 대한 정보를 획득할 수 있다(S2150). 웨어러블 글래스(1000)가 초기화되지 않은 경우(예를 들어, 웨어러블 글래스(1000)가 계속 작동 중인 경우에는, 단계 S2120을 수행함으로써 움직임 상태값에 기초하여 사용자의 제스처에 대한 정보를 획득할 수 있다.The wearable glasses 1000 according to an embodiment of the present disclosure may acquire information about the user's gesture when the wearable glasses 1000 are initialized ( S2150 ). When the wearable glasses 1000 are not initialized (eg, when the wearable glasses 1000 are continuously operating, step S2120 is performed to obtain information on the user's gesture based on the motion state value.

단계 S2120에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 웨어러블 글래스(1000)의 움직임 상태값을 측정한다. 움직임 상태값이란, 웨어러블 글래스(1000)의 움직임을 나타내는 값을 의미한다. In operation S2120 , the wearable glasses 1000 according to an embodiment of the present disclosure measure a motion state value of the wearable glasses 1000 . The motion state value means a value representing the motion of the wearable glasses 1000 .

예를 들어, 웨어러블 글래스(1000)는, 가속도 값, 속도 값, 또는 각 운동량 값 중 적어도 하나를 움직임 상태값으로서 측정할 수 있다. 웨어러블 글래스(1000)는 움직임 상태값이 소정 값 이상인지 여부를 판단하여(S2130), 측정된 움직임 상태값이 소정 값 이상일 경우, 사용자의 제스처에 대한 정보를 획득할 수 있다(S2150). 웨어러블 글래스(1000)의 움직임 상태값이 소정 값 미만인 경우, 단계 S2140을 수행함으로써 사용자 입력에 기초하여 사용자의 제스처에 대한 정보를 획득할 수 있다.For example, the wearable glasses 1000 may measure at least one of an acceleration value, a velocity value, and an angular momentum value as a motion state value. The wearable glasses 1000 may determine whether the movement state value is equal to or greater than a predetermined value (S2130), and when the measured movement state value is greater than or equal to a predetermined value, may obtain information on the user's gesture (S2150). When the motion state value of the wearable glasses 1000 is less than a predetermined value, information on the user's gesture may be obtained based on the user input by performing step S2140.

다만, 본 개시는 도 47의 단계 S2130에 제한되지 않는다. 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 움직임 상태값이 소정값 이상인지 여부뿐만 아니라, 소정값 이하인지 여부, 소정값 미만인지 여부등을 판단할 수 있다. 즉, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 움직임 상태값과 미리 결정된 소정값을 비교하고, 비교 결과에 기초하여 사용자의 제스처에 대한 정보를 획득할지 여부를 결정할 수 있다.However, the present disclosure is not limited to step S2130 of FIG. 47 . The wearable glasses 1000 according to an embodiment of the present disclosure may determine whether the motion state value is equal to or greater than a predetermined value, as well as whether the motion state value is equal to or less than a predetermined value or less than a predetermined value. That is, the wearable glasses 1000 according to an embodiment of the present disclosure may compare the motion state value with a predetermined value, and determine whether to acquire information about the user's gesture based on the comparison result.

단계 S2140에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자로부터 디스플레이되는 영상을 조정하기 위한 입력이 수신되었는지 여부를 판단한다. 웨어러블 글래스(1000)의 위치가 변경되어 왜곡된 화면이 제공되는 경우, 사용자는 웨어러블 글래스(1000)에게 사용자의 제스처에 기초하여 디스플레이 디스플레이 영상을 조정하도록 하는 명령을 입력할 수 있다.In operation S2140, the wearable glasses 1000 according to an embodiment of the present disclosure determine whether an input for adjusting a displayed image is received from a user. When the position of the wearable glasses 1000 is changed and a distorted screen is provided, the user may input a command to the wearable glasses 1000 to adjust the display image based on the user's gesture.

웨어러블 글래스(1000)는 디스플레이 영상을 조정하기 위한 사용자 입력이 수신되었는지 여부를 판단한다.(S2140) 디스플레이 영상을 조정하기 위한 사용자 입력이 수신되는 경우, 사용자의 제스처에 대한 정보를 획득할 수 있다(S2150). 웨어러블 글래스(1000)의 사용자 입력이 수신되지 않는 경우, 단계 S2110 내지 S2140을 반복하여 수행할 수 있다.The wearable glasses 1000 determine whether a user input for adjusting the display image is received. (S2140) When the user input for adjusting the display image is received, information on the user's gesture may be obtained ( S2150). When the user input of the wearable glasses 1000 is not received, steps S2110 to S2140 may be repeatedly performed.

단계 S2150에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자의 제스처에 대한 정보를 획득할 수 있다. 예를 들어, 사용자의 제스처에 대한 정보가 제스처를 촬영한 영상인 경우, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자의 제스처를 유도하기 위한 가이드 영상을 출력할 수 있다.In operation S2150, the wearable glasses 1000 according to an embodiment of the present disclosure may acquire information about the user's gesture. For example, when the information on the user's gesture is an image obtained by photographing the gesture, the wearable glasses 1000 according to an embodiment of the present disclosure may output a guide image for inducing the user's gesture.

웨어러블 글래스(1000)는 가이드 영상을 출력함으로써, 사용자가 디스플레이 영상을 조정하기 위한 제스처를 취하도록 유도함으로써, 사용자의 제스처에 기초하여 디스플레이 영상을 조정하기 위한 조정값을 결정할 수 있다.The wearable glasses 1000 may determine an adjustment value for adjusting the display image based on the user's gesture by inducing the user to take a gesture for adjusting the display image by outputting a guide image.

도 48 및 49는 본 개시의 일부 실시예에 따라 웨어러블 글래스(1000)가 사용자의 제스처를 유도하기 위한 가이드 영상이 디스플레이되는 화면의 예이다.48 and 49 are examples of screens on which the wearable glasses 1000 display a guide image for inducing a user's gesture according to some embodiments of the present disclosure.

도 48 및 49에 도시된 바와 같이, 웨어러블 글래스(1000)를 통해 디스플레이되는 가이드 영상(4800)은 사용자의 제스처를 유도하기 위한 가상의 입력 인터페이스(4801)를 포함할 수 있다.48 and 49 , the guide image 4800 displayed through the wearable glasses 1000 may include a virtual input interface 4801 for inducing a user's gesture.

가상의 입력 인터페이스(4801)는 버튼 형태이거나, 물리적 스위치(예를 들어, 토글 스위치, 로터리(rotary) 스위치, 텀블러 스위치 등)를 나타내는 형태일 수 있으며, 그 형태는 다양하게 변형 가능하다.The virtual input interface 4801 may be in the form of a button or a form representing a physical switch (eg, a toggle switch, a rotary switch, a tumbler switch, etc.), and the form may be variously modified.

사용자는, 웨어러블 글래스(1000)의 디스플레이(1030)를 통해 제공되는 입력 인터페이스(4801)의 종류에 따라, 대응되는 제스처를 취할 수 있다. The user may take a corresponding gesture according to the type of the input interface 4801 provided through the display 1030 of the wearable glasses 1000 .

예를 들어, 도 48에 도시된 가이드 영상(4800)을 제공받는 경우, 사용자는 입력 인터페이스(4801)를 사용자의 손으로 회전시키는 제스처를 취할 수 있다. 도 49에 도시된 가이드 영상(4800)을 제공받는 경우, 사용자는 입력 인터페이스(4801)에 포함되는 적어도 하나의 화살표 모양의 버튼을 손으로 누르는 제스처를 취할 수 있다.For example, when receiving the guide image 4800 shown in FIG. 48 , the user may take a gesture of rotating the input interface 4801 with the user's hand. When receiving the guide image 4800 shown in FIG. 49 , the user may take a gesture of pressing at least one arrow-shaped button included in the input interface 4801 with a hand.

단계 S1150에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자의 제스처를 촬영한다. 도 52 내지 54에는 본 개시의 일부 실시예에 따라, 웨어러블 글래스(1000)를 통해 획득된 사용자의 제스처를 촬영한 영상의 예가 도시된다.In operation S1150, the wearable glasses 1000 according to an embodiment of the present disclosure capture a user's gesture. 52 to 54 show examples of images obtained by photographing a user's gesture obtained through the wearable glasses 1000, according to some embodiments of the present disclosure.

한편, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자의 제스처에 대한 정보에 기초하여 디스플레이 영상을 조정하기 위한 조정값을 결정할 수 있다. 예를 들어, 웨어러블 글래스(1000)는, 사용자의 제스처를 촬영한 영상을 획득하고, 촬영된 제스처 영상을 분석하여 조정값을 결정할 수 있다.Meanwhile, the wearable glasses 1000 according to an embodiment of the present disclosure may determine an adjustment value for adjusting a display image based on information about a user's gesture. For example, the wearable glasses 1000 may acquire an image of a user's gesture and analyze the captured gesture image to determine an adjustment value.

이하, 사용자의 손의 제스처 영상을 분석하여 조정값을 결정하는 경우를 예로 들어 설명한다. 그러나 본 발명은 이에 한정되지 않으며, 본 개시의 다양한 실시예에 따른 웨어러블 글래스(1000)는 손 이외의 신체 부위의 제스처를 이용하여 디스플레이 영상을 조정할 수 있다.Hereinafter, a case in which an adjustment value is determined by analyzing a gesture image of a user's hand will be described as an example. However, the present invention is not limited thereto, and the wearable glasses 1000 according to various embodiments of the present disclosure may adjust the display image by using a gesture of a body part other than the hand.

도 50은 본 개시의 일 실시예에 따라 웨어러블 글래스가 촬영된 제스처 영상으로부터 조정값을 결정하는 방법의 흐름도이다.50 is a flowchart of a method of determining an adjustment value from a gesture image captured by wearable glasses according to an embodiment of the present disclosure;

단계 S2210에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 촬영된 제스처 영상으로부터 사용자의 손에 대응되는 영역을 결정할 수 있다.In operation S2210, the wearable glasses 1000 according to an embodiment of the present disclosure may determine an area corresponding to the user's hand from the captured gesture image.

도 51은 본 개시의 일 실시예에 따라 웨어러블 글래스(1000)가 사용자의 손 제스처를 검출하는 방법을 설명하기 위한 도면이다.51 is a diagram for explaining a method of detecting a user's hand gesture by the wearable glasses 1000 according to an embodiment of the present disclosure.

도 51에 도시된 바와 같이, 웨어러블 글래스(1000)는 웨어러블 글래스(1000)로부터 소정 거리 내에 위치한 관심 공간 내에 위치한 사용자의 손을 촬영한 영상(5100)을 획득하고, 획득된 영상으로부터 손의 제스처를 검출할 수 있다.As shown in FIG. 51 , the wearable glasses 1000 obtain an image 5100 of a user's hand located within a space of interest located within a predetermined distance from the wearable glasses 1000, and perform a hand gesture from the obtained image. can be detected.

예를 들어, 웨어러블 글래스(1000)는 획득된 영상 (5100) 으로부터 손에 대응되는 영역(5102)을 추정할 수 있다. For example, the wearable glasses 1000 may estimate the area 5102 corresponding to the hand from the obtained image 5100 .

단계 S2220에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 손의 개수 및 손가락의 개수를 검출할 수 있다.In operation S2220, the wearable glasses 1000 according to an embodiment of the present disclosure may detect the number of hands and the number of fingers.

도 51을 참고하면, 웨어러블 글래스(1000)는 추정된 손에 대응되는 영역(5102)을 분석하여, 손에 대응되는 영역(5102) 내에 포함되는 손가락 끝에 대응되는 영역(5104) 및 손등에 대응되는 영역(5106)을 더 검출할 수 있다. 다만, 본 개시는 손등에 제한되지 않으며, 손의 적어도 일부분(예를 들어, 손바닥, 손목 등)에 대응되는 영역을 검출할 수 있다.Referring to FIG. 51 , the wearable glasses 1000 analyze the region 5102 corresponding to the estimated hand, and the region 5104 corresponding to the fingertip included in the region 5102 corresponding to the hand and the region corresponding to the back of the hand. Region 5106 may be further detected. However, the present disclosure is not limited to the back of the hand, and a region corresponding to at least a part of the hand (eg, palm, wrist, etc.) may be detected.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 검출된 영역에 기초하여, 관심 공간 내의 손의 개수 및 손가락의 개수를 검출할 수 있다. The wearable glasses 1000 according to an embodiment of the present disclosure may detect the number of hands and the number of fingers in the ROI based on the detected region.

단계 S2230에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 손의 개수 및 손가락의 개수에 기초하여, 조정될 영상의 파라미터를 선택할 수 있다. 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 손의 개수 및 손가락의 개수에 기초하여 사용자의 손이 취하고 있는 제스처의 종류를 결정할 수 있다.In operation S2230, the wearable glasses 1000 according to an embodiment of the present disclosure may select a parameter of an image to be adjusted based on the number of hands and the number of fingers. The wearable glasses 1000 according to an embodiment of the present disclosure may determine the type of gesture the user's hand is taking based on the number of hands and the number of fingers.

웨어러블 글래스(1000)는 결정된 제스처의 종류에 기초하여, 조정될 영상의 파라미터를 결정할 수 있다. 영상의 파라미터는, 영상의 크기, 형태 및 회전 각도 중 적어도 하나를 포함할 수 있다. 즉, 웨어러블 글래스(1000)는 결정된 제스처의 종류에 기초하여, 디스플레이 영상의 크기, 위치, 형태 및 회전 각도 중 어떠한 파라미터를 조정할지 결정할 수 있다. 다만, 영상의 파라미터는 상술한 예에 제한되지 않는다.The wearable glasses 1000 may determine a parameter of an image to be adjusted based on the determined type of gesture. The parameter of the image may include at least one of a size, a shape, and a rotation angle of the image. That is, the wearable glasses 1000 may determine which parameter among the size, position, shape, and rotation angle of the display image to be adjusted based on the determined type of gesture. However, the parameters of the image are not limited to the above-described example.

예를 들어, 영상의 파라미터는, 영상의 밝기, 디스플레이(1030) 상에 영상이 디스플레이되는 위치, 또는 영상의 색과 관련된 파라미터일 수 있다. 또는, 영상의 파라미터는, 웨어러블 글래스(1000)의 디스플레이(1030)가 반투명 광 파장 가이드(예를 들어, 프리즘)로 구성되는 경우, 웨어러블 글래스(1000)의 디스플레이(1030)의 프로젝터로부터 출력되는 빛이 포커싱되는 초점의 위치일 수 있다.For example, the parameter of the image may be a parameter related to the brightness of the image, a position where the image is displayed on the display 1030 , or a color of the image. Alternatively, the image parameter is the light output from the projector of the display 1030 of the wearable glass 1000 when the display 1030 of the wearable glass 1000 is configured as a translucent light wavelength guide (eg, a prism). This may be the location of the focused focal point.

단계 S2240에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 손의 위치 및 형태 변화를 검출할 수 있다.In operation S2240, the wearable glasses 1000 according to an embodiment of the present disclosure may detect a change in the position and shape of the hand.

예를 들어, 웨어러블 글래스(1000)는 손등에 대응되는 영역(5106)에 대한 손가락 끝에 대응되는 영역 (5104) 의 움직임(예를 들어, 움직이는 거리 또는 각도 등)을 검출할 수 있다.For example, the wearable glasses 1000 may detect a movement (eg, a moving distance or an angle) of the area 5104 corresponding to the fingertip with respect to the area 5106 corresponding to the back of the hand.

예를 들어, 웨어러블 글래스(1000)는 손등에 대응되는 영역(5106)과 손가락 끝에 대응되는 영역(5104)이 가까워짐을 검출함으로써, 사용자가 손가락을 구부리는 동작을 검출할 수 있다. 또는, 웨어러블 글래스(1000)는, 손등에 대응되는 영역(5106)과 손가락 끝에 대응되는 영역(5104)이 멀어짐을 검출함으로써, 사용자가 손가락을 펴는 동작을 검출할 수 있다.For example, the wearable glasses 1000 may detect a motion in which the user bends a finger by detecting that the area 5106 corresponding to the back of the hand and the area 5104 corresponding to the tip of the finger come closer. Alternatively, the wearable glasses 1000 may detect a motion in which the user spreads a finger by detecting that the area 5106 corresponding to the back of the hand and the area 5104 corresponding to the tip of the finger move away from each other.

단계 S2250에서 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 손의 위치 및 형태 변화에 기초하여, 선택된 파라미터를 조정하기 위한 조정값을 결정할 수 있다.In operation S2250 , the wearable glasses 1000 according to an embodiment of the present disclosure may determine an adjustment value for adjusting the selected parameter based on a change in the position and shape of the hand.

예를 들어, 웨어러블 글래스(1000)는 소정 시간동안 손의 적어도 일부가 움직인 거리 또는 형태가 변화된 정도에 기초하여 선택된 파라미터를 얼마나 조정할지 조정값을 결정할 수 있다. 그러나 본 개시는 이에 제한되지 않는다. 예를 들어, 웨어러블 글래스(1000)는 손이 움직이는 속도, 손이 검출된 위치, 손이 움직이는 방향, 또는 소정 제스처를 취하는 동작을 반복하는 횟수 등 제스처에 기초하여 획득된 다양한 정보에 기초하여 조정값을 결정할 수 있다.
For example, the wearable glasses 1000 may determine the adjustment value for how much to adjust the selected parameter based on the distance that at least a part of the hand has moved for a predetermined time or the degree to which the shape is changed. However, the present disclosure is not limited thereto. For example, the wearable glasses 1000 may provide an adjustment value based on various information obtained based on a gesture, such as the speed at which the hand moves, the position at which the hand is detected, the direction in which the hand moves, or the number of repetitions of an action taking a predetermined gesture. can be decided

도 52, 53 및 54는 본 개시의 일부 실시예에 따라 웨어러블 글래스가 사용자의 제스처에 기초하여 디스플레이 영상을 조정하기 위한 조정값을 결정하는 방법을 설명하기 위한 도면이다.52, 53, and 54 are diagrams for explaining a method of determining, by wearable glasses, an adjustment value for adjusting a display image based on a user's gesture, according to some embodiments of the present disclosure;

도 52를 참조하면, 웨어러블 글래스(1000)는 사용자가 손(7)으로 가상의 입력 인터페이스(4801)를 회전시키는 제스처를 취하도록 유도하는 가이드 영상을 출력할 수 있다.Referring to FIG. 52 , the wearable glasses 1000 may output a guide image guiding the user to take a gesture of rotating the virtual input interface 4801 with a hand 7 .

웨어러블 글래스(1000)는 디스플레이되는 가상의 입력 인터페이스(4801)에 대응되는 사용자의 손(7)의 제스처가 검출되는 경우, 사용자의 손(7)이 움직인 각도, 움직인 거리 또는 움직인 속도에 기초하여 디스플레이 영상을 조정할 수 있다. When a gesture of the user's hand 7 corresponding to the displayed virtual input interface 4801 is detected, the wearable glasses 1000 may change the movement angle, movement distance, or movement speed of the user's hand 7 . Based on this, the display image may be adjusted.

예를 들어, 사용자가 손(7)으로 가상의 입력 인터페이스(4801)를 시계방향으로 회전시키는 제스처를 취하는 경우, 웨어러블 글래스(1000)는 사용자의 손(7)이 회전한 각도만큼 시계방향으로 디스플레이 영상을 회전시킬 수 있다.For example, when the user makes a gesture of rotating the virtual input interface 4801 clockwise with the hand 7 , the wearable glasses 1000 are displayed clockwise by the rotation angle of the user's hand 7 . You can rotate the image.

도 53에 도시된 바와 같이, 웨어러블 글래스(1000)는 사용자가 손(7)으로 가상의 입력 인터페이스(4801)에 포함되는 적어도 하나의 버튼을 누르는 제스처를 취하도록 유도하는 가이드 영상을 출력할 수 있다.53 , the wearable glasses 1000 may output a guide image that induces the user to press at least one button included in the virtual input interface 4801 with the hand 7 . .

웨어러블 글래스(1000)는 디스플레이되는 가상의 입력 인터페이스(4801)에 대응되는 사용자의 손(7)의 제스처가 검출되는 경우, 사용자의 손(7)의 위치 및 사용자의 손(7)이 움직인 거리 또는 움직인 횟수에 기초하여 디스플레이 영상을 조정할 수 있다. When a gesture of the user's hand 7 corresponding to the displayed virtual input interface 4801 is detected, the wearable glasses 1000 determine the position of the user's hand 7 and the distance the user's hand 7 moves. Alternatively, the display image may be adjusted based on the number of movements.

예를 들어, 사용자가 손(7)으로 가상의 입력 인터페이스(4801)에 포함되는 화살표 형태의 버튼을 누르는 제스처를 취하는 경우, 웨어러블 글래스(1000)는 형태의 버튼에 대응되는 방향으로 디스플레이 영상을 이동시킬 수 있다. 이 때, 웨어러블 글래스(1000)는 사용자의 손(7)이 움직인 횟수에 대응되는 거리만큼 디스플레이 영상을 이동시킬 수 있다.For example, when the user makes a gesture of pressing a button in the form of an arrow included in the virtual input interface 4801 with his hand 7 , the wearable glasses 1000 move the display image in a direction corresponding to the button in the form can do it In this case, the wearable glasses 1000 may move the display image by a distance corresponding to the number of times the user's hand 7 has moved.

도 54에 도시된 바와 같이, 웨어러블 글래스(1000)는 사용자가 손(7)으로 가상의 입력 인터페이스(4801)를 움직이는 제스처를 취하도록 유도하는 가이드 영상을 출력할 수 있다.As shown in FIG. 54 , the wearable glasses 1000 may output a guide image inducing the user to make a gesture of moving the virtual input interface 4801 with a hand 7 .

웨어러블 글래스(1000)는 디스플레이되는 가상의 입력 인터페이스(4801)에 대응되는 사용자의 손(7)의 제스처가 검출되는 경우, 사용자의 손(7)이 움직인 거리 또는 손(7)이 회전한 각도에 기초하여 디스플레이 영상을 조정할 수 있다. When a gesture of the user's hand 7 corresponding to the displayed virtual input interface 4801 is detected, the wearable glasses 1000 may determine the distance the user's hand 7 moves or the angle at which the hand 7 rotates. The display image may be adjusted based on the

예를 들어, 사용자가 손(7)으로 가상의 입력 인터페이스(4801)를 회전시키는 제스처를 취하는 경우, 웨어러블 글래스(1000)는 사용자의 손(7)이 회전한 각도만큼 디스플레이 영상을 회전시킬 수 있다.For example, when the user makes a gesture of rotating the virtual input interface 4801 with his hand 7 , the wearable glasses 1000 may rotate the display image by the rotation angle of the user's hand 7 . .

위에서는, 도 50 내지 54를 참조하여, 본 개시의 일부 실시예에 따라 사용자의 관심 공간 내의 제스처에 기초하여 디스플레이 영상을 조정하는 방법을 설명하였다. 그러나 본 개시는 이에 제한되지 않는다.A method of adjusting a display image based on a gesture in a user's space of interest in accordance with some embodiments of the present disclosure has been described above with reference to FIGS. 50 to 54 . However, the present disclosure is not limited thereto.

예를 들어, 본 개시의 일부 실시예에 따르면, 웨어러블 글래스(1000)는 웨어러블 글래스(1000) 상에 구비된 사용자 입력부(1040)를 통해 수신되는 사용자의 터치 입력에 대한 정보를 사용자의 제스처에 대한 정보로서 획득할 수 있다. 예를 들어, 본 개시의 일부 실시예에 따라 웨어러블 글래스(1000)는 사용자 입력부(120)로서 터치 패드를 구비할 수 있다. 웨어러블 글래스(1000)에 구비되는 터치 패드에는, 접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등이 있을 수 있으나 이에 한정되는 것은 아니다.For example, according to some embodiments of the present disclosure, the wearable glasses 1000 may display information about the user's touch input received through the user input unit 1040 provided on the wearable glasses 1000 for the user's gesture. information can be obtained. For example, according to some embodiments of the present disclosure, the wearable glasses 1000 may include a touch pad as the user input unit 120 . The touch pad provided in the wearable glass 1000 may include a contact-type capacitive method, a pressure-type resistive film method, an infrared sensing method, a surface ultrasonic conduction method, an integral tension measurement method, a piezo effect method, and the like, but is limited thereto. it is not

본 개시의 일 부 실시예에 따라 웨어러블 글래스(1000)에 구비되는 터치 패드는, 터치 패드에 대한 사용자의 터치(real-touch) 뿐만 아니라 근접 터치(proximity touch)도 검출될 수 있도록 구성될 수 있다. 본 명세서에서 "터치(real-touch)"라 함은 화면에 실제로 포인터(pointer)가 터치된 경우를 말하고, "근접 터치(proximity-touch)"라 함은 포인터(pointer)가 화면에 실제로 터치는 되지 않고, 화면으로부터 소정 거리 떨어져 접근된 경우를 말한다. According to some embodiments of the present disclosure, the touch pad provided in the wearable glasses 1000 may be configured to detect a proximity touch as well as a user's real-touch with respect to the touch pad. . As used herein, the term “real-touch” refers to a case in which a pointer is actually touched on the screen, and “proximity-touch” refers to a case in which the pointer actually touches the screen. It refers to a case in which the screen is approached at a predetermined distance away from the screen.

본 명세서에서 포인터(pointer)는 디스플레이된 화면의 특정 부분을 터치하거나 근접 터치하기 위한 도구를 말한다. 그 일례로 스타일러스 팬, 손가락 등이 있다. In the present specification, a pointer refers to a tool for touching or close-touching a specific part of a displayed screen. Examples include a stylus fan, a finger, and the like.

도면에는 도시되지 않았지만, 터치 패드의 터치 또는 근접 터치를 감지하기 위해 터치 패드의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치 패드의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.Although not shown in the drawings, various sensors may be provided inside or near the touch pad to sense a touch or a proximity touch of the touch pad. A tactile sensor is an example of a sensor for sensing a touch of a touch pad. A tactile sensor refers to a sensor that senses a touch of a specific object to the extent or higher than that of a human being. The tactile sensor may sense various information such as the roughness of the contact surface, the hardness of the contact object, and the temperature of the contact point.

또한, 터치 패드의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다. 근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. Also, as an example of a sensor for detecting a touch of a touch pad, there is a proximity sensor. The proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object existing in the vicinity without mechanical contact using the force of an electromagnetic field or infrared rays. Examples of the proximity sensor include a transmission type photoelectric sensor, a direct reflection type photoelectric sensor, a mirror reflection type photoelectric sensor, a high frequency oscillation type proximity sensor, a capacitive type proximity sensor, a magnetic type proximity sensor, and an infrared proximity sensor.

한편, 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다. Meanwhile, the user's touch gesture may include a tap, a touch & hold, a double tap, a drag, a pan, a flick, a drag and drop, a swipe, and the like.

본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자 입력부(1040)를 통해 사용자의 제스처에 대한 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(1000)는 사용자 입력부(1040)를 통해 디스플레이 영상을 조정하기 위한 터치 입력을 감지할 수 있다. 예를 들어, 사용자는 사용자 입력부(1040)의 터치 패드 상의 소정 지점을 드래그(drag)하거나, 탭(tap) 할 수 있다The wearable glasses 1000 according to an embodiment of the present disclosure may acquire information about a user's gesture through the user input unit 1040 . For example, the wearable glasses 1000 may sense a touch input for adjusting a display image through the user input unit 1040 . For example, the user may drag or tap a predetermined point on the touch pad of the user input unit 1040 .

"드래그(drag)"는 사용자가 손가락이나 터치 도구를 화면에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 화면 내의 다른 위치로 이동시키는 동작을 의미한다. "탭(tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 화면을 터치한 후 움직이지 않은 채 화면에서 즉시 들어올리는 동작을 나타낸다.“Drag” refers to an operation in which a user touches a finger or a touch tool on the screen and then moves the finger or the touch tool to another location on the screen while maintaining the touch. A “tap” refers to an action of a user touching a screen using a finger or a touch tool (eg, an electronic pen) and then immediately lifting it off the screen without moving.

웨어러블 글래스(1000)는 사용자의 터치 입력에 기초하여 디스플레이 영상을 조정할 수 있다. 예를 들어, 웨어러블 글래스(1000)는, 사용자의 터치 입력을 사용자의 제스처에 대한 정보로서 획득하고, 사용자의 터치 입력에 기초하여 조정값을 결정하고, 결정된 조정값에 기초하여 디스플레이 영상을 조정할 수 있다.The wearable glasses 1000 may adjust a display image based on a user's touch input. For example, the wearable glasses 1000 may obtain a user's touch input as information about a user's gesture, determine an adjustment value based on the user's touch input, and adjust a display image based on the determined adjustment value. have.

도 55 및 56은 본 개시의 일부 실시예에 따라 웨어러블 글래스가 사용자의 제스처에 기초하여 디스플레이 영상을 조정하는 방법을 설명하기 위한 도면이다.55 and 56 are diagrams for explaining a method by which wearable glasses adjust a display image based on a user's gesture according to some embodiments of the present disclosure;

도 55 및 56은, 본 개시의 일부 실시예에 따라 웨어러블 글래스(1000)가 사용자 입력부(1040)로서 터치 패드를 구비하는 경우를 도시한다. 웨어러블 글래스(1000)에 구비되는 터치 패드에는, 접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등이 있을 수 있으나 이에 한정되는 것은 아니다.55 and 56 illustrate a case in which the wearable glasses 1000 include a touch pad as the user input unit 1040 according to some embodiments of the present disclosure. The touch pad provided in the wearable glass 1000 may include a contact-type capacitive method, a pressure-type resistive film method, an infrared sensing method, a surface ultrasonic conduction method, an integral tension measurement method, a piezo effect method, and the like, but is limited thereto. it is not

먼저, 도 55에 도시된 바와 같이, 웨어러블 글래스(1000)는 사용자가 사용자 입력부(1040)의 터치 패드 상의 소정 지점을 드래그하는 제스처를 검출할 수 있다. 웨어러블 글래스(1000)는 사용자의 드래그 제스처의 방향, 지속 시간 및 드래그하여 이동한 거리 중 적어도 하나에 기초하여 디스플레이 영상을 조정할 수 있다.First, as shown in FIG. 55 , the wearable glasses 1000 may detect a gesture in which the user drags a predetermined point on the touch pad of the user input unit 1040 . The wearable glasses 1000 may adjust the display image based on at least one of the direction, duration, and distance of the user's drag gesture.

예를 들어, 도 55에 도시된 바와 같이, 웨어러블 글래스(1000)는 사용자의 드래그 입력에 기초하여, 디스플레이 영상(5501)의 위치를 변경할 수 있다.For example, as shown in FIG. 55 , the wearable glasses 1000 may change the position of the display image 5501 based on a user's drag input.

한편, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 사용자 입력부(1040)를 통해 여러 개의 터치 포인트를 인식함으로써 멀티 터치를 식별할 수 있다. 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 멀티 터치를 식별함으로써, 감지되는 터치 포인트의 개수에 따라 웨어러블 글래스(1000)가 다르게 반응하도록 설정할 수 있다.Meanwhile, the wearable glasses 1000 according to an embodiment of the present disclosure may identify a multi-touch by recognizing a plurality of touch points through the user input unit 1040 . The wearable glasses 1000 according to an embodiment of the present disclosure may set the wearable glasses 1000 to react differently according to the number of sensed touch points by identifying multi-touch.

도 56에 도시된 바와 같이, 웨어러블 글래스(1000)는 사용자가 사용자 입력부(1040)의 터치 패드 상의 소정 지점을 복수의 손가락을 이용하여 터치하는 제스처를 검출할 수 있다. 웨어러블 글래스(1000)는 사용자의 터치 포인트의 개수, 움직이는 방향, 터치가 지속되는 시간 및 거리 중 적어도 하나에 기초하여 디스플레이 영상을 조정할 수 있다.56 , the wearable glasses 1000 may detect a gesture in which the user touches a predetermined point on the touch pad of the user input unit 1040 using a plurality of fingers. The wearable glasses 1000 may adjust the display image based on at least one of the number of the user's touch points, the moving direction, and the duration and distance of the touch.

예를 들어, 도 56에 도시된 바와 같이, 웨어러블 글래스(1000)는 사용자가 적어도 두 손가락을 이용하여 사용자 입력부(1040)를 드래그하는 입력에 기초하여, 드래그 입력의 이동 방향에 기초하여 디스플레이 영상(5501)을 회전시킬 수 있다.For example, as shown in FIG. 56 , the wearable glasses 1000 may display a display image ( 5501) can be rotated.

그러나, 본 개시는 도 55 및 56에 제한되지 않는다. 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 사용자의 다양한 터치 입력에 따라 디스플레이 영상의 회전 각도, 크기, 위치, 밝기 및 형태 중 적어도 하나를 조정할 수 있다. 또한, 예를 들어, 웨어러블 글래스(1000)의 디스플레이(1030)가 반투명 광 파장 가이드(예를 들어, 프리즘)로 구성되는 경우, 웨어러블 글래스(1000)는 사용자의 터치 입력에 기초하여 디스플레이(1030)의 프로젝터로부터 출력되는 빛이 포커싱되는 초점의 위치를 조정할 수 있다.However, the present disclosure is not limited to FIGS. 55 and 56 . The wearable glasses 1000 according to an embodiment of the present disclosure may adjust at least one of a rotation angle, a size, a position, a brightness, and a shape of a display image according to a user's various touch inputs. Also, for example, when the display 1030 of the wearable glasses 1000 is configured as a translucent light wavelength guide (eg, a prism), the wearable glasses 1000 display the display 1030 based on the user's touch input. You can adjust the position of the focal point where the light output from the projector is focused.

한편, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는 휴대폰, PDA 또는 랩톱 등의 디바이스와 연결하여 동작할 수 있다. 디바이스(2000)는 웨어러블 글래스(1000)를 통해 영상을 디스플레이 할 수 있다.Meanwhile, the wearable glasses 1000 according to an embodiment of the present disclosure may operate in connection with a device such as a mobile phone, a PDA, or a laptop. The device 2000 may display an image through the wearable glasses 1000 .

도 57은 본 개시의 일 실시예에 따라 디바이스가 웨어러블 글래스를 통하여 영상을 디스플레이하는 시스템을 나타내는 도면이다.57 is a diagram illustrating a system in which a device displays an image through wearable glasses according to an embodiment of the present disclosure;

도 57을 참조하면, 웨어러블 글래스(1000)는 디바이스(2000)에게 디스플레이 영상을 조정하는데 이용되는 정보를 제공할 수 있다.Referring to FIG. 57 , the wearable glasses 1000 may provide information used to adjust a display image to the device 2000 .

웨어러블 글래스(1000)가 디바이스(2000)에게 제공하는 정보는, 예를 들어, 웨어러블 글래스(1000)를 착용하고 있는 사용자의 신체 부위에 대한 정보, 사용자의 제스처에 대한 정보 또는 웨어러블 글래스(1000)를 통해 입력되는 사용자 입력 등을 포함할 수 있다.The information provided by the wearable glasses 1000 to the device 2000 may include, for example, information on a body part of a user wearing the wearable glasses 1000 , information on a user's gesture, or the wearable glasses 1000 . It may include a user input input through the

디바이스(2000)는 웨어러블 글래스(1000)로부터 수신된 정보에 기초하여 디스플레이 영상을 조정하고, 조정된 영상을 웨어러블 글래스(1000)에게 제공한다. 디바이스(2000)는 웨어러블 글래스(1000)를 통하여 조정된 영상을 디스플레이할 수 있다.The device 2000 adjusts a display image based on information received from the wearable glasses 1000 , and provides the adjusted image to the wearable glasses 1000 . The device 2000 may display the adjusted image through the wearable glasses 1000 .

웨어러블 글래스(1000)는 사용자의 신체 부위를 촬영하고, 촬영된 영상을 디바이스(2000)에게 전송할 수 있다. 예를 들어, 웨어러블 글래스(1000)는 사용자의 눈 또는 손을 촬영할 수 있다.The wearable glasses 1000 may photograph a body part of the user and transmit the photographed image to the device 2000 . For example, the wearable glasses 1000 may photograph the user's eyes or hands.

또한, 디바이스(2000)는 웨어러블 글래스(2000)를 통하여 촬영된 영상을 웨어러블 글래스(1000)로부터 수신하고, 웨어러블 글래스(1000)를 통해 디스플레이 영상을 결정할 수 있다. 또한, 디바이스(2000)는 영상이 디스플레이될 위치를 결정하고, 웨어러블 글래스(1000)를 통하여 영상을 소정 위치에 디스플레이 할 수 있다.Also, the device 2000 may receive an image photographed through the wearable glasses 2000 from the wearable glasses 1000 , and may determine a display image through the wearable glasses 1000 . Also, the device 2000 may determine a position at which an image is to be displayed, and display the image at a predetermined position through the wearable glasses 1000 .

또한, 디바이스(2000)는 스마트폰, 태블릿 PC, PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 디바이스(2000)는, 전자 칠판, 터치 테이블 등과 같이 터치 입력을 수신할 수 있는 다양한 장치를 포함할 수 있다. 또한, 디바이스(2000)는 통신 기능 및 데이터 프로세싱 기능을 구비한 웨어러블 디바이스일 수 있다. 그러나, 이에 제한되지 않으며, 디바이스(2000)는 웨어러블 글래스(1000)로부터 네트워크를 통하여 데이터를 송수신할 수 있는 모든 종류의 기기를 포함할 수 있다.In addition, the device 2000 includes a smart phone, a tablet PC, a PC, a smart TV, a mobile phone, a personal digital assistant (PDA), a laptop, a media player, a micro server, a global positioning system (GPS) device, an e-book terminal, and a digital broadcasting terminal. , navigation, kiosks, MP3 players, digital cameras, and other mobile or non-mobile computing devices. Also, the device 2000 may include various devices capable of receiving a touch input, such as an electronic blackboard, a touch table, and the like. Also, the device 2000 may be a wearable device having a communication function and a data processing function. However, the present invention is not limited thereto, and the device 2000 may include any type of device capable of transmitting and receiving data from the wearable glasses 1000 through a network.

디바이스(2000)와 웨어러블 글래스(1000)는 네트워크를 통해 연결될 수 있으며, 네트워크는, 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.The device 2000 and the wearable glasses 1000 may be connected through a network, and the network may include a local area network (LAN), a wide area network (WAN), or a value added network (VAN). It may be implemented in all types of wireless networks, such as a wired network, such as a mobile radio communication network, or a satellite communication network.

도 58은 본 개시의 일 실시예에 따라 디바이스가 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법의 흐름도이다.58 is a flowchart of a method for a device to display an image through wearable glasses according to an embodiment of the present disclosure;

단계 S3100에서 본 개시의 일 실시예에 따른 디바이스(2000)는, 웨어러블 글래스(1000)로부터 사용자가 웨어러블 글래스(1000)를 착용하고 있는 상태에 대한 정보를 수신할 수 있다. 사용자가 웨어러블 글래스(1000)를 착용하고 있는 상태에 대한 정보는 사용자의 신체 부위에 대한 정보를 포함할 수 있다. 사용자의 신체 부위에 대한 정보는, 기준 착용 상태와 비교하여 사용자에 대한 웨어러블 글래스(1000)의 기울어짐을 결정하는데 이용되는 정보일 수 있다. 예를 들어, 웨어러블 글래스(1000)가 획득하는 신체 부위에 대한 정보는, 사용자의 눈, 코, 귀, 입, 손 또는 이들의 조합에 대한 정보를 포함할 수 있다. 또한, 웨어러블 글래스(1000)가 획득하는 신체 부위에 대한 정보는, 신체 부위에 대한 영상을 포함할 수 있다.In operation S3100 , the device 2000 according to an embodiment of the present disclosure may receive information about a state in which the user wears the wearable glasses 1000 from the wearable glasses 1000 . The information on the state in which the user is wearing the wearable glasses 1000 may include information on the user's body part. The information on the user's body part may be information used to determine the inclination of the wearable glasses 1000 with respect to the user in comparison with the reference wearing state. For example, the information on the body part obtained by the wearable glasses 1000 may include information on the user's eyes, nose, ears, mouth, hands, or a combination thereof. Also, the information on the body part obtained by the wearable glasses 1000 may include an image of the body part.

단계 S3100에서 디바이스(2000)가 웨어러블 글래스(1000)로부터 수신하는 착용 상태에 대한 정보는 웨어러블 글래스(1000)에서 획득된 정보일 수 있다. 도 58의 단계 S200과 도 6의 단계 S200은 서로 대응되므로 중복되는 설명은 생략한다.In operation S3100 , the information on the wearing state received by the device 2000 from the wearable glasses 1000 may be information obtained from the wearable glasses 1000 . Since step S200 of FIG. 58 and step S200 of FIG. 6 correspond to each other, overlapping descriptions will be omitted.

단계 S3200에서 본 개시의 일 실시예에 따른 디바이스(2000)는, 수신된 신체 부위에 대한 정보를 이용하여, 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정할 수 있다.In operation S3200, the device 2000 according to an embodiment of the present disclosure may determine the inclination of the wearable glasses 1000 for the user by using the received information on the body part.

사용자에 대한 웨어러블 글래스(1000)의 기울기는, 사용자가 영상을 제공받기에 가장 적합한 웨어러블 글래스(1000)의 위치를 기준으로 결정되는 웨어러블 글래스(1000)의 기울어진 정도를 의미한다.The inclination of the wearable glasses 1000 with respect to the user means the degree of inclination of the wearable glasses 1000 determined based on the position of the wearable glasses 1000 most suitable for the user to receive an image.

예를 들어, 디바이스(2000)는, 미리 결정된 기준 착용 상태 정보와 웨어러블 글래스(1000)로부터 수신된 정보를 비교함으로써 사용자에 대한 웨어러블 글래스(1000)의 기울기를 결정할 수 있다. 기준 착용 상태 정보는, 사용자가 영상을 제공받기에 가장 적합한 웨어러블 글래스(1000)의 위치를 나타내는 정보로서, 미리 저장되어 있거나, 사용자에 의해 설정된 것일 수 있다.For example, the device 2000 may determine the inclination of the wearable glasses 1000 with respect to the user by comparing the predetermined reference wearing state information with information received from the wearable glasses 1000 . The reference wearing state information is information indicating a location of the wearable glasses 1000 most suitable for a user to receive an image, and may be pre-stored or set by the user.

예를 들어, 착용 상태 정보는, 사용자의 신체 부위에 대한 영상을 포함할 수 있다. 디바이스(2000)는, 신체 부위에 대한 영상으로부터 신체 부위에 대응되는 영역을 검출하고, 검출된 영역으로부터 신체 부위에 대한 특성값을 획득할 수 있다. 디바이스(2000)는, 신체 부위에 대한 영상 내에서 검출되는 신체 부위에 대응되는 영역의 위치, 형태, 또는 크기와 관련된 특성값을 획득할 수 있다. 디바이스(2000)는, 획득된 특성값과 기준 착용 상태 정보에 포함되는 기준값을 비교함으로써 기울기를 결정할 수 있다. 기준 착용 상태 정보에 포함되는 기준값은, 기준 착용 상태에서 획득되는 신체 부위에 대한 영상으로부터 검출되는 특성값일 수 있다. For example, the wearing state information may include an image of a body part of the user. The device 2000 may detect a region corresponding to the body part from the image of the body part, and obtain a characteristic value of the body part from the detected region. The device 2000 may acquire a characteristic value related to a location, shape, or size of a region corresponding to a body part detected in an image of the body part. The device 2000 may determine the inclination by comparing the acquired characteristic value with a reference value included in the reference wearing state information. The reference value included in the reference wearing state information may be a characteristic value detected from an image of a body part obtained in the reference wearing state.

단계 S3300에서 본 개시의 일 실시예에 따른 디바이스(2000)는, 단계 S3200에서 결정된 기울기에 기초하여 웨어러블 글래스(1000)의 디스플레이(1030)를 통해 표시되는 영상을 조정할 수 있다. 예를 들어, 디바이스(2000)는, 단계 S3200에서 결정된 기울기에 기초하여 디스플레이 영상의 회전 각도, 크기 및 형태 중 적어도 하나를 조정할 수 있다. In operation S3300 , the device 2000 according to an embodiment of the present disclosure may adjust an image displayed through the display 1030 of the wearable glasses 1000 based on the inclination determined in operation S3200 . For example, the device 2000 may adjust at least one of a rotation angle, a size, and a shape of the display image based on the inclination determined in step S3200 .

그러나, 본 개시는 이에 제한되지 않으며, 본 개시의 일 실시예에 따른 디바이스(2000)는 디스플레이(1030)를 통해 사용자에게 제공되는 영상의 다양한 파라미터를 조정할 수 있다. 일 예로서, 본 개시의 일 실시예에 따른 디바이스(2000)는 디스플레이(1030)를 통해 디스플레이되는 영상의 밝기, 디스플레이되는 위치, 또는 색 중 적어도 하나를 더 조정할 수 있다. However, the present disclosure is not limited thereto, and the device 2000 according to an exemplary embodiment may adjust various parameters of an image provided to a user through the display 1030 . As an example, the device 2000 according to an embodiment of the present disclosure may further adjust at least one of a brightness, a displayed position, and a color of an image displayed through the display 1030 .

다른 예로서, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)의 디스플레이(1030)가 반투명 광 파장 가이드(예를 들어, 프리즘)로 구성되는 경우, 디바이스(2000)는 웨어러블 글래스(1000)의 기울기에 기초하여 디스플레이(1030)의 프로젝터로부터 출력되는 빛이 포커싱되는 초점의 위치를 조정할 수 있다As another example, when the display 1030 of the wearable glasses 1000 according to an embodiment of the present disclosure is configured as a translucent light wavelength guide (eg, a prism), the device 2000 is the wearable glasses 1000 . Based on the inclination, it is possible to adjust the position of the focus where the light output from the projector of the display 1030 is focused.

단계 S3400에서 본 개시의 일 실시예에 따른 디바이스(2000)는 단계 S3300에서 조정된 영상을 웨어러블 글래스(1000)에게 제공할 수 있다. 디바이스(2000)로부터 웨어러블 글래스(1000)에게 제공된 조정된 영상은, 웨어러블 글래스(1000)를 통해 디스플레이될 수 있다.(S400)In operation S3400 , the device 2000 according to an embodiment of the present disclosure may provide the image adjusted in operation S3300 to the wearable glasses 1000 . The adjusted image provided from the device 2000 to the wearable glasses 1000 may be displayed through the wearable glasses 1000 ( S400 ).

본 개시의 일 실시예에 따른 디바이스(2000)가 신체 부위에 대한 정보를 이용하여 디스플레이 영상을 조정함에 있어서, 도 6 내지 도 44b를 참조하여 앞서 서술한 방법이 적용될 수 있다. 즉, 도 6 내지 도 44b를 참조하여 상술한 본 개시의 일 실시예에 따라 웨어러블 글래스(1000)가 디스플레이 영상을 조정하는 방법은, 본 개시의 일 실시예에 따라 디바이스(2000)가 웨어러블 글래스(1000)를 통해 디스플레이되는 영상을 조정하는 경우에도 적용될 수 있다. 따라서, 중복되는 설명은 생략한다.When the device 2000 according to an embodiment of the present disclosure adjusts a display image using information on body parts, the method described above with reference to FIGS. 6 to 44B may be applied. That is, in the method for the wearable glasses 1000 to adjust a display image according to an embodiment of the present disclosure described above with reference to FIGS. 6 to 44B , according to an embodiment of the present disclosure, the device 2000 uses the wearable glasses ( 1000) may also be applied to the case of adjusting the displayed image. Accordingly, overlapping descriptions are omitted.

도 59는 본 개시의 일 실시예에 따라 디바이스가 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법의 흐름도이다.59 is a flowchart of a method for a device to display an image through wearable glasses according to an embodiment of the present disclosure;

단계 S4100에서 본 개시의 일 실시예에 따른 디바이스(2000)는, 웨어러블 글래스(1000)로부터 사용자의 제스처에 대한 정보를 수신할 수 있다. In operation S4100 , the device 2000 according to an embodiment of the present disclosure may receive information about the user's gesture from the wearable glasses 1000 .

사용자의 제스처에 대한 정보는, 디스플레이 영상을 조정하기 위한 조정값을 결정하는데 이용되는 정보일 수 있다. 예를 들어, 웨어러블 글래스(1000)가 획득하는 제스처에 대한 정보는, 사용자의 머리, 손, 눈, 입 또는 이들의 조합에 대한 정보를 포함할 수 있다. 또한, 웨어러블 글래스(1000)가 획득하는 제스처에 대한 정보는, 제스처를 취하는 신체 부위를 촬영한 영상을 포함할 수 있다. The information on the user's gesture may be information used to determine an adjustment value for adjusting a display image. For example, the information on the gesture acquired by the wearable glasses 1000 may include information on the user's head, hand, eyes, mouth, or a combination thereof. Also, the information on the gesture acquired by the wearable glasses 1000 may include an image of a body part taking the gesture.

단계 S4100에서 디바이스(2000)가 웨어러블 글래스(1000)로부터 수신하는 제스처에 대한 정보는 웨어러블 글래스(1000)에서 획득된 정보일 수 있다. 도 59의 단계 S2100과 도 46의 단계 S2100은 서로 대응되므로 중복되는 설명은 생략한다.The information on the gesture that the device 2000 receives from the wearable glasses 1000 in operation S4100 may be information obtained from the wearable glasses 1000 . Since step S2100 of FIG. 59 and step S2100 of FIG. 46 correspond to each other, overlapping descriptions will be omitted.

단계 S4200에서 본 개시의 일 실시예에 따른 디바이스(2000)는, 수신된 제스처에 대한 정보를 이용하여, 디스플레이 영상을 조정하기 위한 조정값을 결정할 수 있다. In operation S4200, the device 2000 according to an embodiment of the present disclosure may determine an adjustment value for adjusting the display image by using the received gesture information.

예를 들어, 조정값은, 디스플레이 영상의 회전 각도, 크기 및 형태 중 적어도 하나를 조정하기 위한 값일 수 있다. 또는, 조정값은 디스플레이 영상의 밝기, 디스플레이(1030) 상에 디스플레이되는 위치, 또는 색을 조정하기 위한 값일 수 있다. 또는, 조정값은, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)의 디스플레이(1030)가 반투명 광 파장 가이드(예를 들어, 프리즘)로 구성되는 경우, 웨어러블 글래스(1000)의 디스플레이(1030)의 프로젝터로부터 출력되는 빛이 포커싱되는 초점의 위치일 수 있다.For example, the adjustment value may be a value for adjusting at least one of a rotation angle, a size, and a shape of a display image. Alternatively, the adjustment value may be a value for adjusting the brightness of a display image, a position displayed on the display 1030 , or a color. Alternatively, the adjustment value is the display 1030 of the wearable glasses 1000 when the display 1030 of the wearable glasses 1000 according to an embodiment of the present disclosure is configured as a translucent light wavelength guide (eg, a prism). ) may be a location of a focal point where the light output from the projector is focused.

디바이스(2000)는, 여러 제스처들에 대한 정보와 조정값들을 매핑하여 저장하거나, 제스처에 대한 정보에 기초하여 조정값을 산출할 수 있는 관계식을 저장할 수 있다. 디바이스(2000)는, 획득된 정보에 기초하여 미리 저장된 조정값을 검색하거나, 검색된 관계식을 이용하여 조정값을 산출함으로써 조정값을 결정할 수 있다.The device 2000 may map and store information on various gestures and adjustment values, or store a relational expression capable of calculating an adjustment value based on information on the gesture. The device 2000 may determine the adjustment value by searching for an adjustment value stored in advance based on the obtained information or calculating the adjustment value using the searched relational expression.

단계 S4300에서 본 개시의 일 실시예에 따른 디바이스(2000)는 결정된 조정값에 기초하여 디스플레이 영상을 조정할 수 있다. 예를 들어, 웨어러블 글래스(1000)는, 결정된 조정값에 기초하여 디스플레이 영상의 회전 각도, 크기 및 형태 중 적어도 하나를 조정할 수 있다.In operation S4300 , the device 2000 according to an embodiment of the present disclosure may adjust the display image based on the determined adjustment value. For example, the wearable glasses 1000 may adjust at least one of a rotation angle, a size, and a shape of the display image based on the determined adjustment value.

단계 S4400에서 본 개시의 일 실시예에 따른 디바이스(2000)는 단계 S4300에서 조정된 영상을 웨어러블 글래스(1000)에게 제공할 수 있다. 디바이스(2000)로부터 웨어러블 글래스(1000)에게 제공된 조정된 영상은, 웨어러블 글래스(1000)를 통해 디스플레이될 수 있다.(S400)In operation S4400 , the device 2000 according to an embodiment of the present disclosure may provide the image adjusted in operation S4300 to the wearable glasses 1000 . The adjusted image provided from the device 2000 to the wearable glasses 1000 may be displayed through the wearable glasses 1000 ( S400 ).

본 개시의 일 실시예에 따른 디바이스(2000)가 사용자의 제스처에 대한 정보를 이용하여 디스플레이 영상을 조정함에 있어서, 도 45 내지 도 56을 참조하여 앞서 서술한 방법이 적용될 수 있다. 즉, 도 45 내지 도 56을 참조하여 상술한 본 개시의 일 실시예에 따라 웨어러블 글래스(1000)가 디스플레이 영상을 조정하는 방법은, 본 개시의 일 실시예에 따라 디바이스(2000)가 웨어러블 글래스(1000)를 통해 디스플레이되는 영상을 조정하는 경우에도 적용될 수 있다. 따라서, 중복되는 설명은 생략한다.When the device 2000 according to an embodiment of the present disclosure adjusts a display image using information about a user's gesture, the method described above with reference to FIGS. 45 to 56 may be applied. That is, in the method for the wearable glasses 1000 to adjust a display image according to an embodiment of the present disclosure described above with reference to FIGS. 45 to 56 , according to an embodiment of the present disclosure, the device 2000 uses the wearable glasses ( 1000) may also be applied to the case of adjusting the displayed image. Accordingly, overlapping descriptions are omitted.

도 60은 본 개시의 일 실시예에 따른 웨어러블 글래스의 블록도이다.60 is a block diagram of wearable glasses according to an embodiment of the present disclosure.

도 60에 도시된 바와 같이, 일 실시예에 따른 웨어러블 글래스(1000)는 센싱부(1100), 프로세서(1200) 및 디스플레이(1030)를 포함할 수 있다. 그러나, 도 60에 도시된 구성 요소보다 많은 구성 요소에 의해 웨어러블 글래스(1000)가 구현될 수도 있다. 또한, 웨어러블 글래스(1000)에 포함되는 각 구성요소들은, 웨어러블 글래스(1000)를 사용자의 머리 상에 착용하기 위해 이용되는 프레임 상에 배치될 수 있다.As shown in FIG. 60 , the wearable glasses 1000 according to an embodiment may include a sensing unit 1100 , a processor 1200 , and a display 1030 . However, the wearable glasses 1000 may be implemented by more components than those shown in FIG. 60 . In addition, each component included in the wearable glasses 1000 may be disposed on a frame used to wear the wearable glasses 1000 on a user's head.

디스플레이(1030)는, 사용자에게 영상을 디스플레이한다. 디스플레이(1030)는 웨어러블 글래스(1000)에서 처리되는 정보를 디스플레이한다. 디스플레이(1030)는 웨어러블 글래스(1000)의 기울기 또는 사용자의 제스처에 기초하여 조정된 영상을 디스플레이할 수 있다. The display 1030 displays an image to a user. The display 1030 displays information processed by the wearable glasses 1000 . The display 1030 may display an image adjusted based on the inclination of the wearable glasses 1000 or the user's gesture.

또한, 디스플레이(1030)는 디스플레이 영상을 조정하는데 이용되는 기준값을 설정하기 위한 사용자 인터페이스, 디스플레이 영상을 조정하는데 이용되는 사용자의 제스처를 유도하는 사용자 인터페이스, 또는 디스플레이 영상의 조정과 관련된 정보를 사용자에게 제공하는 사용자 인터페이스를 디스플레이할 수 있다.In addition, the display 1030 provides a user interface for setting a reference value used to adjust the display image, a user interface for inducing a user's gesture used to adjust the display image, or information related to adjustment of the display image to the user. A user interface can be displayed.

센싱부(1100)는, 사용자의 신체 부위에 대한 정보 또는 사용자의 제스처에 대한 정보를 획득할 수 있다. 사용자의 신체 부위에 대한 정보는, 신체 부위에 대한 영상을 포함할 수 있으며, 사용자의 제스처에 대한 정보는 제스처를 취하는 사용자의 신체 부위를 촬영한 영상을 포함할 수 있다.The sensing unit 1100 may acquire information about a user's body part or information about a user's gesture. The information on the user's body part may include an image of the body part, and the information on the user's gesture may include an image of the user's body part taking the gesture.

예를 들어, 센싱부(1100)는 사용자의 눈을 촬영한 영상 또는 손을 촬영한 영상을 획득할 수 있다.For example, the sensing unit 1100 may acquire an image obtained by photographing the user's eyes or an image obtained by photographing the user's hand.

본 개시의 일 실시예에 따른 프로세서(1200)는, 사용자의 신체 부위에 대한 정보를 이용하여 사용자에 대한 웨어러블 글래스의 기울기를 결정하고, 결정된 기울기에 기초하여 디스플레이 영상을 조정할 수 있다. 또는 본 개시의 일 실시예에 따른 프로세서(1200)는, 사용자의 제스처에 대한 정보를 이용하여 조정값을 결정하고, 조정값에 기초하여 디스플레이 영상을 조정할 수 있다.The processor 1200 according to an embodiment of the present disclosure may determine the inclination of the wearable glasses for the user by using information on the user's body part, and adjust the display image based on the determined inclination. Alternatively, the processor 1200 according to an embodiment of the present disclosure may determine an adjustment value using information about the user's gesture, and adjust the display image based on the adjustment value.

또한, 도 61에 도시된 바와 같이, 본 개시의 일 실시예에 따른 웨어러블 글래스(1000)는, 통신부(1300), 메모리(1400), 사용자 입력부(1040), 출력부(1500), 전원 공급부(1600)를 더 포함할 수 있다. 본 개시의 일 실시예에 따르면, 센싱부(1100)는 적어도 하나의 카메라(1050, 1060, 1070) 및 센서(1150)를 포함할 수 있다. 상술한 여러 구성들은 버스를 통해 서로 연결될 수 있다.In addition, as shown in FIG. 61 , the wearable glasses 1000 according to an embodiment of the present disclosure include a communication unit 1300 , a memory 1400 , a user input unit 1040 , an output unit 1500 , and a power supply unit ( 1600) may be further included. According to an embodiment of the present disclosure, the sensing unit 1100 may include at least one camera 1050 , 1060 , 1070 and a sensor 1150 . The various components described above may be connected to each other through a bus.

이하 상기 구성요소들에 대해 차례로 살펴본다.Hereinafter, the above components will be described in turn.

카메라(1050, 1060, 1070)는 실제 공간의 객체를 촬영한다. 카메라(1050, 1060, 1070)에 의해 촬영된 객체 이미지는, 동영상 이미지이거나, 연속적인 정지 영상 이미지들일 수 있다. 웨어러블 글래스(1000)는, 예를 들어, 통신 기능 및 데이터 프로세싱 기능을 구비한 안경 형태의 장치일 수 있다 사용자에 의해 착용된 웨어러블 글래스(1000)에서 사용자의 전방을 향하는 카메라(1050)는, 실제 공간의 객체를 촬영할 수 있다.The cameras 1050 , 1060 , and 1070 capture objects in real space. The object images captured by the cameras 1050 , 1060 , and 1070 may be moving images or continuous still image images. The wearable glasses 1000 may be, for example, a device in the form of glasses having a communication function and a data processing function. You can photograph objects in space.

또한, 카메라(1060)는 사용자의 눈을 촬영할 수 있다. 예를 들어, 사용자에 의해 착용된 웨어러블 글래스(1000)에서 사용자의 얼굴을 향하는 카메라(1060)는, 사용자의 눈을 촬영할 수 있다.Also, the camera 1060 may photograph the user's eyes. For example, the camera 1060 facing the user's face in the wearable glasses 1000 worn by the user may photograph the user's eyes.

또한, 안구 추적용 카메라(1070)는 사용자의 눈을 촬영할 수 있다. 예를 들어, 사용자에 의해 착용된 웨어러블 글래스(1000)에서 사용자의 얼굴을 향하는 안구 추적용 카메라(1070)는, 사용자의 머리 자세(head pose), 눈꺼풀, 및 눈동자 중 적어도 하나를 추적함으로써 사용자의 시선을 추척할 수 있다.Also, the eye tracking camera 1070 may photograph the user's eyes. For example, the eye tracking camera 1070 facing the user's face in the wearable glasses 1000 worn by the user tracks at least one of the user's head pose, eyelids, and pupils of the user. You can follow your gaze.

센서(1150)는, 웨어러블 글래스(1000)의 상태 또는 웨어러블 글래스(1000) 주변의 상태를 감지하고, 감지된 정보를 프로세서(1200)로 전달할 수 있다. 예를 들어, 센서(1150)는, 사용자가 웨어러블 글래스(1000)를 착용하고 있는 착용 상태 정보를 획득할 수 있다. 예를 들어, 센서(1150)는, 지자기 센서, 가속도 센서, 자이로스코프 센서, 근접 센서, 광학 센서, 깊이감 센서, 적외선 센서, 및 초음파 센서 등을 포함할 수 있다.The sensor 1150 may detect a state of the wearable glasses 1000 or a state around the wearable glasses 1000 , and transmit the sensed information to the processor 1200 . For example, the sensor 1150 may acquire information about a wearing state in which the user is wearing the wearable glasses 1000 . For example, the sensor 1150 may include a geomagnetic sensor, an acceleration sensor, a gyroscope sensor, a proximity sensor, an optical sensor, a depth sensor, an infrared sensor, and an ultrasonic sensor.

통신부(1300)는 웨어러블 글래스(1000)가 영상을 디스플레이하고, 디스플레이 영상을 조정하기 위하여 필요한 정보를, 디바이스(2000), 주변 기기, 또는 서버와 송수신할 수 있다.The communication unit 1300 may transmit/receive information necessary for the wearable glasses 1000 to display an image and to adjust the display image with the device 2000, a peripheral device, or a server.

메모리(1400)는 웨어러블 글래스(1000)가 영상을 디스플레이하고, 웨어러블 글래스(1000)의 기울기에 기초하여 영상을 조정하기 위하여 필요한 정보를 저장한다. 메모리(1400)는, 사용자가 영상을 제공받기에 가장 적합한 위치에 웨어러블 글래스(1000)가 착용된 상태인 기준 착용 상태에 대한 정보를 저장할 수 있다. 예를 들어, 메모리(1400)는, 기준 착용 상태에서 획득되는 사용자의 신체 부위에 대한 영상 및 기준 착용 상태에서 획득되는 신체 부위에 대한 영상으로부터 검출되는 특성값을 포함하는 기준 착용 상태 정보를 저장할 수 있다.The memory 1400 stores information necessary for the wearable glasses 1000 to display an image and to adjust an image based on the tilt of the wearable glasses 1000 . The memory 1400 may store information on a reference wearing state, which is a state in which the wearable glasses 1000 are worn at a position most suitable for a user to receive an image. For example, the memory 1400 may store reference wearing state information including a characteristic value detected from an image of a user's body part obtained in a standard wearing state and an image of a body part acquired in a reference wearing state. have.

사용자 입력부(1040)는 웨어러블 글래스(1000)를 제어하기 위한 사용자 입력을 수신한다. 사용자 입력부(1040)에는 웨어러블 글래스(1000)에 대한 터치 입력, 및 키 입력을 수신할 수 있다. 또한, 사용자 입력부(1040)는 카메라(1050)로부터 촬영되는 사용자의 제스처 입력을 수신할 수도 있다.The user input unit 1040 receives a user input for controlling the wearable glasses 1000 . The user input unit 1040 may receive a touch input and a key input for the wearable glasses 1000 . Also, the user input unit 1040 may receive a user's gesture input photographed from the camera 1050 .

전원 공급부(1600)는 웨어러블 글래스(1000)의 동작을 위해 필요한 전원을 각 구성에 공급한다. 전원 공급부(1600)는 전력을 충전할 수 있는 배터리(미도시)를 포함할 수 있으며, 외부로부터 전력을 수신할 수 있는 케이블(미도시) 또는 케이블 포트(미도시)를 포함할 수 있다.The power supply unit 1600 supplies power required for the operation of the wearable glasses 1000 to each component. The power supply 1600 may include a battery (not shown) capable of charging power, and may include a cable (not shown) or a cable port (not shown) capable of receiving power from the outside.

출력부(1500)는 통신부(1300)로부터 수신되거나, 프로세서(1200)에서 처리되거나 메모리(1400)에 저장된 정보를 빛, 소리 및 진동 중 적어도 하나의 형태로 출력한다. 예를 들어, 출력부(1500)는, 오디오 데이터를 출력하는 스피커(1020)를 포함할 수 있다. 또한, 스피커(1020)는 웨어러블 글래스(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력할 수 있다.The output unit 1500 outputs information received from the communication unit 1300 , processed by the processor 1200 , or stored in the memory 1400 in the form of at least one of light, sound, and vibration. For example, the output unit 1500 may include a speaker 1020 that outputs audio data. Also, the speaker 1020 may output a sound signal related to a function (eg, a call signal reception sound, a message reception sound, and a notification sound) performed by the wearable glasses 1000 .

프로세서(1200)는 웨어러블 글래스(1000)의 전반적인 동작을 제어할 수 있다. 예를 들어, 프로세서(1200)는, 메모리(1400)에 저장된 프로그램들을 실행함으로써, 디스플레이(1030), 센싱부(1100), 통신부(1300), 메모리(1400), 사용자 입력부(1040), 출력부(1500), 및 전원 공급부(1600)를 제어할 수 있다. The processor 1200 may control the overall operation of the wearable glasses 1000 . For example, the processor 1200 executes programs stored in the memory 1400 , so that the display 1030 , the sensing unit 1100 , the communication unit 1300 , the memory 1400 , the user input unit 1040 , and the output unit 1500 , and the power supply 1600 may be controlled.

웨어러블 글래스(1000)는 디바이스(2000)와 연결될 수 있으며, 디바이스(2000)로부터 디스플레이 영상에 관한 정보를 수신함으로써, 웨어러블 글래스(1000)의 디스플레이(1030) 상에 영상을 디스플레이할 수 있다.The wearable glasses 1000 may be connected to the device 2000 , and may display the image on the display 1030 of the wearable glasses 1000 by receiving information about the display image from the device 2000 .

도 62 및 도 63은 본 개시의 일부 실시예에 따른 디바이스(2000)의 블록도이다.62 and 63 are block diagrams of a device 2000 in accordance with some embodiments of the present disclosure.

도 62에 도시된 바와 같이, 일부 실시예에 따른 디바이스(2000)는, 사용자 입력부(6100), 출력부(6200), 제어부(6300), 및 통신부(6500)를 포함할 수 있다. 그러나, 도 62에 도시된 구성 요소 모두가 디바이스(2000)의 필수 구성 요소인 것은 아니다. 도 62에 도시된 구성 요소보다 많은 구성 요소에 의해 디바이스(2000)가 구현될 수도 있고, 도 62에 도시된 구성 요소보다 적은 구성 요소에 의해 디바이스(2000)가 구현될 수도 있다.62 , the device 2000 according to some embodiments may include a user input unit 6100 , an output unit 6200 , a control unit 6300 , and a communication unit 6500 . However, not all of the components shown in FIG. 62 are essential components of the device 2000 . The device 2000 may be implemented by more components than the components shown in FIG. 62 , or the device 2000 may be implemented by fewer components than the components shown in FIG. 62 .

예를 들어, 도 63에 도시된 바와 같이, 일부 실시예에 따른 디바이스(2000)는, 사용자 입력부(6100), 출력부(6200), 제어부(6300), 및 통신부(6500) 이외에 센싱부(6400), A/V 입력부(6600), 및 메모리(6700)를 더 포함할 수도 있다. For example, as shown in FIG. 63 , the device 2000 according to some embodiments includes a sensing unit 6400 in addition to the user input unit 6100 , the output unit 6200 , the control unit 6300 , and the communication unit 6500 . ), an A/V input unit 6600 , and a memory 6700 may be further included.

사용자 입력부(6100)는, 사용자가 디바이스(2000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(6100)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.The user input unit 6100 means a means for a user to input data for controlling the device 2000 . For example, the user input unit 6100 includes a key pad, a dome switch, and a touch pad (contact capacitive method, pressure resistance film method, infrared sensing method, surface ultrasonic conduction method, integral type). There may be a tension measurement method, a piezo effect method, etc.), a jog wheel, a jog switch, and the like, but is not limited thereto.

사용자 입력부(6100)는, 웨어러블 글래스(1000)를 제어하기 위한 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(6100)는, 사용자의 신체 부위에 대한 정보 또는 제스처에 대한 정보에 기초하여 웨어러블 글래스(1000)를 통해 디스플레이되는 영상을 조정하기 위한 사용자 입력을 수신할 수 있다.The user input unit 6100 may receive a user input for controlling the wearable glasses 1000 . Also, the user input unit 6100 may receive a user input for adjusting an image displayed through the wearable glasses 1000 based on information about a user's body part or information about a gesture.

출력부(6200)는, 오디오 신호 또는 비디오 신호 또는 진동 신호를 출력할 수 있으며, 출력부(6200)는 디스플레이부(6210), 음향 출력부(6220), 및 진동 모터(6230)를 포함할 수 있다.The output unit 6200 may output an audio signal, a video signal, or a vibration signal, and the output unit 6200 may include a display unit 6210 , a sound output unit 6220 , and a vibration motor 6230 . have.

디스플레이부(6210)는 디바이스(2000)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(6210)는, 웨어러블 글래스(1000)를 제어하기 위한 사용자 입력을 수신하기 위한 사용자 인터페이스, 웨어러블 글래스(1000)를 통해 디스플레이되는 영상을 조정하는 동작과 관련된 설정값을 입력받기 위한 사용자 인터페이스를 디스플레이할 수 있다.The display unit 6210 displays and outputs information processed by the device 2000 . For example, the display unit 6210 receives a user interface for receiving a user input for controlling the wearable glasses 1000 , and a setting value related to an operation of adjusting an image displayed through the wearable glasses 1000 . can display a user interface for

한편, 디스플레이부(6210)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(6210)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(6210)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 디바이스(2000)의 구현 형태에 따라 디바이스(2000)는 디스플레이부(6210)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(6210)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다. On the other hand, when the display unit 6210 and the touch pad form a layer structure to form a touch screen, the display unit 6210 may be used as an input device in addition to an output device. The display unit 6210 includes a liquid crystal display, a thin film transistor-liquid crystal display, an organic light-emitting diode, a flexible display, a three-dimensional display ( 3D display) and electrophoretic display (electrophoretic display) may include at least one. Also, depending on the implementation of the device 2000 , the device 2000 may include two or more display units 6210 . In this case, two or more display units 6210 may be disposed to face each other using a hinge.

음향 출력부(6220)는 통신부(6500)로부터 수신되거나 메모리(6700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(6220)는 디바이스(2000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(6220)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The sound output unit 6220 outputs audio data received from the communication unit 6500 or stored in the memory 6700 . Also, the sound output unit 6220 outputs a sound signal related to a function (eg, a call signal reception sound, a message reception sound, and a notification sound) performed by the device 2000 . The sound output unit 6220 may include a speaker, a buzzer, and the like.

진동 모터(6230)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(6230)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(6230)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.The vibration motor 6230 may output a vibration signal. For example, the vibration motor 6230 may output a vibration signal corresponding to the output of audio data or video data (eg, a call signal reception sound, a message reception sound, etc.). Also, the vibration motor 6230 may output a vibration signal when a touch is input to the touch screen.

제어부(6300)는, 통상적으로 디바이스(2000)의 전반적인 동작을 제어한다. 예를 들어, 제어부(6300)는, 메모리(6700)에 저장된 프로그램들을 실행함으로써, 사용자 입력부(6100), 출력부(6200), 센싱부(6400), 통신부(6500), A/V 입력부(6600) 등을 전반적으로 제어할 수 있다. The controller 6300 generally controls the overall operation of the device 2000 . For example, the control unit 6300 executes programs stored in the memory 6700 , and thus the user input unit 6100 , the output unit 6200 , the sensing unit 6400 , the communication unit 6500 , and the A/V input unit 6600 . ) can be controlled in general.

구체적으로, 제어부(6300)는, 통신부(6500)를 제어함으로써, 웨어러블 글래스(1000)로부터 디스플레이 영상을 조정하는데 이용되는 정보를 수신하고, 수신된 정보에 기초하여 디스플레이 영상을 조정한다. Specifically, the controller 6300 receives information used to adjust a display image from the wearable glasses 1000 by controlling the communication unit 6500 , and adjusts the display image based on the received information.

또한, 제어부(6300)는 웨어러블 글래스(1000)의 동작을 제어하기 위한 사용자 입력을 수신한다. 사용자 입력은, 예를 들어, 터치 입력, 버튼 입력 및 음성 입력을 수신할 수 있으나, 이에 제한되지 않는다. 또한, 제어부(6300)는 웨어러블 글래스(1000)에 대한 사용자 입력을 웨어러블 글래스(1000)로부터 수신할 수도 있다. Also, the controller 6300 receives a user input for controlling the operation of the wearable glasses 1000 . The user input may receive, for example, a touch input, a button input, and a voice input, but is not limited thereto. Also, the controller 6300 may receive a user input for the wearable glasses 1000 from the wearable glasses 1000 .

센싱부(6400)는, 디바이스(2000)의 상태 또는 디바이스(2000) 주변의 상태를 감지하고, 감지된 정보를 제어부(6300)로 전달할 수 있다. The sensing unit 6400 may detect a state of the device 2000 or a state around the device 2000 , and transmit the sensed information to the controller 6300 .

센싱부(6400)는, 지자기 센서(Magnetic sensor)(6410), 가속도 센서(Acceleration sensor)(6420), 온/습도 센서(6430), 적외선 센서(6440), 자이로스코프 센서(6450), 위치 센서(예컨대, GPS)(6460), 기압 센서(6470), 근접 센서(6480), 및 RGB 센서(illuminance sensor)(6490) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.The sensing unit 6400 includes a magnetic sensor 6410 , an acceleration sensor 6420 , a temperature/humidity sensor 6430 , an infrared sensor 6440 , a gyroscope sensor 6450 , and a position sensor. (eg, GPS) may include at least one of a 6460 , a barometric pressure sensor 6470 , a proximity sensor 6480 , and an illuminance sensor 6490 , but is not limited thereto. Since a function of each sensor can be intuitively inferred from the name of a person skilled in the art, a detailed description thereof will be omitted.

통신부(6500)는, 디바이스(2000)와 웨어러블 글래스(1000) 또는 디바이스(2000)와 서버(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(6500)는, 근거리 통신부(6510), 이동 통신부(6520), 방송 수신부(6530)를 포함할 수 있다. The communication unit 6500 may include one or more components that enable communication between the device 2000 and the wearable glasses 1000 or between the device 2000 and a server (not shown). For example, the communication unit 6500 may include a short-range communication unit 6510 , a mobile communication unit 6520 , and a broadcast receiving unit 6530 .

근거리 통신부(short-range wireless communication unit)(65110)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. Short-range wireless communication unit 65110, Bluetooth communication unit, BLE (Bluetooth Low Energy) communication unit, short-range wireless communication unit (Near Field Communication unit), WLAN (Wi-Fi) communication unit, Zigbee (Zigbee) communication unit, infrared ( It may include an IrDA, infrared Data Association) communication unit, a Wi-Fi Direct (WFD) communication unit, an ultra wideband (UWB) communication unit, and the like, but is not limited thereto.

이동 통신부(6520)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.The mobile communication unit 6520 transmits/receives wireless signals to and from at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call signal, or a text/multimedia message.

방송 수신부(6530)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 디바이스(2000)가 방송 수신부(6530)를 포함하지 않을 수도 있다.The broadcast receiver 6530 receives a broadcast signal and/or broadcast-related information from the outside through a broadcast channel. The broadcast channel may include a satellite channel and a terrestrial channel. According to an implementation example, the device 2000 may not include the broadcast receiver 6530 .

A/V(Audio/Video) 입력부(600)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(6610)와 마이크로폰(61620) 등이 포함될 수 있다. 카메라(6610)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(6300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. The A/V (Audio/Video) input unit 600 is for inputting an audio signal or a video signal, and may include a camera 6610 and a microphone 61620 . The camera 6610 may obtain an image frame such as a still image or a moving image through an image sensor in a video call mode or a shooting mode. The image captured through the image sensor may be processed through the controller 6300 or a separate image processing unit (not shown).

카메라(6610)에서 처리된 화상 프레임은 메모리(6700)에 저장되거나 통신부(6500)를 통하여 외부로 전송될 수 있다. 카메라(6610)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.The image frame processed by the camera 6610 may be stored in the memory 6700 or transmitted to the outside through the communication unit 6500 . Two or more cameras 6610 may be provided according to the configuration of the terminal.

마이크로폰(6620)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(6620)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(6620)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다. The microphone 6620 receives an external sound signal and processes it as electrical voice data. For example, the microphone 6620 may receive an acoustic signal from an external device or a speaker. The microphone 6620 may use various noise removal algorithms for removing noise generated in the process of receiving an external sound signal.

메모리(6700)는, 제어부(6300)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 디바이스(2000)로 입력되거나 디바이스(2000)로부터 출력되는 데이터를 저장할 수도 있다. The memory 6700 may store a program for processing and control of the controller 6300 , and may store data input to or output from the device 2000 .

메모리(6700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The memory 6700 may include a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory), and a RAM. (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , may include at least one type of storage medium among optical disks.

메모리(6700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(6710), 터치 스크린 모듈(6720), 알림 모듈(6730) 등으로 분류될 수 있다. Programs stored in the memory 6700 may be classified into a plurality of modules according to their functions, for example, may be classified into a UI module 6710 , a touch screen module 6720 , a notification module 6730 , and the like. .

UI 모듈(6710)은, 애플리케이션 별로 디바이스(2000)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(6720)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(6300)로 전달할 수 있다. 일부 실시예에 따른 터치 스크린 모듈(6720)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(6720)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.The UI module 6710 may provide a specialized UI, GUI, or the like that is interlocked with the device 2000 for each application. The touch screen module 6720 may detect a touch gesture on the user's touch screen and transmit information about the touch gesture to the controller 6300 . The touch screen module 6720 according to some embodiments may recognize and analyze a touch code. The touch screen module 6720 may be configured as separate hardware including a controller.

터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.Various sensors may be provided inside or near the touch screen to detect a touch or a proximity touch of the touch screen. As an example of a sensor for detecting a touch of a touch screen, there is a tactile sensor. A tactile sensor refers to a sensor that senses a touch of a specific object to the extent or higher than that felt by a human. The tactile sensor may sense various information such as the roughness of the contact surface, the hardness of the contact object, and the temperature of the contact point.

또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.In addition, as an example of a sensor for detecting a touch of a touch screen, there is a proximity sensor.

근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.The proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object existing in the vicinity without mechanical contact using the force of an electromagnetic field or infrared rays. Examples of the proximity sensor include a transmission type photoelectric sensor, a direct reflection type photoelectric sensor, a mirror reflection type photoelectric sensor, a high frequency oscillation type proximity sensor, a capacitive type proximity sensor, a magnetic type proximity sensor, and an infrared proximity sensor. The user's touch gesture may include tap, touch & hold, double tap, drag, pan, flick, drag and drop, swipe, and the like.

알림 모듈(6730)은 디바이스(2000)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 디바이스(2000)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(6730)은 디스플레이부(6210)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(6220)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(6230)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.The notification module 6730 may generate a signal for notifying the occurrence of an event in the device 2000 . Examples of events generated in the device 2000 include call signal reception, message reception, key signal input, schedule notification, and the like. The notification module 6730 may output a notification signal in the form of a video signal through the display unit 6210 , may output a notification signal in the form of an audio signal through the sound output unit 6220 , and a vibration motor 6230 . It is also possible to output a notification signal in the form of a vibration signal through

일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. Some embodiments may also be implemented in the form of a recording medium containing instructions executable by a computer, such as program modules to be executed by a computer. Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, computer-readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The description of the present invention described above is for illustration, and those of ordinary skill in the art to which the present invention pertains can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a dispersed form, and likewise components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the above detailed description, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention. do.

1000: 웨어러블 글래스
1010: 프레임
1020: 스피커
1030: 디스플레이
1040: 사용자 입력부
1050, 1060: 카메라
1070: 안구추적용 카메라
1100: 센싱부
1150: 센서
1200: 프로세서
1300: 통신부
1400: 메모리
1500: 출력부
1600: 전원 공급부
2000: 디바이스
1000: wearable glasses
1010: frame
1020: speaker
1030: display
1040: user input unit
1050, 1060: Camera
1070: eye tracking camera
1100: sensing unit
1150: sensor
1200: processor
1300: communication department
1400: memory
1500: output
1600: power supply
2000: device

Claims (20)

웨어러블 글래스에 있어서,
상기 웨어러블 글래스에서 제공하는 영상을 표시하는, 디스플레이;
상기 디스플레이 상에 상기 영상이 표시되는 동안, 사용자가 상기 웨어러블 글래스를 착용하고 있는 착용 상태 정보를 획득하고, 상기 착용 상태 정보는 상기 사용자의 눈을 촬영한 영상을 포함하는, 센싱부; 및
상기 영상이 상기 사용자의 눈에 반사됨으로써 형성되는 반사 영상의 크기 및 형태 중 적어도 하나에 기초하여 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하고, 상기 결정된 기울기에 기초하여 상기 디스플레이 상에 표시되는 영상을 조정하는, 프로세서를 포함하는, 웨어러블 글래스.
In wearable glasses,
a display for displaying an image provided by the wearable glasses;
a sensing unit that obtains information about a wearing state in which a user is wearing the wearable glasses while the image is displayed on the display, and wherein the wearing state information includes an image obtained by photographing the user's eyes; and
An image displayed on the display based on the determined inclination of the wearable glasses for the user is determined based on at least one of a size and a shape of a reflective image formed when the image is reflected by the user's eyes. A wearable glass comprising a processor for adjusting the
제1 항에 있어서,
상기 센싱부는,
상기 웨어러블 글래스를 착용하고 있는 상기 사용자의 신체 부위에 대한 정보를 포함하는 상기 착용 상태 정보를 획득하고,
상기 프로세서는,
상기 착용 상태 정보와 미리 결정된 기준 착용 상태 정보를 비교함으로써, 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는, 웨어러블 글래스.
According to claim 1,
The sensing unit,
acquiring the wearing state information including information on a body part of the user who is wearing the wearable glasses,
The processor is
and determining a tilt of the wearable glasses with respect to the user by comparing the wearing state information with predetermined reference wearing state information.
제2 항에 있어서,
상기 센싱부는,
상기 신체 부위에 대한 영상을 포함하는 상기 착용 상태 정보를 획득하고,
상기 프로세서는,
상기 신체 부위에 대한 영상으로부터 상기 신체 부위에 대응되는 영역을 검출하고, 상기 검출된 영역으로부터 특성값을 획득하고, 상기 획득된 특성값과 상기 기준 착용 상태 정보에 포함되는 기준값을 비교함으로써 상기 기울기를 결정하는 것을 특징으로 하는, 웨어러블 글래스.
3. The method of claim 2,
The sensing unit,
Obtaining the wearing state information including the image of the body part,
The processor is
The slope is determined by detecting a region corresponding to the body part from the image of the body part, acquiring a characteristic value from the detected region, and comparing the acquired characteristic value with a reference value included in the reference wearing state information. Characterized in determining, wearable glasses.
제1 항에 있어서,
상기 프로세서는,
상기 촬영된 눈 영상으로부터 상기 눈의 장축의 길이, 단축의 길이, 장축의 각도, 및 단축의 각도 중 적어도 하나를 획득하고, 상기 획득된 값과 미리 결정된 기준 값을 비교하고, 비교 결과에 기초하여, 상기 사용자에 대한 상기 웨어러블 글래스의 상하 기울기를 결정하고,
상기 반사 영상의 크기 및 형태 중 적어도 하나에 기초하여 상기 사용자에 대한 상기 웨어러블 글래스의 좌우 기울기 및 전후 기울기를 결정하고,
상기 결정된 상하 기울기 및 상기 결정된 좌우 기울기 및 전후 기울기에 기초하여 상기 디스플레이 상에 표시되는 영상을 조정하는 것을 특징으로 하는, 웨어러블 글래스.
According to claim 1,
The processor is
Obtaining at least one of the length of the major axis, the length of the minor axis, the angle of the major axis, and the angle of the minor axis from the photographed eye image, comparing the obtained value with a predetermined reference value, and based on the comparison result , determining a vertical inclination of the wearable glasses for the user,
determining a left/right tilt and a front/rear tilt of the wearable glasses for the user based on at least one of a size and a shape of the reflected image;
Wearable glasses, characterized in that the image displayed on the display is adjusted based on the determined vertical tilt and the determined left and right tilt and front/rear tilt.
제1 항에 있어서,
상기 디스플레이는 테스트 영상을 표시하고,
상기 센싱부는,
상기 테스트 영상이 비친 상기 사용자의 눈을 촬영한 영상을 포함하는 상기 착용 상태 정보를 획득하며,
상기 프로세서는,
상기 촬영된 눈 영상으로부터 상기 사용자의 눈에 대응되는 영역을 검출하고, 상기 눈에 대응되는 영역 내에서 상기 테스트 영상의 반사 영상을 추출하고, 상기 반사 영상의 크기 및 형태 중 적어도 하나를 미리 결정된 기준 착용 상태 정보와 비교하고, 비교 결과에 기초하여 상기 기울기를 결정하는, 웨어러블 글래스.
According to claim 1,
The display displays a test image,
The sensing unit,
Obtaining the wearing state information including an image of the user's eyes reflected in the test image,
The processor is
A region corresponding to the user's eye is detected from the photographed eye image, a reflection image of the test image is extracted from within the region corresponding to the eye, and at least one of a size and a shape of the reflection image is determined based on a predetermined criterion. A wearable glass that compares the wearing state information and determines the inclination based on the comparison result.
제1 항에 있어서,
상기 센싱부는,
상기 웨어러블 글래스의 움직임 상태를 나타내는 상태값을 더 측정하고, 상기 상태값이 소정 값 이상인 경우, 상기 착용 상태 정보를 획득하는, 웨어러블 글래스.
According to claim 1,
The sensing unit,
The wearable glasses further measure a state value indicating a movement state of the wearable glasses, and obtain the wearing state information when the state value is greater than or equal to a predetermined value.
제1 항에 있어서,
상기 프로세서는,
상기 결정된 기울기가 소정 값 이상인지 여부를 결정하고,
상기 디스플레이는,
상기 결정된 기울기가 소정 값 미만인 경우, 상기 결정된 기울기에 기초하여 조정된 영상을 표시하고,
상기 결정된 기울기가 소정 값 이상인 경우, 사용자에게 상기 웨어러블 글래스를 고쳐 쓰도록 통지하는 통지 영상을 표시하는 것을 특징으로 하는, 웨어러블 글래스.
According to claim 1,
The processor is
determining whether the determined slope is greater than or equal to a predetermined value;
The display is
When the determined slope is less than a predetermined value, an image adjusted based on the determined slope is displayed,
When the determined inclination is equal to or greater than a predetermined value, a notification image for notifying a user to rewrite the wearable glasses is displayed.
웨어러블 글래스가 영상을 표시하는 방법에 있어서,
상기 웨어러블 글래스에서 제공하는 영상을 디스플레이 상에 표시하는 단계;
사용자가 상기 웨어러블 글래스를 착용하고 있는 착용 상태 정보를 획득하는 단계;
상기 착용 상태 정보를 이용하여 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계; 및
상기 결정된 기울기에 기초하여 상기 디스플레이 상에 표시되는 영상을 조정하는 단계를 포함하고,
상기 착용 상태 정보는 상기 사용자의 눈을 촬영한 영상을 포함하고,
상기 웨어러블 글래스의 기울기를 결정하는 단계는,
상기 영상이 상기 사용자의 눈에 반사됨으로써 형성되는 반사 영상의 크기 및 형태 중 적어도 하나에 기초하여, 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계를 포함하는, 방법.
A method for displaying an image by wearable glasses, the method comprising:
displaying an image provided by the wearable glasses on a display;
obtaining information on a state in which a user is wearing the wearable glasses;
determining a tilt of the wearable glasses with respect to the user by using the wearing state information; and
Comprising the step of adjusting the image displayed on the display based on the determined slope,
The wearing state information includes an image of the user's eyes,
The step of determining the inclination of the wearable glasses,
and determining an inclination of the wearable glasses with respect to the user based on at least one of a size and a shape of a reflection image formed when the image is reflected by the user's eyes.
제8 항에 있어서,
상기 착용 상태 정보를 획득하는 단계는,
상기 웨어러블 글래스를 착용하고 있는 상기 사용자의 신체 부위에 대한 정보를 포함하는 상기 착용 상태 정보를 획득하는 단계를 포함하고,
상기 착용 상태 정보를 이용하여 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계는,
상기 착용 상태 정보와 미리 결정된 기준 착용 상태 정보를 비교함으로써, 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계를 더 포함하는 것을 특징으로 하는, 방법.
9. The method of claim 8,
The step of obtaining the wearing state information,
Comprising the step of obtaining the wearing state information including information on the body part of the user wearing the wearable glasses,
The step of determining the inclination of the wearable glasses with respect to the user by using the wearing state information,
The method further comprising the step of determining an inclination of the wearable glasses for the user by comparing the wearing state information with predetermined reference wearing state information.
제9 항에 있어서,
상기 착용 상태 정보를 획득하는 단계는,
상기 신체 부위에 대한 영상을 포함하는 상기 착용 상태 정보를 획득하는 단계를 포함하고,
상기 착용 상태 정보를 이용하여 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계는,
상기 신체 부위에 대한 영상으로부터 상기 신체 부위에 대응되는 영역을 검출하는 단계;
상기 검출된 영역으로부터 특성값을 획득하는 단계; 및
상기 획득된 특성값과 상기 기준 착용 상태 정보에 포함되는 기준값을 비교함으로써 상기 기울기를 결정하는 단계를 더 포함하는, 방법.
10. The method of claim 9,
The step of obtaining the wearing state information,
Comprising the step of obtaining the wearing state information including the image of the body part,
The step of determining the inclination of the wearable glasses with respect to the user by using the wearing state information,
detecting a region corresponding to the body part from the image of the body part;
obtaining a characteristic value from the detected region; and
The method further comprising the step of determining the inclination by comparing the acquired characteristic value with a reference value included in the reference wearing state information.
제8 항에 있어서,
상기 웨어러블 글래스의 기울기를 결정하는 단계는,
상기 반사 영상의 크기 및 형태 중 적어도 하나에 기초하여, 상기 사용자에 대한 상기 웨어러블 글래스의 좌우 기울기 및 전후 기울기를 결정하는 단계를 포함하고,
상기 웨어러블 글래스의 기울기를 결정하는 단계는,
상기 촬영된 눈 영상으로부터 상기 눈의 장축의 길이, 단축의 길이, 장축의 각도, 및 단축의 각도 중 적어도 하나를 획득하는 단계;
상기 획득된 값과 미리 결정된 기준 값을 비교하는 단계; 및
비교 결과에 기초하여, 상기 사용자에 대한 상기 웨어러블 글래스의 상하 기울기를 결정하는 단계를 더 포함하는, 방법.
9. The method of claim 8,
The step of determining the inclination of the wearable glasses,
determining, based on at least one of a size and a shape of the reflected image, a left and right tilt and a front and back tilt of the wearable glasses for the user;
The step of determining the inclination of the wearable glasses,
obtaining at least one of a length of a major axis, a length of a minor axis, an angle of a major axis, and an angle of a minor axis of the eye from the photographed eye image;
comparing the obtained value with a predetermined reference value; and
Based on the comparison result, the method further comprising the step of determining a vertical inclination of the wearable glasses for the user.
제8 항에 있어서,
상기 영상을 표시하는 단계는,
테스트 영상을 표시하는 단계를 포함하고,
상기 착용 상태 정보를 획득하는 단계는,
상기 테스트 영상이 비친 상기 사용자의 눈을 촬영한 영상을 포함하는 상기 착용 상태 정보를 획득하는 단계를 포함하고,
상기 착용 상태 정보를 이용하여 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계는,
상기 촬영된 눈 영상으로부터 상기 사용자의 눈에 대응되는 영역을 검출하는 단계;
상기 눈에 대응되는 영역 내에서 상기 테스트 영상의 반사 영상을 추출하는 단계;
상기 반사 영상의 크기 및 형태 중 적어도 하나를 미리 결정된 기준 착용 상태 정보와 비교하는 단계; 및
비교 결과에 기초하여 상기 기울기를 결정하는 단계를 더 포함하는, 방법.
9. The method of claim 8,
Displaying the image comprises:
displaying a test image;
The step of obtaining the wearing state information,
Comprising the step of acquiring the wearing state information including an image of the user's eyes reflected in the test image,
The step of determining the inclination of the wearable glasses with respect to the user by using the wearing state information,
detecting an area corresponding to the user's eye from the photographed eye image;
extracting a reflection image of the test image within an area corresponding to the eye;
comparing at least one of a size and a shape of the reflected image with predetermined reference wearing state information; and
The method further comprising determining the slope based on a result of the comparison.
제8 항에 있어서,
상기 착용 상태 정보를 획득하는 단계는,
상기 웨어러블 글래스의 움직임 상태를 나타내는 상태값을 측정하는 단계; 및
상기 상태값이 소정 값 이상인 경우, 상기 착용 상태 정보를 획득하는 단계를 포함하는, 방법.
9. The method of claim 8,
The step of obtaining the wearing state information,
measuring a state value indicating a movement state of the wearable glasses; and
When the state value is equal to or greater than a predetermined value, obtaining the wearing state information.
제8 항에 있어서,
상기 결정된 기울기에 기초하여 상기 디스플레이 상에 표시되는 영상을 조정하는 단계는,
상기 결정된 기울기가 소정 값 이상인지 여부를 결정하는 단계;
상기 결정된 기울기가 소정 값 이상인 경우, 사용자에게 상기 웨어러블 글래스를 고쳐 쓰도록 통지하는 영상을 표시하는 단계; 및
상기 결정된 기울기가 소정 값 미만인 경우, 상기 결정된 기울기에 기초하여 상기 디스플레이 상에 표시되는 영상을 조정하는 단계를 포함하는, 방법.
9. The method of claim 8,
Adjusting the image displayed on the display based on the determined inclination comprises:
determining whether the determined slope is equal to or greater than a predetermined value;
displaying an image notifying a user to rewrite the wearable glasses when the determined inclination is greater than or equal to a predetermined value; and
When the determined inclination is less than a predetermined value, adjusting the image displayed on the display based on the determined inclination.
웨어러블 글래스가 영상을 표시하는 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체에 있어서,
상기 방법은,
상기 웨어러블 글래스에서 제공하는 영상을 표시하는 단계;
사용자가 상기 웨어러블 글래스를 착용하고 있는 착용 상태 정보를 획득하는 단계;
상기 착용 상태 정보를 이용하여 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계; 및
상기 결정된 기울기에 기초하여 조정된 영상을 표시하는 단계를 포함하고,
상기 착용 상태 정보는 상기 사용자의 눈을 촬영한 영상을 포함하고,
상기 웨어러블 글래스의 기울기를 결정하는 단계는,
상기 영상이 상기 사용자의 눈에 반사됨으로써 형성되는 반사 영상의 크기 및 형태 중 적어도 하나에 기초하여, 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계를 포함하는, 컴퓨터로 읽을 수 있는 기록 매체.
A computer-readable recording medium in which one or more programs including instructions for executing a method of displaying an image by wearable glasses are recorded,
The method is
displaying an image provided by the wearable glasses;
obtaining information on a state in which a user is wearing the wearable glasses;
determining a tilt of the wearable glasses with respect to the user by using the wearing state information; and
Displaying an image adjusted based on the determined inclination,
The wearing state information includes an image of the user's eyes,
The step of determining the inclination of the wearable glasses,
and determining an inclination of the wearable glasses with respect to the user based on at least one of a size and a shape of a reflection image formed when the image is reflected by the user's eyes.
웨어러블 글래스를 통하여 영상을 표시하는 디바이스에 있어서,
상기 웨어러블 글래스에서 획득된, 사용자가 상기 웨어러블 글래스를 착용하고 있는 착용 상태 정보를 상기 웨어러블 글래스로부터 수신하는 통신부; 및
상기 수신된 착용 상태 정보를 이용하여 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하고, 상기 결정된 기울기에 기초하여 상기 웨어러블 글래스를 통하여 표시되는 영상을 조정하는 제어부를 포함하고,
상기 통신부는, 상기 조정된 영상을 상기 웨어러블 글래스에게 송신하고,
상기 조정된 영상은 상기 웨어러블 글래스를 통하여 표시되고,
상기 착용 상태 정보는 상기 사용자의 눈을 촬영한 영상을 포함하고,
상기 제어부는, 상기 영상이 상기 사용자의 눈에 반사됨으로써 형성되는 반사 영상의 크기 및 형태 중 적어도 하나에 기초하여 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는, 디바이스.
A device for displaying an image through wearable glasses, the device comprising:
a communication unit configured to receive, from the wearable glasses, information on a wearing state in which the user is wearing the wearable glasses, obtained from the wearable glasses; and
a controller for determining a tilt of the wearable glasses for the user by using the received wearing state information, and adjusting an image displayed through the wearable glasses based on the determined inclination;
The communication unit transmits the adjusted image to the wearable glasses,
The adjusted image is displayed through the wearable glasses,
The wearing state information includes an image of the user's eyes,
The controller is configured to determine a tilt of the wearable glasses for the user based on at least one of a size and a shape of a reflective image formed when the image is reflected by the user's eyes.
디바이스가 웨어러블 글래스를 통하여 영상을 표시하는 방법에 있어서,
상기 웨어러블 글래스에서 획득된, 사용자가 상기 웨어러블 글래스를 착용하고 있는 착용 상태 정보를 상기 웨어러블 글래스로부터 수신하는 단계;
상기 수신된 착용 상태 정보를 이용하여, 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계; 및
상기 결정된 기울기에 기초하여 조정된 영상을 상기 웨어러블 글래스에게 제공하는 단계를 포함하고,
상기 조정된 영상은 상기 웨어러블 글래스를 통하여 디스플레이되며,
상기 착용 상태 정보는 상기 사용자의 눈을 촬영한 영상을 포함하고,
상기 웨어러블 글래스의 기울기를 결정하는 단계는,
상기 영상이 상기 사용자의 눈에 반사됨으로써 형성되는 반사 영상의 크기 및 형태 중 적어도 하나에 기초하여, 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계를 포함하는, 방법.
A method for a device to display an image through wearable glasses, the method comprising:
receiving, from the wearable glasses, information on a wearing state in which a user is wearing the wearable glasses, obtained from the wearable glasses;
determining a tilt of the wearable glasses with respect to the user by using the received wearing state information; and
providing an image adjusted based on the determined inclination to the wearable glasses,
The adjusted image is displayed through the wearable glasses,
The wearing state information includes an image of the user's eyes,
The step of determining the inclination of the wearable glasses,
and determining an inclination of the wearable glasses with respect to the user based on at least one of a size and a shape of a reflection image formed when the image is reflected by the user's eyes.
웨어러블 글래스에 있어서,
사용자에게 영상을 표시하는, 디스플레이;
상기 디스플레이 상에 상기 영상이 표시되는 동안 상기 웨어러블 글래스를 착용하고 있는 상기 사용자의 눈을 촬영한 영상을 획득하고, 상기 사용자의 제스처에 대한 정보를 획득하는, 센싱부; 및
상기 디스플레이 상에 표시되는 상기 영상이 상기 사용자의 눈에 반사됨으로써 형성되는 반사 영상의 크기 및 형태 중 적어도 하나에 기초하여 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하고,
상기 결정된 기울기에 기초하여 상기 디스플레이 상에 표시되는 영상을 조정하고,
상기 사용자의 제스처에 대한 정보에 기초하여 조정값을 결정하고, 상기 결정된 조정값에 기초하여 상기 디스플레이 상에 표시되는 영상을 더 조정하는, 프로세서를 포함하는, 웨어러블 글래스.
In wearable glasses,
a display for displaying an image to a user;
a sensing unit configured to obtain an image obtained by photographing the eyes of the user wearing the wearable glasses while the image is displayed on the display, and obtain information about the user's gesture; and
determining the inclination of the wearable glasses for the user based on at least one of a size and a shape of a reflective image formed when the image displayed on the display is reflected by the user's eyes,
Adjust the image displayed on the display based on the determined inclination,
and a processor to determine an adjustment value based on the information about the user's gesture, and further adjust the image displayed on the display based on the determined adjustment value.
웨어러블 글래스가 영상을 표시하는 방법에 있어서,
상기 웨어러블 글래스에서 제공하는 영상을 디스플레이 상에 표시하는 단계;
상기 디스플레이 상에 상기 영상이 표시되는 동안 상기 웨어러블 글래스를 착용하고 있는 사용자의 눈을 촬영한 영상을 획득하는 단계;
상기 디스플레이 상에 표시되는 상기 영상이 상기 사용자의 눈에 반사됨으로써 형성되는 반사 영상의 크기 및 형태 중 적어도 하나에 기초하여, 상기 사용자에 대한 상기 웨어러블 글래스의 기울기를 결정하는 단계;
상기 결정된 기울기에 기초하여 상기 디스플레이 상에 표시되는 영상을 조정하는 단계;
상기 사용자의 제스처에 대한 정보를 획득하는 단계;
상기 사용자의 제스처에 대한 정보에 기초하여, 조정값을 결정하는 단계; 및
상기 결정된 조정값에 기초하여 상기 디스플레이 상에 표시되는 영상을 조정하는 단계를 포함하는, 방법.
A method for displaying an image by wearable glasses, the method comprising:
displaying an image provided by the wearable glasses on a display;
acquiring an image obtained by photographing the eyes of a user wearing the wearable glasses while the image is displayed on the display;
determining an inclination of the wearable glasses with respect to the user based on at least one of a size and a shape of a reflective image formed when the image displayed on the display is reflected by the user's eyes;
adjusting the image displayed on the display based on the determined inclination;
obtaining information about the user's gesture;
determining an adjustment value based on the information on the user's gesture; and
and adjusting the image displayed on the display based on the determined adjustment value.
웨어러블 글래스를 통하여 영상을 표시하는 디바이스에 있어서,
상기 웨어러블 글래스의 디스플레이 상에 상기 영상이 표시되는 동안 상기 웨어러블 글래스를 착용하고 있는 사용자의 눈을 촬영한 영상을 상기 웨어러블 글래스로부터 수신하는 통신부; 및
상기 웨어러블 글래스의 디스플레이 상에 표시되는 상기 영상이 상기 사용자의 눈에 반사됨으로써 형성되는 반사 영상의 크기 및 형태 중 적어도 하나에 기초하여, 상기 웨어러블 글래스의 기울기를 결정하고, 상기 결정된 기울기에 기초하여 상기 웨어러블 글래스를 통하여 표시되는 영상을 조정하는 제어부를 포함하고,
상기 통신부는, 상기 조정된 영상을 상기 웨어러블 글래스에게 송신하고,
상기 웨어러블 글래스에서 획득된 사용자의 제스처에 대한 정보를 상기 웨어러블 글래스로부터 수신하고,
상기 제어부는,
상기 사용자의 제스처에 대한 정보에 기초하여 조정값을 결정하고, 상기 결정된 조정값에 기초하여 상기 웨어러블 글래스를 통해 표시되는 영상을 더 조정하는, 디바이스.
A device for displaying an image through wearable glasses, the device comprising:
a communication unit configured to receive, from the wearable glasses, an image obtained by photographing the eyes of a user wearing the wearable glasses while the image is displayed on the display of the wearable glasses; and
The inclination of the wearable glasses is determined based on at least one of a size and a shape of a reflective image formed when the image displayed on the display of the wearable glasses is reflected by the user's eyes, and based on the determined inclination, the inclination of the wearable glasses is determined. A control unit for adjusting an image displayed through wearable glasses,
The communication unit transmits the adjusted image to the wearable glasses,
receiving information about a user's gesture obtained from the wearable glasses from the wearable glasses;
The control unit is
The device determines an adjustment value based on information about the user's gesture, and further adjusts an image displayed through the wearable glasses based on the determined adjustment value.
KR1020150020288A 2014-07-31 2015-02-10 Wearable glasses and method for displaying image therethrough KR102361025B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20140098630 2014-07-31
KR1020140098630 2014-07-31

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US14/810,652 US9965030B2 (en) 2014-07-31 2015-07-28 Wearable glasses and method of displaying image via the wearable glasses
TW104124448A TWI671552B (en) 2014-07-31 2015-07-29 Wearable glasses, displaying image method and non-transitory computer-readable storage medium
PCT/KR2015/007933 WO2016018070A1 (en) 2014-07-31 2015-07-29 Wearable glasses and method of displaying image via the wearable glasses
CN202010966048.3A CN112213856A (en) 2014-07-31 2015-07-31 Wearable glasses and method of displaying image via wearable glasses
EP15179242.1A EP2980628A1 (en) 2014-07-31 2015-07-31 Wearable glasses and a method of displaying image via the wearable glasses
CN201510463690.9A CN105319718B (en) 2014-07-31 2015-07-31 Wearable glasses and method of displaying image via wearable glasses
US15/941,069 US10303250B2 (en) 2014-07-31 2018-03-30 Wearable glasses and method of displaying image via the wearable glasses
US16/381,203 US10983593B2 (en) 2014-07-31 2019-04-11 Wearable glasses and method of displaying image via the wearable glasses

Publications (2)

Publication Number Publication Date
KR20160016524A KR20160016524A (en) 2016-02-15
KR102361025B1 true KR102361025B1 (en) 2022-02-08

Family

ID=55357225

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150020288A KR102361025B1 (en) 2014-07-31 2015-02-10 Wearable glasses and method for displaying image therethrough

Country Status (2)

Country Link
KR (1) KR102361025B1 (en)
TW (1) TWI671552B (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10145733B2 (en) * 2015-09-02 2018-12-04 Qualcomm Incorporated Auto-calibrating light sensor data of a mobile device
US9905203B2 (en) * 2016-03-06 2018-02-27 Htc Corporation Interactive display system with HMD and method thereof
EP3523782A4 (en) 2016-10-05 2020-06-24 Magic Leap, Inc. Periocular test for mixed reality calibration
US20210132690A1 (en) * 2019-11-05 2021-05-06 Micron Technology, Inc. Rendering enhancement based in part on eye tracking

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012172719A1 (en) * 2011-06-16 2012-12-20 パナソニック株式会社 Head-mounted display and misalignment correction method thereof
JP2013125247A (en) 2011-12-16 2013-06-24 Sony Corp Head-mounted display and information display apparatus
JP2013206412A (en) * 2012-03-29 2013-10-07 Brother Ind Ltd Head-mounted display and computer program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2751609B1 (en) * 2011-08-30 2017-08-16 Microsoft Technology Licensing, LLC Head mounted display with iris scan profiling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012172719A1 (en) * 2011-06-16 2012-12-20 パナソニック株式会社 Head-mounted display and misalignment correction method thereof
JP2013125247A (en) 2011-12-16 2013-06-24 Sony Corp Head-mounted display and information display apparatus
JP2013206412A (en) * 2012-03-29 2013-10-07 Brother Ind Ltd Head-mounted display and computer program

Also Published As

Publication number Publication date
TW201604587A (en) 2016-02-01
TWI671552B (en) 2019-09-11
KR20160016524A (en) 2016-02-15

Similar Documents

Publication Publication Date Title
US10983593B2 (en) Wearable glasses and method of displaying image via the wearable glasses
KR102411100B1 (en) Method and appratus for processing screen using device
US11366516B2 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
ES2759054T3 (en) Region based on human body gestures and volume selection for HMD
US10585288B2 (en) Computer display device mounted on eyeglasses
KR20150091322A (en) Multi-touch interactions on eyewear
KR102361025B1 (en) Wearable glasses and method for displaying image therethrough
KR102110208B1 (en) Glasses type terminal and control method therefor
EP3007135A1 (en) Electronic device, control method of electronic device and computer readable recording medium
US9958681B2 (en) Electronic device and control method thereof
KR101695695B1 (en) Mobile terminal and method for controlling the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant