KR102433291B1 - 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법 - Google Patents

웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법 Download PDF

Info

Publication number
KR102433291B1
KR102433291B1 KR1020150043300A KR20150043300A KR102433291B1 KR 102433291 B1 KR102433291 B1 KR 102433291B1 KR 1020150043300 A KR1020150043300 A KR 1020150043300A KR 20150043300 A KR20150043300 A KR 20150043300A KR 102433291 B1 KR102433291 B1 KR 102433291B1
Authority
KR
South Korea
Prior art keywords
wearable glasses
information
user
notification
content
Prior art date
Application number
KR1020150043300A
Other languages
English (en)
Other versions
KR20160016540A (ko
Inventor
주가현
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to TW104123614A priority Critical patent/TWI670520B/zh
Priority to PCT/KR2015/007684 priority patent/WO2016017997A1/en
Priority to EP15178990.6A priority patent/EP2980627A1/en
Priority to CN202010703799.6A priority patent/CN111897425B/zh
Priority to US14/815,082 priority patent/US10037084B2/en
Priority to CN201510465036.1A priority patent/CN105320279B/zh
Publication of KR20160016540A publication Critical patent/KR20160016540A/ko
Priority to US16/026,071 priority patent/US10452152B2/en
Priority to US16/601,898 priority patent/US10725556B2/en
Priority to US16/939,177 priority patent/US11150738B2/en
Application granted granted Critical
Publication of KR102433291B1 publication Critical patent/KR102433291B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Abstract

웨어러블 글래스를 착용한 사용자의 움직임 정보를 센싱하는 센싱부; 알림 메시지 정보를 수신하는 통신부; 웨어러블 글래스를 착용한 상기 사용자의 시야각 내에 알림 메시지 정보를 표시하는 디스플레이부; 및 센싱된 사용자의 움직임 정보를 이용하여 사용자의 움직임 상태를 판단하고, 사용자의 움직임 상태에 따라, 수신된 알림 메시지 정보를 표시하도록 디스플레이부를 제어하는 제어부를 포함하는 웨어러블 글래스를 개시한다.

Description

웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법{METHOD AND WEARABLE GLASSES FOR PROVIDING A CONTENT}
본 발명은 웨어러블 글래스 및 웨어러블 글래스에서 알림 이벤트에 대응하는 컨텐트를 제공하는 방법에 관한 것이다.
웨어러블 디바이스는 사람이 착용할 수 있는 장치이다. 웨어러블 디바이스에 대한 연구가 활발히 진행됨에 따라 다양한 형태의 웨어러블 디바이스들이 출시되거나 출시가 예고 되고 있다. 웨어러블 워치, 웨어러블 글래스, 및 웨어러블 밸트 등이 현재 출시되거나 출시가 예고되고 있는 웨어러블 디바이스들이다.
웨어러블 글래스는 안경을 착용하듯 착용하고, 다양한 정보를 제공할 수 있는 장치이다. 웨어러블 글래스는 사용자의 두 손을 자유롭게 하기는 하나 웨어러블 글래스에서 표시되는 정보들 때문에 사용자의 시야가 가려질 위험이 있다.
본 발명은 알림 이벤트 발생 시에 사용자의 움직임 패턴 정보를 이용하여 알림 이벤트에 대응하는 컨텐트의 제공 방법을 결정하는 웨어러블 글래스의 컨텐트 제공 방법에 관한 것이다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스는, 웨어러블 글래스를 착용한 사용자의 움직임 정보를 센싱하는 센싱부; 알림 메시지 정보를 수신하는 통신부; 상기 웨어러블 글래스를 착용한 상기 사용자의 시야각 내에 상기 알림 메시지 정보를 표시하는 디스플레이부; 및 상기 센싱된 사용자의 움직임 정보를 이용하여 상기 사용자의 움직임 상태를 판단하고 상기 사용자의 움직임 상태에 따라 상기 수신된 알림 메시지 정보를 표시하도록 상기 디스플레이부를 제어하는 제어부를 포함할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스의 제어부는, 상기 센싱부에 포함된 적어도 하나의 센서에 기반하여 상기 사용자가 상기 웨어러블 글래스를 착용하고 있는지 판단하고, 상기 사용자가 상기 웨어러블 글래스를 착용하고 있는 것으로 판단되는 경우에 상기 사용자의 움직임을 센싱하도록 상기 센싱부를 제어할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스의 제어부는, 상기 센싱부에서 측정되는 가속도 정보, 기울기 정보, 생체 정보, 고도 정보, 기압 정보, 안구 추적 정보, 및 위치 정보 중 적어도 하나를 이용하여, 상기 사용자의 움직임 상태를 판단할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스의 제어부는 외부의 웨어러블 디바이스로부터 수신되는 사용자의 움직임 정보를 더 이용하여 상기 사용자의 움직임 상태를 판단할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스의 제어부는 상기 사용자의 움직임 상태에 기초하여, 상기 알림 메시지 정보를 표시하기 위한 시기를 결정하고, 상기 결정된 시기에 상기 알림 메시지 정보를 표시하도록 상기 디스플레이부를 제어할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스의 제어부는 상기 사용자의 이동 속도가 임계 속도 미만인 경우 상기 알림 메시지 정보를 현재 시점에 출력하기로 결정하고, 상기 사용자의 이동 속도가 임계 속도 이상인 경우 상기 알림 메시지 정보를 기 설정된 시점에 출력하기로 결정할 수 있다. 여기서 상기 기 설정된 시점은, 상기 알림 메시지 정보의 출력을 요청하는 사용자 입력을 수신하는 시점, 상기 사용자의 움직임 상태가 변화하는 시점, 및 기 설정된 시간이 경과한 시점 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스의 제어부는 상기 사용자의 움직임 상태에 기초하여, 상기 알림 메시지 정보를 표시하기 위한 표시 형태를 결정하고, 상기 결정된 표시 형태에 따라 상기 알림 메시지 정보를 표시하도록 상기 디스플레이부를 제어할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스의 제어부는 상기 사용자의 이동 속도가 임계 속도 이상인 경우 상기 알림 메시지 정보의 일부를 표시하기로 결정하고, 상기 사용자의 이동 속도가 임계 속도 미만인 경우 상기 알림 메시지 정보의 전체를 표시하기로 결정할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스의 제어부는 상기 웨어러블 글래스로부터 소정 거리 내의 환경 정보를 고려하여, 상기 알림 메시지 정보의 출력 형태를 오디오 신호 및 비디오 신호 중 적어도 하나로 결정할 수 있다. 상기 환경 정보는, 상기 웨어러블 글래스로부터 소정 거리 내에서 발생하는 외부 소리에 관한 정보, 및 이미지 센서를 통해 획득되는 외부 이미지에 관한 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스는 사용자의 움직임을 센싱하고 신호를 출력하는 센싱부; 알림 메시지 정보를 수신하는 통신부; 상기 알림 메시지 정보를 표시하는 디스플레이부; 및 상기 센싱부에서 출력된 신호에 기초하여, 상기 수신된 알림 메시지 정보를 상기 디스플레이부에 표시하도록 상기 디스플레이부를 제어하는 제어부를 포함할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스의 제어부는 상기 센싱부에 포함된 적어도 하나의 센서에서 출력된 신호에 기초하여 사용자가 상기 웨어러블 글래스를 착용하고 있는지 판단하고, 상기 사용자가 상기 웨어러블 글래스를 착용하고 있는 것으로 판단되는 경우에 상기 사용자의 움직임을 센싱하도록 상기 센싱부를 제어할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스에서 정보를 제공하는 방법은 알림 메시지 정보를 수신하는 단계; 상기 웨어러블 글래스를 착용한 사용자의 움직임 정보를 센싱하는 단계; 상기 센싱된 사용자의 움직임 정보를 이용하여 상기 사용자의 움직임 상태를 판단하는 단계; 및 상기 사용자의 움직임 상태에 따라 상기 수신된 알림 메시지 정보를 표시하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스에서 정보를 제공하는 방법에서 상기 사용자의 움직임 정보를 센싱하는 단계는, 상기 웨어러블 글래스에 포함된 적어도 하나의 센서에 기반하여 상기 사용자가 상기 웨어러블 글래스를 착용하고 있는지 판단하는 단계; 및 상기 사용자가 상기 웨어러블 글래스를 착용하고 있는 것으로 판단된 경우, 상기 사용자의 움직임 정보를 센싱하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스에서 정보를 제공하는 방법에서 상기 수신된 알림 메시지 정보를 표시하는 단계는, 상기 알림 메시지 정보를 표시하기 위한 시기를 결정하는 단계; 및 상기 결정된 시기에 상기 알림 메시지 정보를 표시하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스에서 정보를 제공하는 방법에서 상기 알림 메시지 정보를 표시하기 위한 시기를 결정하는 단계는, 상기 사용자의 이동 속도가 임계 속도 미만인 경우, 상기 알림 메시지 정보를 현재 시점에 출력하기로 결정하고, 상기 사용자의 이동 속도가 임계 속도 이상인 경우, 상기 알림 메시지 정보를 기 설정된 시점에 출력하기로 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스에서 정보를 제공하는 방법에서 상기 수신된 알림 메시지 정보를 표시하는 단계는, 상기 알림 메시지 정보를 표시하기 위한 표시 형태를 결정하는 단계; 및 상기 결정된 표시 형태에 따라 상기 알림 메시지 정보를 표시하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스에서 정보를 제공하는 방법에서 상기 표시 형태를 결정하는 단계는, 상기 사용자의 이동 속도가 임계 속도 이상인 경우 상기 알림 메시지 정보의 일부를 출력하기로 결정하고, 상기 사용자의 이동 속도가 임계 속도 미만인 경우 상기 알림 메시지 정보의 전체를 출력하기로 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스에서 정보를 제공하는 방법에서 상기 알림 이벤트에 대응하는 컨텐트의 제공 형태를 결정하는 단계는, 상기 웨어러블 글래스로부터 소정 거리 내의 환경 정보를 획득하는 단계; 및 상기 환경 정보를 고려하여, 상기 알림 메시지 정보를 오디오 신호 및 비디오 신호 중 적어도 하나의 형태로 제공하도록 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르는 웨어러블 글래스는, 알림 이벤트의 발생을 감지함에 따라 HMD 장치를 착용한 사용자의 움직임 패턴 정보를 획득하고, 사용자의 움직임 패턴 정보에 기초하여, 알림 이벤트에 대응하는 컨텐트의 제공 방법을 결정하는 제어부; 및 결정된 제공 방법에 따라 알림 이벤트에 대응하는 컨텐트를 제공하는 출력부를 포함할 수 있다.
본 발명의 일 실시예에 따르는 웨어러블 글래스의 제어부는, 웨어러블 글래스에 포함된 적어도 하나의 센서에 기반하여 사용자가 웨어러블 글래스를 착용하고 있는지 판단하고, 사용자가 웨어러블 글래스를 착용하고 있는 것으로 판단되는 경우에 사용자의 움직임 패턴 정보를 획득할 수 있다.
본 발명의 일 실시예에 따르는 적어도 하나의 센서는, 온도 센서, 압력 센서, 조도 센서, 근접 센서, 홍채 인식 센서, 및 기압 센서 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따르는 사용자의 움직임 패턴 정보는, 사용자의 동작 상태 정보, 사용자의 이동 속도 정보, 및 사용자의 위치 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따르는 웨어러블 글래스의 제어부는, 웨어러블 글래스에서 측정되는 가속도 정보, 기울기 정보, 및 위치 정보 중 적어도 하나를 이용하여, 사용자의 움직임 패턴을 분석함으로써, 사용자의 움직임 패턴 정보를 획득할 수 있다.
본 발명의 일 실시예에 따르는 웨어러블 글래스는, 사용자의 움직임 패턴 정보를 웨어러블 글래스와 연결된 외부 장치에 요청하고, 외부 장치로부터 사용자의 움직임 패턴 정보를 수신하는 통신부를 더 포함할 수 있다.
본 발명의 일 실시예에 따르는 웨어러블 글래스의 제어부는, 사용자의 움직임 패턴 정보에 기초하여, 알림 이벤트에 대응하는 컨텐트의 제공 시기를 결정할 수 있다.
본 발명의 일 실시예에 따르는 웨어러블 글래스의 제어부는, 사용자의 이동 속도가 임계 속도 미만인 경우 알림 이벤트에 대응하는 컨텐트를 현재 시점에 출력하기로 결정하고, 사용자의 이동 속도가 임계 속도 이상인 경우 알림 이벤트에 대응하는 컨텐트를 기 설정된 시점에 출력하기로 결정할 수 있다.
본 발명의 일 실시예에 따르는 기 설정된 시점은, 알림 이벤트에 대응하는 컨텐트의 출력을 요청하는 사용자 입력을 수신하는 시점, 사용자의 움직임 패턴이 변화하는 시점, 및 기 설정된 시간이 경과한 시점 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따르는 웨어러블 글래스의 제어부는, 사용자의 움직임 패턴 정보에 기초하여, 알림 이벤트에 대응하는 컨텐트의 제공 형태를 결정할 수 있다.
본 발명의 일 실시예에 따르는 웨어러블 글래스의 제어부는, 사용자의 이동 속도가 임계 속도 이상인 경우 알림 이벤트에 대응하는 컨텐트의 일부를 출력하기로 결정하고, 사용자의 이동 속도가 임계 속도 미만인 경우 알림 이벤트에 대응하는 컨텐트의 전체를 출력하기로 결정할 수 있다.
본 발명의 일 실시예에 따르는 웨어러블 글래스의 제어부는, 웨어러블 글래스로부터 소정 거리 내의 환경 정보를 고려하여, 알림 이벤트에 대응하는 컨텐트의 출력 형태를 오디오 신호 및 비디오 신호 중 적어도 하나로 결정할 수 있다.
본 발명의 일 실시예에 따르는 환경 정보는, 웨어러블 글래스로부터 소정 거리 내에서 발생하는 외부 소리에 관한 정보, 이미지 센서를 통해 획득되는 외부 이미지에 관한 정보 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시 예에 따르는 웨어러블 글래스는 사용자의 움직임을 센싱하고 신호를 출력하는 센싱부; 알림 메시지 정보를 수신하는 통신부; 상기 알림 메시지 정보를 표시하는 디스플레이부; 및 상기 센싱부에서 출력된 신호에 기초하여 상기 수신된 알림 메시지 정보를 상기 디스플레이부에 표시하도록 상기 디스플레이부를 제어하는 제어부를 포함할 수 있다.
제어부는 상기 센싱부에 포함된 적어도 하나의 센서에서 출력된 신호에 기초하여 사용자가 상기 웨어러블 글래스를 착용하고 있는지 판단하고, 상기 웨어러블 글래스를 착용하고 있는 것으로 판단되는 경우에 상기 사용자의 움직임을 센싱하도록 상기 센싱부를 제어할 수 있다.
본 발명의 일 실시예에 따르는 웨어러블 글래스의 컨텐트 제공 방법은, 알림 이벤트의 발생을 감지하는 단계; 웨어러블 글래스를 착용한 사용자의 움직임 패턴 정보를 획득하는 단계; 및 사용자의 움직임 패턴 정보에 기초하여, 알림 이벤트에 대응하는 컨텐트의 제공 방법을 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르는 사용자의 움직임 패턴 정보를 획득하는 단계는, 웨어러블 글래스에 포함된 적어도 하나의 센서에 기반하여 사용자가 웨어러블 글래스를 착용하고 있는지 판단하는 단계; 및 사용자가 웨어러블 글래스를 착용하고 있는 것으로 판단된 경우, 사용자의 움직임 패턴 정보를 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르는 알림 이벤트에 대응하는 컨텐트의 제공 방법을 결정하는 단계는, 사용자의 움직임 패턴 정보에 기초하여, 알림 이벤트에 대응하는 컨텐트의 제공 시기 및 제공 형태 중 적어도 하나를 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르는 제공 시기를 결정하는 단계는, 사용자의 이동 속도가 임계 속도 미만인 경우, 알림 이벤트에 대응하는 컨텐트를 현재 시점에 출력하기로 결정하고, 사용자의 이동 속도가 임계 속도 이상인 경우, 알림 이벤트에 대응하는 컨텐트를 기 설정된 시점에 출력하기로 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르는 제공 형태를 결정하는 단계는, 사용자의 이동 속도가 임계 속도 이상인 경우 알림 이벤트에 대응하는 컨텐트의 일부를 출력하기로 결정하고, 사용자의 이동 속도가 임계 속도 미만인 경우 알림 이벤트에 대응하는 컨텐트의 전체를 출력하기로 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르는 알림 이벤트에 대응하는 컨텐트의 제공 형태를 결정하는 단계는, 웨어러블 글래스로부터 소정 거리 내의 환경 정보를 획득하는 단계; 및 환경 정보를 고려하여, 알림 이벤트에 대응하는 컨텐트를 오디오 신호 및 비디오 신호 중 적어도 하나의 형태로 제공하도록 결정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르는 웨어러블 글래스의 컨텐트 제공 방법은, 결정된 제공 방법에 기초하여, 알림 이벤트에 대응하는 컨텐트를 제공하는 단계를 더 포함할 수 있다.
도 1은 본 발명의 일 실시예에 따르는 웨어러블 글래스의 동작 방법을 설명하기 위한 도면이다.
도 2 및 도 3은 본 발명의 일 실시예에 따르는 웨어러블 글래스의 외관을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따르는 알림 제공 시스템을 설명하기 위한 도면이다.
도 5a는 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 움직임 패턴 정보에 기반하여 컨텐트를 제공하는 방법을 설명하기 위한 순서도이다.
도 5b 및 도 5c는 HMD 장치가 사용자의 움직임 정보를 이용하여 사용자의 움직임 상태를 판단하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 웨어러블 글래스 착용 여부에 기반하여 알림 이벤트에 대응하는 컨텐트를 제공하는 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 일 실시예에 따르는, 웨어러블 글래스의 알림 이벤트 발생 감지 방법을 설명하기 위한 순서도이다.
도 8은 웨어러블 글래스가 알림 메시지를 서버로부터 수신함으로써, 알림 이벤트 발생을 감지하는 일례를 나타내는 도면이다.
도 9는 웨어러블 글래스가 모바일 단말로부터 일정 알림 메시지를 수신함으로써, 알림 이벤트 발생을 감지하는 일례를 나타내는 도면이다.
도 10은 웨어러블 글래스가 모바일 단말을 통해 문자 메시지를 수신함으로써, 알림 이벤트 발생을 감지하는 일례를 나타내는 도면이다.
도 11은 웨어러블 글래스가 광고 컨텐트를 수신함으로써 알림 이벤트 발생을 감지하는 일례를 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따르는, 웨어러블 글래스에서 사용자의 움직임 패턴 정보를 획득하는 방법을 설명하기 위한 순서도이다.
도 13은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 외부 장치로부터 사용자의 움직임 패턴 정보를 획득하는 방법을 설명하기 위한 순서도이다.
도 14는 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 이동 속도에 기반하여 알림 이벤트에 대응하는 컨텐트의 출력 시기를 결정하는 방법을 설명하기 위한 순서도이다.
도 15a 및 15b는 웨어러블 글래스가 사용자의 이동 속도에 따라 알림 이벤트에 대응하는 컨텐트의 출력 시기 및 방법을 조절하는 일례를 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시예에 따르는, 사용자의 움직임 패턴 정보에 기반하여 알림 이벤트에 대응하는 컨텐트의 출력 형태를 결정하는 방법을 설명하기 위한 순서도이다.
도 17 내지 도 19는 웨어러블 글래스가 사용자의 이동 속도에 기초하여 알림 이벤트에 대응하는 컨텐트의 일부 또는 전체를 제공하는 일례를 설명하기 위한 도면이다.
도 20은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 소정 이벤트 발생 시에 미 출력 컨텐트를 출력하는 방법을 설명하기 위한 순서도이다.
도 21은 웨어러블 글래스가 사용자의 움직임 패턴 변화 이벤트에 기초하여, 기 발생된 알림 이벤트에 대응하는 컨텐트를 출력하는 일례를 나타내는 도면이다.
도 22는 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 특정(certain) 입력에 기초하여 컨텐트의 출력 형태를 변경하는 방법을 설명하기 위한 도면이다.
도 23 내지 도 24는 컨텐트의 일부를 출력한 웨어러블 글래스가 사용자의 헤드 업 모션에 기초하여 컨텐트의 전체를 출력하는 일례를 설명하기 위한 도면이다.
도 25는 컨텐트의 일부를 출력한 웨어러블 글래스가 사용자의 입력에 기초하여 컨텐트의 출력을 차단하는 일례를 설명하기 위한 도면이다.
도 26은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 알림 이벤트에 대응하는 컨텐트에서 키워드를 강조 표시하는 방법을 설명하기 위한 순서도이다.
도 27은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 움직임 패턴 정보에 기반하여 컨텐트에서 키워드를 강조 표시하는 일례를 설명하기 위한 도면이다.
도 28은 본 발명의 일 실시예에 따르는 웨어러블 글래스가 알림 이벤트에 대응하는 컨텐트의 투명도를 조절하는 방법을 설명하기 위한 순서도이다.
도 29는 사용자가 운전 중인 경우, 웨어러블 글래스가 속도 정보에 기초하여 투명도를 조절하는 일례를 나타내는 도면이다.
도 30은 본 발명의 일 실시예에 따르는 웨어러블 글래스가 환경 정보에 기초하여 출력 신호의 형태를 결정하는 방법을 설명하기 위한 도면이다.
도 31 및 도 32는 본 발명의 일 실시예에 따르는 웨어러블 글래스가 외부 소리 정보에 기초하여 출력 신호의 형태를 조절하는 일례를 나타내는 도면이다.
도 33은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 외부 이미지에 관한 정보에 기초하여 알림 이벤트에 대응하는 컨텐트의 출력 형태를 결정하는 방법을 설명하기 위한 순서도이다.
도 34는 본 발명의 일 실시예에 따르는 웨어러블 글래스가 외부 이미지에 관한 정보에 기초하여 출력 신호의 형태를 조절하는 일례를 나타내는 도면이다.
도 35는 본 발명의 일 실시예에 따르는 웨어러블 글래스가 외부 이미지의 변화량 정보에 기초하여 출력 여부를 결정하는 방법을 설명하기 위한 순서도이다.
도 36은 웨어러블 글래스가 외부 이미지의 변화량 정보에 기반하여 알림 이벤트에 대응하는 컨텐트의 출력 형태를 변경하는 일례를 나타내는 도면이다.
도 37은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 외부 이미지에 관한 정보에 기초하여 알림 이벤트에 대응하는 컨텐트의 투명도, 색상, 채도 중 적어도 하나를 조절하는 방법을 설명하기 위한 순서도이다.
도 38은 웨어러블 글래스가 외부 이미지에 관한 정보에 기초하여 알림 이벤트에 대응하는 컨텐트의 색상을 조절하는 일례를 설명하기 위한 도면이다.
도 39는 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 알림 이벤트에 대응하는 컨텐트의 출력 위치를 결정하는 방법을 설명하기 위한 순서도이다.
도 40은 웨어러블 글래스가 알림 이벤트에 대응하는 컨텐트의 출력 위치를 변경하는 일례를 설명하기 위한 도면이다.
도 41은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 설정 정보에 기반하여 알림 이벤트에 대응하는 컨텐트의 제공 방법을 결정하는 방법을 설명하기 위한 순서도이다.
도 42는 알림 이벤트에 대응하는 컨텐트의 출력과 관련된 설정 정보의 일례를 나타내는 도면이다.
도 43 및 도 44는 웨어러블 글래스가 사용자의 설정 정보에 기반하여 알림 이벤트에 대응하는 컨텐트를 출력하는 일례를 나타내는 도면이다.
도 45는 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 외부 웨어러블 디바이스로부터 긴급 상황 알림 정보를 수신하는 방법을 설명하기 위한 순서도이다.
도 46은 웨어러블 글래스가 외부 웨어러블 디바이스로부터 수신한 맥박 수 정보를 표시하는 일례를 나타내는 도면이다.
도 47은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 외부 장치를 통해 알림 이벤트에 대응하는 컨텐트를 출력하는 방법을 설명하기 위한 순서도이다.
도 48은 웨어러블 글래스가 사용자 입력에 기반하여 알림 이벤트에 대응하는 컨텐트를 외부 장치를 통해 출력하는 일례를 나타내는 도면이다.
도 49는 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 외부 장치로부터의 요청에 응답하여 알림 이벤트에 대응하는 컨텐트를 외부 장치로 전송하는 방법을 설명하기 위한 순서도이다.
도 50은 웨어러블 글래스와 연결된 외부 장치를 통해 수신되는 사용자 입력에 기반하여, 외부 장치에서 알림 이벤트에 대응하는 컨텐트를 표시하는 일례를 나타내는 도면이다.
도 51은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 움직임 패턴 정보에 기초하여 알림 이벤트에 대응하는 컨텐트를 외부 장치를 통해 출력하는 방법을 설명하기 위한 순서도이다.
도 52는 웨어러블 글래스가 사용자의 움직임 패턴 정보에 기반하여 알림 이벤트에 대응하는 컨텐트를 외부 장치를 통해 출력하는 일례를 나타내는 도면이다.
도 53은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 미 출력된 컨텐츠의 리스트를 제공하는 방법을 설명하기 위한 순서도이다.
도 54는 웨어러블 글래스가 사용자의 특정 입력에 기반하여 미 출력된 컨텐츠의 리스트를 제공하는 하는 일례를 나타내는 도면이다.
도 55는 웨어러블 글래스와 연결된 웨어러블 디바이스가 웨어러블 글래스에서 미 출력된 컨텐츠의 리스트를 제공하는 일례를 나타내는 도면이다.
도 56은 웨어러블 글래스와 연결된 웨어러블 디바이스가 웨어러블 글래스에서 기 출력된 컨텐츠의 리스트를 제공하는 일례를 나타내는 도면이다.
도 57 및 도 58은 본 발명의 일 실시예에 따르는, 웨어러블 글래스의 구성을 설명하기 위한 블록 구성도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예에 따르는 웨어러블 글래스의 동작 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 의하면, HMD(Head mounted display) 장치(100)는, 사용자의 머리 부분에 장착되어, 사용자의 눈 앞에 영상을 제공할 수 있는 디스플레이 장치를 의미한다. 본 발명의 일 실시예에 의하면, HMD 장치(100)는 다양한 형태로 구현될 수 있다. 예를 들어, HMD 장치(100)는, 안경, 헬멧, 모자 중 적어도 하나의 형태일 수 있으나, 이에 한정되는 것은 아니다. 본 발명은 안경형 웨어러블 글래스로 한정되는 것은 아니며, 본체의 일부분을 사용자 머리에 고정하여 사용자 시야각 내에 정보를 표시할 수 있는 다양한 형태의 HMD 장치에서도 적용 가능하다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 알림 이벤트에 대응하는 컨텐트(10)를 제공할 수 있다. 본 명세에서, 컨텐트를 제공한다는 것은, 컨텐트를 표시하거나, 컨텐트를 재생하거나 컨텐트를 출력하는 것을 포함할 수 있다.
본 명세서에서, 알림 이벤트는, 사용자에게 알려야 하는 정보가 발생되는 이벤트를 의미할 수 있다. 알림 이벤트는, 웨어러블 글래스(100) 내부에서 발생되는 상황을 알리기 위한 이벤트일 수도 있고, 웨어러블 글래스(100) 외부에서 발생되는 상황을 전달하기 위한 이벤트일 수도 있다.
예를 들어, 알림 이벤트는, 일정 알림 이벤트, 관광지 알림 이벤트, 교통 정보 알림 이벤트, 광고 알림 이벤트, 업데이트 알림 이벤트, 추천 컨텐트 알림 이벤트, 건강 정보 알림 이벤트, 및 긴급 상황 알림 이벤트 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 명세서에서, ‘알림 이벤트에 대응하는 컨텐트(10)’는 사용자에게 알리기 위해 생성된 컨텐트를 의미할 수 있다. ‘알림 이벤트에 대응하는 컨텐트(10)’는 웨어러블 글래스(100)에서 생성될 수도 있고, 웨어러블 글래스(100)의 외부로부터 획득될 수도 있다. 예를 들어, 웨어러블 글래스(100)는, 알림 이벤트가 발생되는 경우, 알림 이벤트에 대응하는 컨텐트(10)를 생성할 수 있다. 또한, 웨어러블 글래스(100)는, 알림 이벤트에 대응하는 컨텐트(10)를 외부 디바이스 또는 서버로부터 수신할 수도 있다. 이하에서, ‘알림 이벤트에 대응하는 컨텐트(10)’는 ‘알림 메시지 정보’로 표현될 수도 있다.
명세서 전체에서 ‘컨텐트’는 유무선 통신망을 통해 제공되는 디지털 정보를 의미한다. 본 발명의 일 실시예에 따른 컨텐트는, 동영상 컨텐트, 정지 영상 콘텐트(예컨대, 사진, 그림 등), 텍스트 컨텐트(예컨대, 신문 기사, 편지, 웹 페이지 등), 음악 컨텐트(예컨대, 음악, 연주곡, 라디오 방송 등) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 의하면, ‘알림 이벤트에 대응하는 컨텐트(10)’는 일정 알림 컨텐트(투약 알림 멘트, 스케줄 알림 멘트), 관광지 정보 알림 컨텐트(예컨대, 유적지 설명 컨텐트), 교통 정보 알림 컨텐트(예컨대, 버스 운행 스케줄 등), 광고 알림 컨텐트(예컨대, 쿠폰), 업데이트 알림 컨텐트(예컨대, 소프트웨어 또는 하드웨어 업데이트 알림), 추천 컨텐트(예컨대, 추천 도서 정보, 추천 음악 정보), 건강 정보 알림 컨텐트(예컨대, 혈당 수치 정보, 심박 수 정보, 온도 정보 등), 및 긴급 상황 알림 컨텐트 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 이하에서는, 설명의 편의상 ‘알림 이벤트에 대응하는 컨텐트(10)’를 ‘알림 컨텐트’로 기재할 수도 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 다양한 형태로 알림 컨텐트를 제공할 수 있다. 예를 들어, 웨어러블 글래스(100)는 증강현실(AR: Augmented Reality), 혼합현실(MR: Mixed Reality), 또는 가상현실(VR: Virtual Reality) 형태로 알림 컨텐트를 디스플레이부에 표시할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)가, 사용자의 상황을 고려하지 않고, 알림 이벤트의 발생이 감지되자마자 알림 컨텐트를 출력하는 경우, 사용자의 시야가 가려져, 사용자가 위험한 상황에 노출될 수 있다. 따라서, 이하에서는, 웨어러블 글래스(100)가 사용자의 움직임 패턴 정보(이하에서, ‘움직임 상태’로 표현하기도 함)에 기초하여, 알림 컨텐트의 제공 시기, 제공 형태 등을 결정하는 방법에 대해서 자세히 살펴보기로 한다. 그 전에, 웨어러블 글래스(100)의 외관 구조에 대해서 도 2 내지 도 3을 참조하여 자세히 살펴보자.
도 2 및 도 3은 본 발명의 일 실시예에 따르는 웨어러블 글래스의 외관을 설명하기 위한 도면이다. 도 2 및 도 3에서는, 웨어러블 글래스(100)가 안경 형태인 경우를 예로 들어 설명하기로 한다.
도 2를 참조하면, 웨어러블 글래스(100)는, 프레임(101), 렌즈(102), 전원 공급부(103), 디스플레이부(111), 음향 출력부(112), 제어부(120), 사용자 입력부(130), 이미지 센서(161), 깊이 센서(154)를 포함할 수 있다. 그러나, 도 2에 도시된 구성 요소 모두가 웨어러블 글래스(100)의 필수 구성 요소인 것은 아니다. 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 웨어러블 글래스(100)가 구현될 수도 있고, 도 2에 도시된 구성 요소보다 적은 구성 요소에 의해 웨어러블 글래스(100)가 구현될 수도 있다. 예를 들어, 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 렌즈(102)를 포함하지 않을 수도 있다.
웨어러블 글래스(100)에 포함되는 일부 구성 요소는 웨어러블 글래스(100)에 내장되고, 다른 일부 구성 요소는 웨어러블 글래스(100)의 외부에 장착될 수 있다. 예를 들어, 전원 공급부(103), 제어부(120)는 웨어러블 글래스(100)에 내장될 수 있다. 디스플레이부(111), 음향 출력부(112), 사용자 입력부(130), 이미지 센서(161), 깊이 센서(154)는 웨어러블 글래스(100)의 외부에 장착될 수 있다. 웨어러블 글래스(100)에 내장되는 구성 요소와 웨어러블 글래스(100)의 외부에 장착되는 구성 요소가 상술한 바로 제한되는 것은 아니다.
프레임(101)은 플라스틱 및/또는 금속 등의 소재로 구성될 수 있으며, 웨어러블 글래스(100)에 포함되는 구성 요소들을 서로 연결하는 배선을 포함할 수 있다.
본 발명의 일 실시예에 의하면, 프레임(101)은 연결 부재(미도시)를 포함함으로써, 프레임(101)의 적어도 일부가 접힐 수 있는 구조로 구성될 수 있다. 또한, 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자의 머리의 사이즈에 관계없이 웨어러블 글래스(100)가 사용자의 머리에 고정되도록 탄성이 있는 밴드를 더 포함할 수도 있다.
한편, 본 발명의 일 실시예에 의하면, 프레임(101)은 렌즈(102)가 탈착이 가능하도록 구성될 수 있다.
렌즈(102)는, 사용자가 렌즈(102)를 통해 실제 공간을 볼 수 있는 투명한 물질로 구성될 수 있다. 예를 들어, 렌즈(102)는, 폴리카보네이트와 같은 플라스틱, 또는 유리 물질로 구성될 수 있으나, 이로 제한되지 않는다.
본 발명의 일 실시예에 의하면, 렌즈(102)는 빛 반사 및 눈부심 방지 코팅, 김서림 방지 코팅, 및 자외선 차단 코딩 중 적어도 하나를 포함할 수 있다.
전원 공급부(103)는, 웨어러블 글래스(100)의 동작을 위해 필요한 전원을 각 구성에 공급할 수 있다. 전원 공급부(103)는 전력을 충전할 수 있는 배터리(미도시)를 포함할 수 있으며, 외부로부터 전력을 수신할 수 있는 케이블(미도시) 또는 케이블 포트(미도시)를 포함할 수 있다.
전원 공급부(103)는, 웨어러블 글래스(100)의 프레임(1010) 상의 다양한 위치에 배치될 수 있다. 예를 들어, 전원 공급부(103)는 웨어러블 글래스(100)의 프레임(101)의 단부에 위치할 수 있다.
디스플레이부(111)는, 반투명 광 파장 가이드(optical waveguide)(예를 들어, 프리즘)를 포함할 수 있다. 반투명 광 파장 가이드(예를 들어, 프리즘)는 프로젝터로부터 출력되는 빛을 반사시켜 웨어러블 글래스(100)를 착용하는 사용자의 눈의 망막(retina)의 횡반(fovea)에 이미지를 포커싱할 수 있다. 본 발명의 일 실시예에 의하면, 디스플레이부(111)는 알림 이벤트 발생 시, 알림 이벤트에 대응하는 컨텐트를 표시할 수 있다. 컨텐트는 알림 메시지 정보일 수 있다. 알림 메시지 정보는, 불 특정 다수에게 광고하기 위한 광고 메시지일 수도 있고, 웨어러블 글래스(100)의 사용자만을 위한 메시지일 수도 있다. 또한, 본 발명의 일 실시예에 의하면, 알림 메시지 정보는, 특정 애플리케이션과 관련된 메시지일 수도 있다. 알림 메시지 정보는 통신부를 통해 수신 될 수 있다. 또한 알림 메시지 정보는 웨어러블 글래스(100) 내부에서 자체적으로 생성될 수 있다. 예를 들면 배터리의 잔량을 표시하는 메시지는, 웨어러블 글래스(100) 내부에서 생성될 수 있다.
또한, 디스플레이부(111)는 본 발명의 렌즈(102)를 대체하거나 렌즈(102)의 일부분을 대체할 수 있다.
예를 들어, 웨어러블 글래스의 경우, 렌즈(102)와 디스플레이 영역이 동일할 수 있다. 이 경우, 사용자가 렌즈(102)를 통해 실제 사물을 보는 중에, 알림 메시지 정보가 수신되고, 수신된 알림 메시지 정보가 렌즈(102)에 표시될 수 있다. 만일, 알림 메시지 정보가, 렌즈(102)의 전체 영역 중에서 사용자의 시야각을 벗어나는 영역에 표시되는 경우, 사용자는 알림 메시지 정보를 보기 위해 눈동자를 움직여야 한다. 반면에, 알림 메시지 정보가 렌즈(102)의 전체 영역 중에서 사용자의 시야각에 대응하는 영역에 표시되는 경우, 사용자는 알림 메시지 정보를 확인하기 위해 고개를 돌리거나 눈동자를 움직이지 않아도 된다.
따라서, 사용자가 웨어러블 글래스와 같은 HMD(100) 장치를 착용한 경우, 디스플레이부(111)에는 사용자의 시야각에 대응하는 제 1 영역이 설정될 수 있으며, 제 1 영역 내에 알림 메시지 정보가 표시될 수 있다. 사용자의 시야각은, 사용자가 정면을 주시한 상태에서, 고개나 눈동자를 돌리지 않고 사물을 인식할 수 있는 각도 또는 범위를 의미할 수 있다. 예를 들어, 사용자의 시야각은, 상하로 각각 45도, 좌우로 각각 90도일 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 의하면, 사용자의 시야각에 대응하는 제 1 영역은, 전체 디스플레이 영역과 동일할 수도 있고, 전체 디스플레이 영역보다 작을 수도 있다. 또한, 사용자의 시야각에 대응하는 제 1 영역은, 사용자의 눈에서 렌즈(102)까지의 거리에 기반하여 결정되거나 조정될 수도 있다.
음향 출력부(112)는, 사용자의 귀에 장착될 수 있는 이어폰 형태로 구성될 수 있다. 이 경우, 음향 출력부(112)는, 웨어러블 글래스(100)에 고정된 형태로 장착될 수 있다. 예를 들어, 음향 출력부(112)는, 골전도 스피커를 포함할 수 있다.
또한, 음향 출력부(112)는, 웨어러블 글래스(100)로부터 탈착이 가능하도록 구성될 수도 있다. 이 경우, 웨어러블 글래스(000)의 사용자는 선택적으로 음향 출력부(112)를 귀에 장착할 수 있다.
제어부(120)는 유선 또는 무선으로 웨어러블 글래스(100)에 연결되어, 웨어러블 글래스(100)의 각 구성을 제어할 수 있다. 예를 들어, 제어부(120)는, 이미지 센서(161) 또는 사용자 입력부(130)로부터 데이터를 수신하고, 수신된 데이터를 분석하고, 디스플레이(111) 및 음향 출력부(112) 중 적어도 하나를 통해 알림 컨텐트를 출력할 수 있다.
사용자 입력부(130)는, 사용자 입력을 수신한다. 사용자 입력이란, 웨어러블 글래스(100)가 소정 동작을 개시하거나 종료하도록 하는, 사용자로부터의 명령 또는 요청 등을 포함할 수 있다.
본 발명의 일 실시예에 의하면, 사용자 입력부(130)는, 터치 입력을 수신하기 위한 터치 패널을 포함할 수 있다. 명세서 전체에서 "터치 입력"이란 사용자가 웨어러블 글래스(100)를 제어하기 위해 터치 패널에 행하는 제스처 등을 의미한다. 예를 들어, 본 명세서에서 기술되는 터치 입력에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭 등이 있을 수 있다.
본 발명의 일 실시예에 의하면, 사용자 입력부(130)는, 벤딩 입력을 수신하기 위한 벤딩 센서를 포함할 수도 있다. 명세서 전체에서 "벤딩 입력"은, 사용자가 웨어러블 글래스(100)를 제어하기 위해 웨어러블 글래스(100)의 전체 또는 일부 영역을 구부리는 입력을 의미한다. 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 벤딩 센서를 이용하여, 벤딩 위치(좌표 값), 벤딩 방향, 벤딩 각도, 벤딩 속도, 벤딩 횟수, 벤딩 동작 발생 시점, 벤딩 동작 유지 시간 등을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 사용자 입력부(130)는, 다중 입력을 수신할 수도 있다. 명세서 전체에서 “다중 입력”은, 적어도 둘 이상의 입력 방식이 결합된 것을 의미한다. 예를 들어, 웨어러블 글래스(100)는, 사용자의 터치 입력 및 모션 입력을 수신할 수도 있고, 사용자의 터치 입력 및 음성 입력을 수신할 수도 있다. 또한, 웨어러블 글래스(100)는 사용자의 터치 입력 및 안구 입력을 수신할 수도 있다. 안구 입력은 웨어러블 글래스(100)를 제어하기 위해 사용자가 눈의 깜빡임, 응시 위치, 안구의 이동 속도 등을 조절하는 입력을 의미한다.
한편, 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 마이크로폰(미도시)을 더 포함할 수도 있다. 마이크로폰은 사용자의 음성, 및 웨어러블 글래스(100)의 주변 환경의 소리 등을 수신할 수 있다.
이미지 센서(161)는, 스마트 폰에서 사용되는 카메라나 웹캠(webcams)과 같은 소형 카메라로 구성될 수 있다. 이미지 센서(161)는, 웨어러블 글래스(100)를 사용자가 착용할 때, 사용자의 눈에 인접한 위치에 장착됨으로써, 사용자의 눈을 통해 인식되는 영상과 유사한 영상을 촬영할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 깊이 센서(154)를 더 포함할 수도 있다. 웨어러블 글래스(100)는, 깊이 센서(154)를 이용하여, 사용자의 3차원 공간 상의 제스처를 인식할 수 있다. 예를 들어, 깊이 센서(154)는 입력 도구(예컨대, 손, 손가락 또는 전자펜 등)의 깊이 값 등을 측정할 수 있다.
본 발명의 일 실시예에 의하면, 깊이 센서(154)는 다양한 방식으로 입력 도구의 깊이 값을 획득할 수 있다. 예를 들어, 깊이 센서(112)는 TOF(Time of flight) 방식, 스테레오스코프 비전(stereoscopic vision) 방식, 구조화 광 패턴(structured light pattern) 방식 중 적어도 하나의 방식을 이용하여 깊이 값을 측정할 수 있다.
TOF(Time of flight) 방식은, 빛이 물체에 반사되어 돌아오는 시간을 분석하여, 물체까지의 거리를 측정하는 방식을 의미한다. TOF 시스템에서는, 적외선 LED가 적외선 펄스를 발사하고, 물체에 반사되어 돌아오는 빛의 도달 시간을 적외선 카메라가 측정한다. 이 경우, 깊이 센서(154)는 적외선 LED와 적외선 카메라를 포함할 수 있다. 깊이 센서(154)는 1초에 수십 번 빛을 발사하고 수신하는 것을 반복함으로써, 동영상 형태로 거리 정보를 촬영할 수 있다. 또한, 깊이 센서(154)는, 각 픽셀의 밝기 또는 색상으로 거리 정보를 표현하는 깊이 맵을 생성할 수도 있다.
스테레오스코프 비전(stereoscopic vision) 방식은 2 대의 카메라를 이용하여 물체의 입체감을 촬영하는 방식을 의미한다. 이 경우, 깊이 센서(154)는 2대의 카메라를 포함할 수 있다. 깊이 센서(154)는, 각각의 카메라가 바라보는 영상의 차이 정보를 이용하여, 삼각측량의 원리에 기반하여 거리를 계산할 수 있다. 사람은 왼쪽 눈과 오른쪽 눈에 들어오는 영상의 차이를 통해 입체감을 느끼게 되며, 깊이 센서(154)는 사람 눈의 원리와 비슷한 방식으로 거리를 측정하게 된다. 예를 들어, 거리가 가까우면, 2대의 카메라에서 촬영된 영상의 차이가 크고, 거리가 멀면 2대의 카메라에서 촬영된 영상의 차이가 적다.
구조화된 광 패턴 방식은, 패턴을 가진 빛을 물체에 비추고, 물체 표면에 맺힌 패턴의 위치를 분석하여 물체까지의 거리를 측정하는 방식이다. 깊이 센서(154)는 일반적으로 직선형 무늬나 점 패턴을 물체에 투사하게 되며, 물체의 굴곡에 따라 무늬가 달라진다.
구조화된 광 패턴 방식은, 스테레오스코프 비전 방식에 사용된 2 개의 카메라 중의 하나를 광 프로젝터로 교체한 구조라고 할 수 있다. 예를 들어, 깊이 센서(154)는, 적외선 프로젝터로 발사된 빛이 물체 표면에 맺혀서 생긴 패턴의 위치를 알고리즘으로 분석하여 깊이 맵을 실시간으로 계산할 수 있다.
본 발명의 일 실시예에 의하면, 이미지 센서(161)와 깊이 센서(154)는 별개의 센서일 수 있다. 또한, 본 발명의 다른 실시예에 의하면, 이미지 센서(161)와 깊이 센서(112)는, 하나의 센서 형태일 수도 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 이미지 센서(161)와 깊이 센서(154) 이외에 다양한 센서를 더 포함할 수도 있다.
예를 들어, 웨어러블 글래스(100)는 사용자의 모션 입력을 감지하기 위한 센서들을 포함할 수도 있다. 명세서 전체에서 "모션 입력"은, 사용자가 웨어러블 글래스(100)를 제어하기 위해 웨어러블 글래스(100)에 가하는 모션을 의미한다. 예를 들어, 모션 입력은, 사용자가 웨어러블 글래스(100)를 회전시키거나, 웨어러블 글래스(100)를 기울이거나, 웨어러블 글래스(100)를 상하좌우로 이동시키는 입력을 포함할 수 있다. 웨어러블 글래스(100)는, 가속도 센서(Acceleration sensor), 기울기 센서(tilt sensor), 자이로 센서(Gyro sensor), 자기장 센서(3-axis Magnetic sensor) 등을 이용하여, 사용자에 의해 기 설정된 모션 입력을 감지할 수 있다.
또한, 웨어러블 글래스(100)는, 사용자의 웨어러블 글래스(100) 착용 여부를 감지할 수 있는 센서를 포함할 수도 있다. 예를 들어, 웨어러블 글래스(100)는 온도 센서, 압력 센서, 가속도 센서, 근접 센서, 홍채 인식 센서 등을 포함할 수 있다.
웨어러블 글래스(100)는, 사용자의 얼굴을 향하는 안구 추적용 카메라(미도시)를 더 포함할 수 있다. 이때, 안구 추적용 카메라는, 적외선 카메라를 포함할 수 있다. 안구 추적용 카메라는 사용자의 눈동자를 추적함으로써, 사용자의 시선을 검출할 수 있다.
도 3을 참조하면, 웨어러블 글래스(100)는 렌즈(102)가 디스플레이부(111)로서의 기능을 수행하도록 구성될 수도 있다. 이 경우, 렌즈(102)는 투명 디스플레이 또는 반투명 디스플레이로 구성될 수 있다. 렌즈(102)가 반투명 디스플레이로 구성될 경우에, 렌즈(102)는 적어도 하나의 광 웨이브 가이드(예를 들어, 프리즘), 전자발광 디스플레이(Electroluminescent Display), 또는 LCD(Liquid Crystal Display) 등과 같은 물질로 구성될 수 있으나, 이로 제한되지 않는다.
도 2 및 도 3에서는, 웨어러블 글래스(100)가 안경 형태인 경우를 예로 들어 설명하였으나. 이에 제한되는 것은 아니다. 예를 들어, 웨어러블 글래스(100)는 헬멧(Helmet) 구조에 부착되거나 고글(Goggles) 형태로 변형될 수 있다.
한편, 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 다른 어떤 장치의 도움이 없더라도 동작할 수 있는 자립형 기기(stand-alone device)일 수 있다. 또한, 웨어러블 글래스(100)는 모바일 단말이나 클라우드 서버와 연동하는 기기일 수도 있다. 이하에서는, 웨어러블 글래스(100)가 다른 기기와 연동하는 경우에 대해서 도 4를 참조하여 살펴보기로 한다.
도 4는 본 발명의 일 실시예에 따르는 알림 제공 시스템을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따르는 알림 제공 시스템은, 웨어러블 글래스(100), 모바일 단말(200), 및 서버(300)를 포함할 수 있다. 그러나, 도 4에 도시된 구성 요소 모두가 알림 제공 시스템의 필수 구성 요소인 것은 아니다. 도 4에 도시된 구성 요소보다 많은 구성 요소에 의해 알림 제공 시스템이 구현될 수도 있고, 도 4에 도시된 구성 요소보다 적은 구성 요소에 의해 알림 제공 시스템이 구현될 수도 있다. 예를 들어, 알림 제공 시스템은, 웨어러블 글래스(100)와 모바일 단말(200)로 구현되거나, 웨어러블 글래스(100)와 서버(300)로 구현될 수 있다.
웨어러블 글래스(100)는 모바일 단말(200) 또는 서버(300)와 통신 연결될 수 있다. 예를 들어, 웨어러블 글래스(100)는 모바일 단말(200)과 근거리 통신을 수행할 수 있다. 근거리 통신의 예로, 무선 랜(Wi-Fi), NFC(Near Field Communication), 블루투스, BLE(Bluetooth Low Energy), 지그비, WFD((Wi-Fi Direct), UWB(ultra wideband) 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 한편, 웨어러블 글래스(100)는, 서버(300)와 무선 통신, 또는 이동 통신으로 연결될 수도 있다.
모바일 단말(200)은, 웨어러블 글래스(100)에 소정 데이터를 전송하거나, 웨어러블 글래스(100)로부터 소정 데이터를 수신할 수 있다. 예를 들어, 모바일 단말(200)은, 웨어러블 글래스(100)에 알림 메시지 또는 제어 명령을 전달할 수 있다.
한편, 모바일 단말(200)은, 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 모바일 단말(200)은, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
서버(300)는, 웨어러블 글래스(100)를 관리하는 클라우드 서버일 수 있다. 또한, 서버(300)는, 알림 메시지를 제공하는 정보 제공자(Contents Provider)일 수도 있다.
본 발명의 일 실시예에 의하면, 서버(300)는, 인텔리젼스 엔진을 포함할 수 있으며, 서버(300)는 인텔리젼스 엔진을 통하여 사용자의 움직임 패턴(상태)을 분석할 수 있다. 서버(300)가 사용자의 움직임 패턴(상태)을 분석하는 동작에 관하여는 도 13을 참조하여, 후에 자세히 살펴보기로 한다. 사용자의 움직임 패턴(상태)는 서버(300) 이외에도 웨어러블 글래스(100) 자체 또는 웨어러블 글래스(100)와 근거리 통신 또는 통신 가능하게 연결되어 있는 모바일 단말(200)에서 분석할 수 있다.
또한, 서버(300)에서 분석된 움직임 패턴은 웨어러블 글래스(100)로 직접 전송되거나 웨어러블 글래스(100)와 근거리 통신 또는 통신 가능하게 연결되어 있는 모바일 단말(200)을 통해 웨어러블 글래스(100)로 전송될 수 있다.
이하에서는 웨어러블 글래스(100)가 사용자의 움직임 패턴 정보에 기반하여 알림 컨텐트를 제공하는 방법에 대해서 도 5를 참조하여 자세히 살펴보기로 한다.
도 5a는 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 움직임 패턴정보에 기반하여 컨텐트를 제공하는 방법을 설명하기 위한 순서도이다.
단계 S510에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자에게 알려야 하는 내부 시스템 알림 정보 또는 외부 알림 정보가 발생했음을 감지할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 배터리 잔량이 임계 값 이하인 경우, 배터리 잔량에 대한 알림 메시지를 표시해야 하는 이벤트가 발생했음을 감지할 수 있다.
또한, 웨어러블 글래스(100)는, 모바일 단말(200) 또는 서버(300)로부터 알림 메시지 정보를 수신하는 경우, 알림 메시지 정보를 출력해야 하는 이벤트가 발생하였음을 감지할 수 있다. 이때, 웨어러블 글래스(100)는 알림 메시지 정보를 통신부를 통해 수신할 수 있다.
또한, 웨어러블 글래스(100)는, 알림 메시지 정보를 출력해야 하는 이벤트가 발생하는 경우, 디스플레이부(111)의 색상을 변경할 수 있다. 즉, 제어부(120)는 알림 메시지 정보 수신에 기초하여 디스플레이부(111)의 색상을 변경하도록 디스플레이부(111)를 제어할 수 있다.
예를 들어, 알림 메시지가 도착하면, 디스플레이부(111)는 전체 화면을 1초 동안 오렌지 색으로 표시 할 수 있다. 사용자는 디스플레이부(111)의 전체 색상이 오렌지 색으로 변경됨에 따라 알림 메시지가 도착하였음을 인지할 수 있다.
단계 S520에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지한 경우, 웨어러블 글래스(100)를 착용한 사용자의 움직임 정보를 획득할 수 있다.
사용자의 움직임 정보는, 웨어러블 글래스(100)를 착용한 사용자의 움직임에 관한 정보일 수 있다. 사용자의 움직임 정보는 좁은 의미로는 사용자의 움직임에 관한 정보일 수 있고, 넓은 의미로는 사용자의 생체 정보의 변화도 포함할 수 있다. 예를 들어, 사용자의 움직임 정보는, 사용자의 움직임, 사용자의 이동 속도 정보, 사용자의 이동 방향 정보, 사용자의 기울기 정보, 사용자의 고도 정보, 사용자의 생체 정보(예컨대, 체온 정보, 맥박 정보, 땀 배출량 정보 등), 사용자의 안구 추적 정보(예컨대, 동공 인식 정보, 눈 깜빡임 횟수 정보, 눈 깜빡임 속도 정보, 시선 방향 정보 등), 및 사용자의 위치 정보(예컨대, GPS 좌표 값 정보, 지역 정보, 건물 정보, 일정 시간 동안의 위치 변화량 정보 등) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 사용자의 움직임 정보는, 사용자가 이동함에 따라 웨어러블 글래스의 코 받침에 가해지는 압력 정보, 사용자가 말하는 중에 마이크로폰을 통해 인식되는 사용자의 음성 정보, 사용자의 음주에 따라 측정되는 알코올 냄새 정보 등을 포함할 수도 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 웨어러블 글래스(100)에 포함된 적어도 하나의 센서를 이용하여, 사용자의 움직임 정보를 센싱할 수 있다. 예를 들어, 가속도 센서, 위치 센서, 기울기 센서, 압력 센서, 고도(기압) 센서, 생체 센서, 홍채 인식 센서, 이미지 센서, 마이크로폰, 냄새 센서, 온도 센서 중 적어도 하나를 이용하여, 사용자의 움직임 정보를 센싱할 수 있다.
그리고 웨어러블 글래스(100)는 사용자의 움직임 정보를 이용하여, 사용자의 움직임 상태를 판단할 수 있다. 여기서, 사용자의 움직임 상태는, 걷는 상태, 정지하고 있는 상태, 뛰는 상태, 수면 상태, 운전하는 상태, 출근하는 상태, 말하는 상태(또는 대화 중인 상태), 운동(예컨대, 조깅, 수영, 테니스, 농구, 등산 등)하는 상태, 음주 중인 상태, 서있는 상태, 앉아있는 상태, 누워 있는 상태 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 도 5B를 참조하여, 웨어러블 글래스(100)가 사용자의 움직임 정보를 이용하여, 사용자의 움직임 상태를 판단하는 일례에 대해서 자세히 살펴보기로 한다.
도 5b 및 도 5c는 웨어러블 글래스가 사용자의 움직임 상태를 판단하는 방법을 설명하기 위한 도면이다.
도 5b 및 도 5c를 참조하면, 웨어러블 글래스(100)는, 가속도 센서, 기울기 센서, 위치 센서, 및 압력 센서 중 적어도 하나를 이용하여, 사용자가 정지 상태인지 걷는 상태인지 뛰는 상태인지 판단할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 가속도 센서에서 측정되는 가속도 정보를 이용하여, 1) 일정 시간 동안 사용자가 평균 0.001km/h로 이동한 경우, 사용자가 정지하고 있다고 판단하고, 2) 일정 시간 동안 사용자가 평균 4km/h로 이동하는 경우, 사용자가 걷고 있는 중이라고 판단하고, 3) 일정 시간 동안 사용자가 평균 15km/h로 이동하는 경우, 사용자가 뛰고 있는 중이라고 판단할 수 있다.
또한, 웨어러블 글래스(100)는, 위치 센서에서 측정되는 위치 변화량 정보를 이용하여, 사용자가 정지 상태(예컨대, 위치 변화량 < 제 1 변화 값 )인지 걷는 상태(예컨대, 제 1 변화 값 ≤위치 변화량 < 제 2 변화 값)인지 뛰는 상태(예컨대, 제 2 변화 값 ≤ 위치 변화량)인지 판단할 수도 있다.
웨어러블 글래스(100)는, 기울기 센서에서 측정되는 기울기 정보를 이용하여, 사용자가 정지 상태(예컨대, 기울기 변화량 < 제 1 임계 값)인지, 걷는 상태(예컨대, 제 1 임계 값 ≤기울기 변화량 < 제 2 임계 값)인지, 뛰는 상태(예컨대, 제 2 임계 값 ≤ 기울기 변화량)인지 판단할 수도 있다. 사용자의 이동 속도가 증가할수록 기울기 센서에서 측정되는 기울기 변화량도 증가할 수 있다.
웨어러블 글래스(100)는, 사용자의 이동 중에 웨어러블 글래스의 코 받침에 부착된 압력 센서에 가해지는 압력 정보를 이용하여, 사용자가 정지 상태(예컨대, 측정 압력< 제 1 압력 값)인지, 걷는 상태(제 1 압력 값 ≤측정 압력 < 제 2 압력 값)인지, 뛰는 상태(제 2 압력 값 ≤ 측정 압력)인지 판단할 수도 있다. 사용자의 이동 속도가 빠를수록 압력 센서에서 측정되는 압력 값이 증가할 수 있다.
웨어러블 글래스(100)는, 고도 센서(기압 센서)를 이용하여, 사용자가 서있는 상태인지, 앉아 있는 상태인지, 누워있는 상태인지 판단할 수도 있다. 예를 들어, 웨어러블 글래스(100)는, 고도 센서(기압 센서)에서 측정되는 고도 정보를 이용하여, 1) 측정 고도 값이 제 1 고도 값 이상인 경우(고도≥ 제 1 고도 값), 사용자가 서 있다고 판단하고, 2) 측정 고도 값이 제 1 고도 값보다는 작고 제 2 고도 값 보다는 크거나 같은 경우(제 1 고도 값 >측정 고도 ≥ 제 2 고도 값), 사용자가 앉아 있는 상태라고 판단하고, 3) 측정 고도 값이 제 2 고도 값 보다 작은 경우(고도 < 제 2 고도 값), 사용자가 누워있다고 판단할 수 있다. 사용자가 서있는 경우보다 누워있는 경우에 고도 센서에서 측정되는 고도 값이 작을 수 있다.
웨어러블 글래스(100)는, 가속도 센서, 고도 센서, 위치 센서, 생체 센서 중 적어도 하나를 이용하여, 사용자가 등산 중인 상태임을 판단할 수도 있다. 예를 들어, 웨어러블 글래스(100)는, 고도 센서에서 측정되는 일정 시간 동안의 고도 변화량이 임계 값 이상이고(고도 변화량 ≥ 임계 값), 위치 센서에서 측정된 위치 정보가 ‘산악 지대’이고, 생체 센서에서 측정된 땀 배출량, 체온 변화량, 평균 맥박 수가 임계 값보다 큰 경우(땀 배출량 > 임계 값, 체온 변화량 > 임계 값, 평균 맥박 수 > 임계 값), 사용자가 등산 중이라고 판단할 수 있다.
웨어러블 글래스(100)는, 홍채 인식 센서, 이미지 센서, 마이크로폰, 가속도 센서, 기울기 센서 중 적어도 하나를 이용하여, 사용자가 수면 중 임을 판단할 수도 있다. 예를 들어, 웨어러블 글래스(100)는, 홍채 인식 센서를 통해 측정되는 사용자의 눈 깜빡임 횟수가 임계 횟수 미만이거나(예컨대, 10분 동안 1회 눈 깜빡임 검출), 일정 시간 동안 홍채가 인식되지 않는 경우(예컨대, 5분 동안 홍채 미인식), 사용자가 수면 중이라고 판단할 수 있다.
또한, 웨어러블 글래스(100)는, 이미지 센서를 이용하여 소정 주기로 사용자의 눈의 이미지를 캡쳐하고, 캡쳐된 눈의 이미지에 대한 에지 분석을 통해 동공을 검출할 수 있다. 이때, 일정 시간 동안 캡쳐된 눈의 이미지에서 동공이 검출되지 않는 경우(예컨대, 5분 이상 동공이 미검출), 웨어러블 글래스(100)는 사용자가 수면 중이라고 판단할 수 있다.
웨어러블 글래스(100)는, 마이크로폰을 통해 획득되는 소리 신호를 분석하여, 코골이 패턴의 소리가 감지되는 경우, 사용자가 수면 중이라고 판단할 수도 있다. 이때, 가속도 센서나 기울기 센서에서 측정되는 머리의 모션 값이 임계 값 이상인 경우, 웨어러블 글래스(100)는, 사용자가 앉아서 졸고 있다고 판단할 수도 있다.
웨어러블 글래스(100)는, 마이크로폰을 통해 획득되는 음성 정보를 이용하여, 사용자가 말하는 중인 상태인지(또는 대화하는 상태인지) 판단할 수도 있다. 예를 들어, 웨어러블 글래스(100)는, 마이크로폰을 통해 획득되는 음성 정보를 분석하여, 사용자의 음성이 인식되는 경우, 사용자가 말하고 있는 중이라고 판단할 수 있다. 또한, 웨어러블 글래스(100)는, 마이크로폰을 통해 획득되는 음성 정보에 사용자의 음성뿐 아니라 타인의 음성도 인식되는 경우, 사용자가 대화하고 있는 중이라고 판단할 수 있다.
웨어러블 글래스(100)는 냄새 센서에서 측정되는 냄새 정보를 이용하여, 사용자의 움직임 상태를 판단할 수도 있다. 예를 들어, 웨어러블 글래스(100)는, 냄새 센서에서 측정된 냄새 정보를 분석한 결과, 일정 시간 동안 알코올 냄새가 인식되는 경우, 사용자가 음주 중이라고 판단할 수 있다.
웨어러블 글래스(100)는, 가속도 센서, 이미지 센서, 근거리 통신 모듈 중 적어도 하나를 이용하여, 사용자가 운전 중인 상태를 판단할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 가속도 센서에서 일정 시간 동안 측정되는 속도 변화량이 임계값(평균 40km/h) 이상이고, 이미지 센서를 통해 캡쳐된 이미지에서 자동차 핸들이 검출(사용자가 정면으로 바라보는 각도에서 자동차 핸들 검출)되는 경우, 웨어러블 글래스(100)는 사용자가 운전 중이라고 판단할 수 있다.
또한, 웨어러블 글래스(100)는, 근거리 통신(예컨대, 블루투스)을 통해 자동차로부터 수신되는 정보를 이용하여, 사용자가 운전 중이라고 판단할 수도 있다. 예를 들어, 사용자가 시동 버튼을 터치하면, 자동차는 사용자의 지문을 식별하고, 사용자의 지문과 매칭된 웨어러블 글래스로 사용자의 운전 시작 정보를 전송할 수 있다. 이 경우, 웨어러블 글래스는 자동차로부터 수신된 운전 시작 정보에 기초하여, 사용자가 운전을 시작하는 중임을 인식할 수 있다.
한편, 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자의 컨텍스트 정보를 이용하여, 사용자의 움직임 상태를 판단할 수도 있다. 컨텍스트 정보는 사용자의 개인화 서버 또는 웨어러블 글래스(100)에 저장되어 있을 수 있다.
예를 들어, 웨어러블 글래스(100)는, 사용자의 일정 정보나 생활 패턴 정보를 이용하여, 사용자의 움직임 상태를 판단할 수 있다. 만일, 사용자가 평일 아침 8시에 집에서부터 특정 위치(예컨대, 회사)로 일정 거리 이상 이동하는 경우, 웨어러블 글래스(100)는 사용자의 출근 시간 정보, 출근 거리 정보 및 회사의 위치 정보를 컨텍스트 정보로 관리할 수 있다. 따라서, 현재 시간이 월요일 아침 8시 20분이고, 현재 위치가 지하철역 근처인 경우, 웨어러블 글래스(100)는 사용자가 출근 중이라고 판단할 수 있다.
또한, 일정 시간 동안 사용자의 평균 이동 속도가 0.0001km/h이고, 사용자가 일정 시간 동안 사무실에 위치하는 경우, 웨어러블 글래스(100)는 사용자가 근무하는 중이라고 판단할 수도 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 외부의 웨어러블 디바이스에서 측정된 생체 정보를 이용하여, 사용자의 움직임 상태를 분석할 수도 있다. 본 발명의 일 실시예에 따르는 웨어러블 디바이스는, 반지, 목걸이, 밴드, 손목 시계, 신발, 귀걸이, 헤어밴드, 옷, 장갑, 골무 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 웨어러블 글래스(100)는 웨어러블 디바이스에서 측정되는 맥박수 정보, 혈압 정보, 심박수 정보, 체온 정보 등을 수신할 수 있다. 이때, 웨어러블 글래스(100)는 모바일 단말(200)을 통해서 웨어러블 디바이스로부터 생체 정보를 수신할 수도 있고, 직접 웨어러블 디바이스로부터 생체 정보를 수신할 수도 있다. 웨어러블 글래스(100)는, 일정 시간 동안 사용자의 평균 맥박수가 임계 횟수 이상인 경우, 사용자가 운동 중이라고 판단할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 운동화나 깔창에서 측정되는 가속도 정보, 압력 정보, 고도 정보 등을 이용하여, 사용자가 정지하고 있는 상태인지, 걷는 상태인지, 뛰는 상태인지, 등산하는 상태인지 등을 판단할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 사용자의 이동 속도가 임계값 이상이고, 운동화에 부착된 압력 센서에서 측정된 발바닥의 압력 패턴이 등산하는 경우의 패턴과 유사한 경우, 사용자가 등산하는 중이라고 판단할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 사용자에 의해 설정된 모드 정보에 기반하여, 사용자의 움직임 상태를 판단할 수도 있다. 예를 들어, 사용자는 수동으로 웨어러블 글래스(100)의 동작 모드를 운전 모드, 운동 모드, 출근 모드 등으로 설정할 수 있다. 만일, 사용자가 웨어러블 글래스(100)의 동작 모드를 운전 모드로 설정한 경우, 웨어러블 글래스(100)는 사용자가 운전 중이라고 판단할 수 있다.
제어부(120)는 사용자의 움직임 정보를 이용하여 사용자의 움직임 상태를 판단하고, 사용자의 움직임 상태에 따라 수신된 알림 메시지 정보를 표시하도록 디스플레이부(111)를 제어할 수 있다.
한편, 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자의 움직임 상태 정보를 웨어러블 글래스(100)와 연결된 외부 장치에 요청하여 수신할 수도 있다. 이때, 외부 장치는 모바일 단말(200)이거나 서버(300)일 수 있다. 외부 장치에서 사용자의 움직임 상태를 분석하는 동작에 대해서는 도 13을 참조하여 후에 자세히 살펴보기로 한다.
단계 S530에서, 웨어러블 글래스(100)는, 사용자의 움직임 상태에 기초하여, 알림 이벤트에 대응하는 컨텐트(알림 메시지 정보)의 제공 방법을 결정할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 알림 컨텐트(알림 메시지 정보)의 제공 시기를 결정할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 사용자의 움직임 상태 정보를 이용하여, 사용자의 이동 속도가 임계 속도 미만인지 판단할 수 있다. 사용자의 이동 속도가 임계 속도(예컨대, 3km/h) 미만인 경우, 웨어러블 글래스(100)는, 알림 컨텐트를 현재 시점에 출력하기로 결정할 수 있다. 현재 시점은, 웨어러블 글래스(100)가 알림 이벤트의 발생을 감지한 시점부터 일정 시간 이내(예컨대, 30초 이내)를 의미할 수 있다.
반면, 사용자의 이동 속도가 임계 속도 이상인 경우, 웨어러블 글래스(100)는, 알림 컨텐트를 기 설정된 시점에 출력하기로 결정할 수 있다. 기 설정된 시점은, 미리 정해진 특정 시간(예컨대, 밤 10시)을 의미할 수 있다. 또한, 기 설정된 시점은, 소정 이벤트가 발생하는 시점을 의미할 수 있다.
소정 이벤트는, 알림 컨텐트의 출력을 요청하는 사용자 입력을 수신하는 이벤트, 기 설정된 시간이 경과하는 이벤트, 사용자의 움직임 패턴이 변화하는 이벤트 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 알림 컨텐트의 제공 형태를 결정할 수도 있다. 예를 들어, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보를 이용하여, 사용자의 이동 속도가 임계 속도(예컨대, 4km/h) 미만인지 판단할 수 있다. 사용자의 이동 속도가 임계 속도 이상인 경우, 웨어러블 글래스(100)는, 알림 컨텐트의 일부를 출력하기로 결정하고, 사용자의 이동 속도가 임계 속도 미만인 경우 알림 컨텐트의 전체를 출력하기로 결정할 수 있다.
컨텐트의 일부는, 컨텐트의 키워드, 컨텐트의 요약 정보, 및 컨텐트의 타이틀 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보에 기반하여, 알림 컨텐트를 오디오 신호 및 비디오 신호 중 적어도 하나의 형태로 제공하도록 결정할 수도 있다. 예를 들어, 웨어러블 글래스(100)는, 사용자가 타인과 얘기하고 있는 중인 경우, 알림 컨텐트를 비디오 신호로 출력하도록 결정하고, 사용자가 운전 중인 경우, 알림 컨텐트를 오디오 신호로 출력하도록 결정할 수 있다.
이하에서는, 웨어러블 글래스(100)가 사용자의 웨어러블 글래스(100) 착용 여부에 기반하여 알림 컨텐트를 제공하는 동작에 대해서 도 6을 참조하여 자세히 살펴보기로 한다.
도 6은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 웨어러블 글래스 착용 여부에 기반하여 알림 이벤트에 대응하는 컨텐트를 제공하는 방법을 설명하기 위한 순서도이다.
단계 S610에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다. 단계 S610은 도 5의 단계 S510에 대응되므로, 구체적인 설명은 생략하기로 한다.
단계 S620에서, 웨어러블 글래스(100)는, 사용자가 웨어러블 글래스(100)를 착용하고 있는지 판단할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 웨어러블 글래스(100)에 포함된 센서(예컨대, 온도 센서, 압력 센서, 조도 센서, 근접 센서, 홍채 인식 센서, 및 기압 센서 중 적어도 하나)를 이용하여, 사용자가 웨어러블 글래스(100)를 착용하고 있는지 판단할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 안경 코 받침 또는 안경 다리에 부착된 온도 센서, 또는 압력 센서의 값이 임계 값 이상인 경우, 사용자가 웨어러블 글래스(100)를 착용한 것으로 판단할 수 있다. 또한, 웨어러블 글래스(100)가 홍채 인식 센서를 이용하여 사용자의 홍채 인식에 성공하는 경우, 웨어러블 글래스(100)는 사용자가 웨어러블 글래스(100)를 착용한 것으로 판단할 수 있다.
웨어러블 글래스(100)는, 기울기 센서를 이용하여 측정되는 기울기 값이 지속적으로 변하는 경우, 사용자가 웨어러블 글래스(100)를 착용한 것으로 판단할 수도 있다.
웨어러블 글래스(100)는, 안경 다리 안쪽에 스피커와 마이크로폰이 포함되어 있는 경우, 스피커로 소리 신호를 출력하고, 반사되는 에코 신호를 마이크로폰으로 획득할 수 있다. 이때, 웨어러블 글래스(100)는, 에코 신호 관한 정보를 이용하여 사용자가 웨어러블 글래스(100)를 착용했는지 여부를 판단할 수 있다.
한편, 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 복수의 센서를 이용하여 측정한 정보들을 조합하여, 사용자의 웨어러블 글래스(100) 착용 여부를 더 정확히 판단할 수 있다.
단계 S630에서, 웨어러블 글래스(100)는, 사용자가 웨어러블 글래스(100)를 착용하고 있는 것으로 판단되는 경우, 사용자의 움직임 패턴 정보를 획득할 수 있다. 단계 S640에서, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보에 기초하여, 알림 컨텐트의 제공 방법을 결정할 수 있다. 단계 S630 및 단계 S640은, 도 5의 단계 S520 및 단계 S530에 대응하므로, 구체적인 설명은 생략하기로 한다.
한편, 웨어러블 글래스(100)는, 사용자가 웨어러블 글래스(100)를 착용하고 있지 않은 것으로 판단되는 경우, 알림 이벤트의 발생을 감지하더라도 알림 컨텐트를 제공하지 않을 수 있다.
도 7은 본 발명의 일 실시예에 따르는, 웨어러블 글래스의 알림 이벤트 발생 감지 방법을 설명하기 위한 순서도이다.
단계 S710에서, 외부 장치(700)는, 알림 메시지를 생성할 수 있다. 알림 메시지는, 불 특정 다수에게 광고하기 위한 광고 메시지일 수도 있고, 웨어러블 글래스(100)의 사용자만을 위한 메시지일 수도 있다. 또한, 본 발명의 일 실시예에 의하면, 알림 메시지는, 특정 애플리케이션과 관련된 메시지일 수도 있다.
외부 장치(700)는, 웨어러블 글래스(100)와 연결된 서버(300), 웨어러블 글래스(100)와 연결된 모바일 단말(200), 웨어러블 글래스(100)와 연결된 웨어러블 디바이스, 및 타인 디바이스 중 적어도 하나일 수 있다.
단계 S720에서, 외부 장치(700)는, 웨어러블 글래스(100)에 알림 메시지를 전송할 수 있다. 외부 장치(700)는, 근거리 통신, 무선 통신, 이동 통신 중 적어도 하나의 방식으로 알림 메시지를 웨어러블 글래스(100)에 전송할 수 있다.
단계 S730에서, 웨어러블 글래스(100)는 알림 메시지를 수신하는 경우, 알림 메시지의 차단이 설정되어 있는지 확인할 수 있다. 예를 들어, 웨어러블 글래스(100)의 사용자는, 웨어러블 글래스(100) 또는 모바일 단말(200)을 이용하여, 특정 애플리케이션과 관련된 푸쉬 메시지의 수신 차단을 설정하거나, 특정 사용자로부터 수신되는 문자 메시지의 알림 차단을 설정할 수 있다.
단계 S740에서, 웨어러블 글래스(100)는, 알림 메시지의 차단이 설정되어 있지 않은 경우, 알림 이벤트의 발생을 감지할 수 있다.
본 발명의 구현 형태에 따라, 단계 S730은 생략될 수 있다. 예를 들어, 외부 장치(700)로부터 알림 메시지가 수신되는 경우, 웨어러블 글래스(100)는 알림 이벤트가 발생한 것으로 판단할 수 있다.
도 8은 웨어러블 글래스가 알림 메시지를 서버로부터 수신함으로써, 알림 이벤트 발생을 감지하는 일례를 나타내는 도면이다.
도 8을 참조하면, 웨어러블 글래스(100)는, 뉴스 제공 서버(800)로부터 푸쉬 메시지(810)를 수신할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 뉴스 제공 서버(800)로부터 긴급 뉴스를 포함하는 푸쉬 메시지(810)를 수신할 수 있다.
이 경우, 웨어러블 글래스(100)는, 긴급 뉴스 컨텐트(예컨대, 소치 올림픽, 김연아 은메달!)(820)를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 뉴스 제공 서버(800)로부터 직접 푸쉬 메시지(810)를 수신할 수 있다. 또한, 웨어러블 글래스(100)는, 호스트 디바이스(예컨대, 모바일 단말(200))가 근거리 통신 반경 내에 위치하는 경우, 호스트 디바이스(예컨대, 모바일 단말(200)를 통해서 푸쉬 메시지(810)를 수신할 수도 있다.
도 9는 웨어러블 글래스가 모바일 단말로부터 일정 알림 메시지를 수신함으로써, 알림 이벤트 발생을 감지하는 일례를 나타내는 도면이다.
도 9를 참조하면, 웨어러블 글래스(100)와 연결된 모바일 단말(200)에는 사용자의 일정 정보(910)가 저장되어 있을 수 있다. 예를 들어, 사용자는 모바일 단말(200)을 이용하여 일정 정보(910)를 등록할 수 있다. 사용자는 오후 7시에 약을 복용하라는 알림 메시지가 웨어러블 글래스(100)를 통해서 출력되도록 모바일 단말(200)에 설정할 수 있다.
모바일 단말(200)은 오후 7시가 되는 경우, 약을 복용하라는 일정 알림 메시지를 웨어러블 글래스(100)로 전송할 수 있다. 일정 알림 메시지는 일정 알림 컨텐트(920)를 표시하라는 명령을 포함할 수 있다.
본 발명의 일 실시예에 의하면, 모바일 단말(200)은 근거리 통신(예컨대, 블루투스, 와이파이다이렉트, NFC 등)을 이용하여, 일정 알림 메시지를 웨어러블 글래스(100)로 전송할 수 있다.
이 경우, 웨어러블 글래스(100)는, 일정 알림 컨텐트(예컨대, 약을 복용할 시간 입니다)(920)를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
도 10은 웨어러블 글래스가 모바일 단말을 통해 문자 메시지를 수신함으로써, 알림 이벤트 발생을 감지하는 일례를 나타내는 도면이다.
도 10을 참조하면, 모바일 단말(200)은, 서버(300)로부터 문자 메시지(1010)를 수신할 수 있다. 서버(300)는, 메신저 서버, 이동 통신 서버 등일 수 있으나, 이에 한정되는 것은 아니다.
모바일 단말(200)은, 문자 메시지(1010)를 수신한 경우, 사용자가 웨어러블 글래스(100)를 착용하고 있는지 여부를 판단할 수 있다.
본 발명의 일 실시예에 의하면, 모바일 단말(200)은, 웨어러블 글래스(100)에 온도 정보, 압력 정보, 홍채 인식 정보, 기울기 정보 중 적어도 하나를 요청할 수 있다. 모바일 단말(200)은, 웨어러블 글래스(100)로부터 온도 정보, 압력 정보, 홍채 인식 정보, 기울기 정보 중 적어도 하나를 수신할 수 있다. 모바일 단말(200)은, 웨어러블 글래스(100)로부터 수신된 온도 정보, 압력 정보, 홍채 인식 정보, 기울기 정보 중 적어도 하나를 이용하여, 사용자가 웨어러블 글래스(100)를 착용하고 있는지 판단할 수 있다. 예를 들어, 모바일 단말(200)은, 웨어러블 글래스(100)로부터 수신된 온도 정보를 분석한 결과, 웨어러블 글래스(100)에서 측정된 온도가 체온(예컨대, 36.5℃)과 비슷한 경우, 사용자가 웨어러블 글래스(100)를 착용하고 있다고 판단할 수 있다.
본 발명의 일 실시예에 의하면, 모바일 단말(200)은, 웨어러블 글래스(100)에 위치 정보를 요청하여 수신할 수 있다. 이때, 모바일 단말(200)은, 모바일 단말(200)의 위치 정보와 웨어러블 글래스(100)의 위치 정보를 비교한 결과에 기초하여, 사용자가 웨어러블 글래스(100)를 착용하고 있는지 판단할 수도 있다. 예를 들어, 모바일 단말(200)과 웨어러블 글래스(100)의 위치 차가 임계 범위 내인 경우, 모바일 단말(200)은, 모바일 단말(200)을 소지한 사용자가 웨어러블 글래스(100)도 착용하고 있는 것으로 판단할 수 있다.
또한, 본 발명의 일 실시예에 의하면, 모바일 단말(200)은, 근거리 통신(예컨대, 블루투스, WiFi Direct)을 이용하여, 웨어러블 글래스(100)가 검색되는 경우, 사용자가 웨어러블 글래스(100)를 착용하고 있는 것으로 판단할 수도 있다.
본 발명의 일 실시예에 의하면, 모바일 단말(200)은, 사용자가 웨어러블 글래스(100)를 착용하고 있는 경우, 서버(300)로부터 수신된 문자 메시지(1010) 및 문자 메시지(1010)의 도착을 알리는 알림 메시지(1020)를 출력하라는 명령을 웨어러블 글래스(100)에 전송할 수 있다.
이 경우, 웨어러블 글래스(100)는, 문자 메시지(1010)의 도착을 알리는 알림 메시지(1020)(예컨대, 문자 메시지가 도착했습니다)를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
도 11은 웨어러블 글래스가 광고 컨텐트를 수신함으로써 알림 이벤트 발생을 감지하는 일례를 나타내는 도면이다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 키오스크(1100)로부터 근거리 통신을 통해 광고 컨텐트를 수신할 수 있다. 예를 들어, 웨어러블 글래스(100)가 키오스크(1100)의 근거리 통신 반경 내에 위치하게 되는 경우, 웨어러블 글래스(100)는 키오스크(1100)에서 브로드캐스팅되는 모바일 쿠폰을 수신할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 모바일 단말(200)을 통해 키오스크(1100)로부터 광고 컨텐트(예컨대, 모바일 쿠폰)를 수신할 수 있다. 본 발명의 다른 실시예에 의하면, 웨어러블 글래스(100)는 키오스크(1100)로부터 직접 광고 컨텐트(예컨대, 모바일 쿠폰)를 수신할 수도 있다.
웨어러블 글래스(100)는, 키오스크(1100)로부터 수신된 광고 컨텐트(1110)를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
이하에서는 도 12 및 도 13을 참조하여, HMD 장치(100)가 사용자의 움직임 패턴 정보(움직임 상태)를 획득하는 동작에 대해서 자세히 살펴보기로 한다.
도 12는 본 발명의 일 실시예에 따르는, 웨어러블 글래스에서 사용자의 움직임 패턴 정보(움직임 상태)를 획득하는 방법을 설명하기 위한 순서도이다.
단계 S1210에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
단계 S1210은 도 5의 단계 S510에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S1220에서, 웨어러블 글래스(100)는, 적어도 하나의 센서를 이용하여, 가속도 정보, 기울기 정보, 및 위치 정보 중 적어도 하나 측정할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 알림 이벤트 발생을 감지한 때, 비활성 상태의 적어도 하나의 센서를 활성화시킬 수 있다. 그리고 웨어러블 글래스(100)는 활성화된 적어도 하나의 센서를 이용하여, 가속도 정보, 기울기 정보 및 위치 정보 중 적어도 하나를 측정할 수 있다.
예를 들어, 웨어러블 글래스(100)는 가속도 센서를 이용하여, 웨어러블 글래스(100)의 이동 속도를 측정할 수 있다. 또한, 웨어러블 글래스(100)는, 기울기 센서를 이용하여, 웨어러블 글래스(100)의 기울기 변화를 측정할 수 있다. 이 경우, 웨어러블 글래스(100)는, 기울기 변화에 기초하여, 웨어러블 글래스(100)를 착용한 사용자의 이동 여부 및 움직임 정도를 판단할 수 있다.
웨어러블 글래스(100)는 위치 센서를 이용하여, 웨어러블 글래스(100)를 착용한 사용자의 위치 정보를 획득할 수 있다. 위치 센서는 GPS(Global Positioning System) 모듈 또는 Wifi 모듈을 포함할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 웨어러블 글래스(100)는, GPS 또는 WPS(Wifi positioning system) 를 이용하여, 웨어러블 글래스(100)를 착용한 사용자의 위치 정보를 획득할 수 있다. GPS(Global Positioning System)는, 위성에서 보내는 신호를 수신해 사용자의 현재 위치를 계산하는 위성항법시스템이다. WPS(Wifi positioning system)는, 와이파이 AP(Access Point)에서 방사된 RF 신호의 파라미터(MAC 주소, 신호 세기 등)를 단말기에서 수신하고, 단말기에서 파라미터(MAC 주소, 신호 세기 등)를 이용하여 사용자의 위치를 계산하는 기술이다.
단계 S1230에서, 웨어러블 글래스(100)는, 가속도 정보, 기울기 정보, 및 위치 정보 중 적어도 하나를 이용하여 사용자의 움직임 패턴 정보를 획득할 수 있다. 즉, 웨어러블 글래스(100)는, 가속도 정보, 기울기 정보, 및 위치 정보 중 적어도 하나를 이용하여, 사용자의 움직임 상태를 판단할 수 있다.
예를 들어, 일정 시간 동안 사용자가 평균 4km/h로 이동하는 경우, 웨어러블 글래스(100)는, 사용자가 걷고 있는 중이라고 판단할 수 있다. 또한, 일정 시간 동안 사용자가 평균 20km/h로 이동하는 경우, 웨어러블 글래스(100)는, 사용자가 자전거를 타는 중이라고 판단할 수 있다.
또한, 일정 시간 동안 사용자의 평균 이동 속도가 0.0001km/h이고, 사용자가 일정 시간 동안 사무실에 위치하는 경우, 웨어러블 글래스(100)는 사용자가 근무하는 중이라고 판단할 수도 있다.
한편, 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 이미지 센서(161)를 이용하여 사용자의 움직임 패턴 정보(움직임 상태)를 획득할 수도 있다. 예를 들어, 웨어러블 글래스(100)는, 이미지 센서(161)를 통해 획득되는 이미지의 변화량에 기반하여, 사용자가 이동 중인지 또는 정지하고 있는지 판단할 수 있다.
단계 S1240에서, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보(움직임 상태)에 기초하여, 알림 컨텐트의 제공 방법을 결정할 수 있다. 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보(움직임 상태)에 기초하여, 알림 컨텐트의 제공 시기, 제공 형태 등을 결정할 수 있다. 단계 S1240은, 도 5의 단계 S530에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S1250에서, 웨어러블 글래스(100)는, 알림 컨텐트를 제공할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보(움직임 상태)에 기반하여 결정된 제공 시기 또는 제공 형태에 따라, 알림 컨텐트를 제공할 수 있다. 본 명세서에서, 알림 컨텐트를 제공한다는 것은, 알림 컨텐트를 표시하거나, 알림 컨텐트를 출력하거나, 알림 컨텐트를 재생하거나, 알림 컨텐트를 외부 장치로 전송하는 것을 포함할 수 있다.
예를 들어, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보(움직임 상태)에 기반하여, 알림 컨텐트를 현재 시점에 제공할 수도 있고, 소정 이벤트 발생 시점에 제공할 수도 있다. 또한, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보(움직임 상태)에 기반하여, 알림 컨텐트의 전체를 출력할 수도 있고, 알림 컨텐트의 일부를 출력할 수도 있다.
웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보(움직임 상태) 또는 사용자 입력에 기반하여, 웨어러블 글래스(100)의 디스플레이부(111)를 통해 알림 컨텐트를 제공할 수도 있고, 외부 웨어러블 디바이스를 통해서 알림 컨텐트를 제공할 수도 있다.
도 13은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 외부 장치로부터 사용자의 움직임 패턴 정보(움직임 상태)를 획득하는 방법을 설명하기 위한 순서도이다.
단계 S1310에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다. 단계 S1310은 도 5의 단계 S510에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S1320에서, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보(움직임 상태)를 외부 장치(1300)에 요청할 수 있다. 외부 장치(1300)는, 모바일 단말(200)일 수도 있고, 서버(300)일 수도 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 알림 이벤트의 발생이 감지될 때, 통신부를 활성화시킬 수 있다. 웨어러블 글래스(100)는, 활성화된 통신부를 통해 사용자의 움직임 패턴 정보(움직임 상태)를 외부 장치(1300)에 요청할 수 있다. 이때, 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 웨어러블 글래스(100)에서 측정된 가속도 정보, 기울기 정보, 위치 정보 등을 외부 장치(1300)에 전송할 수도 있다.
단계 S1330에서, 외부 장치(1300)는, 웨어러블 글래스(100)의 가속도 정보, 웨어러블 글래스(100)의 위치 정보 및 웨어러블 글래스(100)를 착용한 사용자의 생체 정보 중 적어도 하나를 획득할 수 있다.
본 발명의 일 실시예에 의하면, 외부 장치(1300)는, 웨어러블 글래스(100)로부터 웨어러블 글래스(100)에서 측정된 가속도 정보, 웨어러블 글래스(100)의 위치 정보 등을 수신할 수 있다. 외부 장치(1300)는, 웨어러블 디바이스(예컨대, 스마트 시계, 가발, 신발 등)에서 측정된 가속도 정보, 위치 정보 등을 수신할 수도 있다.
또한, 외부 장치(1300)가 웨어러블 글래스(100)를 착용한 사용자의 모바일 단말(200)인 경우, 외부 장치(1300)는 센서들을 이용하여 직접 가속도 및/또는 위치를 측정할 수도 있다.
본 발명의 일 실시예에 의하면, 외부 장치(1300)는, 외부 장치(1300)에 연결된 적어도 하나의 웨어러블 디바이스로부터 생체 정보를 수집할 수도 있다. 예를 들어, 외부 장치(1300)는, 웨어러블 디바이스(예컨대, 스마트 시계, 귀걸이, 반지, 목걸이, 글래스, 신발, 옷 등)에서 측정되는 맥박수 정보, 혈압 정보, 심박수 정보, 체온 정보, 땀 배출량 정보, 호흡 수 정보 등을 수신할 수도 있다.
단계 S1340에서, 외부 장치(1300)는, 가속도 정보, 위치 정보, 및 생체 정보 중 적어도 하나를 이용하여, 사용자의 움직임 패턴을 분석할 수 있다. 즉, 외부장치(1300)는 가속도 정보, 위치 정보, 및 생체 정보 중 적어도 하나를 이용하여, 사용자의 움직임 상태를 판단할 수 있다.
예를 들어, 일정 시간 동안 사용자의 평균 맥박수, 평균 호흡 수, 땀 배출량, 체온이 증가한 경우, 외부 장치(1300)는, 사용자가 운동 중이라고 판단할 수 있다. 또한, 외부 장치(1300)는, 사용자가 일정 시간 동안 집에 있으며, 생체 정보가 거의 변하지 않는 경우, 사용자가 집에서 휴식 중이라고 판단할 수 있다. 외부 장치(1300)는, 사용자가 공원에서 평균 4km/h로 이동하는 경우, 사용자가 공원에서 산책 중이라고 판단할 수 있다.
단계 S1350에서, 외부 장치(1300)는, 사용자의 움직임 패턴 정보(움직임 상태)를 웨어러블 글래스(100)로 전송할 수 있다. 외부 장치(1300)는 근거리 통신, 이동 통신, 무선 통신 중 적어도 하나를 이용하여, 사용자의 움직임 패턴 정보(움직임 상태)를 웨어러블 글래스(100)로 전송할 수 있다. 예를 들어, 외부 장치(1300)는, 사용자의 동작 상태 정보, 사용자의 이동 속도 정보, 사용자의 위치 정보 등을 웨어러블 글래스(100)로 전송할 수 있다. 이 경우, 단계 S1360에서, 웨어러블 글래스(100)는, 외부 장치(1300)로부터 사용자의 움직임 패턴 정보(움직임 상태)를 획득할 수 있다.
단계 S1370에서, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보(움직임 상태)에 기초하여, 알림 컨텐트의 제공 방법을 결정할 수 있다. 예를 들어, 웨어러블 글래스(100)는 알림 컨텐트의 제공 시기, 제공 형태 등을 결정할 수 있다.
단계 S1380에서, 웨어러블 글래스(100)는, 알림 컨텐트를 제공할 수 있다. 예를 들어, 웨어러블 글래스(100)는 사용자가 산책 중인 경우, 알림 컨텐트의 일부를 출력하고, 사용자가 집에서 휴식 중인 경우 알림 컨텐트 전체를 출력할 수 있다.
단계 S1370 및 단계 S1380은, 도 12의 단계 S1240 및 단계 S1250에 대응되므로 구체적인 설명은 생략하기로 한다.
이하에서는, 웨어러블 글래스(100)가 사용자의 움직임 패턴 정보(움직임 상태)에 기반하여 알림 컨텐트의 제공 시기를 결정하는 동작에 대해서 도 14를 참조하여 자세히 살펴보기로 한다.
도 14는 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 이동 속도에 기반하여 알림 이벤트에 대응하는 컨텐트의 출력 시기를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S1410에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
단계 S1420에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지한 경우, 사용자의 움직임 패턴 정보를 획득할 수 있다.
단계 S1430에서, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보에 기반하여, 사용자의 이동 속도가 임계 속도 미만인지 판단할 수 있다. 임계 속도는 사용자 또는 시스템에 의해 기 설정될 수 있다. 또한, 임계 속도는 사용자의 평균 이동 속도에 기반하여 결정될 수도 있다.
예를 들어, 웨어러블 글래스(100)는 사용자의 이동 속도가 평균 걷는 속도인 4km/h 미만인지 판단할 수 있다.
단계 S1440에서, 웨어러블 글래스(100)는, 사용자의 이동 속도가 임계 속도 미만인 경우, 알림 컨텐트를 출력하기로 결정할 수 있다.
예를 들어, 웨어러블 글래스(100)는, 사용자의 이동 속도가 평균 걷는 속도인 4km/h 미만인 경우, 알림 컨텐트를 현재 시점에 출력하기로 결정할 수 있다. 현재 시점은, 웨어러블 글래스(100)가 알림 이벤트의 발생을 감지한 시점부터 일정 시간 이내(예컨대, 30초 이내)일 수 있다.
단계 S1450에서, 웨어러블 글래스(100)는, 알림 컨텐트를 현재 시점에 출력할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 알림 컨텐트가 동영상 컨텐트이거나 오디오 컨텐트인 경우, 현재 시점에 알림 컨텐트를 재생할 수 있다. 웨어러블 글래스(100)는, 알림 컨텐트가 정지 영상 컨텐트 또는 텍스트 컨텐트인 경우, 현재 시점에 알림 컨텐트를 표시할 수 있다.
단계 S1460에서, 웨어러블 글래스(100)는, 사용자의 이동 속도가 임계 속도 이상인 경우, 알림 컨텐트를 기 설정된 시점에 출력하기로 결정할 수 있다.
기 설정된 시점은, 미리 정해진 특정 시간(예컨대, 밤 10시)을 의미할 수 있다. 또한, 기 설정된 시점은, 소정 이벤트가 발생하는 시점을 의미할 수 있다. 소정 이벤트는, 알림 컨텐트의 출력을 요청하는 사용자 입력을 수신하는 이벤트, 기 설정된 시간이 경과하는 이벤트, 사용자의 움직임 패턴이 변화하는 이벤트 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 웨어러블 글래스(100)는, 알림 컨텐트를 출력하는 시점을 알림 컨텐트의 출력을 요청하는 특정 입력이 수신되는 시점으로 결정할 수 있다. 또한, 웨어러블 글래스(100)는, 알림 컨텐트를 출력하는 시점을 사용자의 이동 속도가 임계 속도 미만이 되는 시점으로 결정할 수도 있다.
단계 S1470에서, 웨어러블 글래스(100)는, 현재 시점에 알림 컨텐트를 미 출력할 수 있다. 또한, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 나타내는 인디케이터를 표시할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)를 착용한 사용자가 일정 속도 이상으로 이동 중인 경우, 웨어러블 글래스(100)는, 사용자의 시야를 가리지 않기 위해, 알림 컨텐트를 표시하지 않거나 알림 이벤트의 발생을 나타내는 간단한 인디케이터를 표시할 수 있다. 도 15a 및 15b를 참조하여, 웨어러블 글래스(100)가 사용자의 움직임 패턴 정보(움직임 상태)에 기반하여 알림 컨텐트의 제공 시기를 결정하는 동작에 대해서 좀 더 자세히 살펴보기로 한다.
도 15a 및 15b는 웨어러블 글래스가 사용자의 이동 속도에 따라 알림 이벤트에 대응하는 컨텐트의 출력 시기 및 방법을 조절하는 일례를 설명하기 위한 도면이다.
도 15a를 참조하면, 웨어러블 글래스(100)를 착용한 사용자(1510)가 횡단 보도를 건너는 중에, 웨어러블 글래스(100)가 서버(300)로부터 뉴스 컨텐트를 포함하는 푸쉬 메시지를 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트(예컨대, 소치 올림픽, 김연아 은메달!)를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 컨텐트를 표시하기 전에 사용자(1510)의 움직임 패턴 정보를 획득하고, 사용자(1510)의 이동 속도가 임계 속도(예컨대, 2km/h)미만인지 판단할 수 있다. 예를 들어, 사용자(1510)가 횡단 보도를 건너는 중이므로, 사용자(1510)의 이동 속도는 3km/h일 수 있다. 이 경우, 웨어러블 글래스(100)는 사용자(1510)의 이동 속도(예컨대, 3km/h)가 임계 속도(2km/h)이상이므로, 뉴스 컨텐트를 현재 시점에 출력하지 않기로 결정할 수 있다. 그리고 웨어러블 글래스(100)는, 알림 이벤트의 발생을 나타내는 간단한 인디케이터(1511)를 표시할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자(1510)가 횡단 보도를 건너는 동안 뉴스 컨텐트를 표시하지 않고, 인디케이터(1511)를 대신 표시함으로써, 사용자 (1510)의 시야가 가려지는 것을 최소화할 수 있다.
도 15b를 참조하면, 웨어러블 글래스(100)를 착용한 사용자(1520)가 집에 앉아서 쉬는 중에, 웨어러블 글래스(100)가 서버(300)로부터 뉴스 컨텐트를 포함하는 푸쉬 메시지를 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트(1521)를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 컨텐트(1521)를 표시하기 전에 사용자(1520)의 움직임 패턴 정보를 획득하고, 사용자(1520)의 이동 속도가 임계 속도(예컨대, 2km/h)미만인지 판단할 수 있다. 예를 들어, 사용자(1520)가 집에서 휴식 중이므로, 사용자(1520)의 이동 속도는 약 0km/h일 수 있다. 이 경우, 웨어러블 글래스(100)는 사용자(1520)의 이동 속도(예컨대, 0km/h)가 임계 속도(2km/h)미만이므로, 뉴스 컨텐트(1521)를 현재 시점에 출력하기로 결정할 수 있다.
웨어러블 글래스(100)는, 뉴스 컨텐트(1521)(예컨대, 소치올림픽, 김연아 은메달! 김연아 선수가 소치 올림픽에서 값진 은메달을 획득하였습니다...)를 증강현실(AR: Augmented Reality), 혼합현실(MR: Mixed Reality), 또는 가상현실(VR: Virtual Reality) 형태로 표시할 수 있다. 이 경우, 사용자(1520)는 시야가 가려져도 위험하지 않은 상황에 웨어러블 글래스(100)를 통해 뉴스 컨텐트(1521)를 확인할 수 있다.
이하에서는, 웨어러블 글래스(100)가 사용자의 움직임 패턴 정보(움직임 상태)에 기반하여 알림 컨텐트의 출력 형태를 결정하는 동작에 대해서 도 16을 참조하여 자세히 살펴보기로 한다.
도 16은 본 발명의 일 실시예에 따르는, 사용자의 움직임 패턴 정보에 기반하여 알림 이벤트에 대응하는 컨텐트의 출력 형태를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S1610에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다. 단계 S1620에서, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보를 획득할 수 있다. 단계 S1610 및 단계 S1620은, 도 14의 단계 S1410 및 단계 S1420에 대응되므로, 구체적인 설명은 생략하기로 한다.
단계 S1630에서, 웨어러블 글래스(100)는, 사용자의 이동 속도가 제 1 임계 속도 미만인지 판단할 수 있다. 제 1 임계 속도는 컨텐트의 출력 여부를 결정하는 기준이 되는 속도일 수 있다. 제 1 임계 속도는 사용자에 의해 기 설정될 수도 있고, 시스템에 의해 기 설정될 수도 있다.
예를 들어, 웨어러블 글래스(100)는, 제 1 임계 속도가 10km/h인 경우, 사용자의 움직임 패턴 정보에 기반하여 사용자의 이동 속도가 10km/h 미만인지 판단할 수 있다.
단계 S1640에서, 사용자의 이동 속도가 제 1 임계 속도 이상인 경우, 웨어러블 글래스(100)는, 알림 컨텐트를 현재 시점에 출력하지 않을 수 있다. 예를 들어, 웨어러블 글래스(100)를 착용한 사용자가 오토바이를 운전 중인 경우, 사용자의 이동 속도는 제 1 임계 속도 이상일 수 있다. 이때, 웨어러블 글래스(100)는, 사용자의 시야를 가리지 않기 위해, 알림 컨텐트를 출력하지 않을 수 있다.
단계 S1650에서, 웨어러블 글래스(100)는, 사용자의 이동 속도가 제 1 임계 속도와 제 2 임계 속도 사이인지 판단할 수 있다. 제 2 임계 속도는 알림 컨텐트의 전체 또는 일부 출력 여부의 결정 기준이 되는 속도일 수 있다. 제 2 임계 속도는 사용자에 의해 기 설정될 수도 있고, 시스템에 의해 기 설정될 수도 있다. 또한, 본 발명의 일 실시예에 의하면, 제 1 임계 속도 및 제 2 임계 속도는, 사용자의 평소 이동 속도에 기반하여 결정될 수도 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 제 1 임계 속도가 10km/h이고, 제 2 임계 속도가 2km/h인 경우, 사용자의 움직임 패턴 정보에 기반하여 사용자의 이동 속도가 10km/h와 2km/h 사이인지 판단할 수 있다.
단계 S1660에서, 웨어러블 글래스(100)는, 사용자의 이동 속도가 제 1 임계 속도와 제 2 임계 속도 사이인 경우, 알림 컨텐트의 일부를 출력할 수 있다. 알림 컨텐트의 일부는, 알림 컨텐트의 키워드, 알림 컨텐트의 요약 정보, 및 알림 컨텐트의 타이틀 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 웨어러블 글래스(100)는, 사용자의 이동 속도가 제 1 임계 속도와 제 2 임계 속도 사이인 경우, 알림 컨텐트의 메타데이터를 이용하여, 알림 컨텐트의 키워드, 알림 컨텐트의 요약 정보, 및 알림 컨텐트의 타이틀 중 적어도 하나를 추출할 수 있다. 그리고 웨어러블 글래스(100)는, 알림 컨텐트의 키워드, 알림 컨텐트의 요약 정보, 및 알림 컨텐트의 타이틀 중 적어도 하나를 제공할 수 있다.
단계 S1670에서, 웨어러블 글래스(100)는, 사용자의 이동 속도가 제 2 임계 속도 미만인 경우, 알림 컨텐트의 전체를 출력할 수 있다.
예를 들어, 웨어러블 글래스(100)를 착용한 사용자가 집에서 책을 읽고 있는 경우, 사용자의 이동 속도는 제 2 임계 속도 미만일 수 있다. 이때, 웨어러블 글래스(100)는, 알림 컨텐트의 전체를 출력할 수 있다.
이하에서는, 도 17 내지 도 19를 참조하여, 웨어러블 글래스(100)가 사용자의 움직임 패턴 정보(움직임 상태)에 기반하여 알림 컨텐트의 출력 형태를 결정하는 일례에 대해서 구체적으로 살펴보기로 한다.
도 17 내지 도 19는 웨어러블 글래스가 사용자의 이동 속도에 기초하여 알림 이벤트에 대응하는 컨텐트의 일부 또는 전체를 제공하는 일례를 설명하기 위한 도면이다.
도 17에서는, 웨어러블 글래스(100)를 착용한 사용자가 자전거를 타는 상태인 경우를 예로 들어 설명하기로 한다.
단계 S1710에서, 웨어러블 글래스(100)는 뉴스 컨텐트(1000)를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다.
단계 S1720에서, 웨어러블 글래스(100)는, 사용자의 움직임 상태 정보를 이용하여, 사용자의 이동 속도가 제 1 임계 속도(예컨대, 15km/h)보다 큰지 판단할 수 있다. 사용자는 자전거를 타는 중이므로, 사용자의 이동 속도는 평균 18km/h일 수 있다.
단계 S1730에서, 웨어러블 글래스(100)는, 사용자의 이동 속도(18km/h)가 제 1 임계 속도(예컨대, 15km/h)보다 크므로, 뉴스 컨텐트(1000)를 미출력(1700)하기로 결정할 수 있다.
도 18에서는, 웨어러블 글래스(100)를 착용한 사용자가 강아지와 함께 산책하는 상태인 경우를 예로 들어 설명하기로 한다.
단계 S1810에서, 웨어러블 글래스(100)는 뉴스 컨텐트(1000)를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다.
단계 S1820에서, 웨어러블 글래스(100)는, 사용자의 움직임 상태 정보를 이용하여, 사용자의 이동 속도가 제 1 임계 속도(예컨대, 15km/h)와 제 2 임계 속도(예컨대, 2km/h)사이인지 판단할 수 있다. 사용자는 산책 중이므로, 사용자의 평균 이동 속도는 2.5km/h일 수 있다.
단계 S1830에서, 웨어러블 글래스(100)는, 사용자의 이동 속도(2.5km/h)가 제 1 임계 속도(예컨대, 15km/h)와 제 2 임계 속도(예컨대, 2km/h) 사이이므로, 뉴스 컨텐트(1000)의 일부를 출력하기로 결정할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 뉴스 컨텐트(1000)에서 헤드라인(1800)(예컨대, 김연아 은메달!)을 추출하고, 헤드라인(1800)을 AR 형태로 제공할 수 있다.
도 19에서는, 웨어러블 글래스(100)를 착용한 사용자가 사무실에서 일하는 상태인 경우를 예로 들어 설명하기로 한다.
단계 S1910에서, 웨어러블 글래스(100)는 뉴스 컨텐트(1000)를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다.
단계 S1920에서, 웨어러블 글래스(100)는, 사용자의 움직임 상태 정보를 이용하여, 사용자의 이동 속도가 제 2 임계 속도(예컨대, 2km/h)미만인지 판단할 수 있다. 사용자는 사무실 책상에 앉아있으므로, 사용자의 이동 속도는 0km/h일 수 있다.
단계 S1930에서, 웨어러블 글래스(100)는, 사용자의 이동 속도(0km/h)가 제 2 임계 속도(예컨대, 2km/h) 미만이므로, 뉴스 컨텐트(1000)의 전체를 출력하기로 결정할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 뉴스 컨텐트(1000)에 포함된 전체 기사(1900)를 AR 형태로 제공할 수 있다.
도 20은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 소정 이벤트 발생 시에 미 출력 컨텐트를 출력하는 방법을 설명하기 위한 순서도이다.
단계 S2010에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
단계 S2020에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지한 경우, 사용자의 움직임 패턴 정보를 획득할 수 있다.
단계 S2030에서, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보에 기반하여, 사용자의 이동 속도가 임계 속도 미만인지 판단할 수 있다. 예를 들어, 웨어러블 글래스(100)는 사용자의 이동 속도가 평균 걷는 속도인 4km/h 미만인지 판단할 수 있다.
단계 S2040에서, 웨어러블 글래스(100)는, 사용자의 이동 속도가 임계 속도 이상인 경우, 알림 컨텐트를 미 출력하거나 알림 컨텐트의 일부를 출력할 수 있다. 이때, 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자의 이동 속도가 임계 속도 이상인 경우, 알림 컨텐트를 소정 이벤트가 발생하는 시점에 출력하기로 결정할 수 있다.
소정 이벤트는, 알림 컨텐트의 출력을 요청하는 사용자 입력을 수신하는 이벤트, 기 설정된 시간이 경과하는 이벤트, 사용자의 움직임 패턴이 변화하는 이벤트 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 웨어러블 글래스(100)는, 알림 컨텐트를 출력하는 시점을 사용자의 이동 속도가 임계 속도 미만이 되는 시점으로 결정할 수 있다.
단계 S2050에서, 웨어러블 글래스(100)는, 미 출력되거나 일부만 출력된 알림 컨텐트를 미 출력된 컨텐츠의 리스트에 저장할 수 있다.
단계 S2060에서, 웨어러블 글래스(100)는, 소정 이벤트의 발생 여부를 판단할 수 있다. 소정 이벤트가 발생하지 않는 경우, 웨어러블 글래스(100)는, 알림 컨텐트를 계속 미 출력할 수 있다.
단계 S2070에서, 웨어러블 글래스(100)는, 소정 이벤트가 발생하는 경우, 알림 컨텐트의 전체를 출력할 수 있다. 예를 들어, 사용자의 움직임 패턴이 변화하는 이벤트가 발생하는 경우, 웨어러블 글래스(100)는, 미 출력되거나 일부 출력된 알림 컨텐트의 전체를 출력할 수 있다.
웨어러블 글래스(100)는, 알림 컨텐트가 동영상 컨텐트이거나 오디오 컨텐트인 경우, 알림 컨텐트를 재생할 수 있다. 웨어러블 글래스(100)는, 알림 컨텐트가 정지 영상 컨텐트 또는 텍스트 컨텐트인 경우, 현재 시점에 알림 컨텐트를 표시할 수 있다.
이하에서는, 도 21을 참조하여 웨어러블 글래스(100)가 소정 이벤트 발생 시에 미 출력 컨텐트를 출력하는 동작에 대해서 좀 더 살펴보기로 한다.
도 21은 웨어러블 글래스가 사용자의 움직임 패턴 변화 이벤트에 기초하여, 기 발생된 알림 이벤트에 대응하는 컨텐트를 출력하는 일례를 나타내는 도면이다.
도 21의 2110을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 자전거를 타는 중에, 웨어러블 글래스(100)는 뉴스 컨텐트(1000)를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트(1521)를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
웨어러블 글래스(100)는, 사용자의 움직임 상태 정보를 이용하여, 사용자의 이동 속도가 임계 속도(예컨대, 15km/h)보다 큰지 판단할 수 있다. 사용자는 자전거를 타는 중이므로, 사용자의 이동 속도는 평균 18km/h일 수 있다.
웨어러블 글래스(100)는, 사용자의 이동 속도(18km/h)가 임계 속도(예컨대, 15km/h)보다 크므로, 뉴스 컨텐트를 현재 시점에 미 출력(2111)하고, 소정 이벤트가 발생되는 경우에 출력하기로 결정할 수 있다. 소정 이벤트는 사용자의 이동 속도가 2km/h 이하가 되는 시점일 수 있다.
도 21의 2120을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 자전거 타는 것을 중단한 경우, 웨어러블 글래스(100)는, 이동 속도가 2km/h 이하가 되는 소정 이벤트가 발생한 것을 감지할 수 있다.
웨어러블 글래스(100)는, 소정 이벤트가 감지되었으므로, 미 출력된 뉴스 컨텐트(2121)를 제공할 수 있다. 예를 들어, 웨어러블 글래스(100)는, AR 형태로 뉴스 컨텐트(2121)를 표시할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자의 이동 속도가 일정 수준 이하가 되는 경우에 알림 컨텐트를 제공함으로써, 사용자가 위험한 상황에 노출되는 것을 방지할 수 있다.
도 22는 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 특정(certain) 입력에 기초하여 컨텐트의 출력 형태를 변경하는 방법을 설명하기 위한 도면이다.
단계 S2210에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
단계 S2220에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지한 경우, 사용자의 움직임 패턴 정보를 획득할 수 있다.
단계 S2230에서, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보에 기초하여, 알림 컨텐트의 일부를 출력할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 사용자가 거리를 걷고 있는 상태라고 판단되는 경우, 알림 컨텐트의 일부를 출력할 수 있다.
단계 S2240에서, 웨어러블 글래스(100)는, 알림 컨텐트의 전체 출력을 요청하는 제 1 사용자 입력의 수신 여부를 판단할 수 있다.
본 발명의 일 실시예에 의하면, 컨텐트의 전체 출력을 요청하는 제 1 사용자 입력은 다양할 수 있다. 예를 들어, 제 1 사용자 입력은 모션 입력, 터치 입력, 키 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 의하면, 알림 컨텐트의 전체 출력을 요청하는 제 1 사용자 입력은 기 설정되어 있을 수 있다. 예를 들어, 사용자는, 고개를 드는 헤드 업 모션을 전체 출력을 요청하는 제 1 사용자 입력으로 설정할 수 있다.
단계 S2250에서, 웨어러블 글래스(100)는, 제 1 사용자 입력에 응답하여, 알림 컨텐트의 전체를 출력할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 알림 컨텐트가 동영상 컨텐트이거나 오디오 컨텐트인 경우, 알림 컨텐트의 전체를 재생할 수 있다. 웨어러블 글래스(100)는, 알림 컨텐트가 정지 영상 컨텐트 또는 텍스트 컨텐트인 경우, 알림 컨텐트의 전체를 AR 형태로 표시할 수 있다.
단계 S2260에서, 웨어러블 글래스(100)는, 알림 컨텐트의 일부 출력 차단을 요청하는 제 2 사용자 입력의 수신 여부를 판단할 수 있다.
본 발명의 일 실시예에 의하면, 알림 컨텐트의 일부 출력 차단을 요청하는 제 2 사용자 입력은 다양할 수 있다. 예를 들어, 제 2 사용자 입력은 모션 입력, 터치 입력, 키 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 의하면, 알림 컨텐트의 일부 출력 차단을 요청하는 제 2 사용자 입력은 기 설정되어 있을 수 있다. 예를 들어, 사용자는, 고개를 좌우로 흔드는 쉐이킹 모션을 알림 컨텐트의 일부 출력 차단을 요청하는 제 2 사용자 입력으로 설정할 수 있다.
단계 S2270에서, 웨어러블 글래스(100)는, 제 2 사용자 입력에 따라 알림 컨텐트의 일부 출력을 차단할 수 있다. 본 명세서에서, ‘출력을 차단’ 한다는 것은, 출력되고 있는 상태가 종료되는 것을 의미할 수 있다. 예를 들어, 웨어러블 글래스(100)가 알림 컨텐트의 출력을 차단하는 경우, 사용자 눈 앞에서 표시되던 알림 컨텐트가 사라지거나, 사운드 신호가 더 이상 출력되지 않을 수 있다.
단계 S2280에서, 웨어러블 글래스(100)는, 알림 컨텐트의 일부를 출력한 후 사용자로부터 별도의 입력이 수신되지 않고 소정 시간이 경과하는 경우, 알림 컨텐트의 일부 출력을 차단할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 알림 컨텐트의 일부를 출력한 후 전체 출력을 요청하는 제 1 사용자 입력이 30초 내에 수신되지 않는 경우, 알림 컨텐트의 일부를 더 이상 출력하지 않을 수 있다.
이하에서는, 도 23 및 도 24를 참조하여, 웨어러블 글래스(100)가 사용자의 특정(certain) 입력에 기초하여 컨텐트의 출력 형태를 변경하는 일례에 대해서 살펴보기로 한다.
도 23 내지 도 24는 컨텐트의 일부를 출력한 웨어러블 글래스가 사용자의 헤드 업 모션에 기초하여 컨텐트의 전체를 출력하는 일례를 설명하기 위한 도면이다. 도 23 내지 도 24에서는, 컨텐트의 전체 출력을 요청하는 사용자 입력이 헤드 업 모션인 경우를 예로 들어 설명하기로 한다.
도 23의 2310을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 횡단 보도를 건너는 중에, 웨어러블 글래스(100)가 서버(300)로부터 뉴스 컨텐트를 포함하는 푸쉬 메시지를 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 컨텐트를 표시하기 전에 사용자의 움직임 패턴 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 사용자가 3km/h의 속도로 이동 중임을 확인일 수 있다.
웨어러블 글래스(100)는 사용자가 이동 중이므로, 사용자의 시야를 많이 가리지 않기 위해, 뉴스 컨텐트의 일부(2311)를 출력할 수 있다. 예를 들어, 웨어러블 글래스(100)는 뉴스 컨텐트에서 헤드라인을 추출하고, 추출된 헤드라인을 출력할 수 있다. 이 경우, 사용자는 횡단 보도를 건너면서 뉴스 컨텐트의 헤드라인을 확인할 수 있다.
본 발명의 일 실시예에 의하면, 사용자는, 뉴스 컨텐트의 헤드라인을 확인한 후 뉴스 컨텐트의 전체(2321)를 보기 위해, 횡단 보도를 다 건넌 다음 멈춰 서서 하늘을 바라볼 수 있다.
이 경우, 웨어러블 글래스(100)는 뉴스 컨텐트의 일부(2311)(예컨대, 헤드라인) 를 출력하는 중에 사용자의 헤드 업 모션(2300)을 감지할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 기울기 센서, 가속도 센서, 자이로스코프 센서 등을 이용하여, 사용자의 헤드 업 모션(2300)을 감지할 수 있다.
도 23의 2320을 참조하면, 웨어러블 글래스(100)는 사용자의 헤드 업 모션(2300)에 따라 뉴스 컨텐트의 전체(2321)를 출력할 수 있다. 이 경우, 사용자는 안전한 상황에서 뉴스 컨텐트의 전체(2321)를 확인할 수 있다.
한편, 본 발명의 일 실시예에 의하면, 사용자의 의도와 무관하게 뉴스 컨텐트의 전체(2321)가 출력되는 것을 방지하기 위해, 웨어러블 글래스(100)는 헤드 업 모션(2300)의 유지 시간이 임계 시간 이상인 경우에만 뉴스 컨텐트의 전체(2321)를 출력할 수도 있다. 예를 들어, 웨어러블 글래스(100)는, 사용자의 헤드 업 모션(2300)이 감지되는 경우, 헤드 업 모션(2300)의 유지 시간을 측정할 수 있다. 이때, 웨어러블 글래스(100)는, 헤드 업 모션(2300)의 유지 시간이 임계 시간(예컨대, 2초) 이상인 경우, 뉴스 컨텐트의 전체(2321)를 출력할 수 있다.
도 24의 2410을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 횡단 보도를 건너는 중에, 웨어러블 글래스(100)가 광고 컨텐트를 포함하는 푸쉬 메시지를 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 광고 컨텐트를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 광고 컨텐트를 표시하기 전에 사용자의 움직임 패턴 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 사용자가 3km/h의 속도로 이동 중임을 확인일 수 있다.
웨어러블 글래스(100)는 사용자가 이동 중이므로, 사용자의 시야를 많이 가리지 않기 위해, 광고 컨텐트의 일부를 출력할 수 있다. 예를 들어, 웨어러블 글래스(100)는 광고 컨텐트의 섬네일 이미지(2411)를 표시할 수 있다. 이 경우, 사용자는 횡단 보도를 건너면서 광고 컨텐트가 수신되었음을 확인할 수 있다.
본 발명의 일 실시예에 의하면, 사용자는, 광고 컨텐트의 섬네일 이미지(2411)를 확인한 후 광고 컨텐트의 전체(2421)를 보기 위해, 횡단 보도를 다 건넌 다음 멈춰 서서 하늘을 바라볼 수 있다. 이 경우, 웨어러블 글래스(100)는 광고 컨텐트의 일부(예컨대, 섬네일 이미지(2411))를 출력하는 중에 사용자의 헤드 업 모션(2400)을 감지할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 기울기 센서, 가속도 센서, 자이로스코프 센서 등을 이용하여, 사용자의 헤드 업 모션(2400)을 감지할 수 있다.
도 24의 2420을 참조하면, 웨어러블 글래스(100)는 사용자의 헤드 업 모션(2400)에 따라 광고 컨텐트의 전체(2421)를 출력할 수 있다. 이 경우, 사용자는 안전한 상황에서 광고 컨텐트의 전체(2421)를 확인할 수 있다.
한편, 본 발명의 일 실시예에 의하면, 사용자의 의도와 무관하게 광고 컨텐트의 전체(2421)가 출력되는 것을 방지하기 위해, 웨어러블 글래스(100)는 헤드 업 모션(2400)의 유지 시간이 임계 시간(예컨대, 3초) 이상인 경우에만 광고 컨텐트의 전체(2421)를 출력할 수도 있다.
도 25는 컨텐트의 일부를 출력한 웨어러블 글래스가 사용자의 입력에 기초하여 컨텐트의 출력을 차단하는 일례를 설명하기 위한 도면이다. 도 25에서는, 컨텐트의 출력 차단을 요청하는 사용자 입력이 쉐이킹 모션인 경우를 예로 들어 설명하기로 한다.
도 25의 2510을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 횡단 보도를 건너는 중에, 웨어러블 글래스(100)가 서버(300)로부터 뉴스 컨텐트를 포함하는 푸쉬 메시지를 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 컨텐트를 표시하기 전에 사용자의 움직임 패턴 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 사용자가 3km/h의 속도로 이동 중임을 확인일 수 있다.
웨어러블 글래스(100)는 사용자가 이동 중이므로, 사용자의 시야를 많이 가리지 않기 위해, 뉴스 컨텐트의 일부(2511)(예컨대, 헤드라인)를 출력할 수 있다. 사용자는 횡단 보도를 건너면서 뉴스 컨텐트의 헤드라인을 확인할 수 있다.
본 발명의 일 실시예에 의하면, 사용자는, 뉴스 컨텐트의 헤드라인을 확인한 후 뉴스 컨텐트를 보고 싶지 않은 경우, 고개를 좌우로 흔들 수 있다. 이 경우, 웨어러블 글래스(100)는 뉴스 컨텐트의 일부(2511)(예컨대, 헤드라인)를 출력하는 중에 사용자의 쉐이킹 모션(2500)을 감지할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 기울기 센서, 가속도 센서, 자이로스코프 센서 등을 이용하여, 소정 횟수(예컨대, 2회) 이상 고개를 좌우로 흔드는 쉐이킹 모션(2500)을 감지할 수 있다.
도 25의 2520을 참조하면, 웨어러블 글래스(100)는 사용자의 쉐이킹 모션(2500)에 따라 뉴스 컨텐트의 일부(2511)(예컨대, 헤드라인)을 더 이상 표시하지 않을 수 있다(2521). 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 컨텐트를 미 출력된 컨텐츠의 리스트에 추가할 수 있다.
한편, 도 23 내지 도 25에서는, 사용자 입력이 모션 입력인 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 사용자는, 알림 컨텐트의 전체 출력을 요청하거나 알림 컨텐트의 출력 차단을 요청하기 위한 음성을 웨어러블 글래스(100)에 입력할 수도 있고, 웨어러블 글래스(100)에 포함된 특정 버튼을 선택할 수도 있다.
도 26은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 알림 이벤트에 대응하는 컨텐트에서 키워드를 강조 표시하는 방법을 설명하기 위한 순서도이다.
단계 S2610에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
단계 S2620에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지한 경우, 사용자의 움직임 패턴 정보를 획득할 수 있다.
단계 S2630에서, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보에 기초하여, 알림 컨텐트에서 키워드를 강조 표시하도록 결정할 수 있다.
예를 들어, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보에 기초하여, 사용자의 이동 속도가 임계 속도(예컨대, 4km/h) 이상인 경우, 알림 컨텐트에서 키워드들을 추출할 수 있다. 본 발명의 일 실시예에 의하면, 키워드들에 관한 정보는 알림 컨텐트의 메타데이터에 기 저장되어 있을 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 알림 컨텐트 중 키워드들에 강조 표시할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 키워드들의 크기를 조절하거나, 키워드들의 색상을 조절하거나, 키워드들에 밑줄을 추가할 수 있다. 도 27을 참조하여, 웨어러블 글래스(100)가 알림 컨텐트에서 키워드를 강조 표시하는 동작에 대해 좀 더 자세히 살펴 보기로 한다.
도 27은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 움직임 패턴 정보에 기반하여 컨텐트에서 키워드를 강조 표시하는 일례를 설명하기 위한 도면이다.
도 27의 2700-1을 참조하면, 웨어러블 글래스(100)는, 뉴스 컨텐트를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 컨텐트를 표시하기 전에 사용자의 움직임 패턴 정보를 획득할 수 있다. 예를 들어, 일정 시간 동안 사용자의 평균 이동 속도가 0.0001km/h이고, 사용자가 일정 시간 동안 사무실에 위치하는 경우, 웨어러블 글래스(100)는 사용자가 의자에 앉아 일하는 중이라고 판단할 수 있다.
웨어러블 글래스(100)는, 사용자가 의자에 앉아서 일하는 중인 경우, 사용자의 시야가 가려지더라도 사용자가 위험하지 않으므로, 서버(300)로부터 수신된 뉴스 컨텐트 전체(2710)(예컨대, 김연아가 소치 올림픽에서 70.2점으로, 금메달과는 0.6 차이로 아쉽게 은메달에 머물렀습니다)를 현재 시점에 출력할 수 있다.
도 27의 2700-2를 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 산책하는 중에, 웨어러블 글래스(100)가 뉴스 컨텐트를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 컨텐트를 표시하기 전에 사용자의 움직임 패턴 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 일정 시간 동안 사용자가 평균 3km/h의 속도로 이동 중임을 확인할 수 있다.
웨어러블 글래스(100)는, 사용자가 임계 속도(예컨대, 2km/h)이상으로 이동 중인 경우 뉴스 컨텐트 전체(2710)(예컨대, 김연아가 소치 올림픽에서 70.2점으로, 금메달과는 0.6 차이로 아쉽게 은메달에 머물렀습니다)를 집중해서 볼 수 없으므로, 뉴스 컨텐트에 포함된 키워드들을 추출하고, 키워드들에 대해서 강조 표시해 줄 수 있다.
예를 들어, 웨어러블 글래스(100)는 뉴스 컨텐트에서 키워드로 ‘김연아’, ‘소치 올림픽’, ‘은메달’을 추출하고, ‘김연아’, ‘소치 올림픽’, ‘은메달’에 대한 크기, 두께, 색상 등을 조절할 수 있다.
도 28은 본 발명의 일 실시예에 따르는 웨어러블 글래스가 알림 이벤트에 대응하는 컨텐트의 투명도를 조절하는 방법을 설명하기 위한 순서도이다.
단계 S2810에서, 웨어러블 글래스(100)는, 알림 이벤트가 발생하는 경우, 사용자의 움직임 패턴 정보를 획득할 수 있다.
단계 S2820에서, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보에 기초하여, 웨어러블 글래스(100)를 착용한 사용자가 운전 중인지 여부를 판단할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 웨어러블 글래스(100)에 포함된 가속도 센서를 이용하여, 사용자의 이동 속도를 측정할 수 있다. 웨어러블 글래스(100)는, 사용자가 80km/h로 이동하고 있는 경우, 사용자가 운전 중이라고 판단할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 웨어러블 글래스(100)에 연결된 모바일 단말(200) 또는 차량 내 네비게이션 장치로부터 수신되는 가속도 정보에 기반하여, 사용자가 운전 중인지 여부를 판단할 수도 있다.
본 발명의 일 실시예에 의하면, 사용자가 웨어러블 글래스(100)의 동작 모드를 네비게이션 모드로 설정하는 경우, 웨어러블 글래스(100)는, 사용자가 운전 중이라고 판단할 수도 있다.
단계 S2830에서, 웨어러블 글래스(100)는, 사용자가 운전 중이라고 판단되는 경우, 알림 컨텐트의 투명도를 설정할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 사용자가 운전 중이라고 판단되는 경우, 알림 컨텐트의 투명도를 50%로 설정한 후 알림 컨텐트를 표시할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 운전 속도에 기초하여, 알림 컨텐트의 투명도를 조절할 수도 있다. 예를 들어, 웨어러블 글래스(100)는 운전 속도가 증가할수록 알림 컨텐트의 투명도를 높일 수 있다.
도 29는 사용자가 운전 중인 경우, 웨어러블 글래스가 속도 정보에 기초하여 투명도를 조절하는 일례를 나타내는 도면이다.
도 29의 2910을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 운전을 시작하기 전에 웨어러블 글래스(100)가 뉴스 컨텐트를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 컨텐트를 표시하기 전에 사용자의 움직임 패턴 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 일정 시간 동안 사용자의 평균 이동 속도가 0 km/h 임을 확인할 수 있다.
웨어러블 글래스(100)는, 사용자가 정지 상태이므로, 뉴스 컨텐트의 투명도를 설정하지 않고, 불투명한 뉴스 컨텐트(2911)를 표시할 수 있다.
도 29의 2920을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 운전하는 중에, 웨어러블 글래스(100)가 뉴스 컨텐트를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 컨텐트를 표시하기 전에 사용자의 움직임 패턴 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 일정 시간 동안 사용자의 평균 이동 속도가 80 km/h 임을 확인하고, 사용자가 운전 중이라고 판단할 수 있다.
웨어러블 글래스(100)는, 사용자가 운전 중인 상태이므로, 뉴스 컨텐트의 투명도를 50%로 설정하고, 반투명한 뉴스 컨텐트(2912)를 표시할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 알림 컨텐트의 투명도를 조절함으로써, 운전 중인 사용자의 시야가 가려지는 것을 방지할 수 있다.
도 30은 본 발명의 일 실시예에 따르는 웨어러블 글래스가 환경 정보에 기초하여 출력 신호의 형태를 결정하는 방법을 설명하기 위한 도면이다.
단계 S3010에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
단계 S3020에서, 웨어러블 글래스(100)는, 웨어러블 글래스(100)로부터 소정 거리 내의 환경 정보를 획득할 수 있다. 환경 정보는, 웨어러블 글래스(100)로부터 소정 거리 내에서 발생하는 외부 소리에 관한 정보, 이미지 센서(161)를 통해 획득되는 외부 이미지에 관한 정보 중 적어도 하나를 포함할 수 있다.
예를 들어, 웨어러블 글래스(100)는 이미지 센서(161)를 이용하여 주변의 이미지를 캡쳐할 수 있다. 이미지 센서(161)는, 웨어러블 글래스(100)를 사용자가 착용할 때, 사용자의 눈에 인접한 위치에 장착됨으로써, 사용자의 눈을 통해 인식되는 영상과 유사한 영상을 촬영할 수 있다. 웨어러블 글래스(100)는 캡쳐된 이미지를 분석하여, 외부 이미지에 관한 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는 캡쳐된 이미지에 포함된 객체 정보, 에지 정보, 분위기 정보, 색상 정보 등을 획득할 수 있다.
웨어러블 글래스(100)는 마이크로폰을 이용하여 주변 소리를 검출할 수 있다. 웨어러블 글래스(100)는, 검출된 주변 소리를 분석하여, 외부 소리 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는 주변 소음 크기에 대한 정보, 복수의 음성이 존재하는지에 대한 정보 등을 획득할 수 있다.
웨어러블 글래스(100)는, 근거리 통신 반경 내에 존재하는 웨어러블 글래스(100)를 착용한 사용자의 다른 웨어러블 디바이스 또는 모바일 단말(200)로부터 소정 거리 내의 환경 정보를 획득할 수도 있다. 예를 들어, 모바일 단말(200)이 목걸이에서 촬영된 이미지를 분석하여 외부 이미지에 관한 정보를 획득한 경우, 웨어러블 글래스(100)는 모바일 단말(200)로부터 외부 이미지에 관한 정보를 수신할 수 있다.
또한, 웨어러블 글래스(100)는 모바일 단말(200) 또는 손목 시계에서 획득된 외부 소리에 관한 정보를 모바일 단말(200) 또는 손목 시계로부터 수신할 수도 있다.
단계 S3030에서, 웨어러블 글래스(100)는, 환경 정보를 고려하여, 알림 컨텐트의 출력 신호 형태를 결정할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 환경 정보를 고려하여, 알림 컨텐트를 오디오 신호 및 비디오 신호 중 적어도 하나의 형태로 제공하도록 결정할 수 있다. 예를 들어, 웨어러블 글래스(100)는 주변 소음 크기가 임계 값 이상이거나 복수의 음성이 검출되는 경우, 알림 컨텐트를 비디오 신호 형태로 출력하기로 결정할 수 있다. 또한, 웨어러블 글래스(100)는 캡쳐된 이미지에서 기 설정된 수 이상의 에지(edges)들이 검출되는 경우, 알림 컨텐트를 오디오 신호 형태로 출력하기로 결정할 수 있다.
단계 S3040에서, 웨어러블 글래스(100)는, 결정된 출력 신호 형태로 알림 컨텐트를 출력할 수 있다. 도 31 및 도 32를 참조하기로 한다.
도 31 및 도 32는 본 발명의 일 실시예에 따르는 웨어러블 글래스가 외부 소리 정보에 기초하여 출력 신호의 형태를 조절하는 일례를 나타내는 도면이다.
도 31의 3110을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 기차를 기다리는 중에, 웨어러블 글래스(100)가 뉴스 동영상 컨텐트(3101)를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 동영상 컨텐트(3101)를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 동영상 컨텐트(3101)를 표시하기 전에 사용자의 움직임 패턴 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 일정 시간 동안 사용자의 평균 이동 속도가 0 km/h 임을 확인하고, 사용자가 정지 상태라고 판단할 수 있다.
웨어러블 글래스(100)는, 사용자가 정지 상태이므로, 뉴스 동영상 컨텐트(3101)를 출력하기로 결정할 수 있다. 이때, 웨어러블 글래스(100)는 소정 거리 내의 환경 정보를 더 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는 마이크로폰을 활성화시켜, 주변 소리를 검출할 수 있다. 주변 소리의 크기가 임계 값(예컨대, 70 데시벨) 이하이므로, 웨어러블 글래스(100)는 뉴스 동영상 컨텐트(3101)를 재생할 수 있다.
도 31의 3120을 참조하면, 지하철이 승강장으로 들어오고 있는 상태이므로 주변 소리의 크기(예컨대, 85 데시벨)는 임계 값(예컨대, 70 데시벨)보다 클 수 있다. 이 경우, 웨어러블 글래스(100)는 뉴스 동영상 컨텐트(3101)에서 오디오 신호를 텍스트 신호로 전환하여 표시할 수 있다.
예를 들어, 웨어러블 글래스(100)는, STT(Speech to Text) 기술에 기반하여, 뉴스 동영상 컨텐트(3101)에 포함된 보이스를 텍스트로 변환함으로써, 뉴스 동영상 컨텐트(3101)에 대응하는 트랜스크립트(3102)를 생성할 수 있다. 본 명세서에서, 트랜스크립트는 구술된 내용을 글로 옮긴 기록을 의미할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 주변 소리가 임계 값 이상으로 큰 경우, 오디오 컨텐트에 대응하는 트랜스크립트를 제공함으로써, 사용자가 알림 컨텐트를 시각적으로 인지할 수 있도록 할 수 있다.
도 32의 3210을 참조하면, 웨어러블 글래스(100)는, 웨어러블 글래스(100)를 착용한 사용자가 공원에 앉아서 책을 읽는 중에, 웨어러블 글래스(100)가 뉴스 동영상 컨텐트(3201)를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 동영상 컨텐트(3201)를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 동영상 컨텐트(3201)를 표시하기 전에 사용자의 움직임 패턴 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 일정 시간 동안 사용자의 평균 이동 속도가 0 km/h 임을 확인하고, 사용자가 정지 상태라고 판단할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자가 정지 상태이므로, 뉴스 동영상 컨텐트(3201)를 출력하기로 결정할 수 있다. 이때, 웨어러블 글래스(100)는 소정 거리 내의 환경 정보를 더 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는 마이크로폰을 활성화시켜, 주변 소리를 검출할 수 있다. 주변 소리의 크기가 임계 값(예컨대, 70 데시벨) 이하이고, 복수의 음성이 검출되지 않았으므로, 웨어러블 글래스(100)는 뉴스 동영상 컨텐트(3201)를 재생할 수 있다.
도 32의 3220을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 다른 사람과 대화하는 중이므로, 웨어러블 글래스(100)는 복수의 음성을 검출할 수 있다. 복수의 음성을 검출되는 경우, 웨어러블 글래스(100)가 뉴스 동영상 컨텐트(3201)를 재생하면, 대화에 방해가 될 수 있으므로, 웨어러블 글래스(100)는, 뉴스 동영상 컨텐트(3201)에서 오디오 신호를 텍스트 신호로 전환하여 표시할 수 있다. 예를 들어, 웨어러블 글래스(100)는, STT(Speech to Text) 기술에 기반하여, 뉴스 동영상 컨텐트(3201)에 포함된 보이스를 텍스트로 변환하고, 변환된 텍스트(3202)를 표시할 수 있다.
도 33은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 외부 이미지에 관한 정보에 기초하여 알림 이벤트에 대응하는 컨텐트의 출력 형태를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S3310에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
단계 S3320에서, 웨어러블 글래스(100)는, 웨어러블 글래스에 포함된 이미지 센서(161)를 이용하여 외부 이미지에 관한 정보를 획득할 수 있다.
외부 이미지에 관한 정보는, 외부 이미지의 변화량 정보, 외부 이미지의 색상 정보, 및 외부 이미지에 포함된 객체 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 이미지 센서(161)를 통해 캡쳐된 외부 이미지를 분석하여, 외부 이미지에 관한 정보를 획득할 수 있다.
본 발명의 다른 실시예에 의하면, 웨어러블 글래스(100)는 모바일 단말(200) 또는 서버(300)에 캡쳐된 외부 이미지를 전송하면서, 외부 이미지에 대한 분석을 요청할 수 있다. 웨어러블 글래스(100)는 모바일 단말(200) 또는 서버(300)로부터 외부 이미지의 변화량 정보, 외부 이미지의 색상 정보, 및 외부 이미지에 포함된 객체 정보 중 적어도 하나를 수신할 수 있다.
단계 S3330에서, 웨어러블 글래스(100)는, 외부 이미지에 관한 정보에 기초하여, 알림 컨텐트의 출력 형태를 결정할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 외부 이미지에 관한 정보에 기초하여, 알림 컨텐트를 오디오 신호 및 비디오 신호 중 적어도 하나의 형태로 제공하도록 결정할 수 있다. 예를 들어, 웨어러블 글래스(100)는 캡쳐된 이미지에서 기 설정된 수 이상의 에지(edges)들이 검출되거나, 캡쳐된 이미지 변화량이 임계 값 이상인 경우, 알림 컨텐트를 오디오 신호 형태로 출력하기로 결정할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 외부 이미지에 관한 정보에 기초하여, 알림 컨텐트의 일부 또는 전체를 출력하도록 결정할 수 있다. 예를 들어, 웨어러블 글래스(100)는 캡쳐된 이미지에서 기 설정된 수 이상의 에지(edges)들이 검출되거나, 캡쳐된 이미지 변화량이 임계 값 이상인 경우, 알림 컨텐트의 일부를 출력하도록 결정할 수 있다. 알림 컨텐트의 일부는, 알림 컨텐트의 키워드, 알림 컨텐트의 요약 정보, 및 알림 컨텐트의 타이틀 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
단계 S3340에서, 웨어러블 글래스(100)는, 결정된 출력 형태로 알림 컨텐트를 출력할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 알림 컨텐트를 오디오 신호 및 비디오 신호 중 적어도 하나의 형태로 제공할 수 있다. 웨어러블 글래스(100)는, 알림 컨텐트의 일부를 먼저 출력하고, 알림 컨텐트의 전체 출력을 요청하는 사용자 입력이 수신되는 경우에 알림 컨텐트의 전체를 출력할 수도 있다.
도 34를 참조하여 웨어러블 글래스(100)가 외부 이미지에 관한 정보에 기초하여 상이한 형태의 알림 컨텐트를 출력하는 동작에 대해서 좀 더 자세히 살펴보기로 한다.
도 34는 본 발명의 일 실시예에 따르는 웨어러블 글래스가 외부 이미지에 관한 정보에 기초하여 출력 신호의 형태를 조절하는 일례를 나타내는 도면이다.
도 34의 3410을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 멈춰 서서 하늘을 바라보는 중에, 웨어러블 글래스(100)는 뉴스 컨텐트를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다. 이때, 웨어러블 글래스(100)는 외부 이미지에 관한 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 하늘 이미지(3411)를 캡쳐하고, 하늘 이미지(3411)를 분석할 수 있다. 분석 결과, 하늘 이미지(3411)에 기 설정된 수 미만의 에지가 존재하므로, 웨어러블 글래스(100)는, 뉴스 컨텐트를 비디오 신호 형태(3401)로 표시할 수 있다.
도 34의 3420을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 사람이 많은 공공 장소를 걷고 있는 중에, 웨어러블 글래스(100)가 뉴스 컨텐트(3401)를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다. 이때, 웨어러블 글래스(100)는 외부 이미지에 관한 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 공공 장소 이미지(3421)를 캡쳐하고, 공공 장소 이미지(3421)를 분석할 수 있다.
분석 결과, 공공 장소 이미지(3421)에 기 설정된 수 이상의 에지가 존재하므로, 웨어러블 글래스(100)는, 뉴스 컨텐트를 오디오 신호 형태(3402)로 표시할 수 있다.
본 발명의 일 실시예에 의하면, 사용자의 눈을 통해 인식되는 외부 이미지가 복잡한 경우, 사용자가 알림 컨텐트를 시각적으로 식별하기 어려워지므로, 웨어러블 글래스(100)는 알림 컨텐트를 비디오 신호 대신에 오디오 신호로 제공할 수 있다.
도 35는 본 발명의 일 실시예에 따르는 웨어러블 글래스가 외부 이미지의 변화량 정보에 기초하여 출력 여부를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S3510에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
단계 S3520에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지한 경우, 외부 이미지의 변화량 정보를 획득할 수 있다. 외부 이미지의 변화량 정보는, 일정 시간 동안 사용자의 눈을 통해 관측되는 외부 이미지가 변화하는 정도에 관한 정보를 의미할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 일정 시간 동안 이미지 센서(161)를 이용하여, 복수의 외부 이미지를 획득할 수 있다. 웨어러블 글래스(100)는, 일정 시간 동안 획득되는 복수의 외부 이미지 각각의 프레임을 비교하여, 외부 이미지의 변화량을 산출할 수 있다. 예를 들어, 웨어러블 글래스(100)를 착용한 사용자가 이동 중인 경우에 웨어러블 글래스(100)에서 산출되는 외부 이미지의 변화량은, 웨어러블 글래스(100)를 착용한 사용자가 정지 상태인 경우의 외부 이미지 변화량보다 클 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 모바일 단말(200) 또는 서버(300)에 캡쳐된 외부 이미지를 전송하면서, 외부 이미지에 대한 분석을 요청할 수 있다. 웨어러블 글래스(100)는 모바일 단말(200) 또는 서버(300)로부터 외부 이미지의 변화량 정보를 수신할 수 있다.
단계 S3530에서, 웨어러블 글래스(100)는, 외부 이미지의 변화량이 임계값 미만인지 판단할 수 있다.
예를 들어, 웨어러블 글래스(100)는, 제 n초에 획득되는 제 1 프레임과 제 n+1초에 획득되는 제 2 프레임의 차가 임계 값(예컨대, 30%)미만인지 판단할 수 있다.
단계 S3540에서, 웨어러블 글래스(100)는, 외부 이미지의 변화량이 임계 값 미만인 경우, 알림 컨텐트를 출력하기로 결정할 수 있다. 그리고 웨어러블 글래스(100)는, 현재 시점에 알림 컨텐트를 출력할 수 있다.
예를 들어, 사용자의 이동 속도가 일정 속도 미만이거나 사용자의 시선이 산만하지 않은 경우에 외부 이미지의 변화량이 임계 값 미만일 수 있다. 이 경우, 알림 컨텐트를 출력하더라도 사용자가 크게 위험하지 않을 수 있으므로, 웨어러블 글래스(100)는 알림 컨텐트를 출력하기로 결정할 수 있다.
단계 S3550에서, 웨어러블 글래스(100)는, 외부 이미지의 변화량이 임계 값 이상인 경우, 알림 컨텐트를 미 출력하고, 알림 이벤트의 발생을 나타내는 인디케이터를 표시하기로 결정할 수 있다.
예를 들어, 외부 이미지의 변화량이 임계 값 이상인 경우, 웨어러블 글래스(100)는, 사용자의 시야를 가리지 않기 위해, 알림 컨텐트를 표시하지 않거나 알림 이벤트의 발생을 나타내는 간단한 인디케이터를 표시할 수 있다. 도 36을 참조하여, 웨어러블 글래스(100)가 외부 이미지의 변화량 정보에 기반하여 알림 컨텐트의 출력 여부를 결정하는 동작에 대해서 좀 더 자세히 살펴보기로 한다.
도 36은 웨어러블 글래스가 외부 이미지의 변화량 정보에 기반하여 알림 이벤트에 대응하는 컨텐트의 출력 형태를 변경하는 일례를 나타내는 도면이다.
도 36의 3600-1을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 횡단 보도를 건너는 중에, 웨어러블 글래스(100)가 서버(300)로부터 뉴스 컨텐트를 포함하는 푸쉬 메시지를 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 컨텐트를 표시하기 전에 외부 이미지의 변화량 정보를 획득하고, 외부 이미지의 변화량이 임계 값 미만인지 판단할 수 있다. 예를 들어, 사용자가 횡단 보도를 건너는 중이므로, 웨어러블 글래스(100)는 횡단 보도 주변 이미지(3610)의 변화량 정보를 획득할 수 있다. 이때, 횡단 보도 주변 이미지(3610)의 변화량은 임계 값 이상이므로, 웨어러블 글래스(100)는 뉴스 컨텐트를 현재 시점에 출력하지 않기로 결정할 수 있다. 그리고 웨어러블 글래스(100)는, 알림 이벤트의 발생을 나타내는 간단한 인디케이터(3611)를 표시할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자가 횡단 보도를 건너는 동안 뉴스 컨텐트를 표시하지 않고, 인디케이터(3611)를 대신 표시함으로써, 사용자의 시야가 가려지는 것을 최소화할 수 있다.
도 36의 3600-2를 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 집에 앉아서 벽을 보고 있는 중에, 웨어러블 글래스(100)가 서버(300)로부터 뉴스 컨텐트(3621)를 포함하는 푸쉬 메시지를 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트(3621)를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 컨텐트(3621)를 표시하기 전에 외부 이미지의 변화량 정보를 획득하고, 외부 이미지의 변화량이 임계 값 미만인지 판단할 수 있다. 예를 들어, 사용자가 집에서 벽을 보고 있으므로, 웨어러블 글래스(100)는 벽의 이미지(3620)의 변화량 정보를 획득할 수 있다. 이때, 벽의 이미지(3620)의 변화량은 임계 값 미만이므로, 웨어러블 글래스(100)는 뉴스 컨텐트(3621)를 현재 시점에 출력하기로 결정할 수 있다.
웨어러블 글래스(100)는, 뉴스 컨텐트(3621)(예컨대, 소치올림픽, 김연아 은메달! 김연아 선수가 소치 올림픽에서 값진 은메달을 획득하였습니다...)를 증강현실(AR: Augmented Reality), 혼합현실(MR: Mixed Reality), 또는 가상현실(VR: Virtual Reality) 형태로 표시할 수 있다. 이 경우, 사용자는 시야가 가려져도 위험하지 않은 상황에 웨어러블 글래스(100)를 통해 뉴스 컨텐트(3621)를 확인할 수 있다.
이하에서는, 웨어러블 글래스(100)가 알림 컨텐트의 투명도, 색상, 채도를 조절하는 동작에 대해서 도 37을 참조하여 자세히 살펴보기로 한다.
도 37은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 외부 이미지에 관한 정보에 기초하여 알림 이벤트에 대응하는 컨텐트의 투명도, 색상, 채도 중 적어도 하나를 조절하는 방법을 설명하기 위한 순서도이다.
단계 S3710에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
단계 S3720에서, 웨어러블 글래스(100)는, 이미지 센서(161)를 이용하여 외부 이미지에 관한 정보를 획득할 수 있다. 외부 이미지에 관한 정보는, 외부 이미지의 변화량 정보, 외부 이미지의 색상 정보, 및 외부 이미지에 포함된 객체 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
단계 S3710 및 단계 S3720은 도 33의 단계 S3310 및 단계 S3320에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S3730에서, 웨어러블 글래스(100)는, 외부 이미지에 관한 정보에 기초하여, 알림 컨텐트의 출력 여부를 결정할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 외부 이미지에서 기 설정된 수 이상의 에지(edges)들이 검출되는 경우, 알림 컨텐트를 출력하지 않기로 결정할 수 있다. 반대로 웨어러블 글래스(100)는, 외부 이미지에서 기 설정된 수 미만의 에지(edges)들이 검출되는 경우, 알림 컨텐트를 출력하기로 결정할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 외부 이미지의 변화량이 임계 값 이상인 경우, 알림 컨텐트를 출력하지 않기로 결정할 수 있다. 반대로 웨어러블 글래스(100)는, 외부 이미지의 변화량이 임계 값 미만인 경우, 알림 컨텐트를 출력하기로 결정할 수 있다.
단계 S3740에서, 웨어러블 글래스(100)는, 알림 컨텐트를 출력하기로 결정한 경우, 알림 컨텐트의 투명도, 색상, 채도 중 적어도 하나를 조절할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 조도 정보에 기초하여, 컨텐트의 투명도, 색상, 및 채도 중 적어도 하나를 조절할 수 있다. 예를 들어, 웨어러블 글래스(100)는 조도 센서를 이용하여, 조도 값을 측정할 수 있다. 측정된 조도 값이 임계 값 미만인 경우, 웨어러블 글래스(100)는, 알림 컨텐트의 투명도를 낮추고, 알림 컨텐트의 채도 값을 높일 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 가속도 정보에 기초하여, 컨텐트의 투명도, 색상, 및 채도 중 적어도 하나를 조절할 수 있다. 예를 들어, 웨어러블 글래스(100)는 사용자의 이동 속도가 증가할수록 알림 컨텐트의 투명도도 증가시킬 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 외부 이미지의 색상 정보에 기초하여, 알림 컨텐트의 투명도, 색상, 및 채도 중 적어도 하나를 조절할 수도 있다. 예를 들어, 웨어러블 글래스(100)는, 외부 이미지의 색상과 보색 관계에 있는 색상으로 알림 컨텐트를 표시할 수 있다.
단계 S3750에서, 웨어러블 글래스(100)는, 조절된 투명도, 조절된 색상, 및 조절된 채도 중 적어도 하나에 기초하여, 알림 컨텐트를 출력할 수 있다. 도 38을 참조하기로 한다.
도 38은 웨어러블 글래스가 외부 이미지에 관한 정보에 기초하여 알림 이벤트에 대응하는 컨텐트의 색상을 조절하는 일례를 설명하기 위한 도면이다.
도 38을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 하늘을 바라보고 있는 중에, 웨어러블 글래스(100)가 알림 이벤트의 발생을 감지할 수 있다. 이 경우, 웨어러블 글래스(100)는 하늘 이미지(3800)를 획득할 수 있다.
웨어러블 글래스(100)는, 하늘 이미지(3800)의 색상 정보에 기초하여, 알림 컨텐트의 색상을 조절할 수 있다. 예를 들어, 알림 컨텐트의 기본 색상이 파랑색인 경우, 사용자는 하늘 이미지(3800) 위에 AR 형태로 표시되는 파랑색의 알림 컨텐트(3810)를 식별하기 어려울 수 있다.
따라서, 웨어러블 글래스(100)는, 알림 컨텐트의 색을 파랑색에서 노랑색으로 변경하고, 노란색의 알림 컨텐트(3820)를 표시할 수 있다.
도 39는 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 알림 이벤트에 대응하는 컨텐트의 출력 위치를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S3910에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
단계 S3920에서, 웨어러블 글래스(100)는, 이미지 센서(161)를 이용하여 외부 이미지에 관한 정보를 획득할 수 있다. 외부 이미지에 관한 정보는, 외부 이미지의 색상 정보, 및 외부 이미지에 포함된 객체 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
단계 S3910 및 단계 S3920은 도 33의 단계 S3310 및 단계 S3320에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S3930에서, 웨어러블 글래스(100)는, 외부 이미지에 포함된 객체 정보 및 외부 이미지의 색상 정보 중 적어도 하나에 기초하여, 알림 컨텐트의 출력 위치를 결정할 수 있다.
예를 들어, 웨어러블 글래스(100)는, 외부 이미지에 포함된 객체 정보에 기초하여, 실제 객체(예컨대, 대화 상대방)와 중첩되지 않는 위치를 알림 컨텐트의 출력 위치로 결정할 수 있다. 또한, 웨어러블 글래스(100)는 알림 컨텐트의 기본 색상과 보색이 표시된 영역을 알림 컨텐트의 출력 위치로 결정할 수도 있다.
단계 S3940에서, 웨어러블 글래스(100)는, 결정된 위치에 알림 컨텐트를 출력할 수 있다. 도 40을 참조하기로 한다.
도 40은 웨어러블 글래스가 알림 이벤트에 대응하는 컨텐트의 출력 위치를 변경하는 일례를 설명하기 위한 도면이다.
도 40을 참조하면, 웨어러블 글래스(100)를 착용한 제 1 사용자가 제 2 사용자와 대화하는 도중에, 웨어러블 글래스(100)는, 뉴스 컨텐트(4000)를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트(4000)를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
도 40의 4010에 도시된 바와 같이, 웨어러블 글래스(100)가 뉴스 컨텐트(4000)를 중앙부에 표시하는 경우, 뉴스 컨텐트(4000)에 의해 제 2 사용자의 얼굴이 가려질 수 있다.
따라서, 웨어러블 글래스(100)는 뉴스 컨텐트(4000)를 표시하기 전에 외부 이미지에 관한 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 이미지 센서(161)를 이용하여 제 2 사용자가 포함된 캡쳐 이미지를 획득할 수 있다. 웨어러블 글래스(100)는 캡쳐 이미지를 분석하여, 제 2 사용자의 위치를 파악할 수 있다. 웨어러블 글래스(100)는 제 2 사용자와 중첩되지 않는 영역을 뉴스 컨텐트(4000)의 표시 위치로 결정할 수 있다.
도 40의 4020에 도시된 바와 같이, 웨어러블 글래스(100)는, 제 2 사용자의 얼굴과 중첩되지 않는 영역에 뉴스 컨텐트(4000)를 표시할 수 있다.
본 발명의 일 실시예에 의하면, 제 2 사용자의 얼굴이 이동함에 따라, 웨어러블 글래스(100)는, 뉴스 컨텐트(4000)의 표시 위치도 적응적으로 변경할 수 있다.
도 41은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 설정 정보에 기반하여 알림 이벤트에 대응하는 컨텐트의 제공 방법을 결정하는 방법을 설명하기 위한 순서도이다.
단계 S4110에서, 웨어러블 글래스(100)는, 알림 컨텐트의 제공과 관련된 설정 정보를 수신할 수 있다. 예를 들어, 웨어러블 글래스(100)는 알림 컨텐트의 제공 시기, 제공 장소, 제공 형태 중 적어도 하나에 관한 설정 정보를 수신할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 모바일 단말(200) 또는 서버(300)로부터 알림 컨텐트의 제공과 관련된 설정 정보를 수신할 수 있다. 예를 들어, 사용자는 모바일 단말(200)을 이용하여, 웨어러블 글래스(100)에서 발생되는 알림 컨텐트의 출력 여부, 출력 시기, 출력 형태, 출력 장소 등을 설정할 수 있다.
단계 S4120에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
단계 S4130에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지한 경우, 설정 정보에 기초하여 알림 컨텐트의 제공 방법을 결정할 수 있다. 예를 들어, 웨어러블 글래스(100)는 설정 정보에 따라 알림 컨텐트의 제공 시기, 제공 형태, 제공 장소 등을 결정할 수 있다.
단계 S4140에서, 웨어러블 글래스(100)는, 알림 컨텐트를 제공할 수 있다. 예를 들어, 웨어러블 글래스(100)는 설정 정보에 따라 특정 시기에 특정 형태로 알림 컨텐트를 제공할 수 있다.
이하에서는, 도 42 내지 도 44를 참조하여, 웨어러블 글래스(100)가 설정 정보에 따라 알림 컨텐트를 제공하는 동작에 대해서 자세히 살펴보기로 한다.
도 42는 알림 이벤트에 대응하는 컨텐트의 출력과 관련된 설정 정보(4200)의 일례를 나타내는 도면이다.
도 42에 도시된 바와 같이, 사용자는 위치(4201) 또는 애플리케이션(4202) 별로 알림 컨텐트의 출력 여부를 설정할 수 있다.
예를 들어, 사용자는, 도서관에 위치하는 경우 알림 컨텐트의 출력을 차단하고, 집에 위치하는 경우 알림 컨텐트의 전체를 출력하고, 사무실에 위치하는 경우 알림 컨텐트의 일부를 출력하는 것으로 설정할 수 있다.
또한, 사용자는, 제 1 애플리케이션에 대응하는 알림 컨텐트는 일부를 출력하고, 제 2 애플리케이션에 대응하는 알림 컨텐트는 출력을 차단하는 것으로 설정할 수도 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 알림 컨텐트의 출력과 관련된 설정 정보(4200)를 모바일 단말(200) 또는 서버(300)로부터 획득하고, 메모리에 설정 정보(4200)를 저장할 수 있다.
그리고 웨어러블 글래스(100)는, 알림 이벤트가 발생하는 경우, 설정 정보에 기초하여 알림 컨텐트를 출력할 수 있다. 도 43 및 도 44를 참조하기로 한다.
도 43 및 도 44는 웨어러블 글래스가 사용자의 설정 정보에 기반하여 알림 이벤트에 대응하는 컨텐트를 출력하는 일례를 나타내는 도면이다.
도 43을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 집에 있는 동안 웨어러블 글래스(100)가 뉴스 컨텐트를 포함하는 푸쉬 메시지를 서버(300)로부터 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
웨어러블 글래스(100)는, 알림 이벤트를 출력하기 전에 알림 이벤트의 출력과 관련된 설정 정보(4200)를 확인할 수 있다. 설정 정보(4200)에는 웨어러블 글래스(100)를 착용한 사용자가 집에 위치는 경우, 알림 컨텐트의 전체를 출력하도록 설정되어 있으므로, 웨어러블 글래스(100)는, 뉴스 컨텐트의 전체(4300)를 출력할 수 있다.
도 44를 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 사무실에 있는 동안 웨어러블 글래스(100)는 뉴스 컨텐트를 포함하는 푸쉬 메시지를 모바일 단말(200)을 통해 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
웨어러블 글래스(100)는, 알림 이벤트를 출력하기 전에 알림 이벤트의 출력과 관련된 설정 정보(4200)를 확인할 수 있다. 설정 정보(4200)에는 웨어러블 글래스(100)를 착용한 사용자가 사무실에 위치는 경우, 알림 컨텐트의 일부를 출력하도록 설정되어 있으므로, 웨어러블 글래스(100)는, 뉴스 컨텐트의 일부(예컨대, 헤드라인)(4400)를 출력할 수 있다.
도 45는 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 외부 웨어러블 디바이스로부터 긴급 상황 알림 정보를 수신하는 방법을 설명하기 위한 순서도이다.
단계 S4510에서, 외부 웨어러블 디바이스(400)는, 사용자의 생체 정보를 측정할 수 있다.
외부 웨어러블 디바이스(400)는, 반지, 목걸이, 밴드, 손목 시계, 신발, 귀걸이, 헤어밴드, 옷, 장갑, 골무 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 의하면, 외부 웨어러블 디바이스(400)는, 맥박수 정보, 혈압 정보, 심박수 정보, 체온 정보 등을 측정할 수 있다.
단계 S4520에서, 외부 웨어러블 디바이스(400)는, 생체 정보에 기반하여, 긴급 상황인지 여부를 판단할 수 있다.
예를 들어, 외부 웨어러블 디바이스(400)는, 일정 시간 동안 사용자의 맥박수가 임계 횟수(예컨대, 분당 100회) 이상이거나, 사용자의 체온이 임계 온도(예컨대, 38℃) 이상인 경우, 긴급 상황으로 판단할 수 있다.
단계 S4530에서, 외부 웨어러블 디바이스(400)는, 긴급 상황으로 판단되는 경우, 긴급 상황 알림 정보를 웨어러블 글래스(100)에 전송할 수 있다. 긴급 상황 알림 정보에는, 외부 웨어러블 디바이스(400)에서 측정된 생체 정보, 긴급 상황을 알리는 메시지, 긴급 상황을 나타내는 아이콘 등이 포함될 수 있다.
본 발명의 일 실시예에 의하면, 외부 웨어러블 디바이스(400)는 근거리 통신(예컨대, 블루투스, 와이파이다이렉트, NFC 등)을 이용하여, 긴급 상황 알림 정보를 웨어러블 글래스(100)에 전송할 수 있다.
본 발명의 일 실시예에 의하면, 외부 웨어러블 디바이스(400)는, 모바일 단말(200) 또는 서버(300)를 통해 웨어러블 글래스(100)에 긴급 상황 알림 정보를 전송할 수도 있다.
단계 S4530에서, 웨어러블 글래스(100)는 알림 이벤트 발생을 감지할 수 있다. 예를 들어, 웨어러블 글래스(100)는 긴급 상황 알림 메시지를 출력해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
단계 S4550에서, 웨어러블 글래스(100)는 알림 컨텐트를 제공할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 긴급 상황이므로, 사용자의 움직임 패턴 정보 또는 외부 이미지 정보와 무관하게 긴급 상황 알림 메시지를 즉시 제공할 수 있다. 도 46을 참조하여, 웨어러블 글래스(100)가 긴급 상황 알림 메시지를 출력하는 동작에 대해서 좀 더 자세히 살펴보기로 한다.
도 46은 웨어러블 글래스가 외부 웨어러블 디바이스로부터 수신한 맥박 수 정보를 표시하는 일례를 나타내는 도면이다.
도 46의 4610을 참조하면, 스마트 시계(400-1)는 사용자의 맥박 수를 측정할 수 있다. 스마트 시계(400-1)는 사용자의 맥박 수를 소정 주기로 측정할 수 있다. 스마트 시계(400-1)는 사용자의 맥박 수를 특정 이벤트 발생 시에 측정할 수도 있다. 특정 이벤트는 사용자가 운동 모드를 설정하는 이벤트 또는 맥박 수 측정을 요청하는 버튼을 선택하는 이벤트 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
스마트 시계(400-1)가 사용자의 맥박 수를 측정한 결과, 97 BPM(beats per minute, 분당 맥의 수)일 수 있다. 사용자의 일반적인 맥박 수는 81 BPM일 수 있다.
도 46의 4620을 참조하면, 스마트 시계(400-1)는, 측정된 맥박 수(97 BPM)와 사용자의 일반적인 맥박 수(81 BPM)를 비교할 수 있다. 측정된 맥박 수(97 BPM)와 사용자의 일반적인 맥박 수(81 BPM)의 차가 임계 값(예컨대, 10 BPM)을 초과하므로, 스마트 시계(400-1)는, 사용자의 맥박 수에 이상이 발생했다고 판단할 수 있다.
이 경우, 스마트 시계(400-1)는, ‘맥박수 이상’이라는 알림 메시지를 출력할 수 있다. 또한, 스마트 시계(400-1)는, 웨어러블 글래스(100)에 맥박 수가 이상하다는 긴급 상황 알림 정보를 전송할 수 있다.
도 46의 4630을 참조하면, 웨어러블 글래스(100)는, 스마트 시계(400-1)로부터 직접 긴급 상황 알림 정보를 수신할 수도 있고, 모바일 단말(200)을 통해서 긴급 상황 알림 정보를 수신할 수도 있다.
이때, 웨어러블 글래스(100)는 수신된 긴급 상황 알림 정보에 기초하여, 긴급 상황 알림 컨텐트(예컨대, 긴급! 맥박수가 떨어졌습니다!)를 출력할 수 있다.
본 발명의 일 실시예에 의하면, 사용자는 웨어러블 글래스(100)를 통해서 외부 웨어러블 디바이스(400)에서 측정되는 생체 정보 및 긴급 상황 알림 컨텐트를 실시간으로 확인할 수 있다.
도 47은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 외부 장치를 통해 알림 이벤트에 대응하는 컨텐트를 출력하는 방법을 설명하기 위한 순서도이다.
단계 S4710에서, 웨어러블 글래스(100)는, 알림 이벤트 발생을 감지할 수 있다.
단계 S4720에서, 웨어러블 글래스(100)는, 알림 이벤트 발생을 감지한 경우, 사용자의 움직임 패턴 정보를 획득할 수 있다. 사용자의 움직임 패턴 정보는, 사용자의 동작 상태 정보, 사용자의 이동 속도 정보, 및 사용자의 위치 정보 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
단계 S4730에서, 웨어러블 글래스(100)는, 알림 컨텐트의 제공 방법을 결정할 수 있다. 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 알림 컨텐트의 제공 시기를 결정할 수 있다. 또한, 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 알림 컨텐트의 제공 형태를 결정할 수도 있다.
단계 S4710 내지 단계 S4730은, 도 5의 단계 S510 내지 단계 S530에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S4740에서, 웨어러블 글래스(100)는, 알림 컨텐트를 출력할 수 있다. 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 알림 컨텐트의 제공 방법에 따라 알림 컨텐트를 출력할 수 있다. 예를 들어, 웨어러블 글래스(100)는 알림 컨텐트의 일부를 출력할 수 있다.
단계 S4750에서, 웨어러블 글래스(100)는, 알림 컨텐트의 외부 장치(4700)로의 전송을 요청하는 사용자 입력을 수신할 수 있다. 이때, 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은 모션 입력, 터치 입력, 키 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 의하면, 외부 장치(4700)는 웨어러블 글래스(100) 이외의 다른 웨어러블 디바이스일 수 있다. 예를 들어, 외부 장치(4700)는, 스마트 시계, 밴드, 목걸이 등일 수 있다. 또한, 외부 장치(4700)는, 웨어러블 글래스(100)와 연결된 모바일 단말(200)일 수도 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 알림 컨텐트를 전송하기 위한 외부 장치(4700)를 선택하는 입력을 수신할 수도 있다. 예를 들어, 웨어러블 글래스(100)는, 스마트 시계를 선택하는 입력 및 스마트 시계로 알림 컨텐트의 전송을 요청하는 입력을 수신할 수 있다.
본 발명의 일 실시예에 의하면, 알림 컨텐트를 전송하기 위한 외부 장치(4700)는 미리 결정되어 있을 수도 있다.
또한, 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 근거리 통신 반경 내에 위치하는 웨어러블 디바이스를 검색하고, 검색된 웨어러블 디바이스로 알림 컨텐트를 전송할 수도 있다.
단계 S4760에서, 웨어러블 글래스(100)는, 사용자 입력에 따라 알림 컨텐트를 외부 장치(4700)로 전송할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 근거리 통신(예컨대, 블루투스) 또는 이동 통신(예컨대, 3G/4G/5G 등)을 이용하여 알림 컨텐트를 외부 장치(4700)로 전송할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 외부 장치(4700)로 직접 알림 컨텐트를 전송할 수도 있고, 모바일 단말(200)을 통해 외부 장치(4700)로 알림 컨텐트를 전송할 수도 있다.
예를 들어, 외부 장치(4700)가 웨어러블 디바이스인 경우, 웨어러블 글래스(100)는, 웨어러블 디바이스와 웨어러블 글래스(100)를 연결하는 모바일 단말(200)을 통해 외부 장치(4700)로 알림 컨텐트를 전송할 수 있다.
단계 S4770에서, 외부 장치(4700)는, 알림 컨텐트를 출력할 수 있다. 예를 들어, 외부 장치(4700)는 화면에 알림 컨텐트를 표시할 수 있다. 알림 컨텐트가 동영상인 경우, 외부 장치(4700)는, 알림 컨텐트를 재생할 수도 있다. 도 48을 참조하여, 웨어러블 글래스(100)와 연결된 외부 장치(4700)에서 알림 컨텐트를 출력하는 동작에 대해서 좀 더 살펴보기로 한다.
도 48은 웨어러블 글래스가 사용자 입력에 기반하여 알림 이벤트에 대응하는 컨텐트를 외부 장치를 통해 출력하는 일례를 나타내는 도면이다.
도 48의 4800-1을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 횡단 보도를 건너는 중에, 웨어러블 글래스(100)가 서버(300)로부터 뉴스 컨텐트를 포함하는 푸쉬 메시지를 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 컨텐트를 표시하기 전에 사용자의 움직임 패턴 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 사용자가 3km/h의 속도로 이동 중임을 확인일 수 있다.
웨어러블 글래스(100)는 사용자가 이동 중이므로, 사용자의 시야를 많이 가리지 않기 위해, 뉴스 컨텐트의 일부(4810)를 출력할 수 있다. 예를 들어, 웨어러블 글래스(100)는 뉴스 컨텐트에서 헤드라인을 추출하고, 추출된 헤드라인을 출력할 수 있다.
도 48의 4800-2를 참조하면, 사용자는, 뉴스 컨텐트의 헤드라인을 확인한 후 뉴스 컨텐트의 전체(4830)를 스마트 시계(4800)에서 확인하기 위해 웨어러블 글래스(100) 앞에서 손을 흔드는 쉐이킹 제스처(4820)를 수행할 수 있다.
이 경우, 웨어러블 글래스(100)는 뉴스 컨텐트의 일부(4810)(예컨대, 헤드라인) 를 출력하는 중에 사용자의 쉐이킹 제스처(4820)을 감지할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 깊이 센서(154), 이미지 센서(161) 등을 이용하여, 사용자가 손을 흔드는 쉐이킹 제스처(4820)를 감지할 수 있다.
웨어러블 글래스(100)는 사용자의 쉐이킹 제스처(4820)에 따라 뉴스 컨텐트를 스마트 시계(4800)로 전송할 수 있다. 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 직접 스마트 시계(4800)로 뉴스 컨텐트를 전송할 수도 있고, 모바일 단말(200)을 통해서 뉴스 컨텐트를 스마트 시계(4800)로 전송할 수도 있다.
본 발명의 일 실시예에 의하면, 스마트 시계(4800)는, 웨어러블 글래스(100)로부터 수신된 뉴스 컨텐트의 전체(4830)를 화면에 표시할 수 있다. 이때, 웨어러블 글래스(100)는 더 이상 뉴스 컨텐트의 일부(4810)를 출력하지 않을 수 있다.
한편, 본 발명의 일 실시예에 의하면, 사용자의 의도와 무관하게 뉴스 컨텐트가 웨어러블 글래스(100)에서 스마트 시계(4800)로 전송되는 것을 방지하기 위해, 웨어러블 글래스(100)는, 쉐이킹 제스처(4820)의 유지 시간이 임계 시간 이상이거나 쉐이킹 횟수가 소정 횟수(예컨대, 2회) 이상인 경우에만 뉴스 컨텐트를 스마트 시계(4800)로 전송할 수도 있다.
한편, 도 48에서는, 알림 컨텐트의 전송을 요청하는 사용자 입력이 쉐이킹 제스처(4820)인 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 사용자는 알림 컨텐트의 전송을 요청하기 위한 음성을 웨어러블 글래스(100)에 입력할 수도 있고, 웨어러블 글래스(100)에 포함된 특정 버튼을 선택할 수도 있다.
도 49는 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 외부 장치로부터의 요청에 응답하여 알림 이벤트에 대응하는 컨텐트를 외부 장치로 전송하는 방법을 설명하기 위한 순서도이다.
단계 S4910에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
단계 S4920에서, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보를 획득할 수 있다.
단계 S4930에서, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보에 기초하여 결정된 제공 방법에 따라 알림 컨텐트를 출력할 수 있다.
단계 S4910 내지 단계 S4930은, 도 47의 단계 S4710 내지 단계 S4730에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S4940에서, 외부 장치(4900)는, 외부 장치(4900)에서의 알림 컨텐트의 출력을 요청하는 사용자 입력을 수신할 수 있다.
본 발명의 일 실시예에 의하면, 외부 장치(4900)는 웨어러블 글래스(100) 이외의 다른 웨어러블 디바이스일 수 있다. 예를 들어, 외부 장치(4900)는, 스마트 시계, 밴드, 목걸이 등일 수 있다. 또한, 외부 장치(4900)는, 웨어러블 글래스(100)와 연결된 모바일 단말(200)일 수도 있다.
본 발명의 일 실시예에 의하면, 알림 컨텐트의 출력을 요청하는 사용자 입력은 다양할 수 있다. 예를 들어, 사용자 입력은 모션 입력, 터치 입력, 키 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다.
단계 S4950에서, 외부 장치(4900)는, 알림 컨텐트의 전송을 웨어러블 글래스(100)에 요청할 수 있다. 외부 장치(4900)는 직접 웨어러블 글래스(100)에 알림 컨텐트의 전송을 요청할 수도 있고, 모바일 단말(200)을 통해서 웨어러블 글래스(100)에 알림 컨텐트의 전송을 요청할 수도 있다.
단계 S4960에서, 웨어러블 글래스(100)는, 알림 컨텐트를 외부 장치(4900)로 전송할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 근거리 통신(예컨대, 블루투스) 또는 이동 통신(예컨대, 3G/4G/5G 등)을 이용하여 알림 컨텐트를 외부 장치(4900)로 전송할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 외부 장치(4900)로 직접 알림 컨텐트를 전송할 수도 있고, 모바일 단말(200)을 통해 외부 장치(4900)로 알림 컨텐트를 전송할 수도 있다. 예를 들어, 외부 장치(4900)가 웨어러블 디바이스인 경우, 웨어러블 글래스(100)는, 웨어러블 디바이스와 웨어러블 글래스(100)를 연결하는 모바일 단말(200)을 통해 외부 장치(4900)로 알림 컨텐트를 전송할 수 있다.
단계 S4970에서, 외부 장치(4900)는, 알림 컨텐트를 출력할 수 있다. 예를 들어, 외부 장치(4900)는 화면에 알림 컨텐트를 표시할 수 있다. 알림 컨텐트가 동영상인 경우, 외부 장치(4900)는, 알림 컨텐트를 재생할 수도 있다. 도 50을 참조하여, 웨어러블 글래스(100)와 연결된 외부 장치(4900)에서 알림 컨텐트를 출력하는 동작에 대해서 좀 더 살펴보기로 한다.
도 50은 웨어러블 글래스와 연결된 외부 장치를 통해 수신되는 사용자 입력에 기반하여, 외부 장치에서 알림 이벤트에 대응하는 컨텐트를 표시하는 일례를 나타내는 도면이다.
도 50의 5000-1을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 횡단 보도를 건너는 중에, 웨어러블 글래스(100)가 서버(300)로부터 뉴스 컨텐트를 포함하는 푸쉬 메시지를 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 뉴스 컨텐트를 표시하기 전에 사용자의 움직임 패턴 정보를 획득할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 사용자가 3km/h의 속도로 이동 중임을 확인일 수 있다.
웨어러블 글래스(100)는 사용자가 이동 중이므로, 사용자의 시야를 많이 가리지 않기 위해, 뉴스 컨텐트의 일부(5010)를 출력할 수 있다. 예를 들어, 웨어러블 글래스(100)는 뉴스 컨텐트에서 헤드라인을 추출하고, 추출된 헤드라인을 출력할 수 있다.
도 50의 5000-2를 참조하면, 사용자는, 뉴스 컨텐트의 헤드라인을 확인한 후 뉴스 컨텐트의 전체(5030)를 스마트 시계(5000)에서 확인하기 위해, 스마트 시계(5000)의 특정 버튼을 선택할 수 있다. 특정 버튼은 웨어러블 글래스(100)를 통해 표시되는 알림 컨텐트를 스마트 시계(5000)에서 표시하라는 명령에 대응하는 버튼일 수 있다. 본 발명의 일 실시예에 의하면, 특정 버튼은 물리적 버튼일 수도 있고, GUI 형태의 가상의 버튼일 수도 있다.
스마트 시계(5000)는, 웨어러블 글래스(100)에서 표시하고 있는 뉴스 컨텐트의 전송을 웨어러블 글래스(100)에 요청할 수 있다.
웨어러블 글래스(100)는 스마트 시계(5000)의 요청에 응답하여, 뉴스 컨텐트를 스마트 시계(5000)로 전송할 수 있다. 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 직접 스마트 시계(5000)로 뉴스 컨텐트를 전송할 수도 있고, 모바일 단말(200)을 통해서 뉴스 컨텐트를 스마트 시계(5000)로 전송할 수도 있다.
도 50의 5000-3을 참조하면, 스마트 시계(5000)는, 웨어러블 글래스(100)로부터 수신된 뉴스 컨텐트의 전체(5030)를 화면에 표시할 수 있다. 이때, 웨어러블 글래스(100)는 더 이상 뉴스 컨텐트의 일부(5010)를 출력하지 않을 수 있다.
도 51은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 사용자의 움직임 패턴 정보에 기초하여 알림 이벤트에 대응하는 컨텐트를 외부 장치를 통해 출력하는 방법을 설명하기 위한 순서도이다.
단계 S5110에서, 웨어러블 글래스(100)는, 외부 장치(5100)와 통신 링크를 형성할 수 있다.
예를 들어, 웨어러블 글래스(100)는, 외부 장치(5100)와 근거리 통신 링크를 형성할 수도 있고, 이동 통신 링크(예컨대, 3G, 4G, 5G 등)를 형성할 수도 있다. 근거리 통신에는 블루투스, BLE (Bluetooth Low Energy), 와이파이 다이렉트, UWB(ultra wideband), Zigbee, NFC(Near Field Communication unit), Ant+ 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
단계 S5120에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지할 수 있다.
단계 S5130에서, 웨어러블 글래스(100)는, 알림 이벤트의 발생을 감지하는 경우, 사용자의 움직임 패턴 정보를 획득할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 가속도 센서, 기울기 센서 및 위치 센서 중 적어도 하나를 이용하여, 사용자의 움직임 패턴 정보를 획득할 수 있다. 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자의 일정 정보나 생활 패턴 정보를 이용하여, 사용자의 움직임 패턴 정보를 획득할 수도 있다. 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 외부의 웨어러블 디바이스에서 측정된 생체 정보를 이용하여, 사용자의 움직임 패턴을 분석할 수도 있다.
단계 S5140에서, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보에 기초하여, 알림 컨텐트를 외부 장치(5100)를 통해 출력하기로 결정할 수 있다.
예를 들어, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보를 이용하여, 사용자의 이동 속도가 임계 속도(예컨대, 4km/h) 미만인지 판단할 수 있다. 사용자의 이동 속도가 임계 속도 이상인 경우, 웨어러블 글래스(100)는, 알림 컨텐트를 외부 장치(5100)를 통해 출력하기로 결정하고, 사용자의 이동 속도가 임계 속도 미만인 경우 알림 컨텐트를 웨어러블 글래스(100)에서 출력하기로 결정할 수 있다.
단계 S5150에서, 웨어러블 글래스(100)는, 알림 컨텐트를 외부 장치(5100)를 통해 출력하기로 결정한 경우, 알림 컨텐트를 외부 장치(5100)로 전송할 수 있다. 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 기 형성된 통신 링크를 이용하여 알림 컨텐트를 외부 장치(5100)로 전송할 수 있다.
단계 S5160에서, 외부 장치(5100)는, 알림 이벤트에 대응하는 컨텐트를 출력할 수 있다. 예를 들어, 외부 장치(5100)는 화면에 알림 컨텐트를 표시할 수 있다. 알림 컨텐트가 동영상인 경우, 외부 장치(5100)는, 알림 컨텐트를 재생할 수도 있다.
단계 S5170에서, 알림 컨텐트를 외부 장치(5100)를 통해 출력하지 않기로 결정한 경우, 웨어러블 글래스(100)는, 알림 컨텐트를 웨어러블 글래스(100)에서 출력할 수 있다.
도 52는 웨어러블 글래스가 사용자의 움직임 패턴 정보에 기반하여 알림 이벤트에 대응하는 컨텐트를 외부 장치를 통해 출력하는 일례를 나타내는 도면이다.
도 52의 5200-1을 참조하면, 웨어러블 글래스(100)를 착용한 사용자가 사람이 많은 공공 장소를 걷고 있는 중에, 웨어러블 글래스(100)가 서버(300)로부터 뉴스 컨텐트(5210)를 포함하는 푸쉬 메시지를 수신할 수 있다. 이 경우, 웨어러블 글래스(100)는, 뉴스 컨텐트(5210)를 표시해야 하는 알림 이벤트가 발생했음을 감지할 수 있다.
웨어러블 글래스(100)는 뉴스 컨텐트(5210)를 표시하기 전에 사용자의 움직임 패턴 정보를 획득하고, 사용자의 이동 속도가 임계 속도(예컨대, 2km/h)미만인지 판단할 수 있다. 예를 들어, 공공 장소를 걷고 있는 사용자의 이동 속도는 3km/h일 수 있다. 이 경우, 웨어러블 글래스(100)는, 사용자의 이동 속도(예컨대, 3km/h)가 임계 속도(2km/h)이상이므로, 뉴스 컨텐트(5210)를 웨어러블 글래스(100)에서 출력하지 않고, 스마트 시계(5200)를 통해 뉴스 컨텐트(5210)를 출력하기로 결정할 수 있다.
도 52의 5200-2를 참조하면, 웨어러블 글래스(100)는 뉴스 컨텐트(5210)를 스마트 시계(5200)로 전송하면서, 뉴스 컨텐트(5210)의 출력을 요청할 수 있다. 스마트 시계(5200)는 웨어러블 글래스(100)의 요청에 따라 뉴스 컨텐트(5210)를 화면에 표시할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)를 착용한 사용자가 일정 속도 이상으로 이동 중인 경우, 웨어러블 글래스(100)는, 사용자의 시야를 가리지 않기 위해, 알림 컨텐트를 다른 웨어러블 디바이스(예컨대, 스마트 시계(5200))를 통해서 제공할 수 있다.
도 53은 본 발명의 일 실시예에 따르는, 웨어러블 글래스가 미 출력된 컨텐츠의 리스트를 제공하는 방법을 설명하기 위한 순서도이다.
단계 S5310에서, 웨어러블 글래스(100)는, 미 출력된 컨텐츠의 리스트를 요청하는 사용자 입력을 수신할 수 있다. 미 출력된 컨텐츠의 리스트는, 알림 이벤트 발생 시에 출력되지 않은 알림 컨텐트 및 알림 이벤트 발생 시에 일부 출력된 알림 컨텐트를 포함할 수 있다.
본 발명의 일 실시예에 의하면, 미 출력된 컨텐츠의 리스트를 요청하는 사용자 입력은 다양할 수 있다. 예를 들어, 미 출력된 컨텐츠의 리스트를 요청하는 사용자 입력은, 안경테의 일정 영역을 터치하는 입력, 안경테에 포함된 일정 버튼을 선택하는 입력, 미 출력 컨텐츠의 리스트를 요청하는 음성 입력, 고개를 올리는 헤드 업 모션 입력 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
단계 S5320에서, 웨어러블 글래스(100)는, 사용자 입력에 응답하여, 미 출력된 컨텐츠의 리스트를 제공할 수 있다. 예를 들어, 웨어러블 글래스(100)는, AR 형태로 미 출력된 컨텐츠의 리스트를 표시할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 미 출력된 컨텐츠를 한 화면에 표시할 수 없는 경우, 사용자로부터 스크롤 요청을 수신할 수 있다. 웨어러블 글래스(100)는, 사용자의 스크롤 요청에 응답하여, 미 출력된 컨텐츠를 상하 또는 좌우로 스크롤할 수 있다.
명세서 전체에서 “스크롤”은, 화면에 표시할 정보량이 웨어러블 글래스(100)의 화면 표시 가능 량 보다 많은 경우에, 웨어러블 글래스(100)가 화면에 표시되어 있는 정보를 세로 또는 가로 방향으로 이동시키면, 이동된 화면에서 사라진 부분만큼 반대측에서 새로운 정보가 나타나는 것을 의미 한다.
단계 S5330에서, 웨어러블 글래스(100)는, 리스트에 포함된 하나의 컨텐트를 선택하는 입력을 수신할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 고개를 상하로 흔드는 쉐이킹 모션 입력이 감지되는 경우, 사용자가 리스트의 중심에 표시된 컨텐트를 선택하는 것으로 인식할 수 있다.
또한, 웨어러블 글래스(100)는 리스트에 포함된 하나의 컨텐트를 선택하는 안구 입력을 수신할 수도 있다. 예를 들어, 웨어러블 글래스(100)는 소정 횟수 이상 눈을 깜빡이거나, 소정 시간 이상 특정 컨텐트를 응시하는 안구 입력에 기초하여, 리스트 내의 특정 컨텐트를 선택할 수도 있다.
단계 S5340에서, 웨어러블 글래스(100)는, 선택된 컨텐트를 출력할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 미 출력된 알림 컨텐트를 화면에 표시하거나 재생할 수 있다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 미 출력된 컨텐츠의 리스트를 제공함으로써, 사용자가 미 출력된 컨텐츠의 리스트 중에서 확인하고 싶은 알림 컨텐트를 선택하여 확인할 수 있도록 한다.
한편, 본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는 출력된 알림 컨텐츠의 리스트를 제공할 수도 있다. 사용자는 출력된 알림 컨텐츠의 리스트에서 특정 알림 컨텐트를 선택하여, 특정 알림 컨텐트를 다시 확인할 수도 있다.
도 54는 웨어러블 글래스가 사용자의 특정 입력에 기반하여 미 출력된 컨텐츠의 리스트를 제공하는 하는 일례를 나타내는 도면이다. 도 54에서는 미 출력된 컨텐츠의 리스트(5411)의 제공을 요청하는 사용자 입력이 헤드 업 모션(5410)이고, 스크롤을 요청하는 사용자 입력이 쉐이킹 모션(5420)인 경우를 예로 들어 설명하기로 한다.
도 54의 5400-1을 참조하면, 웨어러블 글래스(100)는, 알림 이벤트의 발생이 감지되지 않은 상태에서, 사용자가 고개를 들어 올리는 헤드 업 모션(5410)을 수신할 수 있다. 예를 들어, 웨어러블 글래스(100)는, 기울기 센서, 가속도 센서, 자이로스코프 센서 등을 이용하여, 사용자의 헤드 업 모션(5410)을 감지할 수 있다.
웨어러블 글래스(100)는 사용자의 헤드 업 모션(5410)에 응답하여, 미 출력된 컨텐트의 리스트(5411)를 표시할 수 있다.
한편, 본 발명의 일 실시예에 의하면, 사용자의 의도와 무관하게 미 출력된 컨텐츠의 리스트(5411)가 표시되는 것을 방지하기 위해, 웨어러블 글래스(100)는 헤드 업 모션(5410)의 유지 시간이 임계 시간(예컨대, 2초) 이상인 경우에만 미 출력된 컨텐츠의 리스트(5411)를 표시할 수도 있다.
도 54의 5400-2를 참조하면, 웨어러블 글래스(100)는, 미 출력 컨텐츠의 리스트(5411)를 표시한 상태에서 사용자가 고개를 좌우로 흔드는 쉐이킹 모션(5420)을 감지할 수 있다.
예를 들어, 웨어러블 글래스(100)는, 기울기 센서, 가속도 센서, 자이로스코프 센서 등을 이용하여, 소정 횟수(예컨대, 2회) 이상 고개를 좌우로 흔드는 쉐이킹 모션(5420)을 감지할 수 있다. 이때, 웨어러블 글래스(100)는, 사용자의 쉐이킹 모션(5420)에 따라 미 출력된 컨텐츠의 리스트(5411)를 스크롤할 수 있다.
본 발명의 일 실시예에 의하면, 사용자가 미 출력된 컨텐츠의 리스트(5411) 중 제 1 컨텐트(5422)를 선택하는 경우, 웨어러블 글래스(100)는, 제 1 컨텐트(5422)를 표시하거나 재생할 수 있다.
도 55는 웨어러블 글래스와 연결된 웨어러블 디바이스가 웨어러블 글래스에서 미 출력된 컨텐츠의 리스트를 제공하는 일례를 나타내는 도면이다.
도 55의 5510을 참조하면, 웨어러블 글래스(100)와 연결된 스마트 시계(5500)는, 웨어러블 글래스(100)에서 미 출력된 컨텐츠의 리스트를 표시할 수 있다. 사용자는 미 출력된 컨텐츠의 리스트를 확인하고, 미 출력된 컨텐츠의 리스트 중에서 제 1 컨텐트(5501)를 선택할 수 있다.
도 55의 5520을 참조하면, 스마트 시계(5500)는 제 1 컨텐트(5501)를 표시할 장치를 선택할 수 있는 선택 창을 제공할 수 있다.
사용자가 선택 창에서 바로 보기(5502)를 선택하는 경우, 스마트 시계(5500)는 웨어러블 글래스(100)에서 미 출력된 제 1 컨텐트(5501)를 스마트 시계(5500)의 화면에 표시할 수 있다.
사용자가 선택 창에서 웨어러블 글래스 보기(5503)를 선택하는 경우, 스마트 시계(5500)는 웨어러블 글래스(100)로 제 1 컨텐트(5501)의 출력을 요청할 수 있다. 웨어러블 글래스(100)는 스마트 시계(5500)의 요청에 따라, 제 1 컨텐트(5501)를 디스플레이할 수 있다.
도 56은 웨어러블 글래스와 연결된 웨어러블 디바이스가 웨어러블 글래스에서 기 출력된 컨텐츠의 리스트를 제공하는 일례를 나타내는 도면이다.
도 56의 5610을 참조하면, 웨어러블 글래스(100)와 연결된 스마트 시계(5600)는, 웨어러블 글래스(100)에서 기 출력된 컨텐츠의 리스트를 표시할 수 있다. 사용자는 기 출력된 컨텐츠의 리스트를 확인하고, 기 출력된 컨텐츠의 리스트 중에서 제 11 컨텐트(5601)를 선택할 수 있다.
도 56의 5620을 참조하면, 스마트 시계(5600)는 제 11 컨텐트(5601)를 표시할 장치를 선택할 수 있는 선택 창을 제공할 수 있다.
사용자가 선택 창에서 바로 보기(5602)를 선택하는 경우, 스마트 시계(5600)는 웨어러블 글래스(100)에서 기 출력된 제 11 컨텐트(5601)를 스마트 시계(5600)의 화면에 표시할 수 있다.
사용자가 선택 창에서 HMD 보기(5603)를 선택하는 경우, 스마트 시계(5500)는 웨어러블 글래스(100)로 제 11 컨텐트(5601)의 출력을 요청할 수 있다. 웨어러블 글래스(100)는 스마트 시계(5600)의 요청에 따라, 제 11 컨텐트(5601)를 디스플레이할 수 있다.
도 57 및 도 58은 본 발명의 일 실시예에 따르는, 웨어러블 글래스의 구성을 설명하기 위한 블록 구성도이다.
도 57에 도시된 바와 같이, 본 발명의 일 실시예에 따른 웨어러블 글래스(100)는, 출력부(110) 및 제어부(120)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 웨어러블 글래스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 웨어러블 글래스(100)는 구현될 수 있다.
예를 들어, 도 58에 도시된 바와 같이, 본 발명의 일 실시예에 따른 웨어러블 글래스(100)는, 출력부(110), 제어부(120) 이외에 사용자 입력부(130), 통신부(140), 센싱부(150), A/V 입력부(160), 메모리(170)를 더 포함할 수도 있다. 센싱부(150)는 센서부로 표현될 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
출력부(110)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(111)와 음향 출력부(112), 진동 모터(113) 등이 포함될 수 있다.
디스플레이부(111)는 웨어러블 글래스(100)에서 처리되는 정보를 표시할 수 있다. 예를 들어, 디스플레이부(111)는, 알림 이벤트에 대응하는 컨텐트(알림 메시지 정보)를 표시할 수 있다. 이때, 디스플레이부(111)는, 증강현실(AR: Augmented Reality), 혼합현실(MR: Mixed Reality), 또는 가상현실(VR: Virtual Reality) 형태로 알림 이벤트에 대응하는 컨텐트를 표시할 수 있다. 또한, 디스플레이부(111)는 알림 이벤트의 발생을 나타내는 인디케이터를 표시할 수도 있다.
디스플레이부(111)는, 미 출력된 컨텐츠의 리스트를 표시할 수 있다. 미 출력된 컨텐츠의 리스트는, 알림 이벤트 발생 시에 출력되지 않은 알림 컨텐트 및 알림 이벤트 발생 시에 일부 출력된 알림 컨텐트를 포함할 수 있다.
한편, 디스플레이부(111)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(111)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(111)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 웨어러블 글래스(100)의 구현 형태에 따라 웨어러블 글래스(100)는 디스플레이부(111)를 2개 이상 포함할 수도 있다.
음향 출력부(112)는 통신부(140)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(112)는 웨어러블 글래스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(112)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(113)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(113)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(113)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
출력부(110)는, 사용자의 움직임 패턴 정보에 기반하여 결정된 제공 방법에 따라, 알림 이벤트에 대응하는 컨텐트를 제공할 수 있다.
제어부(120)는, 통상적으로 웨어러블 글래스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(120)는, 메모리(170)에 저장된 프로그램들을 실행함으로써, 출력부(110), 사용자 입력부(130), 통신부(140), 센싱부(150), A/V 입력부(160) 등을 전반적으로 제어할 수 있다.
제어부(120)는, 알림 이벤트의 발생을 감지함에 따라 웨어러블 글래스(100)를 착용한 사용자의 움직임 패턴 정보를 획득할 수 있다. 사용자의 움직임 패턴 정보는, 사용자의 동작 상태 정보, 사용자의 이동 속도 정보, 및 사용자의 위치 정보 중 적어도 하나를 포함할 수 있다.
제어부(120)는, 웨어러블 글래스에 포함된 적어도 하나의 센서에 기반하여 사용자가 웨어러블 글래스(100)를 착용하고 있는지 판단하고, 사용자가 웨어러블 글래스를 착용하고 있는 것으로 판단되는 경우에 사용자의 움직임 패턴 정보를 획득하라 수 있다.
제어부(120)는, 웨어러블 글래스(100)에서 측정되는 가속도 정보, 기울기 정보, 및 위치 정보 중 적어도 하나를 이용하여, 사용자의 움직임 패턴을 분석함으로써, 사용자의 움직임 패턴 정보를 획득할 수도 있다.
제어부(120)는, 사용자의 움직임 패턴 정보에 기초하여, 알림 이벤트에 대응하는 컨텐트의 제공 시기를 결정할 수도 있다.
제어부(120)는, 사용자의 이동 속도가 임계 속도 미만인 경우 알림 컨텐트를 현재 시점에 출력하기로 결정하고, 사용자의 이동 속도가 임계 속도 이상인 경우 알림 컨텐트를 기 설정된 시점에 출력하기로 결정할 수 있다. 기 설정된 시점은, 알림 이벤트에 대응하는 컨텐트의 출력을 요청하는 사용자 입력을 수신하는 시점, 사용자의 움직임 패턴이 변화하는 시점, 및 기 설정된 시간이 경과한 시점 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
제어부(120)는, 사용자의 움직임 패턴 정보에 기초하여, 알림 이벤트에 대응하는 컨텐트의 제공 방법을 결정할 수도 있다. 예를 들어, 제어부(120)는, 사용자의 이동 속도가 임계 속도 이상인 경우 알림 컨텐트의 일부를 출력하기로 결정하고, 사용자의 이동 속도가 임계 속도 미만인 경우 알림 컨텐트의 전체를 출력하기로 결정할 수 있다.
제어부(120)는, 웨어러블 글래스(100)로부터 소정 거리 내의 환경 정보를 고려하여, 알림 컨텐트의 출력 형태를 오디오 신호 및 비디오 신호 중 적어도 하나로 결정할 수도 있다. 환경 정보는, 웨어러블 글래스(100)로부터 소정 거리 내에서 발생하는 외부 소리에 관한 정보, 이미지 센서(161)를 통해 획득되는 외부 이미지에 관한 정보 중 적어도 하나를 포함할 수 있다.
제어부(120)는, 센싱부(150)에서 출력된 신호에 기초하여, 수신된 알림 메시지 정보를 디스플레이부(111)에 표시하도록 디스플레이부(111)를 제어할 수 있다.
제어부(120)는, 센싱부(150)에 포함된 적어도 하나의 센서에서 출력된 신호에 기초하여, 사용자가 웨어러블 글래스를 착용하고 있는지 판단하고, 웨어러블 글래스를 착용하고 있는 것으로 판단되는 경우에 사용자의 움직임을 센싱하도록 센싱부(150)를 제어할 수 있다.
사용자 입력부(130)는, 사용자가 웨어러블 글래스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(130)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(130)에 대하여는 도 2에서 기 설명하였으므로, 중복되는 설명을 생략하기로 한다.
사용자 입력부(130)는, 알림 컨텐트의 출력을 요청하는 사용자 입력을 수신할 수 있다.
사용자 입력부(130)는, 컨텐트의 전체 출력을 요청하는 제 1 사용자 입력을 수신할 수도 있다. 제 1 사용자 입력은 모션 입력, 터치 입력, 키 입력, 음성 입력, 다중 입력 중 적어도 하나일 수 있으나, 이에 한정되는 것은 아니다. 본 발명의 일 실시예에 의하면, 알림 컨텐트의 전체 출력을 요청하는 제 1 사용자 입력은 기 설정되어 있을 수 있다. 예를 들어, 사용자는, 고개를 드는 헤드 업 모션을 전체 출력을 요청하는 제 1 사용자 입력으로 설정할 수 있다.
사용자 입력부(130)는, 알림 컨텐트의 일부 출력 차단을 요청하는 제 2 사용자 입력의 수신할 수 있다. 제 2 사용자 입력도 다양할 수 있다.
사용자 입력부(130)는, 미 출력된 컨텐츠의 리스트를 요청하는 사용자 입력을 수신할 수도 있다. 미 출력된 컨텐츠의 리스트를 요청하는 사용자 입력은, 안경테의 일정 영역을 터치하는 입력, 안경테에 포함된 일정 버튼을 선택하는 입력, 미 출력 컨텐츠의 리스트를 요청하는 음성 입력, 고개를 올리는 헤드 업 모션 입력 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
사용자 입력부(130)는, 알림 컨텐트의 외부 장치로의 전송을 요청하는 사용자 입력을 수신할 수 있다. 이때, 사용자 입력부(130)는, 알림 컨텐트를 전송하기 위한 외부 장치를 선택하는 입력을 수신할 수도 있다. 예를 들어, 사용자 입력부(130)는, 스마트 시계를 선택하는 입력 및 스마트 시계로 알림 컨텐트의 전송을 요청하는 입력을 수신할 수 있다.
통신부(140)는, 웨어러블 글래스(100)와 모바일 단말(200), 웨어러블 글래스(100)와 서버(300), 또는 웨어러블 글래스(100)와 외부 웨어러블 디바이스 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(140)는, 근거리 통신부(141), 이동 통신부(142), 방송 수신부(143)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(141)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(142)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(143)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 웨어러블 글래스(100)가 방송 수신부(143)를 포함하지 않을 수도 있다.
통신부(140)는 알림 메시지 정보를 수신할 수 있다.
통신부(140)는, 사용자의 움직임 패턴 정보를 웨어러블 글래스(100)와 연결된 외부 장치에 요청하고, 외부 장치로부터 사용자의 움직임 패턴 정보를 수신할 수 있다. 이때, 통신부(140)는, 웨어러블 글래스(100)에서 측정된 가속도 정보, 기울기 정보, 위치 정보 등을 외부 장치로 전송하면서, 사용자의 움직임 패턴 정보를 요청할 수도 있다.
통신부(140)는, 모바일 단말(200) 또는 서버(300)에 캡쳐된 외부 이미지를 전송하면서, 외부 이미지에 대한 분석을 요청할 수 있다. 통신부(140)는, 모바일 단말(200) 또는 서버(300)로부터 외부 이미지의 변화량 정보, 외부 이미지의 색상 정보, 및 외부 이미지에 포함된 객체 정보 중 적어도 하나를 수신할 수 있다.
센싱부(150)는, 웨어러블 글래스(100)의 상태, 웨어러블 글래스(100) 주변의 상태, 웨어러블 글래스(100)를 착용한 사용자의 상태, 사용자의 움직임 등을 감지하고, 감지된 정보를 제어부(120)로 전달할 수 있다. 예를 들어, 센싱부(150)는 사용자의 움직임을 센싱하고, 제어부(120)로 사용자의 움직임과 관련된 신호를 출력할 수 있다. 여기서 신호는 전기 신호일수 있다.
센싱부(150)는, 지자기 센서(Magnetic sensor)(151), 가속도 센서(Acceleration sensor)(152), 기울기 센서(153), 깊이 센서(154), 자이로스코프 센서(155), 위치 센서(예컨대, GPS)(156), 기압 센서(157), 근접 센서(158), 및 광 센서(159) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 센싱부(150)는, 온도 센서, 조도 센서, 압력 센서, 홍채 인식 센서 등을 포함할 수도 있다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
A/V(Audio/Video) 입력부(160)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(이미지 센서)(161)와 마이크로폰(162) 등이 포함될 수 있다. 카메라(이미지 센서)(161)는 화상 통화모드 또는 촬영 모드에서 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 카메라(이미지 센서)(161)를 통해 캡쳐된 이미지는 제어부(120) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(이미지 센서)(161)에서 처리된 화상 프레임은 메모리(170)에 저장되거나 통신부(140)를 통하여 외부로 전송될 수 있다. 카메라(이미지 센서)(161)는 웨어러블 글래스(100)의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(162)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(162)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(162)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(170)는, 제어부(120)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 미 출력된 컨텐츠의 리스트, 기 출력된 컨텐츠의 리스트, 캡쳐 이미지, 생체 정보, 사용자의 일정 정보, 사용자의 생활 패턴 정보 등)을 저장할 수도 있다.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 웨어러블 글래스(100)는 인터넷(internet)상에서 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
메모리(170)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(171), 알림 모듈(172), STT(Speak to Text) 모듈(173), 영상 처리 모듈(174) 등으로 분류될 수 있다.
UI 모듈(171)은, 애플리케이션 별로 웨어러블 글래스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 알림 모듈(172)은 웨어러블 글래스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 알림 모듈(172)은 디스플레이부(111)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(112)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(113)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
STT(Speech to Text) 모듈(173)은, 멀티미디어 컨텐트에 포함된 보이스를 텍스트로 변환함으로써, 멀티미디어 컨텐트에 대응하는 트랜스크립트를 생성할 수 있다.
영상 처리 모듈(174)은, 캡쳐된 이미지에 대한 분석을 통해 캡쳐된 이미지에 포함된 객체 정보, 에지 정보, 분위기 정보, 색상 정보 등을 획득할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
본 발명의 일 실시예에 의하면, 웨어러블 글래스(100)는, 사용자의 움직임 패턴 정보에 기초하여, 알림 컨텐트의 제공 시기, 제공 형태 등을 결정함으로써, 사용자가 알림 컨텐트를 확인하기 위험한 상황에 사용자의 시야가 가려지는 것을 방지할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (20)

  1. 웨어러블 글래스를 착용한 사용자의 이동 속도를 포함하는 움직임 정보를 획득하는 센싱부;
    외부 이미지를 획득하는 카메라;
    알림 정보를 표시하는 디스플레이부; 및
    상기 획득된 움직임 정보에 기초하여 상기 사용자의 이동 속도가 제1 임계 속도 이상인 경우, 상기 알림 정보가 현재 시점에 상기 디스플레이부에 디스플레이되지 않고, 기 설정된 시간이 경과한 후 디스플레이되도록 제어하고,
    상기 사용자의 이동 속도가 제1 임계 속도 미만이고 제2 임계 속도 이상인 경우, 상기 알림 정보의 키워드가 상기 디스플레이부에 디스플레이되도록 제어하고,
    상기 사용자의 이동 속도가 제2 임계 속도 미만인 경우, 상기 알림 정보의 전체가 상기 디스플레이부에 디스플레이되도록 제어하고,
    상기 획득된 외부 이미지에 기초하여 상기 외부 이미지의 색상 정보 또는 상기 외부 이미지에 포함된 객체 정보를 포함하는 외부 이미지에 관한 정보를 획득하고,
    상기 획득된 외부 이미지의 색상 정보에 기초하여 상기 알림 정보의 색상을 식별이 용이한 색상으로 변경하고, 상기 획득된 외부 이미지에 포함된 객체 정보에 기초하여 상기 알림 정보를 상기 객체와 중첩되지 않는 영역에 디스플레이되도록 제어하는 제어부를 포함하는 웨어러블 글래스.
  2. 제 1 항에 있어서, 상기 제어부는,
    상기 움직임 정보를 기초로 상기 웨어러블 글래스의 움직임 상태를 결정하고,
    상기 웨어러블 글래스의 움직임 상태를 기초로 상기 알림 정보를 디스플레이하는 디스플레이 형태를 결정하는 웨어러블 글래스.
  3. 제 1 항에 있어서, 상기 제어부는,
    상기 센싱부에 포함된 적어도 하나의 센서에 기반하여 사용자가 상기 웨어러블 글래스를 착용하고 있는지 판단하고, 상기 사용자가 상기 웨어러블 글래스를 착용하고 있는 것으로 판단되는 경우에 상기 사용자의 움직임을 센싱하여 상기 움직임 정보를 획득하도록 상기 센싱부를 제어하는, 웨어러블 글래스.
  4. 제 2 항에 있어서, 상기 제어부는,
    상기 센싱부에서 측정되는 가속도 정보, 기울기 정보, 고도 정보, 기압 정보 및 위치 정보 중 적어도 하나를 이용하여, 상기 웨어러블 글래스의 움직임 상태를 결정하는, 웨어러블 글래스.
  5. 제 2 항에 있어서, 상기 제어부는,
    외부의 웨어러블 디바이스로부터 수신되는 상기 웨어러블 디바이스의 움직임 정보를 더 이용하여 상기 웨어러블 디바이스의 움직임 상태를 결정하는, 웨어러블 글래스.
  6. 제 1 항에 있어서, 상기 제어부는,
    상기 알림 정보를 디스플레이하는 디스플레이 형태를 상기 알림 정보의 키워드를 하이라이트하여 디스플레이하거나, 상기 알림 정보의 투명도를 설정하여 디스플레이하는 것으로 결정하는 웨어러블 글래스.
  7. 삭제
  8. 제 1 항에 있어서, 상기 제어부는,
    상기 웨어러블 글래스로부터 소정 거리 내의 환경 정보를 고려하여, 상기 알림 정보의 디스플레이 형태를 오디오 신호 및 비디오 신호 중 적어도 하나로 결정하는, 웨어러블 글래스.
  9. 제 8 항에 있어서, 상기 환경 정보는,
    상기 웨어러블 글래스로부터 소정 거리 내에서 발생하는 외부 소리에 관한 정보, 및 상기 카메라를 통해 획득된 외부 이미지에 관한 정보 중 적어도 하나를 포함하는, 웨어러블 글래스.
  10. 웨어러블 글래스에서 정보를 제공하는 방법에 있어서,
    알림 정보를 수신하는 단계;
    상기 웨어러블 글래스를 착용한 사용자의 이동 속도를 포함하는 움직임 정보를 획득하고, 카메라를 통해 외부 이미지를 획득하는 단계;
    상기 획득된 외부 이미지에 기초하여 상기 외부 이미지의 색상 정보 또는 상기 외부 이미지에 포함된 객체 정보를 포함하는 외부 이미지에 관한 정보를 획득하는 단계;

    상기 획득된 움직임 정보에 기초하여 상기 사용자의 이동 속도가 제1 임계 속도 이상인 경우, 상기 알림 정보를 현재 시점에 디스플레이하지 않고, 기 설정된 시간이 경과한 후 디스플레이하는 단계; 및
    상기 사용자의 이동 속도가 제1 임계 속도 미만이고 제2 임계 속도 이상인 경우, 상기 알림 정보의 키워드를 디스플레이하고, 상기 사용자의 이동 속도가 제2 임계 속도 미만인 경우, 상기 알림 정보의 전체를 디스플레이하는 단계를 포함하고,
    상기 알림 정보는 상기 획득된 외부 이미지의 색상 정보에 기초하여 식별이 용이한 색상으로 변경되고, 상기 획득된 외부 이미지에 포함된 객체 정보에 기초하여 상기 객체와 중첩되지 않는 영역에 디스플레이되는 정보 제공 방법.
  11. 제 10 항에 있어서, 상기 웨어러블 글래스를 착용한 사용자의 이동 속도를 포함하는 움직임 정보를 획득하는 단계는,
    상기 웨어러블 글래스에 포함된 적어도 하나의 센서에 기반하여 사용자가 상기 웨어러블 글래스를 착용하고 있는지 판단하는 단계; 및
    상기 사용자가 상기 웨어러블 글래스를 착용하고 있는 것으로 판단된 경우, 상기 사용자의 움직임 정보를 센싱하여 상기 움직임 정보를 획득하는 단계를 포함하는, 정보 제공 방법.
  12. 제 10 항에 있어서,
    상기 움직임 정보를 기초로 상기 웨어러블 글래스의 움직임 상태를 결정하는 단계; 및
    상기 웨어러블 글래스의 움직임 상태를 기초로 상기 알림 정보를 디스플레이하는 디스플레이 형태를 결정하는 단계를 더 포함하는, 정보 제공 방법.
  13. 제 12 항에 있어서, 상기 움직임 정보를 기초로 상기 웨어러블 글래스의 움직임 상태를 결정하는 단계는,
    상기 웨어러블 글래스의 센싱부에서 측정되는 가속도 정보, 기울기 정보, 고도 정보, 기압 정보 및 위치 정보 중 적어도 하나를 이용하여, 상기 웨어러블 글래스의 움직임 상태를 결정하는, 정보 제공 방법.
  14. 제 12 항에 있어서, 상기 움직임 정보를 기초로 상기 웨어러블 글래스의 움직임 상태를 결정하는 단계는,
    외부의 웨어러블 디바이스로부터 수신되는 상기 웨어러블 디바이스의 움직임 정보를 더 이용하여 상기 웨어러블 디바이스의 움직임 상태를 결정하는, 정보 제공 방법.
  15. 제 10 항에 있어서, 상기 디스플레이하는 단계는,
    상기 알림 정보를 디스플레이하는 디스플레이 형태를 상기 알림 정보의 키워드를 하이라이트하여 디스플레이하거나, 상기 알림 정보의 투명도를 설정하여 디스플레이하는 것으로 결정하는 단계를 포함하는, 정보 제공 방법.
  16. 삭제
  17. 제 10 항에 있어서, 상기 디스플레이하는 단계는,
    상기 웨어러블 글래스로부터 소정 거리 내의 환경 정보를 획득하는 단계; 및
    상기 환경 정보를 고려하여, 상기 알림 정보를 오디오 신호 및 비디오 신호 중 적어도 하나의 형태로 제공하도록 결정하는 단계를 포함하는, 정보 제공 방법.
  18. 제 17 항에 있어서, 상기 환경 정보는,
    상기 웨어러블 글래스로부터 소정 거리 내에서 발생하는 외부 소리에 관한 정보, 및 상기 카메라를 통해 획득된 외부 이미지에 관한 정보 중 적어도 하나를 포함하는, 정보 제공 방법.

  19. 삭제
  20. 삭제
KR1020150043300A 2014-07-31 2015-03-27 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법 KR102433291B1 (ko)

Priority Applications (9)

Application Number Priority Date Filing Date Title
TW104123614A TWI670520B (zh) 2014-07-31 2015-07-22 可穿戴式眼鏡和使用其提供內容的方法
PCT/KR2015/007684 WO2016017997A1 (en) 2014-07-31 2015-07-23 Wearable glasses and method of providing content using the same
EP15178990.6A EP2980627A1 (en) 2014-07-31 2015-07-30 Wearable glasses and method of providing content using the same
US14/815,082 US10037084B2 (en) 2014-07-31 2015-07-31 Wearable glasses and method of providing content using the same
CN202010703799.6A CN111897425B (zh) 2014-07-31 2015-07-31 可穿戴眼镜和利用其提供信息的方法
CN201510465036.1A CN105320279B (zh) 2014-07-31 2015-07-31 可穿戴眼镜和利用其提供内容的方法
US16/026,071 US10452152B2 (en) 2014-07-31 2018-07-03 Wearable glasses and method of providing content using the same
US16/601,898 US10725556B2 (en) 2014-07-31 2019-10-15 Wearable glasses and method of providing content using the same
US16/939,177 US11150738B2 (en) 2014-07-31 2020-07-27 Wearable glasses and method of providing content using the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020140098626 2014-07-31
KR20140098626 2014-07-31

Publications (2)

Publication Number Publication Date
KR20160016540A KR20160016540A (ko) 2016-02-15
KR102433291B1 true KR102433291B1 (ko) 2022-08-17

Family

ID=55357236

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150043300A KR102433291B1 (ko) 2014-07-31 2015-03-27 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법

Country Status (2)

Country Link
KR (1) KR102433291B1 (ko)
TW (1) TWI670520B (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI581627B (zh) * 2016-07-29 2017-05-01 Bo-Ling Dai Media advertising method
KR20180028211A (ko) 2016-09-08 2018-03-16 엘지전자 주식회사 헤드 마운티드 디스플레이 및 그 제어 방법
TWI624694B (zh) * 2017-02-10 2018-05-21 智崴資訊科技股份有限公司 沉浸式互動體驗眼鏡
US10366540B2 (en) 2017-03-23 2019-07-30 Htc Corporation Electronic apparatus and method for virtual reality or augmented reality system
TWI633326B (zh) * 2017-09-11 2018-08-21 宏碁股份有限公司 多人定位系統以及多人定位方法
TWI704472B (zh) * 2018-11-14 2020-09-11 宏碁股份有限公司 用於顯示虛擬影像的電子裝置及其操作方法
KR102218652B1 (ko) * 2019-01-30 2021-02-22 서종훈 스마트 안경 및 스마트 안경 시스템
US10633007B1 (en) * 2019-01-31 2020-04-28 StradVision, Inc. Autonomous driving assistance glasses that assist in autonomous driving by recognizing humans' status and driving environment through image analysis based on deep neural network
KR20200117460A (ko) * 2019-04-04 2020-10-14 삼성전자주식회사 전자 장치 및 그의 발열 제어 방법
CN111783660B (zh) * 2020-07-01 2023-11-10 业成科技（成都）有限公司 眼动追踪装置及应用其的电子装置
TWI800743B (zh) * 2020-07-17 2023-05-01 開曼群島商粉迷科技股份有限公司 個人化內容推薦方法、圖形使用者介面及其系統
US11914835B2 (en) 2020-11-16 2024-02-27 Samsung Electronics Co., Ltd. Method for displaying user interface and electronic device therefor
KR20220066578A (ko) * 2020-11-16 2022-05-24 삼성전자주식회사 유저 인터페이스를 표시하는 방법 및 이를 지원하는 전자 장치
JP2022081342A (ja) 2020-11-19 2022-05-31 キヤノン株式会社 メガネ型情報機器、その方法及びプログラム
KR20220100143A (ko) * 2021-01-07 2022-07-15 삼성전자주식회사 웨어러블 전자 장치 및 모션 센서를 이용한 입력 구조물
US11711332B2 (en) 2021-05-25 2023-07-25 Samsung Electronics Co., Ltd. System and method for conversation-based notification management
KR102584676B1 (ko) * 2021-07-05 2023-10-04 계명대학교 산학협력단 사용자의 수면 상태를 감지하는 vr 장치 및 이의 제어방법
CN113791499B (zh) * 2021-09-18 2022-06-24 深圳市恒必达电子科技有限公司 一种智能采集并传输自然环境指数的vr装置
KR20230058992A (ko) * 2021-10-25 2023-05-03 삼성전자주식회사 라이다 시스템을 포함하는 전자 장치 및 그 전자 장치의 제어 방법
WO2024075924A1 (ko) * 2022-10-07 2024-04-11 삼성전자주식회사 알림 정보를 제공하기 위한 전자 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091789A (ja) * 2009-09-24 2011-05-06 Brother Industries Ltd ヘッドマウントディスプレイ
JP2013025220A (ja) * 2011-07-25 2013-02-04 Nec Corp 安全確保システム、装置、方法及びプログラム
JP2014071811A (ja) 2012-10-01 2014-04-21 Sony Corp 情報処理装置、表示制御方法及びプログラム
JP2014174519A (ja) 2013-03-13 2014-09-22 Seiko Epson Corp 虚像表示装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013049248A2 (en) * 2011-09-26 2013-04-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
KR101375868B1 (ko) * 2012-08-07 2014-03-17 한양대학교 산학협력단 감지 기능을 구비한 착용형 디스플레이 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011091789A (ja) * 2009-09-24 2011-05-06 Brother Industries Ltd ヘッドマウントディスプレイ
JP2013025220A (ja) * 2011-07-25 2013-02-04 Nec Corp 安全確保システム、装置、方法及びプログラム
JP2014071811A (ja) 2012-10-01 2014-04-21 Sony Corp 情報処理装置、表示制御方法及びプログラム
JP2014174519A (ja) 2013-03-13 2014-09-22 Seiko Epson Corp 虚像表示装置

Also Published As

Publication number Publication date
KR20160016540A (ko) 2016-02-15
TW201610472A (zh) 2016-03-16
TWI670520B (zh) 2019-09-01

Similar Documents

Publication Publication Date Title
KR102433291B1 (ko) 웨어러블 글래스 및 웨어러블 글래스의 컨텐트 제공 방법
CN105320279B (zh) 可穿戴眼镜和利用其提供内容的方法
KR102458665B1 (ko) 디바이스를 이용한 화면 처리 방법 및 장치
JP6966443B2 (ja) 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
CN108700982B (zh) 信息处理设备、信息处理方法以及程序
EP3382443B1 (en) Head-mounted display and method of operating the same
US9007301B1 (en) User interface
US11675996B2 (en) Artificial intelligence assisted wearable
KR102212030B1 (ko) 글래스 타입 단말기 및 이의 제어방법
US20150009309A1 (en) Optical Frame for Glasses and the Like with Built-In Camera and Special Actuator Feature
KR102361025B1 (ko) 웨어러블 글래스 및 웨어러블 글래스를 통하여 영상을 디스플레이하는 방법
AU2015232220A1 (en) Wearable device and method of operating the same
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
US20160371240A1 (en) Serial text presentation
WO2022245629A1 (en) Contextual visual and voice search from electronic eyewear device
US20230403460A1 (en) Techniques for using sensor data to monitor image-capture trigger conditions for determining when to capture images using an imaging device of a head- wearable device, and wearable devices and systems for performing those techniques

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant