KR102223278B1 - 글래스 타입 단말기 및 이의 제어방법 - Google Patents

글래스 타입 단말기 및 이의 제어방법 Download PDF

Info

Publication number
KR102223278B1
KR102223278B1 KR1020140061721A KR20140061721A KR102223278B1 KR 102223278 B1 KR102223278 B1 KR 102223278B1 KR 1020140061721 A KR1020140061721 A KR 1020140061721A KR 20140061721 A KR20140061721 A KR 20140061721A KR 102223278 B1 KR102223278 B1 KR 102223278B1
Authority
KR
South Korea
Prior art keywords
voice
microphone
input
user
type terminal
Prior art date
Application number
KR1020140061721A
Other languages
English (en)
Other versions
KR20150134666A (ko
Inventor
송유미
전장환
박정민
조태훈
김지연
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140061721A priority Critical patent/KR102223278B1/ko
Priority to US14/566,467 priority patent/US9503800B2/en
Priority to EP14004160.9A priority patent/EP2947561B1/en
Priority to CN201410841211.8A priority patent/CN105093526B/zh
Publication of KR20150134666A publication Critical patent/KR20150134666A/ko
Application granted granted Critical
Publication of KR102223278B1 publication Critical patent/KR102223278B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/08—Mouthpieces; Microphones; Attachments therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking

Abstract

본 발명은, 사용자의 두부(頭部)에 착용 가능하도록 이루어진 본체와, 상기 본체와 결합되어, 입력되는 음성이 외이도를 통해 전달되는 진동신호를 감지하도록 이루어진 제1 마이크와, 상기 본체와 결합되어, 입력되는 음성이 공기를 통해 전달되는 음성신호를 감지하도록 이루어진 제2 마이크와, 기등록된 사용자 음성에 대응되는 진동신호 및 음성신호를 저장한 메모리와, 애플리케이션에 대한 제어명령의 입력을 제한하는 잠금 상태에서 상기 본체의 착용이 감지되는 것에 응답하여, 상기 제1 마이크를 통해 감지된 진동신호가 기등록된 사용자 음성의 진동신호와 매칭되고 상기 제2 마이크를 통해 감지된 음성신호가 기등록된 사용자 음성의 음성신호와 매칭되면, 상기 잠금 상태를 해제 상태로 전환시키는 제어부를 포함하여 이루어진다.

Description

글래스 타입 단말기 및 이의 제어방법{GLASS TYPE TERMINAL AND CONTROL METHOD THEREOF}
본 발명은 안경처럼 사용자의 두부(頭部)에 착용 가능하도록 구성되는 단말기에 관한 것이다.
단말기는 이동 가능여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)으로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mounted terminal)로 나뉠 수 있다.
이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 이동 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 이동 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.
이와 같은 이동 단말기는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(multimedia player) 형태로 구현되고 있다.
최근 이동 단말기는 사용자가 주로 손에 쥐고 사용하는 차원을 넘어서, 신체에 착용할 수 있는 웨어러블 디바이스(wearable device)로 확장되고 있다. 이러한 웨어러블 디바이스의 일 예로 글래스 타입 단말기를 들 수 있다.
또한, 이러한 글래스 타입 단말기는 개인화 및 사생활 보호 차원에서 타인의 조작으로 인한 제어명령의 입력을 제한하는 잠금 상태를 실행하는 것이 가능하다. 이러한 잠금 상태에서, 특정 애플리케이션에 진입하기 위해서는 설정된 조건을 입력하여 잠금상태를 해제시키는 과정이 선행되어야한다.
이와 같이 글래스 타입 단말기의 잠금상태를 해제시키는 데 있어서, 그 과정이 복잡하면 보안은 강화될 수 있지만 사용자 편의에 반하게 되고, 사용자 편의에 중점을 두게 되면 상대적으로 보안은 취약할 수 있다. 예를 들어, 착용자가 특정 단어를 말했을 때 글래스 타입 단말기의 잠금상태가 해제되도록 설정된 경우, 사용자가 아닌 제3자가 특정 단어를 말하는 경우에는 잠금 상태가 해제되어버리는 문제점이 있다.
이에, 본 발명은 보안에는 강하면서 사용자가 편리한 방식으로 잠금 상태를 해제시킬 수 있도록 구현한 글래스 타입 단말기를 제공하는 데에 일 목적이 있다.
또한, 본 발명은 착용자의 목소리를 보다 정확하게 인식하여, 제3자의 사용시 등록된 사용자의 사생활을 보호할 수 있는 글래스 타입 단말기를 제공하는 데에 일 목적이 있다.
이와 같은 본 발명의 해결 과제를 달성하기 위하여, 본 발명의 일 실시예에 따르는 글래스 타입 단말기는, 사용자의 두부(頭部)에 착용 가능하도록 이루어진 본체와; 상기 본체와 결합되어, 입력되는 음성이 외이도를 통해 전달되는 진동신호를 감지하도록 이루어진 제1 마이크와; 상기 본체와 결합되어, 입력되는 음성이 공기를 통해 전달되는 음성신호를 감지하도록 이루어진 제2 마이크와; 기등록된 사용자 음성에 대응되는 진동신호 및 음성신호를 저장한 메모리와; 애플리케이션에 대한 제어명령의 입력을 제한하는 잠금 상태에서 상기 본체의 착용이 감지되는 것에 응답하여, 상기 제1 마이크를 통해 감지된 진동신호가 기등록된 사용자 음성의 진동신호와 매칭되고 상기 제2 마이크를 통해 감지된 음성신호가 기등록된 사용자 음성의 음성신호와 매칭되면, 상기 잠금 상태를 해제 상태로 전환시키는 제어부를 포함하여 이루어진다.
또한, 일 실시예에서, 상기 글래스 타입 단말기는, 상기 본체와 결합되고, 사용자의 양안 중 적어도 하나에 대응되도록 배치되는 디스플레이부를 더 포함하고, 상기 제어부는, 상기 본체의 착용이 감지되면, 상기 잠금상태에서 표시되는 잠금화면 상에 상기 제1 및 제2 마이크의 동작 상태를 나타내는 시각정보를 출력하도록 상기 디스플레이부를 제어하고, 상기 제1 및 제2 마이크의 동작 상태에 따라, 상기 제1 마이크를 통해 입력되는 음성의 진동신호와 상기 제2 마이크를 통해 입력되는 음성의 음성신호를 감지하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 본체의 착용이 감지되면 상기 제1 마이크와 상기 제2 마이크를 활성화하고, 상기 활성화된 제1 마이크의 동작 상태를 나타내는 제1 이미지객체와 상기 제2 마이크의 동작 상태를 나타내는 제2 이미지객체를 상기 디스플레이부에 각각 출력하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 제1 마이크를 통해 감지된 진동신호와 기등록된 사용자 음성에 대응되는 진동신호의 매칭 결과에 따라 상기 제1 이미지객체를 다르게 변경하고, 상기 제2 마이크를 통해 감지된 음성신호와 기등록된 사용자 음성에 대응되는 음성신호의 매칭 결과에 따라 상기 제2 이미지객체를 다르게 변경하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제1마이크는 골전도 픽업소자를 구비하고, 사용자의 양측 귀 중 적어도 하나에 대응되도록 배치되고, 상기 제2마이크는 커넥터를 통해 상기 본체의 일 프레임에 착탈 가능하게 장착되고 상기 장착을 통해 상기 본체와 결합되도록 구성되는 특징으로 한다.
또한, 일 실시예에서, 상기 제1마이크는 스피커와 일체로 결합되고, 상기 제어부는, 입력에 대응되는 스위칭 신호에 따라, 상기 제1 마이크가 온(on) 상태이면 상기 스피커가 오프(off)되도록 제어하고, 상기 스피커가 온(on) 상태이면 상기 제1 마이크를 오프(off)되도록 제어하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 기설정된 입력신호에 따라 음성등록모드에 진입하면, 상기 디스플레이부에 음성입력이 가능한 텍스트를 출력하고, 상기 출력된 텍스트에 대응되는 음성이 상기 제1 및 제2 마이크를 통해 입력되면, 상기 입력된 음성이 상기 출력된 텍스트의 발음과 일치하는지를 판단하고, 상기 판단에 근거하여 상기 제1 마이크를 통해 입력된 진동신호와 상기 제2 마이크를 통해 입력된 음성신호를 사용자 음성으로 등록하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 음성등록모드에서 제1 사용자 음성 및 제2 사용자 음성에 대응되는 진동신호와 음성신호가 각각 등록된 경우, 상기 제1 사용자 음성의 입력에 따라 실행되는 해제 상태와 상기 제2 사용자 음성의 입력에 따라 실행되는 해제 상태의 적용범위를 서로 다르게 적용하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 본체의 착용이 감지되면, 상기 잠금화면 상에 상기 제1 및 제2 마이크를 통해 음성의 입력을 유도하는 시각정보를 출력하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 제1 마이크를 통해 감지된 진동신호가 기등록된 사용자 음성에 대응되는 진동신호와 매칭되는 경우 제1 알람을 출력하고, 상기 제2 마이크를 통해 감지된 음성신호가 기등록된 사용자 음성에 대응되는 음성신호와 매칭되는 경우 제2 알람을 출력하도록 제어하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 제1 및 제2 마이크를 통해 입력된 음성의 진동신호와 음성신호가 기등록된 진동신호 및 음성신호 중 어느 하나와 매칭 실패하는 경우, 기설정된 일부 애플리케이션에 대해 상기 해제 상태를 적용하고 다른 애플리케이션에 대한 잠금 상태는 유지하도록 제어하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 제1 및 2 마이크를 통해 입력된 음성의 진동신호와 음성신호가 기등록된 진동신호 및 음성신호와 모두 매칭 실패하는 경우, 상기 잠금 상태를 유지하고, 상기 매칭 실패에 대응되는 시각정보를 상기 잠금 화면상에 출력하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 제1 및 제2 마이크를 통해 입력된 음성의 진동신호와 음성신호가 기등록된 진동신호 및 음성신호와 모두 매칭 실패하는 경우, 기설정된 일부 애플리케이션에 대해, 상기 잠금 상태를 해제 상태로 전환할지 여부를 판단하기 위한 사용자 응답을 요청하는 시각정보를 상기 디스플레이부에 출력하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 출력된 시각정보에 대응되는 사용자 응답에 근거하여, 기설정된 조건을 만족하는 동안 제3자의 음성을 기등록된 사용자의 음성으로 인식하도록 제어하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 기설정된 조건이 해제되면, 상기 제1 및 제2 마이크를 통해 입력된 상기 제3자의 음성을 기등록된 사용자 음성과 다르게 처리하도록 제어하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 제1 및 제2 마이크를 통해 입력된 음성이 상기 잠금 상태를 해제 상태로 전환하기 위한 음성명령과 매칭되고, 상기 입력된 음성의 진동신호 및 음성신호가 기등록된 진동신호 및 음성신호와 모두 매칭 실패하는 경우, 기설정된 일부 애플리케이션에 대해서만 상기 해제 상태를 적용하고, 해제된 일부 애플리케이션을 나타내는 아이콘을 상기 잠금 화면상에 출력시키는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 제1 및 제2 마이크를 통해 입력된 음성의 진동신호와 음성신호가 소정횟수 이상 기등록된 진동신호 및 음성신호 중 적어도 하나와 매칭 실패하는 경우,상기 잠금 상태를 해제 상태로 전환시키기 위한 다른 수단을 제시하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 제시된 다른 수단에 대응되는 입력에 따라 상기 잠금 상태가 해제 상태로 전환된 경우, 기설정된 시간이 경과하면 상기 해제 상태를 다시 상기 잠금 상태로 전환하도록 제어하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 제어부는, 상기 본체의 착용이 감지되면 상기 제1 및 제2 마이크를 통해 입력되는 주변의 소음을 감지하고, 상기 감지된 주변의 소음이 기설정된 기준범위를 초과하는 것으로 판단된 경우, 상기 매칭의 실패가 주변의 소음으로 인한 것임을 나타내는 시각정보를 상기 잠금 화면상에 출력하는 것을 특징으로 한다.
또한, 일 실시예에서, 상기 잠금 상태가 해제 상태로 전환된 후, 기설정된 애플리케이션의 실행에 대응되는 실행화면이 사용자 인증을 위한 정보입력의 요청을 포함하는 경우, 상기 제어부는, 상기 정보입력의 요청에 응답하여, 상기 제1 마이크를 통해 감지된 진동신호와 상기 제2 마이크를 통해 감지된 음성신호가 기등록된 진동신호 및 음성신호와 각각 매칭되는지 여부를 판단하고, 상기 판단에 따라 사용자 인증을 수행하도록 제어하는 것을 특징으로 한다.
상기에서 설명한 바와 같은 글래스 타입 단말기에 의하면, 잠금상태를 해제 하기 위하여, 복수의 마이크를 이용하여 입력된 사용자 음성으로부터 음성신호와 진동신호를 동시에 감지하도록 구현함으로써, 음성의 입력만으로 착용자가 등록된 사용자인지를 보다 명확하고 자연스럽게 식별할 수 있다. 그에 따라, 보안에는 강하면서 사용자에게 편리한 방식으로 본체의 잠금 상태를 해제시킬 수 있다.
또한, 본 발명의 실시예에 따른 글래스 타입 단말기에 의하면, 입력되는 음성만으로 착용자가 등록된 사용자인지 또는 제3자인지를 구별하여 진입가능한 애플리케인션의 범위를 서로 다르게 설정하는 것이 가능해진다. 그에 따라, 제3자에게 글래스 타입 단말기의 사용을 허용하는 경우에도 등록된 사용자의 사생활이 보호될 수 있다.
도 1은 본 발명의 일 실시예와 관련된 글래스 타입 단말기의 블록도이다.
도 2는 본 발명의 일 실시예와 관련된 글래스 타입 단말기의 사시도이다.
도 3은 본 발명의 일 실시예와 관련된 글래스 타입 단말기의 제어방법을 설명하기 위한 흐름도이다.
도 4는 도 3의 흐름도를 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따라, 복수의 마이크를 이용하여 사용자 음성을 등록하는 방법을 설명하기 위한 개념도이다.
도 6은 본 발명의 일 실시예에 따라, 복수의 사용자 음성을 등록하는 방법을 설명하기 위한 개념도이다.
도 7 내지 도 12는 본 발명의 일 실시예에 따라, 복수의 마이크에 입력된 음성이 기등록된 사용자의 음성과 매칭 실패하는 경우의 다양한 처리방법을 설명하기 위한 개념도들이다.
도 13은 본 발명의 일 실시예에 따라, 복수의 마이크를 이용하여 사용자 인증을 수행하는 방법을 설명하기 위한 개념도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나 유사한 구성요소에는 동일·유사한 도면 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예와 관련된 글래스 타입 단말기(100)의 블록도(block diagram)이다.
글래스 타입 단말기(100)는 무선 통신부(110), 입력부(120), 센싱부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190)를 포함할 수 있다. 도 1에 도시된 구성요소들은 글래스 타입 단말기(100)를 구현하는 데에 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 글래스 타입 단말기(100)와 무선 통신 시스템 사이, 글래스 타입 단말기(100)와 다른 단말기 사이, 글래스 타입 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 무선 통신부(110)는, 글래스 타입 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크(microphone, 122) 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부[123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등]를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
마이크(122)는 사용자의 음성, 기타 소리 등을 입력받아 전기적인 음성 데이터로 처리한다. 마이크(122)는 복수의 개소에 구비되어 스테레오 음향을 입력받도록 구성될 수 있다. 또한, 상기 마이크(122)는 제1 마이크(122a)와 제2 마이크(122b)로 구성될 수 있다. 여기서, 상기 제1 마이크(122a)는 입력된 소리가 공기를 통해 전달되는 음성신호를 감지하는 마이크일 수 있고, 상기 제2 마이크(122b)는 입력된 소리의 진동이 두개골을 울려서 음파가 전도되는 골전도 마이크일 수 있다.
센싱부(140)는 글래스 타입 단말기(100) 내의 정보, 단말기(100)를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 글래스 타입 단말기(100)는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 글래스 타입 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(170)는 글래스 타입 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 글래스 타입 단말기(100)에서 구동되는 다수의 응용 프로그램[application program 또는 애플리케이션(application)], 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 글래스 타입 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 글래스 타입 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 글래스 타입 단말기(100) 상에 설치되어, 제어부(180)에 의하여 단말기(100)의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 글래스 타입 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1에 도시된 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 글래스 타입 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 글래스 타입 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 충전 가능하게 이루어진다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 글래스 타입 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 글래스 타입 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 글래스 타입 단말기 상에서 구현될 수 있다.
도 2는 본 발명의 일 실시예와 관련된 글래스 타입 단말기(200)의 사시도이다.
도 2를 참조하면, 글래스 타입 단말기(200)는 안경처럼 사용자의 두부(頭部)에 착용 가능하도록 구성되며, 이를 위한 프레임부(201, 또는 케이스, 하우징 등)를 구비한다.
글래스 타입 단말기(200)는 인체의 두부에 착용 가능하도록 구성되며, 이를 위한 프레임부(케이스, 하우징 등)을 구비할 수 있다. 프레임부는 착용이 용이하도록 플렉서블 재질로 형성될 수 있다. 본 도면에서는, 프레임부가 서로 다른 재질의 제1 프레임(201)과 제2 프레임(202)을 포함하는 것을 예시하고 있다.
프레임부는 두부에 지지되며, 각종 부품들이 장착되는 공간을 마련한다. 도시된 바와 같이, 프레임부에는 제어부(280), 전원공급부(290), 음향 출력 모듈(미도시) 등과 같은 전자부품이 장착될 수 있다. 또한, 프레임부에는 좌안 및 우안 중 적어도 하나를 덮는 렌즈(205)가 착탈 가능하게 장착될 수 있다.
제어부(280)는 글래스 타입 단말기(200)에 구비되는 각종 전자부품을 제어하도록 이루어진다. 제어부(280)는 앞서 설명한 제어부(180)에 대응되는 구성으로 이해될 수 있다. 본 도면에서는, 제어부(280)가 일측 두부 상의 프레임부에 설치된 것을 예시하고 있다. 하지만, 제어부(280)의 위치는 이에 한정되지 않는다.
디스플레이부(251)는 헤드 마운티드 디스플레이(Head Mounted Display, HMD) 형태로 구현될 수 있다. HMD 형태란, 두부에 장착되어, 사용자의 눈 앞에 직접 영상을 보여주는 디스플레이 방식을 말한다. 사용자가 글래스 타입 단말기(200)를 착용하였을 때, 사용자의 눈 앞에 직접 영상을 제공할 수 있도록, 디스플레이부(251)는 좌안 및 우안 중 적어도 하나에 대응되게 배치될 수 있다. 본 도면에서는, 사용자의 우안을 향하여 영상을 출력할 수 있도록, 디스플레이부(251)가 우안에 대응되는 부분에 위치한 것을 예시하고 있다.
디스플레이부(251)는 프리즘을 이용하여 사용자의 눈으로 이미지를 투사할 수 있다. 또한, 사용자가 투사된 이미지와 전방의 일반 시야(사용자가 눈을 통하여 바라보는 범위)를 함께 볼 수 있도록, 프리즘은 투광성으로 형성될 수 있다.
이처럼, 디스플레이부(251)를 통하여 출력되는 영상은, 일반 시야와 오버랩(overlap)되어 보여질 수 있다. 글래스 타입 단말기(200)는 이러한 디스플레이의 특성을 이용하여 현실의 이미지나 배경에 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 증강현실(Augmented Reality, AR)을 제공할 수 있다.
카메라(221)는 좌안 및 우안 중 적어도 하나에 인접하게 배치되어, 전방의 영상을 촬영하도록 형성된다. 카메라(221)가 눈에 인접하여 위치하므로, 카메라(221)는 사용자가 바라보는 장면을 영상으로 획득할 수 있다.
본 도면에서는, 카메라(221)가 제어부(280)에 구비된 것을 예시하고 있으나, 반드시 이에 한정되는 것은 아니다. 카메라(221)는 상기 프레임부에 설치될 수도 있으며, 복수 개로 구비되어 입체 영상을 획득하도록 이루어질 수도 있다.
글래스 타입 단말기(200)는 제어명령을 입력받기 위하여 조작되는 사용자 입력부(223)를 구비할 수 있다. 사용자 입력부(223)는 터치, 푸시 등 사용자가 촉각적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 본 도면에서는, 프레임부에 터치 입력 방식의 사용자 입력부(223)가 구비된 것을 예시하고 있다.
또한, 글래스 타입 단말기(200)에는 사운드를 입력받아 전기적인 음성 데이터와 진동 데이터로 처리하는 제1 및 제2 마이크(222a, 222b)와, 음향을 출력하는 음향 출력 모듈이 구비될 수 있다. 음향 출력 모듈은 일반적인 음향 출력 방식 또는 골전도 방식으로 음향을 전달하도록 이루어질 수 있다. 이와 같이 음향 출력 모듈이 골전도 방식으로 구현되는 경우, 상기 제1 마이크(222a)와 동일 삽입부에 구비될 수 있다. 즉, 사용자가 글래스 타입 단말기(200)를 착용시, 음향 출력 모듈이 두부에 밀착되어, 두개골을 진동시켜 음향을 전달하게 된다.
이하, 제1 및 제2 마이크(222a, 222b)의 상세 구조에 대하여 도면을 참조하여 보다 상세히 설명하기로 한다.
제1 마이크(222a)는 프레임부(201, 202)의 양 내측의 삽입부에 마련되어, 사용자의 양측 귀 중 적어도 하나에 대응되도록 구성될 수 있다. 또한, 상기 제1 마이크(222a)는 골전도 픽업소자를 구비한 골전도 마이크일 수 있다.
이와 같이 제1 마이크(222a)가 골전도 마이크로 구현되는 경우, 사용자가 발성할 때 발생된 음성의 진동신호가 외이도를 통해 전달된다. 또한, 상기 제1 마이크(222a)가 골전도 방식의 음향 출력 모듈과 동일 삽입부에 구비되는 경우, 에코(echo) 현상에 따른 작동 불능을 방지하기 위해, 제1 마이크(222a)와 음향 출력 모듈 중 어느 하나만 선택적으로 수행될 수 있도록 구현가능하다. 후술하는 바와 같이, 사용자가 글래스 타입 단말기(200)를 착용시 음향 출력 모듈은 두부에 밀착되어 골전도 진동을 통해 음향을 전달하도록 이루어질 수 있다.
제2 마이크(222b)는 커넥터(224)를 통해 본체의 일 프레임부(202)에 착탈 가능하게 장착될 수 있다. 제2 마이크(222b)는 이러한 장착을 통해 본체(201)와 결합될 수 있다. 또한, 상기 제2 마이크(222b)는 입력된 사용자 음성을 전기적 신호로 변환시킬 수 있다.
또한, 상기 제1 마이크(222a)와 제2 마이크(222b)는 입력된 하나의 음성으로부터 음성신호와 진동신호를 동시에 감지하는 것이 가능하다. 이하에서는, 설명의 편의를 위하여, 사용자 음성이 입력될 때, 제1 마이크(222a)를 통해 감지되는 사용자 음성의 진동신호를 "속 목소리"로 명명하고, 제2 마이크(222b)를 통해 감지되는 사용자 음성의 음성신호를 "겉 목소리"로 명명될 수 있다.
이상에서 설명한 구성 중 적어도 하나 이상을 구비한 본 발명에 따른 실시예에 따른 글래스 타입 단말기(200)는 애플리케이션에 대한 제어명령의 입력을 제한하는 잠금 상태에서, 본체의 착용이 감지되면, 제1 마이크(222a)를 통해 감지되는 착용자 음성의 진동신호, 즉 속 목소리를 기등록된 사용자 음성의 진동신호와 매칭하고, 제2 마이크(222b)를 통해 감지되는 착용자 음성의 음성신호, 즉 겉 목소리를 기등록된 사용자 음성의 음성신호와 매칭시킨다.
매칭 결과, 상기 제1 마이크(222a)와 제2 마이크(222b)를 통해 감지되는 착용자 음성의 진동신호와 음성신호가 각각 기등록된 사용자 음성의 진동신호 및 음성신호와 매칭되면, 상기 잠금 상태를 해제 상태로 전환시킨다.
여기서, 잠금상태란, 상기 글래스 타입 단말기(200)에 포함된 애플리케이션들에 대한 사용자의 제어명령의 입력을 제한하는 상태를 의미한다. 이는, 사용자가 의도하지 않은 제어 명령이 입력되어 글래스 타입 단말기(200)의 기능 및 애플리케이션들이 활성화 또는 비활성화되는 것을 방지하고, 제3자가 글래스 타입 단말기(200)를 착용하여 사용자의 의사에 반하여 애플리케이션들에 진입하는 것을 방지하기 위함이다. 한편, 상기 잠금상태에서는 사용자의 제어 명령의 입력은 제한되지만, 잠금상태가 실행되기 전에 동작하고 있었던 이동 단말기의 기능 및 애플리케이션들의 동작들은 계속해서 실행될 수 있다.
또한, 해제상태란, 상기 글래스 타입 단말기(200)에 대한 사용자의 제어 명령의 입력을 제한하지 않는 상태이다. 따라서 상기 해제상태에서는 상기 글래스 타입 단말기(200)의 기능 및 애플리케이션들이 사용자에 의해 입력된 제어명령에 따라 활성화 또는 비활성화된다.
여기에서, 상기 잠금상태는 상기 글래스 타입 단말기(200)가 착용 해제된 상태가 기설정된 시간을 초과하거나, 또는 착용 후 기설정된 시간 동안 아무런 제어명령이 감지되지 않는 경우에 실행될 수 있다. 여기서, 상기 기설정된 시간은 사용자의 설정에 따라 변경될 수 있다. 또한, 상기 잠금상태는 기설정된 사용자 입력을 통해 실행될 수도 있다.
이하, 도 3 및 도 4를 참조하여, 본 발명의 실시예에 따라 글래스 타입 단말기(200)의 착용시, 복수의 마이크를 통해 입력되는 사용자 음성에 기초하여 잠금 상태를 해제시키는 방법을 보다 구체적으로 설명하기로 한다.
먼저, 도 3을 참조하면, 본 발명의 실시예에 따른 글래스 타입 단말기(200, 도 2)는 본체가 사용자의 두부(頭部)에 착용되는 것을 감지할 수 있다(S310).
여기서, 상기 글래스 타입 단말기(200)가 본체의 착용을 감지하는 것은 다양한 방식을 통해 이루어질 수 있다.
구체적으로, 상기 글래스 타입 단말기(200)는 본체의 기울기와 움직임을 감지하여 본체의 착용 여부를 감지할 수 있다. 예를 들어, 본체의 기울기와 움직임의 정도를 감시한 결과, 본체의 기울기 변화와 움직임에 따른 가속도가 본체가 신체에 장착되어 이동할 때의 패턴과 동일 또는 유사한 경우, 본체가 사용자의 두부(頭部)에 착용된 것으로 인식할 수 있다. 이를 위해, 상기 글래스 타입 단말기(200)는 본체의 공간 움직임을 x축, y축 및 z축을 기준으로 감지할 수 있는 자이로 센서부(미도시)를 구비할 수 있다.
또한, 상기 글래스 타입 단말기(200)는 본체에 특정 지점 또는 영역에 인가되는 터치(및/또는 근접 터치)를 감지하여 본체의 착용 여부를 감지할 수 있다. 이를 위해, 상기 글래스 타입 단말기(200)는 프레임부에 터치센서(및/또는 근접 터치 센서)를 구비할 수 있다. 예를 들어, 프레임부의 전 영역 또는 특정 영역이 터치 패널로 이루어진 경우, 착용자의 콧등, 광대뼈, 관자놀이나 귀구술, 눈초리, 눈앞머리, 눈썹뼈 등과 본체의 프레임부가 닿게 된다. 이와 같이, 본체의 착용시 사용자의 두부(頭部) 및 안면과 닿는 지점 또는 영역에 대응되는 터치가 감지되는 경우, 본체가 사용자의 두부(頭部)에 착용된 것으로 인식할 수 있다.
또한, 상기 글래스 타입 단말기(200)는 본체에 구비된 카메라(221, 도 2)를 통해 촬영된 이미지 분석, 기설정된 입력신호, 착용자의 생체신호의 감지, 프레임부의 온도 변화 등을 감지하여 본체의 착용 여부를 감지할 수 있다. 여기서, 착용자의 생체신호란, 글래스 타입 단말기(200)의 착용자의 신체에서 발생하는 전기적 신호로서, 예를 들어, ECG(ElectroCardioGram) 신호, PPG(Photoplethymogram) 신호, 또는 GSR(Galvanic Skin Response) 신호 중 어느 하나를 포함할 수 있다(다만, 이에 한정되는 것은 아니다).
예를 들어, 글래스 타입 단말기(200)의 착용이 감지되면, 도 4의 (a)와 같이 '착용이 감지되었습니다'와 같은 메시지가 포함된 초기화면(401)이 디스플레이부(251, 도 2)를 통해 출력될 수 있다. 또한, 비록 도시되지는 않았지만, 음향 출력 모듈을 통해, 본체의 착용에 대응되는 알람, 예를 들어 "삐-음"이 출력될 수도 있다. 한편, 감지 결과, 본체의 착용이 올바르게 이루어지지 않은 경우에는, 정상 착용을 유도하는 메시지가 상기 디스플레이부(251, 도 2)에 출력될 수 있다.
이와 같이 본체의 착용이 감지되면, 글래스 타입 단말기(200)의 디스플레이부(251)에는 애플리케션에 대한 제어명령의 입력을 제한하는 잠금 상태에 대응되는 잠금화면이 출력된다. 그리고, 상기 출력된 잠금화면상에 제1 및 제2 마이크(222a, 222b, 도 2)의 동작 상태를 나타내는 시각정보를 출력시킬 수 있다(S320).
여기서, 상기 제1 마이크는 골전도 픽업소자를 구비한 골전도 마이크로서, 사용자의 양측 귀 중 적어도 하나에 대응되게 또는 근접하도록 배치될 수 있다. 또한, 제1 마이크는 골전도 픽업소자를 이용하여, 발화자의 음성이 발화자의 두개골에 전도되어 직접 내이에 전달되는 진동신호를 감지할 수 있다.
또한, 상기 제1 마이크는 스피커와 일체로 결합되는 구조로 이루어질 수 있다. 이러한 경우, 에코(echo) 현상이 발생되어 제1 마이크와 스피커가 작동 불능 상태가 되는 것을 방지하기 위해, 스위치(미도시)를 구비할 수 있고, 그에 따라, 글래스 타입 단말기(200)의 제어부(2800는, 기설정된 입력에 대응되는 스위칭 신호에 따라, 제1 마이크가 온(on) 상태이면 스피커가 오프(off)되도록 제어하고, 스피커가 온(on) 상태이면 제1 마이크를 오프(off)되도록 제어할 수 있다. 즉, 제1 마이크와 스피커 중 어느 하나만 선택적으로 동작하도록 제어할 수 있다.
또한, 상기 제2 마이크는 커넥터를 통해 본체의 일 프레임에 착탈 가능하게 장착되고, 그러한 장착을 통해 상기 본체와 결합되도록 구성된 마이크로폰일 수 있다. 제2 마이크는 입력되는 음성이 공기를 통해 전달되는 음성신호를 감지할 수 있다.
또한, 여기서, 상기 시각정보는 제1 및 제2 마이크(222a, 222b)를 각각 나타내는 이미지 또는 텍스트로서, 제1 및 제2 마이크(222a, 222b)의 동작 상태에 따라 서로 다른 이미지나 텍스트가 각각 출력될 수 있다. 예를 들어, 본체의 착용 후, 제1 마이크(222a)는 활성화되어 사용자 음성이나 외부 소리를 입력받을 수 있는 상태이고, 제2 마이크(222b)는 비활성화되어 아직 사용자 음성이나 외부 소리를 입력받을 수 없는 상태인 경우, 마이크의 활성화 여부에 따라 서로 다른 이미지가 출력될 수 있다. 이와 같이, 제1 및 제2 마이크(222a, 222b)가 활성화되면, 글래스 타입 단말기(200)의 착용자가 발화하는 음성으로부터, 각각 진동신호와 음성신호를 동시에 감지할 수 있다.
예를 들어, 도 4의 (a)와 같이 본체의 착용이 감지되면, 도 4의 (b)와 같이, 디스플레이부(251)를 통해 제1 마이크, 즉 골전도 마이크와 제2 마이크, 즉 음성신호를 감지하는 마이크로폰이 활성화되었음을 나타내는 이미지들(410, 420), 예를 들어 동그라미 형태의 복수의 이미지가 각각 출력될 수 있다. 또한, 이와 함께, 본체의 잠금 상태를 해제하기 위해, 사용자의 음성 입력을 유도하는 메시지(408), 예를 들어 '음성을 입력해주세요'가 출력될 수 있다.
그리고, 사용자 음성이 입력되면, 상기 제1 및 제2 마이크(222a, 222b)는 상기 디스플레이부(251)를 통해 출력된 제1 마이크와 제2 마이크의 동작 상태에 따라, 입력된 음성의 음성신호와 진동신호를 각각 감지할 수 있다(S330).
예를 들어, 도 4의 (c)를 참조하면, 입력된 하나의 음성에 대해 제1 마이크 제2 마이크가 각각 진동신호와 음성신호를 감지할 수 있고, 디스플레이부(251)에는 입력된 음성을 감지 중임을 나타내는 화면(403)이 표시된다. 또한, 상기 화면(403)상에는 진동신호를 감지하는 제1 마이크의 상태와 음성신호를 감지하는 제2 마이크를 상태를 나타내는 복수의 이미지들(410", 420")이 출력될 수 있다. 이때, 복수의 이미지들(410", 420")은 단지 활성화된 상태를 나타내는 이미지들(410, 420)과는 다르게 출력될 수 있다. 예를 들어, 제1 마이크 제2 마이크가 활성화 상태인 경우에는 이미지들이 제1색상으로 표시되고, 활성화된 제1 마이크 제2 마이크에 입력된 음성, 예를 들어 'Ok! Optimus!'가 감지되는 동안 상기 이미지들이 제2색상으로 표시될 수 있다.
이와 같이 사용자의 음성이 입력되면, 상기 글래스 타입 단말기(200)는 제1 마이크(222a)를 통해 감지된 사용자 음성의 진동신호와 제2 마이크(222b)를 통해 감지된 사용자 음성의 음성신호를, 각각 기등록된 사용자 음성에 대응되는 진동신호 및 음성신호와 매칭시킨다(S340).
그런 다음, 상기 매칭 결과에 근거하여, 상기 글래스 타입 단말기(200)의 잠금 상태를 해제 상태로 전환하는 단계를 진행한다(S350).
이때, 글래스 타입 단말기(200)의 제어부(280)는 제1 마이크를 통해 감지된 진동신호가 기등록된 진동신호와 매칭되는 경우 제1 알람을 출력할 수 있다. 또한, 상기 제어부(280)는 제2 마이크를 통해 감지된 음성신호가 기등록된 음성신호와 매칭되는 경우 제2 알람을 출력할 수 있다. 여기서, 제1 알람과 제2 알람은 동일한 알람신호일 수 있고, 매칭이 완료된 순서대로 또는 연속적으로 출력될 수 있다.
또한, 상기 제어부(280)는 글래스 타입 단말기(200)를 착용한 사용자의 음성이 기등록된 사용자 음성에 대응되는 진동신호 및 음성신호와 모두 매칭되면, 글래스 타입 단말기(200)의 잠금 상태를 해제 상태로 전환할 수 있다. 즉, 입력된 사용자 음성의 겉 목소리와 속 목소리가 기등록된 데이터와 모두 일치하게 되면, 상기 글래스 타입 단말기(200)의 제어부(280)는 착용자가 사용자 본인인 것으로 판단하여, 잠금 상태를 해제 상태로 전환할 수 있다.
예를 들어, 도 4의 (d)와 같이, 디스플레이부(251)에 '인증이 완료되었습니다'와 같이 인증 완료를 나타내는 메시지가 출력될 수 있다. 이와 함께, 제1 및 제2 마이크를 통해 감지된 진동신호와 음성신호가 각각 기등록된 사용자 음성에 대응되는 진동신호 및 음성신호와 일치된 것을 나타내는 이미지, 예를 들어 'O 표시'가 제1 및 제2 마이크를 나타내는 이미지(410, 420)상에 출력될 수 있다.
반면, 글래스 타입 단말기(200)를 착용한 사용자의 음성이 기등록된 사용자 음성에 대응되는 진동신호 및 음성신호 중 적어도 하나와 매칭 실패하게 되면, 상기 글래스 타입 단말기(200)의 제어부(280)는 잠금 상태를 계속 유지하거나 일부 애플리케이션에 대해서만 제한적으로 해제 상태가 적용되도록 제어할 수 있다. 예를 들어, 글래스 타입 단말기(200)를 착용한 사용자의 음성, 즉 겉 목소리가 기등록된 사용자 음성의 음성신호와 매우 흡사한 경우라도, 사용자가 발성한 음성이 뼈와 두개골을 통해 발성자의 내이로 직접 전달되는 진동신호, 즉 속 목소리가 다르게 측정되면, 착용자가 사용자 본인이 아닌 것으로 판단하여, 잠금 상태를 계속 유지하도록 제어할 수 있다.
이와 같이, 상기 제1 및 제2 마이크(222a, 222b)를 통해, 글래스 타입 단말기(200)를 착용한 사용자가 발성한 음성의 음성신호와 진동신호를 동시에 감지함으로써, 입력된 사용자의 음성이 기등록된 사용자의 것인지를 보다 명확하게 인지할 수 있다.
즉, 일반적으로 사람마다 뼈, 골격, 두개골의 구조 등에 따라 제1 마이크(222a), 즉 골전도 마이크로 입력되는 음성에 대응되는 진동신호의 특성이 고유하므로, 상술한 바와 같이 발화된 하나의 음성에 대해 음성신호와 진동신호를 동시에 감지하게 되면, 보다 신뢰성이 높은 사용자 인증(User Authentication)이 수행될 수 있다. 여기서, 사용자 인증(User Authentication)이란, 인증용 프로토콜을 사용하여 사용자가 허가받은 본인이라는 사실을 인증하는 것을 의미하는데, 이 중 음성 인증 방식은 특징기반의 인증 방식을 사용하는 것이다. 그리고 본 발명에 따른 실시예와 같이, 단순히 발화된 음성의 음성신호만 뿐만 아니라, 사용자가 발성한 음성이 뼈와 두개골을 통해 발성자의 내이로 전달되는 진동신호를 함께 인증 정보로 사용할 경우, 보다 신뢰도 및 안정도가 높은 사용자 인증이 이루어질 수 있다.
이와 같이, 잠금 상태가 해제 상태로 전환되면, 도 4의 (e)와 같이, 복수의 애플리케이션을 실행하기 위한 아이콘들을 포함하는 홈 스크린이 디스플레이부(251)에 출력되거나, 애플리케이션의 실행화면 등의 다양한 해제화면이 표시될 수 있다.
한편, 상기 글래스 타입 단말기(200)에는 잠금 상태를 해제하기 위한 특정 단어나 문장이 미리 설정될 수 있다. 이러한 경우, 글래스 타입 단말기(200)의 착용자가 설정된 특정 단어나 문장을 발화한 경우에 한하여 잠금 상태가 해제 상태로 전환될 수 있다. 즉, 제1 및 제2 마이크(222a, 222b)를 통해 감지된 사용자 음성이 기등록된 사용자 음성에 대응되는 진동신호 및 음성신호와 모두 매칭되더라도, 미리설정된 특정 단어나 문장이 아닌 경우에는 상기 잠금 상태가 유지되도록 제어할 수 있다.
또한, 다른 예에서는 특정 단어나 문장을 미리 설정하는 대신에, 임의 생성된 단어나 문장이 디스플레이부(251)에 출력되어, 착용자가 출력된 단어나 문장을 읽도록 유도하는 방식으로 구현될 수도 있다.
이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 글래스 타입 단말기는, 잠금 상태를 해제시키기 위해, 복수의 마이크를 통해 사용자 음성의 음성신호와 진동신호를 동시에 감지하여 착용자를 명확하게 식별할 수 있도록 구현함으로써, 음성의 입력만으로 착용자가 기등록된 사용자인지를 명확하고 자연스럽게 식별할 수 있게 된다. 그에 따라, 보안에는 강하면서 사용자에게 편리한 방식으로 본체의 잠금 상태를 해제시킬 수 있다.
이하, 도 5 및 도 6은 상기한 글래스 타입 단말기(200, 도 2)의 잠금 상태를 해제하기 위한 수단으로 복수의 마이크를 이용한 착용자 음성 인식 기능을 수행하기 위해, 글래스 타입 단말기(200)에 사용자 음성을 등록하는 예시 과정을 보인 도면이다.
도 5를 참조하면, 먼저, 도 5의 (a)와 같이 글래스 타입 단말기(200)의 착용자가, 기설정된 사용자 입력을 통해 '메뉴'에 진입하여 음성 등록 모드를 실행할 수 있다. 그에 따라, 디스플레이부(251)에는 '음성을 등록합니다'와 같은 초기화면이 출력될 수 있다.
글래스 타입 단말기(200)의 제어부(280)는, 이와 같이 기설정된 입력신호에 따라 음성 등록 모드에 진입하면, 디스플레이부(251)에 음성입력이 가능한 텍스트를 출력한다.
또한, 상기 제어부(280)는, 디스플레이부(251)에 출력된 텍스트에 대응되는 음성이 상기 제1 및 제2 마이크(골전도 마이크 및 마이크로폰)를 통해 입력되면, 상기 입력된 음성이 상기 출력된 텍스트의 발음과 일치하는지를 판단한다. 판단 결과, 입력된 음성이 제시된 텍스트의 발음과 일치하게 되면, 제1 마이크를 통해 입력된 진동신호와 제2 마이크를 통해 입력된 음성신호를 사용자 음성으로 등록한다.
그리고, 등록된 사용자 음성의 진동신호와 음성신호는 각각 메모리(160)에 저장된다.
예를 들어, 도 5의 (b)와 같이, 상기 디스플레이부(251)에 사용자의 음성 입력을 유도하는 메시지(502a), 예를 들어, '다음을 소리내어 읽어주세요'와 함께, 사용자가 발음할 수 있는 미리 설정된 또는 임의 생성된 특정 단어나 문장(502b)이 출력된다. 이때, 디스플레이부(251)의 일 영역에는 글래스 타입 단말기(200)에 구비된 제1 마이크(골전도 마이크)와 제2 마이크(마이크로폰)의 동작 상태를 나타내는 이미지들(510, 520)이 출력될 수 있다. 상기 이미지들이(510, 520)이 제1 및 제2 마이크가 모두 온(on) 상태임을 나타내는 경우이면, 사용자가 발화하는 음성의 진동신호와 음성신호, 즉 속 목소리와 겉 목소리를 동시에 감지할 수 있는 상태로 인지할 수 있다.
그런 다음, 글래스 타입 단말기(200)의 착용자가 제시된 문장(502b)을 소리내어 읽으면, 상기 글래스 타입 단말기(200)는 도 5의 (c)와 같이, 골전도 마이크와 마이크로폰을 통해 입력된 음성의 진동신호와 음성신호를 감지한다. 입력된 음성의 진동신호와 음성신호가 감지되는 동안, 디스플레이부(251)에는 음성 인식중임을 나타내는 화면(503) 출력될 수 있다. 이때, 입력된 하나의 음성에 대해 골전도 마이크와 마이크로폰은 각각 별개로 진동신호와 음성신호를 인식하는 것이므로, 도 5의 (d)와 같이 골전도 마이크에서 먼저 인식이 완료되고, 마이크로폰에서는 음성신호를 계속 감지할 수도 있다. 즉, 제1 및 제2 마이크가 입력된 음성을 감지하는 시간이 동시에 종료되지 않을 수 있다. 제1 및 제2 마이크를 통해 입력된 음성의 진동신호와 음성신호가 모두 감지되면, 도 5의 (e)와 같이 그러한 진동신호와 음성신호를 사용자 음성으로 등록할지 여부를 묻는 메시지(505)가 디스플레이부(251)를 통해 출력될 수 있다. 착용자는 해당 메시지(505)에 대응되는 응답, 예를 들어 'ok'라는 음성명령을 수행함으로써, 감지된 진동신호와 음성신호를 사용자 음성으로 등록시킬 수 있다.
한편, 골전도 마이크와 마이크로폰에서 입력된 음성이 명확하게 감지되지 않는 경우, 상기한 도 5의 (b) 내지 도 5의 (d) 과정을 반복적으로 수행할 수 있다.
도 6은 글래스 타입 단말기(200)에 복수의 사용자 음성을 등록하는 예시 과정을 도시한 것이다.
도 6의 (a)에 도시된 바와 같이, 글래스 타입 단말기(200)의 착용자는, 기설정된 사용자 입력을 통해 '메뉴'에 진입하여 음성 등록 모드를 실행할 수 있다. 이때, 이미 등록된 사용자 음성이 존재하는 경우에는, 도 6의 (b)와 같이 복수의 사용자 음성을 등록할지 여부를 묻는 메시지(602), 예를 들어 '사용자 2로 등록합니다'가 디스플레이부(251)에 출력될 수 있다. 착용자는 해당 메시지(602)에 대응되는 응답, 예를 들어 'ok'라는 음성명령을 수행함으로써, '사용자 2'의 음성 등록 프로세스를 계속 진행할 수 있다. 그에 따라, 도 6의 (c)와 같이 착용자의 음성 입력을 유도하는 메시지와 특정 문장이 제시되고, 골전도 마이크와 마이크로폰의 동작 상태를 나타내는 이미지들이 디스플레이부(251)에 출력된다. 그리고, 착용자의 음성이 입력되면, 상기한 도 5의 (c) 및 (d)와 같이 입력된 착용자 음성의 진동신호와 음성신호가 동시에 감지된 다음, 감지가 완료되면, 도 6의 (d)와 같이 '사용자 2'의 음성이 등록 완료를 알리는 메시지가 출력된다.
이와 같이 사용자 2의 음성 등록이 완료된 경우, 상기 제어부(180)는 먼저 등록된 제1 사용자 음성의 입력에 따라 실행되는 해제 상태와, 제2 사용자 음성의 입력에 따라 실행되는 해제 상태의 적용범위를 서로 다르게 적용할 수 있다. 즉, 등록된 사용자 2의 음성이 입력되는 경우, 일부 애플리케이션에 대해서만 해제 상태가 적용되도록 제한할 수 있다.
한편, 도 6의 (b)에서 착용자가 해당 메시지(602)에 대응되는 응답으로 'no'라는 음성명령을 수행한 경우에는, 기등록된 사용자 음성을 변경할 것인지 여부를 묻는 메시지가 디스플레이부(251)에 출력될 수 있다.
이하에서는, 상술한 글래스 타입 단말기(200)의 착용 후, 입력된 사용자 음성을 기등록된 사용자 음성과 매칭한 결과에 대응되는 다양한 화면 변화의 예시들을 보다 구체적으로 살펴보기로 하겠다.
글래스 타입 단말기(200)의 잠금 상태를 해제하기 위한 방식으로 음성명령을 채택하는 경우, 크게는 특정 텍스트를 발음하도록 유도하는 경우와, 특정인의 음성명령이 입력되도록 하는 경우가 있을 수 있다.
전자의 경우, 누구라도 잠금 상태를 해제할 수 있는 상태가 되거나 또는 발화시 사용자가 설정한 특정 텍스트가 외부에 노출되어 보안에 취약하고 사용자의 의사에 반하여 해제 상태가 될 수 있는 문제가 있다. 이에, 특정인의 음성이 입력되는 경우(및 설정된 특정 텍스트가 입력되는 경우)에 한하여 잠금 상태가 해제되도록 제한하게 되면 이러한 문제점을 해결할 수 있을 것이다.
본 발명의 실시예들은 이에 더 나아가 특정인의 음성을 인식하는 데 있어서, 골전도 마이크와 마이크로폰을 이용하여, 입력된 음성의 진동신호와 음성신호를 동시에 감지함으로써, 특정인의 고유 음성을 보다 명확하게 식별할 수 있도록 구현하였다. 즉, 본 발명에 따른 실시예에서는 입력된 음성의 진동신호와 음성신호를 모두 감지하고, 감지된 진동신호와 음성신호가 각각 등록된 사용자 음성의 진동신호 및 음성신호와 모두 매칭되는 경우에 글래스 타입 단말기(200)의 잠금 상태가 해제된다.
한편, 이와 같이 잠금 상태의 해제 조건을 엄격하게 적용하는 경우, 글래스 타입 단말기(200)를 제3자가 사용하도록 허용하려는 경우, 주변의 상황에 따라 입력되는 음성의 진동신호와 음성신호를 동시에 감지하기가 어려운 경우, 또는 등록된 사용자 본인의 목소리가 훼손된 경우 등과 같이 예외적인 상황에서 유연한 대처가 불가하게 된다.
이에, 이하에서는 도 7 내지 도 12를 참조하여, 글래스 타입 단말기(200)에 입력된 음성이 기등록된 사용자 음성과 매칭 실패하는 다양한 예시와 대응되는 처리방법을 살펴보기로 하겠다.
도 7은 착용자의 음성이 기등록된 사용자 음성과 매칭 실패한 경우, 글래스 타입 단말기(200)의 처리과정을 도시한 것이다.
글래스 타입 단말기(200)의 착용이 감지되면, 상기 글래스 타입 단말기(200, 도 2)의 제어부(280, 도 2)는 본체에 구비된 제1 및 제2 마이크, 즉 골전도 마이크와 마이크로폰(222a, 222b)를 활성화시킨다.
이와 같이 제1 및 제2 마이크(222a, 222b)가 활성화되면, 상기 제어부(180)는 활성화된 제1 마이크(222a)의 동작 상태를 나타내는 제1 이미지객체와 상기 제2 마이크(222b)의 동작 상태를 나타내는 제2 이미지객체를 디스플레이부(251)에 출력된 잠금화면상에 각각 출력시킬 수 있다.
여기서, 상기 제1 이미지객체는 골전도 마이크를 나타내는 이미지로서, 골전도 마이크의 활성화 여부에 따라 대응되는 이미지의 색상을 다르게 표시할 수 있다. 또한, 상기 2 이미지객체는 마이크로폰을 나타내는 이미지로서, 마이크로폰의 활성화 여부에 따라 대응되는 이미지의 색상을 다르게 표시할 수 있다. 예를 들어, 비활성화 상태에서는 상기 제1 및 제2 이미지 객체를 제1색상(예, 빨간색)으로 표시하고, 활성화된 상태(즉, 음성이 입력되는 것을 감지할 수 있는 상태)에서는 상기 제1 및 제2 이미지 객체를 제2색상(예, 초록색)으로 표시할 수 있다.
제1 및 제2 이미지 객체에 대응되는 골전도 마이크와 마이크로폰이 모두 활성화되어 하나의 음성이 각각 수신된 경우, 상기 글래스 타입 단말기(200)는 골전도 마이크(222a)를 통해 감지된 진동신호와 마이크로폰(222b)을 통해 감지된 음성신호를 각각 기등록된 사용자 음성의 진동신호 및 음성신호와 매칭시킨다.
또한, 상기 글래스 타입 단말기(200)는 입력된 음성의 발음이 잠금 상태를 해제 상태로 전환하기 위한 음성명령의 발음과 일치하는지를 비교 및 판단할 수 있다. 예를 들어, 잠금 상태를 해제 상태로 전환하기 위한 음성명령이 'Ok! Optimus!'로 설정된 경우, 착용자가 "오케이 옵티머스"라는 음성을 입력한 경우에 기등록된 사용자 음성의 진동신호 및 음성신호와 매칭하도록 제한할 수 있다.
그리고, 상기 매칭 결과에 따라 디스플레이부(251)에 출력된 제1 및 제2 이미지 객체의 형상(모양 또는 색상)을 다르게 변경함으로써, 사용자가 매칭 결과를 직관적으로 인지할 수 있다. 즉, 제1 및 제2 이미지객체를 통해 매칭 성공 여부와, 매칭 실패의 원인(즉, 제1 마이크를 통해 감지된 진동신호가 매칭 실패한 것인지 또는 제2 마이크를 통해 감지된 음성신호가 매칭 실패한 것인지)을 인식할 수 있다.
구체적으로, 상기 제어부(280)는 제1 마이크를 통해 감지된 진동신호와 기등록된 진동신호의 매칭 결과에 따라 상기 제1 이미지객체를 다르게 변경할 수 있다. 예를 들어, 도 7의 (a)에서 제1 마이크에 입력된 음성의 진동신호가 기등록된 사용자 음성의 진동신호와 매칭되면, 제1 마이크에 대응되는 이미지객체상에 매칭되었음을 나타내는 표시, 예를 들어 동그라미('O') 표시를 출력할 수 있다.
또한, 상기 제어부(280)는, 제2 마이크를 통해 감지된 음성신호와 기등록된 음성신호의 매칭 결과에 따라 상기 제2 이미지객체를 다르게 변경할 수 있다. 예를 들어, 도 7의 (a)에서 제2 마이크에 입력된 음성의 음성신호가 기등록된 사용자 음성의 음성신호와 매칭 실패한 경우, 제2 마이크에 대응되는 이미지객체상에 매칭 실패를 나타내는 표시, 예를 들어 엑스('X') 표시를 출력할 수 있다.
이와 같이, 제1 및 제2 마이크를 통해 입력된 음성의 음성신호와 진동신호가 기등록된 사용자 음성의 음성신호 및 진동신호 중 적어도 어느 하나와 매칭 실패하는 경우, 상기 제어부(180)는 최종적으로 착용자의 음성 인증이 실패되었음을 나타내는 메시지를(701)를 디스플레이부(251)에 출력할 수 있다.
그리고, 상기 제어부(280)는 제1 및 제2 마이크의 동작 상태를 다시 확인하고, 사용자의 음성 재입력을 유도하기 위한 메시지를 디스플레이부(251)에 출력할 수 있다. 예를 들어, 도 7의 (a)에 도시된 바와 같이 음성 인증이 실패한 경우, 도 7의 (b)와 같이 '다시 한번 음성을 입력해주세요'와 같은 안내 메시지(702)가 출력될 수 있다. 상기 제어부(280)는 도 7의 (a) 및 (b) 과정이 일정 횟수 반복되면(예, 3회 이상), 최종적으로 음성 인증이 실패된 것으로 결정할 수 있다.
이와 같이 음성 인증의 실패 여부가 최종 결정되면, 상기 제어부(280)는 음성신호와 진동신호가 모두 매칭 실패한 경우와 이들 중 어느 하나만 매칭 실패한 경우를 서로 다르게 처리할 수 있다.
구체적으로, 제1 및 제2 마이크를 통해 입력된 음성의 음성신호와 진동신호 중 어느 하나만 기등록된 사용자 음성과 매칭 실패한 경우에는 기설정된 일부 애플리케이션에 대해서는 잠금 상태를 해제 상태로 전환하고, 나머지 다른 애플리케이션에 대해서는 잠금 상태가 유지되도록 제어할 수 있다. 그에 따라, 도 7의 (c)와 같이, 홈 화면(703)상에 글래스 타입 단말기(200)의 착용자가 진입가능한 일부 애플리케이션의 아이콘들만이 표시될 수 있다. 예를 들어, 긴급 통화, 사진 촬영, 메모(MEMO) 등과 같이 일부 애플리케이션의 아이콘만이 표시될 수 있다.
또한, 제1 및 제2 마이크를 통해 입력된 음성의 음성신호와 진동신호가 기등록된 사용자 음성과 모두 매칭 실패한 경우에는, 글래스 타입 단말기(200)의 잠금 상태를 계속 유지하고, 매칭 실패에 대응되는 시각정보(예, '매칭 실패하였습니다'와 같은 메시지)를 잠금 화면상에 출력할 수 있다. 또는, 음성 인식이 아닌 다른 방식으로 잠금 상태를 해제할지를 묻는 메시지를 화면에 출력시킬 수 있다.
한편, 글래스 타입 단말기(200)가 해제 상태로 전환된 후에도, 제어명령이 음성을 통해 입력되는 경우에, 입력된 음성이 기등록된 사용자 음성과 매칭되는 경우에 한하여 특정 애플리케이션이 실행되거나 특정 기능이 실행되도록 제어할 수 있다. 이를 위해, 상기 제어부(280)는 제1 및 제2 마이크(222a, 222b)의 활성화 상태를 계속 유지하고, 착용자가 자연스럽게 발화한 음성을 기초로 백그라운드(background)에서 음성 인증 프로세스를 수행할 수 있다.
이하, 도 8은 본 발명의 일 실시예에 따라, 글래스 타입 단말기(200)를 사용자 본인이 착용하였으나, 착용자가 아닌 제3자의 음성을 통해 제어명령이 입력된 경우에 글래스 타입 단말기(200)의 처리과정을 도시한 것이다.
상술한 바와 같이, 글래스 타입 단말기(200)의 잠금 상태가 해제 상태로 전환된 후에도, 상기 글래스 타입 단말기(200)는 사용자 본인의 음성명령이 입력된 경우에 한하여 대응되는 기능이 실행되도록 제한할 수 있다.
이때, 상기 글래스 타입 단말기(200)의 제2 마이크(222b), 즉 마이크로폰을 통하여 제3자의 음성이 입력된 경우, 상기 글래스 타입 단말기(200)의 제어부(280)는 입력된 제3자의 음성에 대응되는 제어명령이 무엇인지는 인식할 수 있다.
예를 들어, 도 8의 (a)와 같이 제3자가(B)가 "take a picture"하는 음성명령을 발화한 경우, 글래스 타입 단말기(200)는 제2 마이크, 즉 마이크로폰(222b)을 통해 제3자(B)의 음성명령을 인식할 수 있다. 이때, 입력된 제3자(B)의 음성명령은 골진도 스피커(222a)에서는 감지되지 않으므로, 도 8의 (a)와 같이, 디스플레이부(251)에는 1 마이크가 활성화된 상태임을 나타내는 이미지객체(810)와 2 마이크가 입력된 제3자(B)의 음성명령을 인식중임을 나타내는 이미지객체(820)가 각각 출력된다.
그 결과, 상기 글래스 타입 단말기(200)의 제어부(280)는, 도 8의 (b)와 같이, 제3자(B)의 음성명령에 대응되는 기능, 즉 '사진 촬영 기능'을 실행할지 여부를 묻는 메시지(802)를 디스플레이부(251)에 출력시킬 수 있다. 즉, 상기 제어부(280)는 음성명령에 대응되는 기능이 무엇인지를 디스플레이부(251)에 제시만 하고, 실행은 하지 않는다.
그리고, 상기 메시지(802)에 대응되는 응답으로, 예를 들어 'ok' 음성명령이 입력된 경우, 상기 제어부(280)는 제1 및 제2 마이크(222a, 222b)를 통해 착용자의 응답에 대한 음성 인식 프로세스를 실행한다. 또한, 상기 제어부(280)는 제1 및 제2 마이크(222a, 222b)가 상기 입력된 착용자 음성을 인식중임을 나타내는 복수의 이미지객체(810", 820)를 디스플레이부(251)에 출력시킨다.
제1 및 제2 마이크(222a, 222b)를 통해 감지된 착용자의 음성이 기등록된 사용자 음성의 진동신호 및 음성신호와 매칭되면, 제3자(B)의 음성명령에 대응되는 기능, 즉 '사진 촬영 기능'이 비로소 실행된다. 도 8의 (c)는 '사진 촬영 기능'의 실행에 대응되는 프리뷰 화면(803)을 보여주고 있다.
상술한 실시예는 글래스 타입 단말기(200)가 잠금 상태인 경우에 이를 해제하기 위한 실시예에도 확장 적용될 수 있다. 도 9와 도 10은 글래스 타입 단말기(200)가 잠금 상태에서 입력된 음성이 착용자가 아닌 제3자의 음성인 경우, 제한적으로 잠금 상태를 해제 상태로 전환하는 예시를 도시한 것이다.
이러한 경우, 이하에 자세히 기술되는 바와 같이, 기설정된 조건을 만족하는 범위내에서 글래스 타입 단말기(200)의 잠금 상태가 해제되는 것이므로, 이를 착용자 본인의 음성을 통해 잠금 상태가 해제되는 것과 구별하여, "게스트 모드"로 명명하기로 한다. 이하, 게스트 모드로 진입하는 구체적인 실시예를 설명하기로 한다.
먼저, 제1실시예로, 글래스 타입 단말기(200)의 착용자가 아닌 제3자가 잠금 상태를 해제하기 위해 음성명령을 입력하는 경우가 있다.
예를 들어, 도 9의 (a)와 같이, 글래스 타입 단말기(200)를 사용자 본인(A)이 착용한 상태에서, 옆에 있는 제3자(B)가 잠금 상태를 해제하기 위한 음성명령, 예를 들어 "Hi, Optimus"를 발화한 경우, 글래스 타입 단말기(200)는 제2 마이크(222b)를 통해 상기 음성명령의 음성신호를 감지할 수 있다. 이때, 사용자 본인(A)은 디스플레이부(251)에 출력된 제1 및 제2 이미지객체(910, 920)의 형상이 다르게 출력되는 것을 통해, 제1 마이크(222a), 즉 골전도 마이크에서는 제3자(B)의 음성명령을 인식하고 있지 않음을 직관적으로 알 수 있다.
감지 결과, 글래스 타입 단말기(200)는 입력된 제3자(B)의 음성명령이 잠금 상태를 해제하기 위한 제어명령과는 일치하지만, 기등록된 사용자 본인의 목소리가 아닌 것을 인식할 수 있다.
이와 같이 상기 제1 및 제2 마이크를 통해 또는 제2 마이크를 통해 입력된 음성이 기등록된 음성신호 및 진동신호와 모두 매칭 실패하는 경우, 상기 제어부(280)는, 기설정된 일부 애플리케이션에 대해, 상기 잠금 상태를 해제 상태로 전환할지 여부를 판단하기 위한 사용자 응답을 요청하는 시각정보를 디스플레이부(251)에 출력할 수 있다.
예를 들어, 도 9의 (b)와 같이 '제3자의 사용을 허락하시겠습니까?'와 같이 기설정된 일부 애플리케이션에 대해 잠금 상태를 해제 상태로 전환할지 여부를 묻는 메시지(902)가 디스플레이부(251)에 출력될 수 있다.
이에 대해, 출력된 시각정보, 즉 상기 메시지(902)에 대한 응답으로 글래스 타입 단말기(200)를 착용한 사용자 본인에 의하여 'ok' 음성명령이 입력된 경우, 상기 제어부(280)는, 기설정된 조건을 만족하는 동안 입력된 제3자의 음성을 기등록된 사용자의 음성으로 인식하도록 제어할 수 있다. 즉, 잠금 상태였던 글래스 타입 단말기(200)가 '게스트 모드'로 해제된다.
여기서, 기설정된 조건이란, 입력된 제3자의 음성을 기등록된 사용자 음성과 동일하게 취급하기 위한 조건을 의미한다. 예를 들어, 일부 애플리케이션에 대한 실행명령, 기설정된 기능의 실행명령 등과 같이 음성명령이 적용가능한 양적범위를 제한하거나, 또는 기설정된 시간 동안에만 제3자의 음성을 기등록된 사용자의 음성으로 인식하도록 시간적범위를 제한하는 경우가 있을 수 있다.
예를 들어, 도 9의 (c)에 도시된 바와 같이 글래스 타입 단말기(200)의 잠금 상태가 해제 상태로 전환되고, 해제된 홈 화면(903)의 일 영역에는 기설정된 조건을 나타내는 시각정보(930), 예를 들어 '30 분 동안, 제3자의 사용을 허용합니다'와 같은 메시지가 출력될 수 있다. 그리고, 이후 30분 동안에는 도 9의 (c) 및 (d)와 같이 제3자(B)에 의해 입력된 음성명령, 즉 "갤러리"에 대응되는 갤러리 애플리케이션이 실행된다. 또, 갤러리 애플리케이션의 실행에 대응되는 사진 이미지가 출력된 상태에서 제3자(B)에 의해 "다음" 이라는 음성명령이 입력되면, 다음에 저장된 사진 이미지가 출력된다(904).
또한, 상기 제어부(280)는 기설정된 조건이 해제되면, 제1 및 제2 마이크(222a, 222b)를 통해 입력된 제3자의 음성을 기등록된 사용자 음성과 다르게 처리하도록 제어할 수 있다. 예를 들어, 도 9의 (c)에서 설정된 시간이 경과되면, 상기 글래스 타입 단말기(200)는 이후 제3자(B)에 의해 음성명령이 입력되더라도 대응되는 기능을 실행하지 않는다.
또한, 제2실시예로, 글래스 타입 단말기(200)를 제3자가 착용하고 제3자가 잠금 상태를 해제하기 위해 음성명령을 입력하는 경우가 있다.
예를 들어, 도 10의 (a)와 같이, 제3자(B)가 글래스 타입 단말기(200)를 착용하고, 기설정된 해제 음성명령, 예를 들어 'Hi-Optimus!'를 입력한 경우, 기등록된 사용자 음성과 매칭되지 않으므로, 매칭 실패를 나타내는 메시지(1002)와 함께, 매칭 실패의 원인인 제1 및 제2 마이크를 통해 감지된 진동신호와 음성신호가 각각 기등록된 사용자 음성과 매칭 실패되었음을 나타내는 이미지객체가 출력된다.
즉, 도 10의 (b)와 같이, 제1 마이크의 동작상태를 나타내는 이미지객체와 제2 마이크의 동작상태를 나타내는 이미지객체상에 매칭 실패를 나타내는 'X'표시가 출력될 수 있다. 이 후, 글래스 타입 단말기(200)에 등록된 사용자 본인(A)에 의하여 'Hi-Optimus!'가 입력된 경우, 도 10의 (c)와 같이 글래스 타입 단말기(200)의 잠금 상태가 게스트 모드로 해제된다. 즉, 등록된 사용자 본인(A)에 의하여 'Hi-Optimus!'가 입력되더라도 글래스 타입 단말기(200)의 착용자는 제3자이므로, 제1 마이크를 통해 두개골로 전달되는 진동신호는 감지되지 않는다. 그에 따라, 도 10의 (c)에서 제1 마이크의 동작상태를 나타내는 이미지객체상에는 매칭 실패를 나타내는 'X'표시가 출력된 것을 확인할 수 있다.
이와 같이, 글래스 타입 단말기(200)의 잠금 상태가 게스트 모드로 해제되면, 일부 애플리케이션에 대한 실행명령이나 기설정된 기능의 실행명령에 대해서만 음성명령을 통해 수행할 수 있다. 예를 들어, 도 10의 (d)와 같이 글래스 타입 단말기(200)를 착용한 제3자(B)에 의해 'take a picture'라는 음성명령이 입력된 경우에는 '카메라 촬영 기능'의 실행에 대응되는 프리뷰 화면(1004)이 출력된다. 한편, 비록 도시되지는 않았지만, 글래스 타입 단말기(200)를 착용한 제3자(B)에 의해 'phone book'이라는 음성명령이 입력된 경우에는, 개인 정보 보호를 위해 '주소록 보기 기능'이 실행되지 않을 수 있다.
또한, 위에서 살펴본 바와 같이, 도 10에서는 제3자에 의해 음성명령이 입력된 후, 글래스 타입 단말기(200)의 사용자 본인이 사용을 허락한 경우에 한하여 게스트 모드가 실행되었다. 그런, 다른 예에서는 사용자 본인의 사용 허락이 없더라도, 제3자에 의해 입력된 음성명령이 글래스 타입 단말기(200)의 잠금 상태를 해제하기 위한 음성명령과 일치되기만 하면 게스트 모드가 실행될 수도 있을 것이다.
한편, 본 발명의 실시예에 따라, 글래스 타입 단말기(200)의 착용자의 음성이 제1 및 제2 마이크를 통해 동시에 인식하지 못한 경우가 수차례 반복되는 경우, 잠금 상태를 해제하기 위한 다른 입력 수단을 제시하는 것이 바람직할 것이다.
도 11은 이러한 경우의 예시를 도시하고 있다.
상기 글래스 타입 단말기(200)가 사용자의 두부(頭部)에 착용된 것이 감지되면, 디스플레이부(251)에는 애플리케이션에 대한 제어명령의 입력을 제한하는 잠금상태에 대응되는 잠금화면이 출력된다. 또한, 상기 잠금화면상에는 활성화된 제1 및 제2 마이크(222a, 222b), 즉 골전도 마이크와 마이크로폰의 동작상태를 나타내는 이미지객체들이 출력된다. 즉, 음성명령을 통해 상기 잠금 상태를 해제할 수 있는 상태가 완료된다.
활성화된 제1 및 제2 마이크를 통해 입력된 음성의 진동신호와 음성신호가 소정횟수 이상 기등록된 진동신호 및 음성신호 중 적어도 하나와 매칭 실패하게 되면, 글래스 타입 단말기(200)의 제어부(180)는 상기 잠금 상태를 해제 상태로 전환시키기 위한 다른 수단을 제시할 수 있다. 예를 들어, 도 11의 (a)와 같이 제1 및 제2 마이크를 통해 감지된 착용자 음성의 진동신호 및 음성신호가 기등록된 사용자 음성과 매칭 실패하는 경우, 도 11의 (b)와 같이 잠금 상태를 해제하기 위한 다른 입력 수단으로서 패스워드 입력을 위한 화면(1102)이 디스플레이부(251)에 출력될 수 있다. 이때, 다른 입력 수단은 사용자 설정을 통해 미리 설정되거나 변경될 수 있다.
착용자가 제시된 다른 입력 수단에 대응되는 입력을 수행하여 상기 잠금 상태가 해제 상태로 전환된 경우, 상기 제어부(280)는, 제시된 다른 수단에 대응되는 입력에 따라 기설정된 시간이 경과하게 되면, 상기 해제 상태가 다시 잠금 상태로 전환되도록 제어할 수 있다.
예를 들어, 도 11의 (c)와 같이 기설정된 패스워드를 입력하여 잠금 상태가 해제된 경우, 홈 화면(1103)의 일 영역에는 기설정된 시간 동안에만 해제 상태가 유지됨을 나타내는 메시지(1130), 예를 들어 '30분 동안 해제됩니다'와 같은 메시지가 출력될 수 있다. 그리고, 기설정된 시간이 경과되면, 도 11의 (d)와 같이 글래스 타입 단말기(200)가 다시 잠금 상태로 전환되고, 사용자의 음성 입력을 유도하는 메시지(1104)와 제1 및 제2 마이크의 동작상태를 나타내는 이미지객체들(1110", 1120")이 디스플레이부(251)를 통해 출력된다.
한편, 글래스 타입 단말기(200)의 착용자가 사용자 본인인 경우라도, 입력된 음성의 진동신호와 음성신호가 기등록된 사용자 음성과 매칭 실패되는 경우가 있다. 그러한 예로, 주변의 소음이 기준범위를 초과하는 경우, 제1 마이크 및 제2 마이크 중 적어도 하나의 동작 상태가 오프(off) 상태인 경우, 사용자 본인의 목소리가 훼손되어 글래스 타입 단말기(200)에서 사용자 음성으로 인지하지 못하는 경우 등이 있을 수 있다.
이중, 도 12는 주변의 소음으로 인하여 착용자의 음성이 기등록된 사용자 음성과 매칭 실패하는 경우의 예시 처리방법을 보여주고 있다.
구체적으로, 상기 글래스 타입 단말기(200)의 제어부(280)는, 본체의 착용이 감지되면 상기 제1 및 제2 마이크를 통해 입력되는 주변의 소음을 감지할 수 있다. 이때, 입력된 음성이 외이도를 통해 전달되는 진동신호를 감지하는 제1 마이크(222a)는 비교적 잡음에 강하므로, 외부 환경에 노출된 제2 마이크(222b)를 통해 주로 주변의 소음이 감지될 것이다.
감지 결과, 주변의 소음이 기설정된 기준범위를 초과하는 것으로 판단되면, 상기 제어부(280)는 매칭의 실패가 주변의 소음으로 인한 것임을 나타내는 시각정보를 잠금 화면상에 출력할 수 있다. 예를 들어, 도 12의 (b)와 같이 상기 글래스 타입 단말기(200)의 착용자가 'Ok! Optimus! 라는 음성명령을 입력한 경우, 외부 소음으로 인해 제2 마이크가 음성 측정 불가능한 상태이면(1220), '외부 소음이 측정되어 인증에 실패하였습니다'와 같은 매칭 실패 원인을 알려주는 메시지(1204)가 디스플레이부(251)를 통해 출력될 수 있다.
한편, 사용자에 의한 음성명령에 입력되기 전에 주변의 소음이 기설정된 기준범위를 초과한 것으로 판단되면, 상기 제어부(280)는 도 12의 (a)와 같이 외부 소음으로 인해 음성 측정이 불가능한 경우임을 나타내는 메시지(1202)를 디스플레이부(251)를 통해 출력할 수 있다. 또한, 외부 소음에 의해 음성 측정이 불가능해진 제2 마이크(222b)의 동작상태를 나타내는 이미지객체가, 예를 들어 겹쳐진 복수의 동그라미 모양(1220)에서 하나의 동그라미 모양(1220")으로 변경되어 출력될 수 있다.
한편, 제1 마이크 및 제2 마이크 중 적어도 하나의 동작 상태가 오프(off) 상태인 경우, 사용자 본인의 목소리가 훼손되어 글래스 타입 단말기(200)에서 사용자 음성으로 인지하지 못하는 경우에, 상기 글래스 타입 단말기(200)는, 도 11을 참조하여 설명한 바와 같이, 잠금 상태를 해제하기 위한 다른 수단을 제시할 수 있다.
잠금 상태를 해제하기 위한 다른 수단으로는, 패스워드(ID/Password) 인증 방식, Passphrase 인증 방식, 기등록된 문답 인증 방식, i-pin 인증 방식 등과 같은 지식기반의 인증 방식과, OPT 인증 방식, 보안카드 인증 방식, 공인인증서 인증 방식, HSM 인증 방식과 같은 소유기반의 인증 방식과, 지문 인증 방식, 홍채 또는 망막 인증 방식, 손모양 인증 방식, 얼굴 인증 방식, 서명 인증 방식과 같은 특징기반의 인증 방식에 대응되는 수단이 포함될 수 있다.
또한, 다른 예에서, 상기 제어부(180)는 제2 마이크(222a)를 통해 입력된 음성의 떨림 패턴에 근거하여 착용자의 심리상태를 판단할 수 있다. 판단 결과, 착용자의 심리상태가 극도의 흥분상태나 긴장상태인 것으로 판단된 경우, 상기 제어부(180)는 잠금 상태를 해제하기 위한 다른 수단을 제시하거나, 또는 잠금 상태를 계속 유지하도록 제어할 수 있다. 이를 위해, 상기 글래스 타입 단말기(200)는 본체에 구비된 PPG 센서, GSR 센서, SKT 센서 등을 이용하여 착용자의 생체신호를 감지하여, 착용자의 심리상태를 판단하는데 사용할 수 있다.
한편, 도 13에 도시된 바와 같이, 상기 글래스 타입 단말기(200)가 잠금 상태에서 해제 상태로 전환된 후에도, 기설정된 애플리케이션의 실행에 대응되는 실행화면에 사용자 인증을 위한 정보입력의 요청이 포함된 경우, 제1 및 제2 마이크를 이용한 음성 인식 프로세스가 적용될 수 있다.
예를 들어, 도 13의 (a)와 같이 결제 인증을 위한 인증 수단으로 '목소리 인증'방식이 선택된 경우, 디스플레이부(251)를 통해 사용자의 음성 입력을 유도하는 특정 문자 또는 숫자가 출력된다. 그리고, 글래스 타입 단말기(200)의 제1 및 제2 마이크(222a, 222b)가 활성화되었음을 나타내는 이미지객체(1310, 1320)가 출력된다.
이와 같은 정보입력의 요청에 응답하여, 착용자가 제시된 특정 문자나 숫자를 소리내어 읽게 되면, 상기 제어부(280)는, 제1 마이크(222a), 즉 골전도 마이크를 통해 감지되는 진동신호와 제2 마이크(222b), 즉 마이크로폰을 통해 감지되는 음성신호가 기등록된 진동신호 및 음성신호와 매칭되는지 여부를 판단한다. 그리고, 상기 판단 결과에 근거하여 사용자 인증을 수행할 수 있다.
예를 들어, 도 13의 (a)에서 글래스 타입 단말기(200)의 착용자가 제시된 숫자 "03454"를 소리내어 읽으면, 도 13의 (b)와 (c)에 도시된 것처럼 제1 마이크와 제2 마이크를 통해 입력된 "03454"음성의 진동신호와 음성신호가 감지된다. 인증이 완료되면, 도 13의 (d)와 같이 결제 정보의 확인 여부를 묻는 메시지(1304)가 디스플레이부(251)에 출력될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 글래스 타입 단말기에 의하면, 잠금상태를 해제 하기 위하여, 복수의 마이크를 이용하여 입력된 사용자 음성으로부터 음성신호와 진동신호를 동시에 감지하도록 구현함으로써, 음성의 입력만으로 착용자가 등록된 사용자인지를 보다 명확하고 자연스럽게 식별할 수 있다. 그에 따라, 보안에는 강하면서 사용자에게 편리한 방식으로 본체의 잠금 상태를 해제시킬 수 있다. 또한, 입력되는 음성만으로 착용자가 등록된 사용자인지 또는 제3자인지를 구별하여 진입가능한 애플리케인션의 범위를 서로 다르게 설정하는 것이 가능해진다. 그에 따라, 제3자에게 글래스 타입 단말기의 사용을 허용하는 경우에도 등록된 사용자의 사생활이 보호될 수 있다.
나아가, 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 사용자의 두부(頭部)에 착용 가능하도록 이루어진 본체;
    상기 본체와 결합되어, 입력되는 음성이 외이도를 통해 전달되는 진동신호를 감지하도록 이루어진 제1 마이크;
    상기 본체와 결합되어, 입력되는 음성이 공기를 통해 전달되는 음성신호를 감지하도록 이루어진 제2 마이크;
    기등록된 사용자 음성에 대응되는 진동신호 및 음성신호를 저장한 메모리; 및
    애플리케이션에 대한 제어명령의 입력을 제한하는 잠금 상태에서 상기 본체의 착용이 감지되는 것에 응답하여, 상기 제1 마이크를 통해 감지된 진동신호가 기등록된 사용자 음성의 진동신호와 매칭되고 상기 제2 마이크를 통해 감지된 음성신호가 기등록된 사용자 음성의 음성신호와 매칭되면, 상기 잠금 상태를 해제 상태로 전환시키는 제어부를 포함하며,
    상기 제1 마이크는 골전도 픽업소자를 구비하고, 사용자의 양측 귀 중 적어도 하나에 대응되도록 배치되고,
    상기 제2 마이크는 커넥터를 통해 상기 본체의 일 프레임에 착탈 가능하게 장착되고 상기 장착을 통해 상기 본체와 결합되도록 구성되는 것을 특징으로 하는 글래스 타입의 단말기.
  2. 제1항에 있어서,
    상기 본체와 결합되고, 사용자의 양안 중 적어도 하나에 대응되도록 배치되는 디스플레이부를 포함하고,
    상기 제어부는,
    상기 본체의 착용이 감지되면, 상기 잠금 상태에서 표시되는 잠금화면 상에 상기 제1 및 제2 마이크의 동작 상태를 나타내는 시각정보를 출력하도록 상기 디스플레이부를 제어하고,
    상기 제1 및 제2 마이크의 동작 상태에 따라, 상기 제1 마이크를 통해 입력되는 음성의 진동신호와 상기 제2 마이크를 통해 입력되는 음성의 음성신호를 감지하는 것을 특징으로 하는 글래스 타입의 단말기.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 본체의 착용이 감지되면 상기 제1 마이크와 상기 제2 마이크를 활성화하고, 상기 활성화된 제1 마이크의 동작 상태를 나타내는 제1 이미지객체와 상기 제2 마이크의 동작 상태를 나타내는 제2 이미지객체를 상기 디스플레이부에 각각 출력하는 것을 특징으로 하는 글래스 타입의 단말기.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 제1 마이크를 통해 감지된 진동신호와 기등록된 사용자 음성에 대응되는 진동신호의 매칭 결과에 따라 상기 제1 이미지객체를 다르게 변경하고,
    상기 제2 마이크를 통해 감지된 음성신호와 기등록된 사용자 음성에 대응되는 음성신호의 매칭 결과에 따라 상기 제2 이미지객체를 다르게 변경하는 것을 특징으로 하는 글래스 타입의 단말기.
  5. 삭제
  6. 제1항에 있어서,
    상기 제1 마이크는 스피커와 일체로 결합되고,
    상기 제어부는,
    입력에 대응되는 스위칭 신호에 따라, 상기 제1 마이크가 온(on) 상태이면 상기 스피커가 오프(off)되도록 제어하고, 상기 스피커가 온(on) 상태이면 상기 제1 마이크를 오프(off)되도록 제어하는 것을 특징으로 하는 글래스 타입의 단말기.
  7. 제2항에 있어서,
    상기 제어부는,
    기설정된 입력신호에 따라 음성등록모드에 진입하면, 상기 디스플레이부에 음성입력이 가능한 텍스트를 출력하고,
    상기 출력된 텍스트에 대응되는 음성이 상기 제1 및 제2 마이크를 통해 입력되면, 상기 입력된 음성이 상기 출력된 텍스트의 발음과 일치하는지를 판단하고, 상기 판단에 근거하여 상기 제1 마이크를 통해 입력된 진동신호와 상기 제2 마이크를 통해 입력된 음성신호를 사용자 음성으로 등록하는 것을 특징으로 하는 글래스 타입의 단말기.
  8. 제1항에 있어서,
    상기 제어부는,
    상기 메모리에 제1 사용자 음성 및 제2 사용자 음성에 대응되는 진동신호와 음성신호가 각각 저장된 경우,
    상기 제1 사용자 음성이 입력됨에 따라 실행되는 해제 상태와 상기 제2 사용자 음성이 입력됨에 따라 실행되는 해제 상태의 적용범위를 서로 다르게 적용하는 것을 특징으로 하는 글래스 타입의 단말기.
  9. 제2항에 있어서,
    상기 제어부는,
    상기 본체의 착용이 감지되면, 상기 잠금화면 상에 상기 제1 및 제2 마이크를 통해 음성의 입력을 유도하는 시각정보를 출력하는 것을 특징으로 하는 글래스 타입의 단말기.
  10. 제1항에 있어서,
    상기 제어부는,
    상기 제1 마이크를 통해 감지된 진동신호가 기등록된 사용자 음성에 대응되는 진동신호와 매칭되는 경우 제1 알람을 출력하고,
    상기 제2 마이크를 통해 감지된 음성신호가 기등록된 사용자 음성에 대응되는 음성신호와 매칭되는 경우 제2 알람을 출력하도록 제어하는 것을 특징으로 하는 글래스 타입의 단말기.
  11. 제1항에 있어서,
    상기 제어부는,
    상기 제1 및 제2 마이크를 통해 입력된 음성의 진동신호와 음성신호가 기등록된 진동신호 및 음성신호 중 어느 하나와 매칭 실패하는 경우,
    기설정된 일부 애플리케이션에 대해 상기 해제 상태를 적용하고 다른 애플리케이션에 대한 잠금 상태는 유지하도록 제어하는 것을 특징으로 하는 글래스 타입의 단말기.
  12. 제2항에 있어서,
    상기 제어부는,
    상기 제1 및 2 마이크를 통해 입력된 음성의 진동신호와 음성신호가 기등록된 진동신호 및 음성신호와 모두 매칭 실패하는 경우,
    상기 잠금 상태를 유지하고, 상기 매칭 실패에 대응되는 시각정보를 상기 잠금 화면상에 출력하는 것을 특징으로 하는 글래스 타입의 단말기.
  13. 제2항에 있어서,
    상기 제어부는,
    상기 제1 및 제2 마이크를 통해 입력된 음성의 진동신호와 음성신호가 기등록된 진동신호 및 음성신호와 모두 매칭 실패하는 경우,
    기설정된 일부 애플리케이션에 대해, 상기 잠금 상태를 해제 상태로 전환할지 여부를 판단하기 위한 사용자 응답을 요청하는 시각정보를 상기 디스플레이부에 출력하는 것을 특징으로 하는 글래스 타입의 단말기.
  14. 제13항에 있어서,
    상기 제어부는,
    상기 출력된 시각정보에 대응되는 사용자 응답에 근거하여, 기설정된 조건을 만족하는 동안 제3자의 음성을 기등록된 사용자의 음성으로 인식하도록 제어하는 것을 특징으로 하는 글래스 타입의 단말기.
  15. 제14항에 있어서,
    상기 제어부는,
    상기 기설정된 조건이 해제되면, 상기 제1 및 제2 마이크를 통해 입력된 상기 제3자의 음성을 기등록된 사용자 음성과 다르게 처리하도록 제어하는 것을 특징으로 하는 글래스 타입의 단말기.
  16. 제2항에 있어서
    상기 제어부는,
    상기 제1 및 제2 마이크를 통해 입력된 음성이 상기 잠금 상태를 해제 상태로 전환하기 위한 음성명령과 매칭되고, 상기 입력된 음성의 진동신호 및 음성신호가 기등록된 진동신호 및 음성신호와 모두 매칭 실패하는 경우,
    기설정된 일부 애플리케이션에 대해서만 상기 해제 상태를 적용하고, 해제된 일부 애플리케이션을 나타내는 아이콘을 상기 잠금 화면상에 출력시키는 것을 특징으로 하는 글래스 타입의 단말기.
  17. 제1항에 있어서,
    상기 제어부는,
    상기 제1 및 제2 마이크를 통해 입력된 음성의 진동신호와 음성신호가 소정횟수 이상 기등록된 진동신호 및 음성신호 중 적어도 하나와 매칭 실패하는 경우,상기 잠금 상태를 해제 상태로 전환시키기 위한 다른 수단을 제시하는 것을 특징으로 하는 글래스 타입의 단말기.
  18. 제17항에 있어서,
    상기 제어부는,
    상기 제시된 다른 수단에 대응되는 입력에 따라 상기 잠금 상태가 해제 상태로 전환된 경우, 기설정된 시간이 경과하면 상기 해제 상태를 다시 상기 잠금 상태로 전환하도록 제어하는 것을 특징으로 하는 글래스 타입의 단말기.
  19. 제2항에 있어서,
    상기 제어부는,
    상기 본체의 착용이 감지되면 상기 제1 및 제2 마이크를 통해 입력되는 주변의 소음을 감지하고,
    상기 감지된 주변의 소음이 기설정된 기준범위를 초과하는 것으로 판단된 경우, 상기 매칭의 실패가 주변의 소음으로 인한 것임을 나타내는 시각정보를 상기 잠금 화면상에 출력하는 것을 특징으로 하는 글래스 타입의 단말기.
  20. 제1항에 있어서,
    상기 잠금 상태가 해제 상태로 전환된 후, 기설정된 애플리케이션의 실행에 대응되는 실행화면이 사용자 인증을 위한 정보입력의 요청을 포함하는 경우,
    상기 제어부는,
    상기 정보입력의 요청에 응답하여, 상기 제1 마이크를 통해 감지된 진동신호와 상기 제2 마이크를 통해 감지된 음성신호가 기등록된 진동신호 및 음성신호와 각각 매칭되는지 여부를 판단하고, 상기 판단에 따라 사용자 인증을 수행하도록 제어하는 것을 특징으로 하는 글래스 타입의 단말기.
KR1020140061721A 2014-05-22 2014-05-22 글래스 타입 단말기 및 이의 제어방법 KR102223278B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020140061721A KR102223278B1 (ko) 2014-05-22 2014-05-22 글래스 타입 단말기 및 이의 제어방법
US14/566,467 US9503800B2 (en) 2014-05-22 2014-12-10 Glass-type terminal and method of controlling the same
EP14004160.9A EP2947561B1 (en) 2014-05-22 2014-12-10 Glass-type terminal and method of controlling the same
CN201410841211.8A CN105093526B (zh) 2014-05-22 2014-12-30 眼镜式终端及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140061721A KR102223278B1 (ko) 2014-05-22 2014-05-22 글래스 타입 단말기 및 이의 제어방법

Publications (2)

Publication Number Publication Date
KR20150134666A KR20150134666A (ko) 2015-12-02
KR102223278B1 true KR102223278B1 (ko) 2021-03-05

Family

ID=52464104

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140061721A KR102223278B1 (ko) 2014-05-22 2014-05-22 글래스 타입 단말기 및 이의 제어방법

Country Status (4)

Country Link
US (1) US9503800B2 (ko)
EP (1) EP2947561B1 (ko)
KR (1) KR102223278B1 (ko)
CN (1) CN105093526B (ko)

Families Citing this family (158)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
BR112015018905B1 (pt) 2013-02-07 2022-02-22 Apple Inc Método de operação de recurso de ativação por voz, mídia de armazenamento legível por computador e dispositivo eletrônico
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
EP3008641A1 (en) 2013-06-09 2016-04-20 Apple Inc. Device, method, and graphical user interface for enabling conversation persistence across two or more instances of a digital assistant
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
CN106471570B (zh) 2014-05-30 2019-10-01 苹果公司 多命令单一话语输入方法
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US20160062137A1 (en) * 2014-08-29 2016-03-03 Rodrigo Perez Extreme sports glasses
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
EP3073452B1 (de) * 2015-03-26 2020-04-29 Skidata Ag Verfahren zur Überwachung und Steuerung eines Zugangskontrollsystems
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
JP6544088B2 (ja) * 2015-07-06 2019-07-17 富士通株式会社 端末、情報漏洩防止方法および情報漏洩防止プログラム
US10331312B2 (en) 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
EP3157270B1 (en) * 2015-10-14 2021-03-31 Sonion Nederland B.V. Hearing device with vibration sensitive transducer
JP6855381B2 (ja) * 2015-10-21 2021-04-07 日本電気株式会社 個人認証装置、個人認証方法および個人認証プログラム
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
CN105472159A (zh) * 2015-12-17 2016-04-06 青岛海信移动通信技术股份有限公司 一种多用户解锁的方法及装置
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US20170221336A1 (en) * 2016-01-28 2017-08-03 Flex Ltd. Human voice feedback system
US20210350697A1 (en) * 2016-01-29 2021-11-11 Infosonic Inc. Method for driving mobile application using sound wave signal and mobile application driving system for implementing same
KR20170110771A (ko) 2016-03-23 2017-10-12 삼성디스플레이 주식회사 헤드 마운트 장치 및 표시 장치
JP2017173530A (ja) * 2016-03-23 2017-09-28 富士通株式会社 音声入力支援プログラム、ヘッドマウントディスプレイ、音声入力支援方法および音声入力支援装置
US10674257B1 (en) 2016-03-29 2020-06-02 Amazon Technologies, Inc. Wearable device with bone conduction microphone
CN105676456A (zh) * 2016-04-06 2016-06-15 众景视界（北京）科技有限公司 模块化头戴式电子设备
CN105872878A (zh) * 2016-04-26 2016-08-17 广东小天才科技有限公司 一种骨传导耳机工作模式的切换方法、装置及骨传导耳机
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
CN113238707A (zh) * 2016-06-11 2021-08-10 苹果公司 具有数字助理的应用集成
CN106203032A (zh) * 2016-06-27 2016-12-07 广州杰赛科技股份有限公司 智能穿戴设备的语音输出方法及智能穿戴设备
CN106023578A (zh) * 2016-07-14 2016-10-12 广州视源电子科技股份有限公司 可穿戴设备及家居设备的控制方法
WO2018017868A1 (en) 2016-07-21 2018-01-25 Magic Leap, Inc. Technique for controlling virtual image generation system using emotional states of user
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US20180084341A1 (en) * 2016-09-22 2018-03-22 Intel Corporation Audio signal emulation method and apparatus
EP3919969A1 (en) * 2016-09-22 2021-12-08 Essilor International Health monitoring device and wearing detection module for spectacles frame
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
CN107977834B (zh) * 2016-10-21 2022-03-18 阿里巴巴集团控股有限公司 一种虚拟现实/增强现实空间环境中的数据对象交互方法及装置
KR20180055661A (ko) 2016-11-16 2018-05-25 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2018093183A1 (ko) * 2016-11-16 2018-05-24 삼성전자 주식회사 전자 장치 및 그 제어 방법
CN106599655A (zh) * 2016-11-22 2017-04-26 杭州华为数字技术有限公司 一种智能终端的解锁方法及装置
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10701480B1 (en) * 2016-12-21 2020-06-30 Amazon Technologies, Inc. Microphone system for head-mounted wearable device
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
DK201770427A1 (en) 2017-05-12 2018-12-20 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
US10847173B2 (en) 2018-02-13 2020-11-24 Intel Corporation Selection between signal sources based upon calculated signal to noise ratio
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US11163156B2 (en) 2018-03-15 2021-11-02 Sphairos, Inc. Modular display and sensor system for attaching to eyeglass frames and capturing physiological data
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
WO2019238061A1 (zh) * 2018-06-12 2019-12-19 华为技术有限公司 通过人体振动识别用户语音的方法和设备
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US11100349B2 (en) * 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
KR102125550B1 (ko) * 2018-10-04 2020-06-30 장우용 자극 발생 시스템
CN111063363B (zh) * 2018-10-16 2022-09-20 安克创新科技股份有限公司 一种语音获取方法、音频设备和具有存储功能的装置
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
CN111161719B (zh) * 2018-11-08 2023-01-20 联想新视界（北京）科技有限公司 一种通过语音操作的ar眼镜及通过语音操作ar眼镜的方法
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
WO2020155060A1 (zh) 2019-01-31 2020-08-06 华为技术有限公司 一种存储控制器和数据搬迁监测方法
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN110069236A (zh) * 2019-03-20 2019-07-30 华为技术有限公司 一种头戴电子设备及其音频输出控制方法
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
DK201970511A1 (en) 2019-05-31 2021-02-15 Apple Inc Voice identification in digital assistant systems
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
US11488406B2 (en) 2019-09-25 2022-11-01 Apple Inc. Text detection using global geometry estimators
CN111190289B (zh) * 2019-12-10 2022-01-07 山东新文化传媒科技股份有限公司 一种头戴式vr智能设备及其佩戴方法
CN111048089B (zh) * 2019-12-26 2023-07-28 江西佳芯物联有限公司 提高智能穿戴设备语音唤醒成功率的方法、电子设备、计算机可读存储介质
KR20210122568A (ko) * 2020-04-01 2021-10-12 삼성전자주식회사 전자 장치 및 그의 오디오 출력을 제어하는 방법
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
KR20220015833A (ko) * 2020-07-31 2022-02-08 삼성전자주식회사 전자 장치 및 전자 장치의 동작 방법
CN112131541A (zh) * 2020-09-22 2020-12-25 深圳大学 一种基于振动信号的身份验证方法和系统
KR20230009110A (ko) * 2021-07-08 2023-01-17 삼성전자주식회사 전자 장치 및 전자 장치의 화자 인증 방법
CN114786080A (zh) * 2022-04-21 2022-07-22 维沃移动通信有限公司 麦克风的控制方法、装置、电子设备和可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8184067B1 (en) * 2011-07-20 2012-05-22 Google Inc. Nose bridge sensor
US20120235896A1 (en) 2010-09-20 2012-09-20 Jacobsen Jeffrey J Bluetooth or other wireless interface with power management for head mounted display

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07294844A (ja) * 1994-04-22 1995-11-10 Canon Inc 表示装置
JP2001108935A (ja) * 1999-08-05 2001-04-20 Olympus Optical Co Ltd 頭部装着型映像表示装置
JP3988632B2 (ja) * 2002-11-28 2007-10-10 日本電気株式会社 眼鏡型ディスプレイの制御方法
TW201006265A (en) * 2008-07-29 2010-02-01 Neovictory Technology Co Ltd Low-background-sound bone-skin vibration microphone and glasses containing the same
HU0900696D0 (en) * 2009-11-05 2009-12-28 Holakovszky Laszlo Binocular display device
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
JP5633406B2 (ja) * 2011-02-04 2014-12-03 セイコーエプソン株式会社 虚像表示装置
US9262612B2 (en) * 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
KR20130140960A (ko) * 2012-05-22 2013-12-26 엘지디스플레이 주식회사 액티브 리타더 역할을 하는 패널과 이의 제조 방법 및 이를 구비한 입체 영상 구현 시스템
CN202841290U (zh) * 2012-06-04 2013-03-27 百度在线网络技术（北京）有限公司 移动终端的解锁装置及具有该解锁装置的移动终端
US9094749B2 (en) * 2012-07-25 2015-07-28 Nokia Technologies Oy Head-mounted sound capture device
CN103729584A (zh) * 2012-10-16 2014-04-16 北京千橡网景科技发展有限公司 用于屏幕解锁的方法和装置
CN202975477U (zh) * 2012-11-28 2013-06-05 联想(北京)有限公司 头戴式电子设备
KR20140099702A (ko) * 2013-02-04 2014-08-13 한국전자통신연구원 이동통신 단말기 및 그 동작방법
EP2801974A3 (en) * 2013-05-09 2015-02-18 DSP Group Ltd. Low power activation of a voice activated device
CN103591414B (zh) * 2013-10-30 2016-01-20 青岛歌尔声学科技有限公司 一种滑动装置和头戴显示器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120235896A1 (en) 2010-09-20 2012-09-20 Jacobsen Jeffrey J Bluetooth or other wireless interface with power management for head mounted display
US8184067B1 (en) * 2011-07-20 2012-05-22 Google Inc. Nose bridge sensor

Also Published As

Publication number Publication date
KR20150134666A (ko) 2015-12-02
EP2947561A1 (en) 2015-11-25
CN105093526B (zh) 2020-05-12
US20150341717A1 (en) 2015-11-26
EP2947561B1 (en) 2019-07-10
US9503800B2 (en) 2016-11-22
CN105093526A (zh) 2015-11-25

Similar Documents

Publication Publication Date Title
KR102223278B1 (ko) 글래스 타입 단말기 및 이의 제어방법
US8963806B1 (en) Device authentication
WO2016013269A1 (ja) 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
EP3179290B1 (en) Mobile terminal and method for controlling the same
US20140126782A1 (en) Image display apparatus, image display method, and computer program
KR102080747B1 (ko) 이동 단말기 및 그것의 제어 방법
US20180234244A1 (en) Password Management
KR102471916B1 (ko) 모바일 디바이스 및 그 제어 방법
KR100952540B1 (ko) 통신 장치, 통신 시스템
JP6361649B2 (ja) 情報処理装置、通知状態制御方法及びプログラム
KR20160136013A (ko) 이동 단말기 및 그 제어 방법
US20100308999A1 (en) Security and monitoring apparatus
WO2014156389A1 (ja) 情報処理装置、提示状態制御方法及びプログラム
US20140130148A1 (en) Information processing device, information processing method, and computer program
WO2008127316A1 (en) Security and monitoring apparatus
WO2015194017A1 (ja) ウェアラブル装置および認証方法
CN108550210B (zh) 控制车辆解除锁定状态的方法和装置
EP2963479B1 (en) Glasses-type head mounted display
US10425813B2 (en) Authentication management method, information processing apparatus, wearable device, and computer program
JP6789170B2 (ja) ディスプレイ装置、認証方法、及び認証プログラム
US20180150133A1 (en) Glasses-type terminal and control method therefor
JP7045633B2 (ja) 頭部装着ディスプレイ装置、認証方法、及び認証プログラム
KR102349452B1 (ko) 사용자 인증 방법 및 이를 지원하는 머리 착용형 장치
KR101596760B1 (ko) 글래스 타입의 이동 단말기, 이를 이용한 차량 트렁크 잠금장치 해제 방법 및 차량 트렁크 잠금장치 해제 시스템
JP2014102682A (ja) 認証制御装置及びその制御方法、並びにコンピュータ・プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right