KR20140141916A - 사용자 기기의 알림 기능 운용 방법 및 장치 - Google Patents

사용자 기기의 알림 기능 운용 방법 및 장치 Download PDF

Info

Publication number
KR20140141916A
KR20140141916A KR20130063261A KR20130063261A KR20140141916A KR 20140141916 A KR20140141916 A KR 20140141916A KR 20130063261 A KR20130063261 A KR 20130063261A KR 20130063261 A KR20130063261 A KR 20130063261A KR 20140141916 A KR20140141916 A KR 20140141916A
Authority
KR
South Korea
Prior art keywords
user
face
detected
notification
terminal
Prior art date
Application number
KR20130063261A
Other languages
English (en)
Inventor
이기혁
나진희
윤영권
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130063261A priority Critical patent/KR20140141916A/ko
Priority to US14/287,873 priority patent/US9348412B2/en
Publication of KR20140141916A publication Critical patent/KR20140141916A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M19/00—Current supply arrangements for telephone systems
    • H04M19/02—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04—Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/57—Arrangements for indicating or recording the number of the calling subscriber at the called subscriber's set
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 사용자 기기의 알림 기능 운용 방법에 있어서, 알림 이벤트 검출 시 카메라를 통해 수집된 영상에서 사용자 얼굴이 검출되는 경우, 상기 알림 이벤트에 응답하여 무음 또는 진동 중 하나의 모드로 알림 기능을 실행하는 동작을 포함하는 사용자 기기의 수신 알림 기능 운용 방법을 제공한다.

Description

사용자 기기의 알림 기능 운용 방법 및 장치{Apparatus and Method for operating a receiving notification function of a user device}
본 발명은 사용자 기기의 알림 기능 운용 방법 및 장치에 관한 것으로, 보다 구체적으로 사용자 얼굴의 검출 여부에 따라 알림 모드를 구분하여 운용하는 사용자 기기의 알림 기능 운용 방법 및 장치에 관한 것이다.
최근 통신 기술의 발달로, 휴대 단말기 예컨대, 스마트폰, 태블릿 PC 등이 널리 보급되고 있다. 휴대 단말기는 이용의 편의성과 휴대의 용이성으로 인해 매우 폭넓은 분야에서 이용되고 있다.
휴대 단말기는 무선통신부를 통해 타 단말기들과 전화, 메시지, 메신저 등의 데이터를 송수신한다. 휴대 단말기는 무선 통신부를 통해 데이터가 수신되면, 사용자에게 데이터의 수신을 알리는 알림 서비스를 제공하고 있다. 예를 들어, 메시지가 수신되는 경우, 휴대 단말기는 표시부가 오프 상태인 경우, 표시부를 구동(On)하여 메시지 수신에 대한 정보(information)를 팝업(pop up) 형태로 표시하고, 사운드(sound) 또는 진동(vibration)으로 수신 알림을 제공하고 있다. 또한, 휴대 단말에서 사용자가 특정 시간에 대해 기능 실행을 예약한 후, 알림 기능을 통해 사용자에게 알림 정보를 제공하고 잇다.
그런데, 사용자가 단말기를 사용하거나, 화면을 바라보고 있는 경우, 전화 또는 메시지 수신 시 이를 알리는소리나 진동의 부가적인 알림 효과는 오히려 사용자와 주변 사람들에게 불편함을 주고 있다. 예를 들어, 사용자가 전화 통화를 수행하는 경우, 메시지 수신 알림음 또는 진동 효과는 사용자의 통화를 방해하는 요소로 작용하고 있다. 또한, 사용자들은 장소 변경에 따라 수신 알림음을 무음 모드 또는 진동 모드로 일일이 변경해야 하는 번거로움이 있다. 그러므로, 별도의 키 입력 이외에도 단말의 사용 여부에 따라 수신 알림 모드를 변경할 수 있는 방법이 요구되고 있다.
본 발명은 사용자가 사용자 기기를 보고 있는지 여부에 따라 사용자 기기의 알림 기능을 효율적으로 운용할 수 있는 사용자 기기의 알림 기능 운용 방법 및 장치를 제공하는 데 그 목적이 있다.
본 발명은 사용자가 기기 운용 중 또는 알림이벤트 검출 시 사용자 얼굴의 검출 여부에 따라 단말의 알림 기능을 무음 모드로 변경할 수 있는 사용자 기기의 수신 알림 운용 방법 및 장치를 제공하는 데 그 목적이 있다.
본 발명에 따른 사용자 기기의 알림 기능 운용 방법은, 알림 이벤트 검출 시 카메라를 통해 수집된 영상에서 사용자 얼굴이 검출되는 경우, 상기 알림 이벤트에 응답하여 무음 또는 진동 알림 기능 중 하나의 기능을 실행하는 동작을 포함한다.
본 발명에 따른 사용자 기기는, 호 또는 특정 데이터를 송수신하는 무선 통신부; 영상을 수집하는 카메라; 수신음을 출력하는 오디오 처리부; 및 상기 무선 통신부를 통해 수신되는 상기 호 또는 특정 데이터의 수신을 사용자에게 알리는 알림 이벤트 또는 기능 실행에 따른 기능 알림 이벤트를 검출하고, 상기 카메라를 활성화시키고, 상기 카메라를 통해 수집된 영상에서 사용자의 얼굴이 검출되는 경우, 상기 알림 이벤트에 응답하여 무음 알림 기능을 실행하는 제어부를 포함한다.
본 발명에 따른 사용자 기기는 알림 이벤트 발생 시 카메라를 통해 획득된 영상에서 사용자의 얼굴이 검출되는지 여부를 판단하여, 사용자의 얼굴이 검출되는 경우, 알림 이벤트에 응답하여 무음 알림 기능을 실행할 수 있다. 특히, 본 발명에 따른 사용자 기기는 사용자가 사용자 기기를 바라보고 있다고 판단되면, 알림을 수반하는 기능에 대한 알림을 무음 처리하고, 시각적 피드백만을 제공으로써, 사용자 편의성을 향상할 수 있다.
또한, 본 발명에 따른 사용자 기기는 사용자가 사용자 기기를 바라보고 있지 않다고 판단되면, 기 설정된 알림 모드로 알림 기능을 운용하다가 사용자가 화면을 바라보고 있다고 판단되면, 진동 발생 또는 효과음 출력 등의 효과 피드백을 제한하고, 알림 정보를 출력하는 시각적 피드백만을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 단말기를 설명하기 위한 블록도이다.
도 2는 본 발명의 제1 실시예에 따른 사용자 기기의 알림 기능 운용 방법을 설명하기 위해 나타내 보인 흐름도이다.
도 3은 본 발명의 제2 실시예에 따른 사용자 기기의 알림 기능 운용 방법을 설명하기 위해 나타내 보인 흐름도이다.
도 4는 본 발명에 따른 알림 기능을 설명하기 위해 나타내 보인 예시도이다.
도 5는 본 발명의 제3 실시예에 따른 사용자 기기의 알림 기능 운용 방법을 설명하기 위해 나타내 보인 흐름도이다.
도 6은 본 발명에 따른 메시지 수신 시 알림 기능을 설명하기 위해 나타내 보인 예시도이다.
도 7은 본 발명의 제4 실시예에 따른 사용자 기기의 알림 기능 운용 방법을 설명하기 위해 나타내 보인 흐름도이다.
이하에는 첨부한 도면을 참조하여 본 발명의 실시예에 따라 알림 기능 운용 방법 및 장치에 대해서 상세하게 설명한다. 본 발명의 상세한 설명에 앞서, 이하에서 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서, 본 명세서와 도면은 본 발명의 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
본 발명에 따른 사용자 기기는 단말기 운용 시 사용자 얼굴의 검출 여부에 따라 알림 기능을 무음 모드로 처리하는 기능을 지원한다. 특히, 본 발명은 상요자가 사용자 기기를 응시 하고 있는지 여부에 따라 알림의 효과 피드백(예컨대, 오디오 출력 또는 진동 발생)을 제한하고 시각적 피드백만을 제공하는 기능을 지원한다. 또한, 본 발명의 사용자 기기는 문자 수신 시 사용자 얼굴의 검출 여부에 따라 문자 내용 표시를 제한하는 기능을 지원한다. 본 발명의 사용자 기기는 알림 기능 설정 시 사용자 얼굴이 검출되는지 여부를 판별하여 사용자 입력의 오동작을 제한하는 기능을 지원한다.
본 발명에서 " 알림 기능"은 단말기 운용 과정에서 발생하는 기능 실행 시 사용자에게 이벤트가 발생됐음을 알림하는 기능으로서, 알림 이벤트에 응답하여 사용자에게 표시부를 통해 시각적 피드백(알림 정보 표시)과, 효과 피드백(예, 벨소리 출력, 진동 발생 등)의 알림 서비스를 제공한다. 알림 이벤트는 수신 알림 이벤트(예: 메시지 수신, 호 수신 등)와 기능 알림 이벤트(예: 스케쥴 알람, 시간 알람 등 )을 포함할 수 있다. 또한, 알림 기능은 벨소리 모드, 진동 모드 및 무음 모드로 구분될 수 있다.
본 발명에서 "무음 알림 기능"은 알림 이벤트 발생 시 오디오 출력, 진동 발생 등의 효과 피드백을 제한하고, 표시부를 통해 시각적 피드백 만을 제공하는 기능을 의미한다. 예컨대, 본 발명에서 "무음 알림 기능"은 알림 기능이 무음 모드로 설정된 경우로 해석될 수 있다.
본 발명에 따른 방법 및 장치는 휴대 단말기에 적용될 수 있다. 이러한 휴대 단말기는 휴대폰, 스마트폰, 태블릿 PC, 핸드헬드(hand-held) PC, PMP(Portable Multimedia Player), PDA(Personal Digital Assistant) 등이 될 수 있음은 자명하다. 이하 설명에서는 본 발명에 따른 사용자 기기의 알림 기능 운용 방법 및 장치가 휴대 단말기에 적용되는 것으로 가정하여 설명한다.
도 1은 본 발명의 실시예에 따른 단말기의 구조를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명에 따른 단말기(100)는 표시부(110), 입력부(120), 무선 통신부(130), 오디오 처리부(140), 카메라(150), 저장부(160) 및 제어부(170)를 포함하여 이루어질 수 있다.
표시부(110)는 단말기의 운용 과정에 필요한 다양한 기능 화면을 표시한다. 표시부(110)는 제어부(170)의 제어 하에, 제어부(170)에서 입력받은 영상 데이터를 아날로그 신호로 변환하여 표시한다. 표시부(110)는 단말기 운용에 따라 다양한 화면을 제공하는 표시 패널과, 표시 패널의 전면 또는 후면에 입력 이벤트 생성을 지원하는 터치 패널을 포함할 수 있다. 표시부(110)는 단말기의 회전 방향(또는 파지 방향)에 따라 가로 보기 모드를 제공하거나 세로 보기 모드를 지원한다.
본 발명에서 표시부(110)는 알림 이벤트(예: 메시지 수신, 호 수신, 모닝콜 기능 실행요청 등)가 검출되는 경우, 알림 이벤트에 응답하여 시각적 피드백 화면을 제공하는 기능을 지원한다. 특히, 표시부(110)는 제어부(170)의 제어 하에, 알림 이벤트에 응답하여 알림 정보를 표시할 수 있다. 표시부(110)는 알림 기능을 위한 다양한 화면을 출력할 수 있다. 예컨대, 표시부(110)는 착신 호의 수신 화면, 메시지 수신 알림 화면, 메시지 내용 표시 화면, 스케줄 알림 화면, 모닝콜 등의 시간 알림 화면, 알림 설정 화면 등을 출력할 수 있다.
입력부(120)는 단말기 운용에 필요한 다양한 입력 신호를 생성한다. 입력부(120)는 사용자 설정 및 단말기의 기능 제어와 관련된 신호를 생성하여 제어부(170)로 전달한다. 제어부(170)는 이러한 입력 신호에 응답하여 해당 입력 신호에 따른 기능들을 제어한다. 또한, 표시부(110)에 터치 패널이 포함되는 경우, 표시부(110)는 입력부(120)로서 동작할 수 있다. 이 경우, 단말기 운용을 위한 입력 신호는 터치 패널을 통해 생성될 수 있다.
무선 통신부(130)는 단말기의 통신 기능을 수행한다. 무선 통신부(130)는 지원 가능한 이동 통신 네트워크와 통신 채널을 형성하여 음성 통신, 화상 통신 및 데이터 통신과 같은 통신 기능을 수행한다. 무선 통신부(130)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF 송신기와, 수신되는 신호를 저잡음 증폭하고, 수신 신호의 주파수를 하강 변환하는 RF수신부 등을 포함할 수 있다. 본 발명에서 무선 통신부는 타 단말기와 전화 호 송수신, 메시지 송수신, 메신저 송수신 등과 같은 통신 기능을 지원한다.
오디오 처리부(140)는 단말기에서 생성된 또는 복호된 오디오 신호를 소리로 출력하는 스피커(SPK)와 음성 통화나 영상 통화, 녹음 기능 등을 지원하기 위해 외부에서 입력되는 오디오 신호를 전기 신호로 변환하는 마이크(MIC)를 포함할 수 있다. 오디오 처리부(140)는 코덱(codec; coder/decoder)으로 구성될 수 있으며, 코덱은 패킷 데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 포함할 수 있다. 오디오 처리부(140)는 알림 이벤트에 응답하여 기 설정된 알림 모드에 응답하여 오디오 효과음이나 안내음 출력을 지원한다.
도면에는 도시되지 않았으나, 본 발명의 단말기(100)는 진동부를 포함할 수 있다. 진동부는 단말기를 진동시키는 스테핑 모터 등을 포함할 수 있으며, 제어부의 제어 하에, 알림 이벤트 발생 시 단말기를 진동시키는 기능을 지원한다. 예컨대, 단말기의 알림 기능이 진동 모드로 설정된 경우, 단말기는 알림 이벤트 검출 시 진동부를 통해 단말기를 진동시키는 효과 피드백을 실행시켜, 사용자에게 알림 기능을 제공할 수 있다.
카메라(150)는 입력된 광 신호를 전기적 신호로 변환하는 카메라 센서와, 카메라 센서로부터 촬영되는 아날로그 영상 신호를 디지털 데이터로 변환하는 영상처리 장치(Image Signal Processor) 및 영상처리 장치에서 출력되는 디지털 데이터를 표시부(110)에 표시하기 위해 비디오 신호를 영상 처리(예, 크기 조정(scaling), 잡음 제거, RGB 신호 변환 등) 하는 신호처리 장치(Digital Signal Processor)등을 포함할 수 있다. 또한 본 발명의 카메라(150)는 적외선 이미지 센서를 포함할 수 있다. 이 경우, 카메라(150)는 적외선 이미지를 촬영하여 적외선 이미지 촬영 영상을 제어부로 전달할 수 있다.
본 발명에서 카메라(150)는 사용자 영상을 수집하고, 수집된 영상을 제어부(170)로 전달한다. 제어부(170)는 카메라로부터 수신된 영상에 얼굴이 포함되어 있는지 여부를 판단한다. 카메라(150)는 사용자의 얼굴 검출 기능 실행이 요청된 경우, 제어부(170)의 제어 하에, 백그라운드(background) 기능으로 활성화(on)될 수 있다. 카메라(150)는 백그라운드로 활성화 시 내부 센서를 통해 촬영되는 영상 (예: 사용자 영상 등)을 제어부(170)로 전달한다. 본 발명에서 카메라(150)는 단말기 전면과 후면에 각각 배치될 수 있으나, 얼굴 검출 기능 수행 시 활성화되는 카메라(150)는 단말기 전면에 배치된 전면 카메라일 수 있다.
저장부(160)는 사용자 기기의 운영체제(OS:Operating System) 및 다양한 어플리케이션(이하, 앱)을 비롯하여, 휴대 단말에서 생성되는 다양한 데이터 등을 저장한다. 데이터는 사용자 기기의 앱 실행에 발생하는 데이터 및 사용자 기기를 이용하여 생성하거나 외부(예컨대, 외부 서버, 다른 사용자 기기 등)로부터 수신하여 저장 가능한 모든 형태의 데이터들을 포함할 수 있다. 저장부(160)는 사용자 기기에서 제공되는 사용자 인터페이스(UI:User Interface) 및 사용자 기기에서 기능 처리 시 필요한 다양한 설정 정보를 저장할 수 있다. 본 발명에서 저장부(160)는 알림 기능을 지원하는 프로그램을 포함하며, 알림 기능을 지원하는 프로그램은 알림음 설정 기능, 알림 표시 정보 설정 기능을 지원한다. 또한, 저장부(160)는 얼굴 검출 시 사용될 수 있는 사용자의 눈(eye)을 인식하기 위한 눈 패턴 정보들을 포함할 수 있다.
제어부(170)는 사용자 기기의 전반적인 동작 및 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(170)는 배터리에서 내부 구성들로의 전원 공급을 제어한다. 제어부(170)는 전원이 공급되면, 사용자 기기의 부팅 과정을 제어하고, 사용자의 설정에 따라 사용자 기기의 기능 실행을 위해 프로그램 영역에서 저장된 각종 응용 프로그램을 실행한다. 본 발명에서 제어부(170)는 얼굴 검출 기능을 이용하여 단말의 수신 알림 모드 제어와 그와 관련된 동작을 제어할 수 있다.
제어부(170)는 검출부(171) 및 모드 변경부(172)를 포함하여 이루어질 수 있다.
검출부(171)는 카메라(110)로부터 전달되는 영상으로부터 사용자의 얼굴을 인식하는 기능을 지원한다. 예컨대, 검출부(171)는 카메라(150)를 통해 수집되는 영상에 사람의 얼굴 영상을 포함하고 있는지 여부를 결정하고, 사람의 얼굴 영상을 포함하는 경우, 사용자의 얼굴이 검출됐다고 결정할 수 있다. 검출부(171)는 안면 인식(facial recognition), 홍채 인식(Iris scan), 얼굴 특징 추적(lariat feature tracking), 열적외선 인식 등의 기술을 기반으로 얼굴 색 검출, 눈 및 입의 위치 등을 검출하여 사용자의 얼굴이 검출되는지 여부를 결정할 수 있다. 검출부(171)는 카메라 영상으로부터 사용자의 얼굴이 검출되는 경우, 사용자의 얼굴이 검출됐음을 모드 변경부(172)로 전달한다.
검출부(171)는 얼굴 검출에 따른 결과로부터 사용자의 눈 영역을 추적하여 사용자의 눈이 단말기를 응시하는지 여부를 결정할 수 있다. . 예컨대, 검출부(171)는 사용자 얼굴 영상으로부터 사용자 눈 영역의 위치를 파악하고, 눈 영역에서 눈의 패턴을 추출한다. 여기서, 눈의 패턴은 눈 크기, 눈동자의 위치 및 방향에 대한 데이터일 수 있다. 검출부(171)는 눈의 패턴을 기반으로 패턴 매칭(pattern matching)을 수행하여 사용자가 단말기를 응시하는지 여부를 결정한다. 즉, 검출부(170)는 사용자의 눈 패턴을 인식하여 사용자가 단말기를응시하는 눈의 패턴과 응시하지 않은 눈의 패턴으로 구별할 수 있다. 검출부(171)는 추출된 사용자의 눈 패턴 정보를 모드 변경부(172)로 전달한다.
모드 변경부(172)는 검출부(171)에서 받은 사용자 얼굴 검출 여부 또는 사용자의 눈 패턴 정보에 따라 알림 기능을 제어한다. 모드 변경부(172)는 사용자 얼굴이 검출된 경우, 알림 기능을 기 설정된 알림 모드에서 무음 모드로 변경하여 알림 기능을 실행하도록 제어한다. 모드 변경부(172)는 사용자 얼굴이 검출되지 않는 경우, 알림 기능을 기 설정된 알림 모드로 유지하고, 기 설정된 알림 모드에 의해 알림 기능을 실행하도록 제어한다. 여기서, 기 설정된 알림 모드는 벨소리 모드 또는 진동 모드 등의 효과 피드백을 제공하는 모드이거나, 무음 모드와 같이 오디오 출력을 제한하는 모드일 수 있다.
본 발명에 따른 제어부의 구체적인 기능은 후술하는 도 2 내지 도 7에서 상세하게 설명하기로 한다.
디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 본 발명에 따른 휴대 단말기(100)는 휴대 단말기의 위치 변화와 관련된 정보를 감지하기 위한 센서 모듈과, 휴대 단말기(100)의 위치를 측정하기 위한 GPS 모듈등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수 있다. 또한 본 발명의 휴대 단말기(100)는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다. 또한 본 발명에서 입력부는 터치스크린 및 키 입력부 이외에, 터치패드, 트랙볼 등이 될 수 있음은 물론이다.
도 2는 본 발명의 실시예에 따른 사용자 기기의 알림 기능 운용 방법을 설명하기 위해 나타내 보인 흐름도이다.
도 2를 참조하면, 단계 210에서 단말기(150)는 외부에서 데이터의 수신 또는 특정 기능의 실행을 알리는 알림 이벤트를 검출한다. 여기서, 알림 이벤트는 수신 알림 이벤트 또는 기능 알림 이벤트를 포함할 수 있다. 수신 알림 이벤트는 메시지(SMS(short Message Service), MMS(Mutilmedia Message Service), e-mail 등), SNS(Social Networking Service), 착신 호(incoming call), feeds(face book, Twitter) 등의 수신 이벤트일 수 있으나, 이에 한정하는 것은 아니다. 또한, 기능 알림 이벤트는 스케쥴 알림, 모닝콜 알림, 시간 알림 등 사용자 설정 또는 기 정해진 스케쥴에 따른 기능 실행 이벤트일 수 있으나, 이에 한정하는 것은 아니다.
단계 220에서 단말기(100)는 알림 이벤트가 검출되면, 카메라를 활성화(on)한다. 여기서, 카메라(150)는 백그라운드로 활성화되어 렌즈를 통해 획득한 영상을 제어부(170)로 전달한다. 단계 230에서 단말기(100)는 카메라(150)로부터 영상을 획득하고, 단계 240에서 단말기(100)는 획득한 영상으로부터 사용자 얼굴의 검출 여부를 결정한다. 예컨대, 단말기(100)는 카메라(150)로부터 획득되는 영상에서 색상 정보, 컨투어(contour) 이미지 정보, 얼굴 특징 추적 등의 기술을 이용하여 사용자 얼굴 영역과 배경 영역을 분리할 수 있다. 단말기(100)는 카메라(150)로부터 획득한 영상에서 사용자 얼굴 영역이 검출되는 경우, 얼굴이 검출됐다고 결정할 수 있다. 본 발명의 단말기는 안면 인식(facial recognition), 홍채 인식(Iris scan), 얼굴 특징 추적(lariat feature tracking), 열적외선 인식 등의 기술을 기반으로 얼굴 색 검출, 눈 및 입의 위치 등을 검출하여 사용자의 얼굴의 검출 여부를 결정할 수 있다.
단계 250에서 단말기(100)는 사용자의 얼굴이 검출되는 경우, 사용자 얼굴 영역에서 눈 영역의 위치를 파악하고, 눈 영역에서 눈의 패턴을 추출한다. 여기서, 눈의 패턴은 눈의 크기, 눈동자의 위치 및 방향에 대한 데이터일 수 있다.
단계 260에서 단말기(100)는 추출된 눈의 패턴을 기반으로 패턴 매칭(pattern matching)하여 사용자의 눈이 단말기를 응시하는 패턴인지를 결정한다. 예컨대, 본 발명의 단말기는 영상에서 추출된 사용자 눈 영역을 기반으로 사용자의 시선을 인식하는 기능을 지원한다. 눈 인식 기능을 구비하는 단말기는 사용자 눈 영역을 인식하기 위해 화면을 응시하는 눈 패턴, 화면을 응시하지 않는 패턴, 화면 하단을 응시하는 눈 패턴, 화면 상단을 응시하는 눈 패턴 등의 다양한 눈 패턴 정보(DB;Data Base)를 저장할 수 있다. 단말기(100)는 얼굴 영역에서 추출된 사용자 눈의 패턴을 기준으로 매칭되는 눈 패턴 정보를 판단하여 사용자가 단말기를 응시하고 있는지를 결정할 수 있다. 여기서, 단말기(100)는 사용자의 눈 패턴에 대해 특정 서버로 패턴 매칭을 요청하고, 이에 응답하여 패턴 매칭 결과를 수신함으로써, 사용자의 시선을 인식할 수 있다.
단계 270에서 단말기(100)는 패턴 매칭 결과, 사용자의 눈이 단말기를 응시하고 있는 패턴으로 결정되면, 알림 이벤트에 응답하여 무음 알림 기능을 실행한다. 여기서, 무음 알림 기능은 알림 기능 시 효과 피드백(예, 진동발생 또는 오디오 출력)을 제한하고, 시각적 피드백만을 제공하는 알림 기능 으로 이해될 수 있다. 예컨대, 단말기(100)는 알림 이벤트 발생 시 사용자의 눈이 단말기를 응시하고 있다고 결정되면, 알림 기능을 무음 모드로 변경하도록 제어할 수 있다. 그러면, 단말기(100)는 알림 이벤트에 응답하여 효과 피드백(진동 발생 또는 오디오 알림음 출력 등)을 제한하고, 표시부(112)에 수신 정보(메시지 수신, 전화 수신 등)를 출력하거나 진동을 발생할 수 있다.
여기서, 본 발명의 실시예에서는 사용자의 눈이 단말기를 응시하고 있는 경우, 효과 피드백을 제한하고 시각적 피드백만을 제공하는 것을 설명하고 있으나, 이에 한정하지 않는다. 본 발명의 다른 실시예에 따르면, 사용자의 눈이 단말기를 응시하고 있는 경우, 오디오 출력을 제한하고 진동을 발생하거나 시각적 피드백만을 출력할 수 도 있다.
단계 280에서 단말기(100)는 패턴 매칭 결과, 사용자가 단말기를응시하고 있지 않는 패턴으로 결정되면, 알림 이벤트에 응답하여 기 설정된 알림 모드에 따라 알림 기능을 실행한다.
예를 들어, 기 설정된 알림 설정 모드가 진동 모드 또는 벨소리 모드인 경우,단말기(100)는 알림 이벤트가 발생되면, 먼저, 카메라를 통해 사용자의 얼굴을 검출한다. 단말기(100)는 눈 인식 결과, 사용자가 단말기를 응시하고 있지 않다고 판단된 경우, 단말기(100)는 기 설정된 알림 모드로 수신 알림 기능을 실행한다. 예컨대, 전화 수신 시 단말기(100)는 진동을 발생하거나, 벨소리를 출력하는 효과 피드백과, 표시부(112)에 전화 수신 정보를 표시하는 시각적 피드백을 제공할 수 있다.
반면에, 단말기(100)는 눈 인식 결과, 사용자가 단말기를 응시하고 있다고 판단된 경우, 효과 피드백을 제한하고, 표시부(112)에 전화 수신 정보를 표시하는 시각적 피드백만을 제공할 수 있다. 즉, 전화 수신 시 단말기(100)는 진동 모드 또는 벨소리 모드로 설정되어 있더라도, 사용자가 단말기를 응시하고 있다고 판단되면, 무음 처리하고, 표시부(100)에 전화 수신 정보를 출력하도록 제어할 수 있다.
한편, 본 발명에서 단계 250 및 단계 260 은 프로세스 상 생략될 수 있다. 예컨대, 본 발명에 따른 단말기(100)는 단계 240에서 알림 이벤트 검출 시 사용자의 얼굴이 검출되면, 단계 270으로 진행하여 알림 이벤트에 응답하여 무음으로 알림 기능을 제공하고, 사용자의 얼굴이 검출되지 않는 경우, 단계 280으로 진행하여 알림 이벤트에 응답하여 기 설정된 알림 설정에 따라 알림 기능을 실행할 수 있다.
도 3은 본 발명의 제2 실시예에 따른 사용자 기기의 알림 기능 운용 방법을 설명하기 위해 나타내 보인 흐름도이다.
도 3을 참조하면, 단계 310에서 단말기(100)는 사용자 요청 또는 기 설정된 스케쥴에 따라 표시부(122)를 온(on)하여 단말기 기능 설정에 따른 기능 실행 화면을 표시한다. 여기서, 단말기 기능 실행 화면은 홈 화면, 기능 실행 화면, 특정 앱 실행 화면, 메뉴 화면, 파일 재생 화면 등을 포함할 수 있으나, 이에 한정하지 않고 단말기 운용 과정 시 요구되는 실행 화면을 모두 포함할 수 있다.
단계 320에서 단말기(100)는 기능 실행 화면이 표시된 상태에서 카메라를 활성화(on)한다. 여기서, 카메라(150)는 백그라운드로 활성화되어 렌즈를 통해 획득한 영상을 제어부(170)로 전달한다.
단계 330에서 단말기(100)는 카메라(150)를 통해 영상을 획득하고, 단계 340 에서 획득한 영상으로부터 사용자 얼굴이 검출되는지를 결정한다. 예컨대, 단말기(100)는 카메라(150)를 통해 획득되는 영상에서 색상 정보, 컨투어 이미지 정보, 얼굴 특징 추적 등의 기술을 이용하여 사용자 얼굴 영역과 배경 영역을 분리할 수 있다. 단말기(100)는 카메라(150)를 통해 획득된 영상에서 사용자 얼굴 영역이 검출되는 경우, 얼굴이 검출됐다고 결정할 수 있다.
단계 350에서 단말기(100)는 사용자의 얼굴이 검출되는 경우, 사용자 얼굴 영역에서 눈 영역의 위치를 파악하고, 눈 영역에서 눈의 패턴을 추출한다. 여기서, 눈의 패턴은 눈의 크기, 눈동자의 위치 및 방향에 대한 데이터일 수 있다.
단계 360에서 단말기(100)는 추출된 눈의 패턴을 기반으로 패턴 매칭(pattern matching)하여 사용자의 눈이 단말기를 응시하는 패턴인지를 결정한다. 단계 370에서 단말기(100)는 패턴 매칭 결과, 사용자의 눈이 단말기를 응시하고 있는 패턴으로 결정되면, 단말기(100)에서 지원하는 알림 기능을 무음 모드로 설정한다.
예를 들어, 단말기(100)의 알림 모드가 진동 모드 또는 벨소리 모드로 설정된 상태에서, 다른 특정 기능(예. 동영상 재생, 음악 재생 등)이 실행됐다고 가정해보자. 이 경우, 단말기(100)는 운용 중 사용자가 단말기를 응시하고 있다고 판단되면, 알림 기능을 무음 모드로 설정한다. 그러면, 단말기(100)는 사용자가 단말기 운용 중 메시지, 전화, 시간 알림 등 알림 이벤트 시 진동, 벨소리 등의 효과 피드백을 제한하고, 표시부(110)를 통해 시각적 피드백 만을 제공할 수 있다. 한편, 단말기(100)는 알림 이벤트 시 오디오 효과를 제한하고, 진동을 발생하거나 무음 모드로 알림 기능을 제공할 수 도 있다.
즉, 사용자가 동영상을 재생하는 도중에 메시지가 수신될 수 있다. 기존의 단말기는 기 설정된 수신 알림 기능이 벨소리 모드인 경우, 동영상 재생 도중에 메시지 수신을 알리는 효과음이 출력되고, 표시부(112)를 통해 수신 정보를 출력할 수 있다. 이 경우, 사용자는 메시지 수신을 알리는 효과음이 불필요하다고 느낄 수 있다. 본 발명에 따른 단말기(100)는 사용자가 단말기(100) 조작 시 화면을 응시하고 있으므로, 별도의 효과 피드백을 제공하지 않고, 시각적 피드백만을 제공하여 수신을 알 릴 수 있다. 사용자는 불필요한 진동, 벨소리 효과 없이 표시부(110)를 통해 메시지가 수신됐음을 인지할 수 있다.
단계 365에서 단말기(100)는 패턴 매칭 결과, 사용자의 눈이 단말기를 응시하고 있지 않은 패턴을 결정되면, 기 설정된 알림 모드를 유지한다. 기 설정된 알림 모드는 진동 모드, 벨소리 모드 또는 무음 모드일 수 있다. 예를 들어, 알림 기능이 벨소리 모드로 설정된 경우, 단말기(100)는 단말기 운용 시 사용자가 단말기를 바라보고 있지 않다고 판단되면, 벨소리 모드로 알림 기능을 실행한다. 즉, 사용자가 단말기를 바라보고 있지 않으므로, 시각적 피드백만을 제공하는 경우, 사용자는 알림 정보를 정확히 인지할 수 없다. 이 경우, 단말기(100)는 사용자의 시선을 돌리기 위해, 효과 피드백 즉, 벨소리 또는 효과음을 출력하여 알림 정보를 사용자에게 제공할 수 있다.
단계 380에서 단말기(100)는 카메라(150)를 오프(off) 시키고, 단계 390에서 단말기는 사용자 얼굴 검출을 위해 기 정해진 시간이 도래됐는지 여부를 결정한다. 여기서, 기 정해진 시간은 단말 제조 시 설정될 수 있으며, 사용자 설정에 따라 달라질 수 있다. 또한, 단말기(100)는 특정 앱 별로 사용자 눈 인식 예컨대, 시선을 인식하는 주기를 다르게 설정할 수 있다. 단말기(100)는 기 정해진 시간이 도래된 경우, 단계 320 단계로 복귀하여 사용자 눈 인식 프로세스 절차를 수행한다.
이와 같이, 본 발명에 따른 단말기는 단말기 운용 시 주기적 또는 사용자 설정에 따라 사용자의 시선이 화면을 바라보고 있는지 여부를 판단하여 사용자의 시선이 단말기를 바라보고 있는 경우, 알림 기능을 무음 알림으로 설정하도록 제어한다. 반면에 사용자의 시선이 화면을 바라보지 않는 경우, 기 정해진 알림 모드로 알림 기능을 유지함으로써, 단말기는 진동을 발생하거나, 벨소리를 출력하는 효과 피드백과, 표시부에 전화 수신 정보를 표시하는 시각적 피드백을 제공할 수 있다.
도 4는 본 발명의 실시예에 따른 사용자 기기의 수신 알림을 설명하기 위해 나타내 보인 예시도이다.
도 4를 참조하면, 단말기(100)는 무선통신부를 통해 타 단말기로부터 전화 호(call) 신호를 수신할 수 있다. 이때, 단말기(100)는 알림 기능이 벨소리 모드로 설정되어 있다고 가정해보자.
단말기(100)는 401 화면에 도시된 바와 같이, 전화 호가 수신된 경우, 카메라(150)를 통해 획득한 영상으로부터 사용자 얼굴(400)을 검출하고, 사용자 눈 인식 결과, 사용자가 단말기를 응시하고 있다고 결정할 수 있다. 그러면, 단말기(100)는 사용자가 단말기를 바라보고 있다고 판단하고, 수신 이벤트에 응답하여 무음으로 수신 알림을 제공한다. 즉, 단말기(100)는 벨소리 모드로 설정되어 있으나, 오디오 출력을 제한하여 무음 처리하고, 표시부(110)를 통해 전화 호 수신 정보를 출력하는 시각적 피드백(410)만을 제공한다. 사용자는 화면을 바라보고 있으므로, 별도의 벨소리 없이, 표시부(110)를 통해 전화가 수신됐음을 인지하고, 전화 호 수신 정보를 확인할 수 있다.
단말기(100)는 전화 호가 수신된 경우, 402 화면에 도시된 바와 같이, 카메라(150)를 통해 획득한 영상에서 사용자의 얼굴을 검출하지 못할 수 있다. 또한, 단말기(100)는 사용자의 얼굴을 검출하더라도, 사용자 눈 인식 결과, 사용자가 단말기를 응시하고 있지 않다고 결정할 수 있다. 그러면, 단말기(100)는 사용자가 단말기(100)를 사용 중이 아니거나, 단말기를 바라보고 있지 않다고 판단하고, 알림 이벤트에 응답하여 기 설정된 벨소리 모드로 알림 정보를 제공한다. 즉, 단말기는 전화 호 수신에 응답하여 벨소리 등의 효과 피드백과, 표시부에 전화 호 수신 정보를 출력하는 시각적 피드백(410)를 제공한다. 사용자는 효과 피드백 즉, 벨소리를 듣거나 진동 발생을 통해 전화 호가 수신됐음을 인지하고, 표시부(100)를 통해 전화 호 수신 정보를 확인할 수 있다.
도 5는 본 발명의 제 3 실시예에 따른 사용자 기기의 수신 알림 기능 운용 방법을 설명하기 위해 나타내 보인 흐름도이다.
도 5를 참조하면, 단계 510에서 단말기(100)는 메시지 수신 이벤트를 검출할 수 있다. 메시지 수신 이벤트는 SMS(short Message Service), MMS(Mutilmedia Message Service), 이메일(e-mail), SNS(Social Networking Service), feeds(face book, Twitter) 등의 수신 이벤트일 수 있다.
단계 520에서 단말기(100)는 메시지 수신 이벤트가 검출되면, 카메라(150)를 활성화한다. 여기서, 카메라(150)는 백그라운드로 활성화되어 렌즈를 통해 획득된 영상을 제어부로 전달한다. 단계 530에서 단말기(100)는 카메라(150)를 통해 영상을 획득하고, 단계 540에서 단말기(100)는 카메라(150)를 통해 획득된 영상으로부터 사용자 얼굴이 검출되는지 여부를 결정한다. 예컨대, 단말기(100)는 카메라(150)를 통해 획득되는 영상으로부터 색상정보, 컨투어 이미지 정보, 얼굴 특징 추적 등의 기술을 이용하여 사용자 얼굴 영역과 배경 영역을 분리할 수 있다. 단말기(100)는 카메라(150)를 통해 획득된 영상에서 사용자 얼굴 영역이 검출되는 경우, 얼굴이 검출됐다고 결정할 수 있다.
단계 550에서 단말기(100)는 사용자의 얼굴이 검출된 경우, 메시지 수신에 응답하여 표시부(110)에 메시지 수신 알림 정보와 동시에 메시지 내용을 표시한다. 단계 560에서 단말기(100)는 사용자의 얼굴이 검출되지 않은 경우, 메시지 수신에 응답하여 메시지 수신 알림 정보를 표시부에 표시한다.
여기서, 메시지 내용 표시에 대한 조건은 사용자의 눈이 단말기를 응시하고 있는지 여부를 더 포함할 수 있다. 즉, 단말기(100)는 메시지 수신 시 사용자의 시선을 판단하여 사용자의 눈이 단말기를 응시하고 있다고 판단되면, 메시지 내용을 표시하고, 사용자의 눈이 화면을 응시하고 있지 않다고 판단되면, 메시지 내용 표시 없이, 메시지 수신 알림만을 표시할 수 있다. 이 경우, 단말기(100)는 사용자의 눈 인식 패턴에 따라 메시지 수신 시 무음 알림으로 알림 서비스를 제공하거나, 진동 모드 또는 벨소리 모드로 알림 서비스를 제공할 수도 있다.
한편, 본 발명의 단말기(100)는 도면에는 도시되지 않았으나, 단말기의 특정 사용자에 대한 얼굴 정보를 기 저장할 수 있다. 이 경우, 단말기(100)는카메라를 통해 획득된 사용자의 얼굴 영상으로부터 얼굴 특징점을 추출하고, 추출된 얼굴 특징점과 기 저장된 특정 사용자의 얼굴 정보를 비교하여, 카메라를 통해 입력된 사용자의 얼굴이 기 저장된 특정 사용자의 얼굴인지를 판단하는 기능을 지원한다. 단말기는 기 저장된 특정 사용자의 얼굴인 경우, 메시지 내용을 출력하도록 제어하고, 특정 사용자의 얼굴이 아닌 경우로 판단되면, 메시지 수신 정보만을 출력하도록 제어할 수 있다.
도 6는 본 발명에 따른 메시지 수신 시 수신 알림 기능을 설명하기 위한 예시도이다.
도 6를 참조하면, 단말기(100)는 무선통신부를 통해 타 단말기로부터 메시지가 수신되면, 메시지 수신 화면(610)을 출력할 수 있다. 본 발명의 단말기(100)는 메시지 수신 시 카메라를 통해 사용자 얼굴이 검출되는지 에 따라, 메시지 수신 화면(610)이 달라질 수 있다. 여기서, 메시지 수신 화면은 다른 실행 화면과 오버랩(overlrap)되어 팝 업(pop -up) 형태로 제공될 수 있으며, 풀 스크린(full screen) 형태로 출력되거나, 표시부 화면의 상단, 하단 또는 중앙과 같이 표시부의 일부분에 출력될 수 있다.
예컨대, 표시부(110)는 메시지 수신 시 카메라(150)를 통해 획득한 영상에서 사용자의 얼굴이 검출되지 않는 경우, 601에 도시된 바와 같이, 메시지가 수신된 것을 알리는 수신 정보를 표시하거나 메시지 수신 아이콘(620)을 출력할 수 있다. 표시부(110)는 메시지 수신 시 카메라(150)를 통해 획득한 영상으로부터 사용자의 얼굴이 검출된 경우, 602에 도시된 바와 같이, 메시지 발신자 정보 와 동시에 메시지 내용(620)을 출력할 수 있다.
한편, 단말기(100)는 설정에 따라, 카메라를 통해 획득된 영상에서 검출된 얼굴이 기 저장된 사용자 얼굴 (예: 단말 사용자(owner))인 경우, 메시지 내용을 표시하고, 검출된 얼굴이 기 저장된 사용자 얼굴이 아닌 경우, 메시지 내용을 표시하지 않는 기능을 운용할 수 있다.
예컨대, 단말기(100)는 메시지 수신 시 카메라를 통해 획득한 영상에서 얼굴 영역을 분리하고, 얼굴 영역의 특징점들을 추출하고, 기 저장된 얼굴 영상의 특징점들과 추출된 얼굴 영역의 특징점들을 비교함으로써, 단말의 특정 사용자를 인식할 수 있다. 단말기(100)는 메시지 수신 시 특정 사용자 얼굴이 검출되는 경우에는 602의 화면을 출력하도록 제어하고, 특정 사용자 얼굴이 검출되지 않는 경우, 601의 화면을 출력하도록 제어할 수 있다.
또한, 본 발명의 단말기(100)는 메시지 내용 표시의 제한 기능뿐만 아니라, 개인 정보 보호 등의 프라이버시 기능을 운용할 수 있다. 예를 들어, 단말기(100)에서 사용자의 특정 얼굴 인식 기능을 설정한 경우, 단말기(100)는 메시지 기능, 사진 기능, 메모 기능, 캘린더 기능 등의 실행 요청 시 기 저장된 사용자의 얼굴이 인식된 경우에만 해당 기능을 실행할 수 있도록 운용할 수 있다.
도 7은 본 발명의 제4 실시예에 따른 사용자 기기의 알림 기능 운용 방법을 설명하기 위한흐름도이다.
도 7을 참조하면, 단계 710에서 단말기(100)는 사용자 요청에 따라 사이드 키 입력에 의해 무음 모드 변경 요청을 검출할 수 있다. 예컨대, 본 발명의 단말기(100)는 단말기 측면에 사운드 볼륨 조절이 설정된 사이드 키를 구비할 수 있다. 사용자는 사이드 키를 이용하여 볼륨을 작게 조절하거나 크게 조절할 수 있다.
예를 들어, 단말기에서 사운드 설정이 0 단계에서 11단계로 구별되어 있다고 가정해보자. 사운드 키를 통해 단말기의 사운드가"0 단계"로 설정된 경우, 단말기는 오디오 출력이 제한되는 무음 모드인 경우로 설정된 것으로 이해될 수 있다. 즉, 사용자는 사이드 키를 조절하여 사운드를"0 단계"로 조절할 수 있다.
단계 720에서 단말기는 무음 모드 변경 요청이 검출되면, 카메라를 활성화시키고, 단계 730에서 카메라를 통해 영상을 획득한다. 단계 740에서 단말기는 카메라를 통해 획득한 영상으로부터 사용자 얼굴이 검출되는 지 여부를 결정한다. 단계 750에서 단말기는 사용자의 얼굴이 검출된 경우, 무음 모드 변경 요청에 응답하여 무음 모드를 활성화한다. 즉, 사용자가 사이드 키를 조절하여 "0 단계"로 조절한 경우, 카메라를 통해 사용자의 얼굴이 검출됐는지 여부를 결정하고, 사용자 얼굴이 검출된 경우, 기 정의된 규칙에 따라 "0 단계"에 응답하여 무음 모드를 활성화시킨다.
단계 760에서 단말기는 사용자의 얼굴이 검출되지 않는 경우, 무음 모드 변경 요청에 응답하여 무음 모드를 비활성화한다. 예를 들어, 단말기를 사용하는데 있어서 사용자가 의도에 반하여 사이드 키에 의한 단말기의 오동작이 발생될 수 있다. 이 경우, 단말기는 사용자의 얼굴 검출 여부에 따라 무음 모드 변경 요청의 신뢰성을 판단함으로써, 오동작이 발생될 수 있는 키 입력을 제한하여 오동작을 방지할 수 있다. 예컨대, 사용자가 사이드 키를 조절하여 "0 단계"로 조절한 경우, 카메라를 통해 사용자 얼굴이 검출되지 않은 경우, 무음 모드를 활성화시키라는 입력이 검출되더라도, 사용자 얼굴이 검출되지 않았으므로, 무음 모드를 비활성화하도록 제어할 수 있다.
이상에서와 같이, 본 발명에 따른 사용자 기기의 알림 기능 운용 방법 및 장치에 대하여 본 명세서 및 도면을 통해 바람직한 실시예를 들어 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고, 발명의 이해를 돕기 위해 일반적인 의미에서 사용된 것일 뿐, 본 발명이 전술한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 기술적 사상에 바탕을 둔 다양한 실시 예가 가능 함은 본 발명이 속하는 기술 분야에서 통산의 지식을 가진 자에게 자명한 것이다.
100: 사용자 기기
110: 표시부120: 입력부
130: 무선통신부140: 오디오 처리부
150: 카메라160: 저장부
170: 제어부

Claims (18)

  1. 사용자 기기의 알림 기능 운용 방법에 있어서,
    알림 이벤트 검출 시 카메라를 통해 수집된 영상에서 사용자 얼굴을 검출하는 동작; 및
    상기 카메라를 통해 수집된 영상에서 사용자 얼굴이 검출되는 경우, 상기 알림 이벤트에 응답하여 무음 또는 진동 중 하나의 모드로 알림 기능을 실행하는 동작을 포함하는 사용자 기기의 알림 기능 운용 방법.
  2. 제1항에 있어서,
    상기 사용자 얼굴을 검출하는 동작은,
    상기 카메라를 통해 수집된 영상에서 사용자의 얼굴 영역과, 배경 영역을 분리하는 동작; 및
    상기 사용자의 얼굴 영역에서 눈의 패턴을 추출하는 동작인 것을 특징으로 하는 사용자 기기의 알림 기능 운용 방법.
  3. 제1항에 있어서,
    상기 사용자의 얼굴이 검출된 경우, 기 설정된 알림 모드를 무음 또는 진동 중 하나의 모드로 변경하는 동작을 더 포함하는 사용자 기기의 알림 기능 운용 방법.
  4. 제1항에 있어서,
    상기 알림 이벤트 검출되면, 기 설정된 알림 모드로 알림 기능을 실행하다가 상기 사용자 얼굴이 검출되는 시점부터 무음 또는 진동으로 알림 기능을 실행하는 것을 특징으로 하는 사용자 기기의 알림 기능 운용 방법.
  5. 제1항에 있어서,
    상기 알림 이벤트는 수신 알림 이벤트 또는 기능 실행 알림 이벤트인 것을 특징으로 하는 사용자 기기의 알림 기능 운용 방법.
  6. 제1항에 있어서,
    메시지 수신 또는 메신저 수신 이벤트 시
    상기 사용자의 얼굴이 검출된 경우, 발신자 정보 및 메시지 내용을 표시부에 출력하는 동작; 및
    상기 사용자의 얼굴이 검출되지 않은 경우, 수신 알림 정보를 표시부에 출력하는 동작을 더 포함하는 사용자 기기의 알림 기능 운용 방법.
  7. 제6항에 있어서,
    상기 사용자 얼굴이 검출되는 경우는,
    상기 카메라를 통해 검출된 사용자 얼굴의 특징점과 기 저장된 얼굴의 특징점을 비교하여 유사하다고 판단된 경우, 사용자 얼굴이 검출됐다고 결정하는 것을 특징으로 하는 사용자 기기의 알림 기능 운용 방법.
  8. 알림 기능을 지원하는 어플리케이션을 실행하는 동작; 및
    상기 어플리케이션이 실행된 상태에서 카메라를 통해 수집된 영상으로부터 사용자 얼굴을 검출하는 동작; 상기 사용자 얼굴이 검출된 경우, 알림 기능을 무음 또는 진동 모드로 변경하고, 상기 사용자의 얼굴이 검출되지 않는 경우, 기 설정된 알림 모드로 알림 기능을 실행하는 동작을 포함하는 사용자 기기의 알림 기능 운용 방법.
  9. 무음 모드 변경 요청 이벤트를 검출하는 동작; 및
    상기 무음 모드 변경 요청 이벤트 검출 시 카메라를 통해 수집된 영상에서 사용자의 얼굴이 검출되는 경우, 무음 모드를 활성화하도록 설정하고, 사용자의 얼굴이 검출되지 않는 경우, 무음 모드를 비활성화하도록 설정하는 동작을 포함하는 사용자 기기의 알림 기능 운용 방법.
  10. 알림 기능을 운용하는 사용자 기기에 있어서,
    호 또는 특정 데이터를 송수신하는 무선 통신부;
    영상을 수집하는 카메라;
    수신음을 출력하는 오디오 처리부; 및
    알림 이벤트 검출 시 상기 카메라를 통해 수집된 영상에서 사용자의 얼굴이 검출되는 경우, 상기 상기 호 또는 특정 데이터의 수신을 사용자에게 무음 또는 진동 모드 중 하나의 모드로 알림 기능을 실행하는 제어부를 포함하는 사용자 기기.
  11. 제10항에 있어서,
    상기 제어부는.
    상기 카메라를 통해 수집된 영상에서 사용자의 얼굴 영역과, 배경 영역을 분리하고, 상기 사용자의 얼굴 영역에서 눈의 패턴을 추출하여 상기 사용자 얼굴이 검출되는지를 결정하는 것을 특징으로 하는 사용자 기기.
  12. 제10항에 있어서,
    상기 제어부는,
    상기 사용자의 얼굴이 검출된 경우, 기 설정된 알림 모드를 무음 모드로 변경하도록 제어하는 것을 특징으로 하는 사용자 기기.
  13. 제10항에 있어서,
    상기 제어부는,
    상기 알림 이벤트가 검출되면, 기 설정된 알림 모드로 알림 기능을 실행하다가 상기 사용자 얼굴이 검출되는 시점부터 무음 또는 진동으로 알림 기능을 실행하도록 제어하는 것을 특징으로 하는 사용자 기기.
  14. 제10항에 있어서,
    상기 알림 이벤트는 수신 알림 이벤트 또는 기능 실행 알림 이벤트인 것을 특징으로 하는 사용자 기기.
  15. 제10항에 있어서,
    상기 제어부는,
    메시지 수신 또는 메신저 수신 이벤트시, 상기 사용자의 얼굴이 검출된 경우, 발신자 정보 및 메시지내용을 표시부에 출력하고, 상기 사용자의 얼굴이 검출되지 않은 경우, 수신 알림 정보를 표시부에 출력하도록 제어하는 것을 특징으로 하는 사용자 기기.
  16. 제15항에 있어서,
    상기 제어부는,
    상기 카메라를 통해 검출된 사용자 얼굴의 특징점과 기 저장된 얼굴의 특징점을 비교하여 유사하다고 판단된 경우, 사용자의 얼굴이 검출됐다고 결정하는 것을 특징으로 하는 사용자 기기.
  17. 제15항에 있어서,
    상기 제어부는,
    알림 기능을 지원하는 어플리케이션이 실행되면, 카메라를 통해 획득된 영상에서 사용자 얼굴이 검출되면, 알림 기능을 무음 또는 진동 모드로 변경하고, 사용자 얼굴이 검출되지 않는 경우, 기 설정된 알림 모드로 설정하는 것을 특징으로 하는 사용자 기기.
  18. 제10항에 있어서,
    상기 제어부는,
    무음 모드 변경 요청 이벤트 검출 시 카메라를 통해 수집된 영상에서 사용자의 얼굴이 검출되는 경우, 무음 모드를 활성화하도록 설정하고, 사용자의 얼굴이 검출되지 않는 경우, 무음 모드를 비활성화하도록 설정하는 것을 특징으로 하는 사용자 기기.
KR20130063261A 2013-06-03 2013-06-03 사용자 기기의 알림 기능 운용 방법 및 장치 KR20140141916A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130063261A KR20140141916A (ko) 2013-06-03 2013-06-03 사용자 기기의 알림 기능 운용 방법 및 장치
US14/287,873 US9348412B2 (en) 2013-06-03 2014-05-27 Method and apparatus for operating notification function in user device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130063261A KR20140141916A (ko) 2013-06-03 2013-06-03 사용자 기기의 알림 기능 운용 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20140141916A true KR20140141916A (ko) 2014-12-11

Family

ID=51984520

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130063261A KR20140141916A (ko) 2013-06-03 2013-06-03 사용자 기기의 알림 기능 운용 방법 및 장치

Country Status (2)

Country Link
US (1) US9348412B2 (ko)
KR (1) KR20140141916A (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10482461B2 (en) 2014-05-29 2019-11-19 Apple Inc. User interface for payments
KR102266712B1 (ko) * 2015-01-12 2021-06-21 엘지전자 주식회사 이동 단말기 및 그것의 제어방법
US10158734B2 (en) 2015-04-01 2018-12-18 Google Llc Trigger associated notification delivery in an enterprise system
JP6172765B2 (ja) * 2015-09-02 2017-08-02 Ｎｅｃプラットフォームズ株式会社 通知制御装置、通知制御方法及び通知制御プログラム
US10162651B1 (en) * 2016-02-18 2018-12-25 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for providing gaze-based notifications
DK179823B1 (en) * 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK179471B1 (en) * 2016-09-23 2018-11-26 Apple Inc. IMAGE DATA FOR ENHANCED USER INTERACTIONS
CN106791172B (zh) * 2017-01-16 2021-04-20 腾讯科技（深圳）有限公司 一种铃声生成方法及装置
CN107404682B (zh) * 2017-08-10 2019-11-05 京东方科技集团股份有限公司 一种智能耳机
KR102143148B1 (ko) 2017-09-09 2020-08-10 애플 인크. 생체측정 인증의 구현
US11170085B2 (en) 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
JP7140200B2 (ja) * 2018-09-25 2022-09-21 京セラドキュメントソリューションズ株式会社 情報処理装置、画像形成装置
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009001202B3 (de) * 2009-02-26 2010-09-09 Seereal Technologies S.A. Kamerasystem mit Augenfinder-Modulen
JP2012022720A (ja) 2011-10-31 2012-02-02 Toshiba Corp 情報機器、そのプログラムおよび方法
US9833697B2 (en) * 2013-03-11 2017-12-05 Immersion Corporation Haptic sensations as a function of eye gaze

Also Published As

Publication number Publication date
US9348412B2 (en) 2016-05-24
US20140354538A1 (en) 2014-12-04

Similar Documents

Publication Publication Date Title
KR20140141916A (ko) 사용자 기기의 알림 기능 운용 방법 및 장치
US10063760B2 (en) Photographing control methods and devices
EP3136793B1 (en) Method and apparatus for awakening electronic device
US10610152B2 (en) Sleep state detection method, apparatus and system
CN106445461B (zh) 文字信息处理方法及装置
EP3300341A1 (en) Volume adjustment method, system and equipment, and computer storage medium
US20150365540A1 (en) Device notification adjustment dependent on user proximity
CN107105099B (zh) 一种移动终端报警方法及其装置、电子设备
EP2698787B1 (en) Method for providing voice call using text data and electronic device thereof
US20170034336A1 (en) Event prompting method and device
CN107846516B (zh) 一种通话场景提示方法及移动终端
US9769311B2 (en) Presence-based device mode modification
KR101679420B1 (ko) 이동 통신 단말기의 제어방법 및 이를 적용한 이동 통신 단말기
EP2166706A1 (en) Method of changing status of instant message software
US20160365021A1 (en) Mobile device with low-emission mode
RU2665300C2 (ru) Способ и устройство для обработки точечной отчетности сенсорного экрана
CN106101433B (zh) 通知消息显示方法和装置
KR20180055243A (ko) 이동단말기 및 그 제어방법
CN109451158B (zh) 一种提醒方法和装置
US11146672B2 (en) Method, device and storage medium for outputting communication message
CN103167127A (zh) 基于距离传感器和手势操作实现手机来电静音的系统及方法
CN110599711B (zh) 门铃提示控制方法、装置及存储介质
CN105323383B (zh) 手机铃声音量的调整方法和装置
US9430988B1 (en) Mobile device with low-emission mode
CN107677363B (zh) 噪音提示的方法及智能终端

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid