KR101169323B1 - 단말기 및 그의 통화 중 기능 실행 방법 - Google Patents

단말기 및 그의 통화 중 기능 실행 방법 Download PDF

Info

Publication number
KR101169323B1
KR101169323B1 KR1020090083914A KR20090083914A KR101169323B1 KR 101169323 B1 KR101169323 B1 KR 101169323B1 KR 1020090083914 A KR1020090083914 A KR 1020090083914A KR 20090083914 A KR20090083914 A KR 20090083914A KR 101169323 B1 KR101169323 B1 KR 101169323B1
Authority
KR
South Korea
Prior art keywords
terminal
user
facial expression
menu
specific
Prior art date
Application number
KR1020090083914A
Other languages
English (en)
Other versions
KR20110026136A (ko
Inventor
홍상우
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020090083914A priority Critical patent/KR101169323B1/ko
Publication of KR20110026136A publication Critical patent/KR20110026136A/ko
Application granted granted Critical
Publication of KR101169323B1 publication Critical patent/KR101169323B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/16—Communication-related supplementary services, e.g. call-transfer or call-hold
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/20—Services signaling; Auxiliary data signalling, i.e. transmitting data via a non-traffic channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 단말기 및 그의 통화 중 기능 실행 방법에 관한 것이며, 통화 중 카메라부로 촬영된 사용자의 영상데이터의 얼굴표정이 기 저장된 특정 얼굴표정과 일치하는지 판단하여, 일치하면 특정 얼굴표정에 대응하는 기능을 실행한다. 본 발명에 따르면, 단말기의 사용자는 통화 중에 별도의 입력과정 없이 자신의 얼굴표정에 대응하는 메뉴 및 메뉴의 특정정보를 추출하고, 상대방에게 메뉴의 특정정보를 전송할 수 있다.
영상데이터, 기능 실행, 메뉴, 특정 얼굴표정, 특정정보

Description

단말기 및 그의 통화 중 기능 실행 방법{Terminal and method for function operation during communication thereof}
본 발명은 단말기 및 그의 통화 중 기능 실행 방법에 관한 것이며, 더욱 상세하게는 통화 중 단말기 사용자의 특정 얼굴표정에 대응하는 단말기의 기능을 실행하는 단말기 및 그의 통화 중 기능 실행 방법에 관한 것이다.
통상적으로 단말기 사용자는 통신 단말에 마련된 키패드, 터치스크린, 조이스틱, 스크롤 휠 등의 입력장치를 이용하여 통신단말을 조작하거나 통신단말에 필요한 정보를 입력한다.
이와 같은 입력 방식은 단말 사용자가 손이나 스타일러스 펜 등을 이용하여 직접 입력장치를 조작해야 하는 번거로움이 있다. 이로 인해 손에 장애가 있어서 입력장치의 조작에 불편을 느끼는 사람이나 입력장치의 조작이 미숙한 사람의 경우 통신단말의 특정 기능을 실행하는데 불편함을 느낄 수 있다.
특히 통신단말을 이용한 통화 중 통신단말에 저장된 정보, 예컨대, 일정관리, 전화번호부, 메시지수신함, 컨텐츠 보관함 등을 이용하는 경우가 자주 발생한다.
통화 중 상대방이 지인의 전화번호를 물어보거나 상대방에게 알려줄 메시지가 메시지 수신함에 저장되어 있는 경우, 통화 중 전화번호부나 메시지 수신함을 실행시켜야 하는 경우가 발생한다. 이 경우 사용자는 키입력을 통하여 해당 정보가 있는 곳을 일일이 찾아야 하기 때문에 통화 중 불편함을 느낄 수 있다.
따라서 본 발명은 상술한 문제를 해결하기 위해서 통화 중 단말기 사용자의 특정 얼굴표정에 대응하는 단말기의 기능을 실행하는 단말기 및 그의 통화 중 기능 실행 방법을 제공하기 위한 것이다.
상기 목적을 달성하기 위하여, 본 발명의 단말기는 상대방 단말기와 네트워크를 통하여 통신을 수행하는 송수신부와, 통화 시 사용자를 촬영하는 카메라부와, 상기 사용자의 적어도 하나의 특정 얼굴표정 및 그에 대응하는 통화 중 기능을 실행하는 기능실행명령을 저장하는 저장부와, 상기 송수신부를 통한 통화 중, 상기 사용자의 선택신호에 의해 상기 카메라부를 통해 상기 사용자를 촬영하여 상기 사용자가 특정 얼굴표정을 취하는지를 모니터링하고, 상기 모니터링 중 상기 사용자가 특정 얼굴표정을 취하면, 상기 특정 얼굴표정에 대응하는 메뉴 및 상기 메뉴의 특정정보에 대한 상기 기능실행명령을 호출하고, 호출된 메뉴 및 상기 메뉴의 특정 정보를 출력하고, 사용자가 취한 전송요청에 대응하는 특정 얼굴 표정을 수신하면, 출력된 특정정보를 상기 상대방 단말기로 전송하는 제어부 제어부를 포함하는 것을 특징으로 한다.
상기 저장부는 메뉴선택 얼굴표정, 특정정보선택 얼굴표정 및 전송요청 얼굴표정을 포함하는 특정 얼굴표정을 저장하고, 상기 특정 얼굴표정에 대응하여 메뉴를 호출하여 출력하는 제1 기능실행명령, 상기 메뉴의 특정정보를 호출하여 출력하는 제2 기능실행명령 및 상기 출력된 상기 메뉴의 특정정보를 상기 상대방 단말기에 전송하는 제3 기능실행명령을 저장하는 것을 특징으로 한다.
본 발명의 단말기의 통화 중 기능 실행 방법은 네트워크를 매개로 상대방 단 말기와 통화 중인 단말기가 상기 단말기의 사용자를 촬영하는 촬영단계와, 상기 단말기가 상기 단말기의 사용자를 촬영한 영상데이터의 얼굴표정을 감지하여 상기 사용자가 특정 얼굴표정을 취하는지를 모니터링하는 모니터링 단계와, 상기 단말기는 상기 모니터링 중 상기 사용자의 특정 얼굴표정을 수신하면, 상기 특정 얼굴표정에 대응하는 기능을 실행하는 기능실행명령을 호출하여 실행하는 실행단계를 포함하는 것을 특징으로 한다.
상기 모니터링 단계 이전에, 상기 단말기는 상기 사용자가 취한 메뉴선택 얼굴표정 및 그에 대응하는 메뉴를 호출하여 출력하는 제1 기능실행명령, 특정정보선택 얼굴표정 및 상기 메뉴의 특정정보를 호출하여 출력하는 제2 기능실행명령 및 전송요청 얼굴표정 및 상기 출력된 상기 메뉴의 특정정보를 상기 상대방 단말기에 전송하는 제3 기능실행명령을 저장하는 저장단계를 더 포함하는 것을 특징으로 한다.
상기 실행단계에서, 상기 단말기는 상기 사용자가 취한 상기 메뉴선택 얼굴표정을 수신하면, 상기 메뉴를 호출하여 출력하는 메뉴 출력단계와, 상기 단말기는 상기 사용자가 취한 상기 특정정보선택 얼굴표정을 수신하면, 상기 메뉴의 특정정보를 호출하여 출력하는 특정정보 출력단계와, 상기 단말기는 상기 사용자가 취한 전송요청 얼굴표정을 수신하면, 상기 출력된 특정정보를 상기 상대방 단말기로 전송하는 전송단계를 포함하며, 상기 실행단계에서, 상기 단말기는 상기 사용자가 취한 메뉴선택 얼굴표정을 수신하면, 상기 메뉴선택 얼굴표정에 대응하는 메뉴를 호출하여 출력하는 메뉴 출력단계와; 상기 단말기는 상기 사용자가 취한 특정정보선택 얼굴표정을 수신하면, 상기 특정정보선택 얼굴표정에 대응하는 메뉴의 특정정보를 호출하여 출력하는 특정정보 출력단계와; 상기 단말기는 상기 사용자가 취한 전송요청 얼굴표정을 수신하면, 상기 출력된 특정정보를 상기 상대방 단말기로 전송하는 전송단계;를 포함하는 것을 특징으로 한다.
상기 모니터링 단계에서, 상기 단말기는 통화 중인 상기 사용자를 촬영한 영상데이터에서 상기 사용자의 얼굴표정을 인식하는 인식단계와, 상기 단말기는 인식 한 사용자의 얼굴표정이 상기 저장된 특정 얼굴표정과 일치하는지 판단하는 판단단계를 포함하는 것을 특징으로 한다.
상기 판단단계에서, 상기 단말기는 상기 인식한 사용자의 얼굴표정과 상기 저장된 특정 얼굴표정의 전체 픽셀을 비교하여 기 저장된 오차 범위 내에서 전체 픽셀이 일치하면 동일한 것으로 판단하는 것을 특징으로 한다.
상기 판단단계에서, 상기 단말기는 상기 촬영한 영상데이터를 상기 적어도 하나의 특정 얼굴표정과 하나씩 매칭하여 상기 특정 얼굴표정이 상기 영상데이터 중에 포함되어 있는지 판단하는 것을 특징으로 한다.
상기 판단단계에서, 상기 단말기는 상기 촬영한 영상데이터에서 상기 얼굴표정을 추출하여 상기 추출한 얼굴표정과 상기 적어도 하나의 특정 얼굴표정을 비교하여, 상기 추출한 얼굴표정과 일치하는 상기 특정 얼굴표정이 있는지 판단하는 것을 특징으로 한다.
상기 적어도 하나의 특정 얼굴표정은 윙크를 포함한 눈 깜박임, 웃는 얼굴, 입 벌림, 입 닫음, 특정 입술 모양 중에 적어도 하나인 것을 특징으로 한다.
상기 메뉴의 특정정보는 일정관리, 전화번호부, 다이어리, 메시지 수신함, 컨텐츠 보관함 중 적어도 하나인 것을 특징으로 한다.
본 발명에 따른 단말기 및 그의 통화 중 기능 실행 방법은 통화 중 카메라부가 사용자를 촬영한 영상데이터의 얼굴표정이 기 저장된 특정 얼굴표정과 일치하는지 판단하여, 일치하면 해당 특정 얼굴표정에 대응하는 메뉴 및 메뉴의 특정정보를 호출하여 출력부에 표시하고, 표시한 메뉴의 특정정보를 상대방 단말기에 전송하는 등의 기능을 단말기 사용자가 통화 중 입력장치를 사용하지 않고 실행할 수 있다. 따라서, 단말기 사용자는 통화 중 통화를 중지하고 정보를 검색해야 하는 불편함을 해소할 수 있다.
또한, 특정 얼굴표정에 대응하는 메뉴를 사용자가 임의로 지정할 수 있으므로 단말기 사용자의 개성을 추구하고 보다 흥미롭게 단말기를 사용할 수 있다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.
본 발명의 실시예에 의한 단말기의 통화 중 기능 실행 시스템은 도 1을 참조하면 다음과 같다. 도 1은 본 발명의 실시예에 의한 단말기의 통화 중 기능 실행 시스템을 대략적으로 보여주는 블록도이다.
본 발명의 실시예에 의한 단말기의 통화 중 기능 실행 시스템(100)은 발신 단말기(10), 네트워크(30) 및 착신 단말기(40)를 포함하여 구성된다.
발신 단말기(10) 및 착신 단말기(40)는 네트워크(30)를 매개로 통신을 수행한다. 발신 단말기(10)는 사용자가 특정 얼굴표정을 취함에 따라 그에 대응하는 통화중 기능을 실행한다. 여기에서 특정 얼굴표정은 발신 단말기(10) 사용자가 카메라부(도 2의 17)를 통하여 촬영한 영상데이터의 얼굴표정으로, 윙크를 포함한 눈 깜박임, 웃는 얼굴, 입 벌림, 입 닫음, 특정 입술 모양 등을 포함할 수 있다.
네트워크(30)는 데이터 및 메시지 송수신을 위한 통신망을 의미한다. 본 실 시예의 네트워크(30)는 발신 단말기(10) 및 착신 단말기(40)를 서로 매개하며, 망 내에 호제어기(31)와 홈위치등록기(33)를 포함하여 구성된다.
홈위치등록기(33)는 가입자의 단말기 정보, 가입 정보, 위치 정보 및 인증 기능 등을 지닌 이동 가입자 데이터베이스이다. 본 발명에서 홈위치등록기(33)는 발신 단말기(10) 및 착신 단말기(40)의 가입자 정보를 관리한다.
호제어기(31)는 발신 단말기(10)와 착신 단말기(40)의 통화를 위해 채널을 할당하며, 발신 단말기(10)가 전송한 호를 수신하고, 착신 단말기(40)를 페이징하여 착신을 요청하고 호 수락을 입력받으면 호 경로를 설정하고, 통화를 실행한다.
즉, 호제어기(31)는 네트워크(30) 내에서 발신 단말기(10), 착신 단말기(40)의 통신을 위해 호설정, 데이터 전송 및 교환의 제어를 담당하는 장치로서, 네트워크(30)의 종류에 따라, SGSN(Serving GPRS Support Node, 미도시), GGSN(Gateway GPRS Support Node, 미도시), CSCF(Call Session Control Function, 미도시) 또는 현재 사용되고 있거나 향후 사용될 모든 호제어 장치 중 하나가 될 수 있다.
SGSN은 서비스 지역 내에서 기지국과의 데이터 패킷 전달 기능을 수행하며 패킷 라우팅 및 전송, 이동성 관리, 논리적 링크 관리 등의 기능을 수행을 수행하는 장치이고, GGSN은 SGSN과 연결되어 패킷 데이터서비스를 제공하기 위한 게이트웨이이며, 발신 단말기(10), 착신 단말기(40)에 IP주소를 할당하는 기능을 수행하는 장치이다.
CSCF는 S-CSCF(Serving CSCF), I-CSCF(Interrogating CSCF), P-CSCF(Proxy CSCF)로 구성되어 발신 단말기(10), 착신 단말기(40) 사이의 호 및 세션처리를 수 행하고, 인입호에 대한 게이트웨이로서의 기능(Incoming Call Gateway)과 호 제어기능(Call Control Function), SPD(Serving Profile Database)기능, 주소처리(Address Handling) 기능 등을 수행한다.
본 발명의 호제어기(31)는 홈위치등록기(33)의 가입자 정보를 이용하여 착신 단말기(40)로의 라우팅 정보를 획득하고, 착신 단말기(40)에 착신을 요청한다. 이후 착신 단말기(40)가 착신 요청에 대하여 호를 수락하면, 발신 단말기(10), 네트워크(30) 및 착신 단말기(40) 사이에 호 경로가 설정되고 통화가 실행된다. 또한, 네트워크(30)는 발신 단말기(10)로부터 메뉴의 특정정보를 수신하여 착신 단말기(40)에 전송한다.
본 발명의 제1 실시예에 의한 발신 단말기는 도 1 및 도 2를 참조하면 다음과 같다. 도 2은 도 1의 발신 단말기를 보여주는 블록도이다.
본 발명의 제1 실시예에 의한 발신 단말기(10)는 송수신부(11), 카메라부(17), 저장부(19) 및 제어부(21)를 포함하여 구성되고, 입력부(13) 및 출력부(15)를 더 포함하여 구성된다.
송수신부(11)는 네트워크(30)를 매개로 착신 단말기(40)와 통신을 수행한다. 송수신부(11)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF(Radio Frequency) 송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신기 등을 포함할 수 있다.
입력부(13)는 발신 단말기(10)의 조작을 위한 복수의 키를 제공하며, 발신 단말기(10) 사용자의 키선택에 따른 선택신호를 발생한다. 또한 입력부(13)는 사용 자로부터 통화를 실행하기 위한 선택신호를 입력받고, 통화 중에 사용자의 표정인식을 통한 단말기의 기능 실행을 위해 촬영을 할 것인지에 대한 선택신호도 입력받는다. 입력부(13)는 키패드, 터치패드와 같은 포인팅 장치, 터치스크린 등의 입력장치가 사용될 수 있다.
출력부(15)는 영상출력부와 음성출력부를 포함할 수 있다. 영상출력부는 발신 단말기(10)가 착신 단말기(40)와 영상통화를 수행하는 경우 발신 단말기(10) 및 착신 단말기(40)가 촬영한 영상을 출력한다. 음성출력부는 발신 단말기(10)가 착신 단말기(40)와 통화를 수행하는 동안 사용자들의 음성을 출력한다. 이때 영상 출력부로는 LCD나 터치스크린이 사용될 수 있고, 음성 출력부로는 스피커가 사용될 수 있다. 터치스크린은 표시장치와 입력장치로서의 역할을 동시에 수행한다.
카메라부(17)는 적어도 하나의 카메라를 구비하고 발신 단말기(10)에 내장되어 있는 것이 바람직하다. 카메라부(17)는 카메라 렌즈를 포함하며, 카메라 렌즈를 통해 발신 단말기(10) 사용자를 촬영한다.
저장부(19)는 제어부(21)의 제어에 의해 발신 단말기(10)의 동작 제어시 필요한 어플리케이션 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장하며, 하나 이상의 휘발성 메모리 소자와 비휘발성 메모리 소자로 이루어진다.
저장부(19)는 단말기(10) 사용자의 적어도 하나의 특정 얼굴표정 및 그에 대응하는 통화 중 기능을 포함하는 기능실행명령을 저장한다. 예컨대, 저장부(19)는 메뉴선택 얼굴표정, 특정정보선택 얼굴표정 및 전송요청 얼굴표정을 포함하는 특정 얼굴표정을 포함한다.
또한, 기능실행명령은 특정 얼굴표정에 대응하는 통화 중 기능을 실행하는 명령으로, 메뉴선택 얼굴표정에 대응하여 메뉴를 호출하여 출력하는 제1 기능실행명령, 특정정보선택 얼굴표정에 대응하여 메뉴의 특정정보를 호출하여 출력하는 제2 기능실행명령, 전송요청 얼굴표정에 대응하여 출력된 메뉴 및 메뉴의 특정정보를 착신 단말기(40)에 전송하는 제3 기능실행명령을 포함한다.
이때, 메뉴선택 얼굴표정, 특정정보선택 얼굴표정 및 정보전송 얼굴표정은 서로 다른 얼굴표정이어서, 카메라부(17)의 촬영 영상을 참조하여 제어부(21)가 제어를 하는데 있어서 명확히 구분할 수 있도록 함이 바람직하다.
제어부(21)는 발신 단말기(10)의 전반적인 동작을 제어한다. 즉 제어부(21)는 입력부(13)를 통하여 통화를 시도하는 사용자의 선택신호를 수신하면 착신 단말기(40)에 호 요청을 전송하고, 카메라부(17)를 구동한다. 그리고 제어부(21)는 카메라부(17)가 촬영한 영상데이터를 모니터링하고, 모니터링 중 사용자가 특정 얼굴표정을 취하면 특정 얼굴표정에 대응하는 통화 중 기능을 실행하는 기능실행명령을 저장부(19)에서 호출하여 실행한다. 또한, 제어부(21)는 메뉴 및 메뉴의 특정정보를 착신 단말기(40)에 전송하는 기능실행명령에 대응되는 특정 얼굴표정을 감지하면 저장부(19)에 저장된 메뉴 및 메뉴의 특정정보를 네트워크(30)를 거쳐 착신 단말기(40)에 전송한다.
본 발명의 일 실시예에서는, 사용자가 카메라부(17) 및 입력부(130)를 통해 웃는 얼굴표정을 짓고 이를 저장부(19)에 저장된 발신 단말기(10) 메뉴의 호출명령어로 저장한 경우를 가정하자. 마찬가지 방법으로, 좌측 눈을 깜빡이는 동작을 디 스플레이된 메뉴 중 좌측메뉴 선택 명령어로 우측 눈을 깜빡이는 동작을 우측 메뉴선택 명령어로 설정할 수 있을 것이고, 입을 벌리는 얼굴표정을 선택된 정보를 전송하는 명령어로 설정할 수 있을 것이다.
이때, 예를 들어, 발신 단말기(10) 사용자가 웃는 얼굴표정을 지으면 제어부(21)는 카메라부(17)가 촬영한 영상을 모니터하고 웃는 얼굴표정을 감지하여 저장부(19)에 저장된 기능실행명령 중 웃는 얼굴표정에 대응되는 메뉴를 호출하여 출력부(15)에 디스플레이한다. 만일, 웃는 얼굴표정에 대응되는 메뉴가 특정 이모티콘을 선택하고 착신 단말기(40)로 전송하기 위한 메뉴라면, 제어부(21)는 이모티콘 선택 메뉴를 저장부(19)에서 호출하여 출력부(15)에 시각적으로 표현한다.
이후, 카메라부(17)에서 촬영한 영상에 사용자가 왼쪽 눈 또는 오른쪽 눈을 깜빡이는 동작이 있으면, 제어부(21)는 이를 모니터하여 이모티콘 선택을 위한 창 또는 하이라이트(highlight) 된 이모티콘 등을 좌측 또는 우측으로 이동시키는 방식으로 출력부(15)에 디스플레이하여, 사용자가 원하는 이모티콘 메뉴를 선택할 수 있도록 한다. 그리고 제어부(21)가 카메라부(17)에서 촬영한 영상을 모니터하여 입을 벌리는 얼굴표정이 있으면 사용자가 선택한 이모티콘을 착신단말기(40)로 전송할 수 있게 된다.
본 발명의 다른 실시예서는, 한쪽 눈을 깜빡거리거나 입을 벌리는 표정 등을 통한 입력에 의한 오류를 줄이기 위해 일정시간 이내에 2회 이상의 동작이 있을 경우에 한해 기능을 실행하도록 설정할 수도 있을 것이며, 본 발명의 기술적 사상은 상기 예에 따른 얼굴표정에 한정되는 것이 아니다.
본 발명의 실시예에 의한 단말기의 통화 중 기능 실행 방법은 도 1 내지 도 3을 참조하면 다음과 같다. 도 3은 본 발명의 실시예에 의한 단말기의 통화 중 기능 실행 방법에 따른 흐름도이다.
먼저 S31과정에서 발신 단말기(10)는 복수의 특정 얼굴표정 및 그에 대응하는 통화 중 기능을 실행하는 기능실행명령을 저장부(19)에 저장한다. 특정 얼굴표정은 윙크를 포함한 눈 깜박임, 웃는 얼굴, 입 벌림, 입 닫음, 특정 입술 모양을 포함할 수 있다.
예컨대, 본 발명의 일 실시예에 따라 기능을 수행할 수 있는 메뉴에 일정관리, 전화번호부, 다이어리, 메시지 수신함, 컨텐츠 보관함 등이 있다고 가정하자. 발신 단말기(10)는 그 중, 일정관리 메뉴를 출력부(15)에 출력하기 위한 메뉴선택 얼굴표정을 웃는 얼굴표정으로 저장할 수 있다. 그리고 혀를 내민 상태에서 왼쪽 눈을 깜빡이는 얼굴표정을 현재 출력된 오늘의 일정에서 하루씩 과거로 돌아가며 해당일의 일정을 출력부(15)에 출력하기 위한 특정정보선택 얼굴표정으로, 혀를 내민 상태에서 오른쪽 눈을 깜빡이는 얼굴표정을 현재 출력된 오늘의 일정에서 하루씩 미래로 가며 해당일의 일정을 출력부(150)에 출력하기 위한 특정정보선택 얼굴표정으로 저장할 수 있다. 마찬가지로, 입을 벌린 얼굴표정을 현재 디스플레이되는 특정일의 일정을 착신 단말기(40)로 전송하기 위한 전송요청 얼굴표정으로 저장할 수 있다.
이때, 기능을 실행하기 위한 각각의 얼굴표정은 일정시간 안에 복수회 반복되는 일정표정 또는 복수개의 모양으로 이루어진 단일 표정인 것이 바람직하다. 예 컨대, 2초 이내에 두 번 이상 왼쪽 눈을 감으면서 윙크하는 표정 또는 왼쪽 눈을 감으면서 윙크함과 동시에 입술을 내미는 표정을 단말기의 기능실행을 위한 표정으로 저장할 수 있다. 이를 통해, 발신 단말기(10) 사용자가 의도하지 않은 일회성 표정이 아니라, 일정 패턴을 가지는 표정이나 반복된 표정을 기능실행을 위한 표정으로 저장하여, 본 발명에 따른 기능 실행의 오류를 줄일 수 있게 된다.
다음으로 S33과정에서 발신 단말기(10)는 호제어기(31)에 호를 발신한다. 호제어기(31)가 호를 수신하면 호제어기(31)는 홈위치등록기(33)의 발신 단말기(10) 및 착신 단말기(40)의 가입자 정보(위치 정보 및 부가 서비스 정보)를 이용하여 착신 단말기(40)로의 라우팅 정보를 획득한다.
다음으로 S35과정에서 호제어기(31)는 착신 단말기(40)를 페이징하여 착신을 요청한다.
다음으로 S37과정에서 착신 단말기(40)가 호제어기(31)로부터 수신한 착신 요청에 대하여 호를 수락하면, S39과정에서 발신 단말기(10), 호제어기(31) 및 착신 단말기(40) 사이에 호 경로가 설정된다.
이후 S41과정에서 설정된 호 경로를 통하여 발신 단말기(10)와 착신 단말기(40)는 통화를 실행하게 된다. 이때, 통화는 영상통화 및 음성통화를 모두 포함할 수 있다.
다음으로 발신 단말기(10)는 사용자의 표정 인식을 통해 통화 중 발신 단말기(10)의 기능을 실행하고자 하는 선택신호를 입력받으면, S43과정에서 카메라부(17)를 구동하여 통화 중인 사용자를 촬영한다. 이때, 카메라부(17)는 사용자를 촬영한 영상데이터를 실시간으로 생성한다.
다음으로 S45과정에서 발신 단말기(10)는 실시간으로 생성되는 영상데이터의 얼굴표정을 모니터링한다. 즉, 사용자가 특정 얼굴표정을 취하는지를 모니터링한다.
구체적으로, 발신 단말기(10)는 영상데이터를 모니터링할 때 영상데이터에 포함된 얼굴표정을 인식하고, 인식한 얼굴표정이 저장부(19)에 저장된 특정 얼굴표정 중에 하나와 일치하는지 판단한다. 예를 들어, 상기와 같이 저장부(19)에 저장된 웃는 얼굴표정과 일치하는 표정을 사용자가 짓는지 판단할 수 있다.
여기에서 발신 단말기(10)가 영상데이터의 얼굴표정과 특정 얼굴표정이 일치하는지 판단할 때에는 실시간으로 생성되는 영상데이터를 적어도 하나의 특정 얼굴표정과 하나씩 매칭하여, 특정 얼굴표정이 영상데이터에 포함되어 있는지 판단한다. 이때, 영상데이터에 포함되는 얼굴표정 이외의 배경 등은 비교 대상에서 제외되는 것이 바람직하다.
이때 발신 단말기(10)는 촬영한 영상데이터의 얼굴표정과 저장된 특정 얼굴표정이 정확하게 일치하는 경우 동일한 것으로 판단할 수 있다.
또한 발신 단말기(10)는 영상데이터의 얼굴표정과 저장된 특정 얼굴표정의 전체 픽셀을 비교하여 전체 픽셀이 오차 범위 내에서 일치하면 동일한 것으로 판단할 수 있다. 오차범위는 사용자에 의해 기 저장되거나 발신 단말기(10)에 디폴트로 설정된 값일 수 있다. 예컨대, 오차범위가 전체 픽셀(Pixel)의 10% 이내라고 가정하면 발신 단말기(10)는 영상데이터의 얼굴표정이 특정 얼굴표정에 비하여 전체 픽 셀의 10% 이내의 범위로 다른 경우에는 영상데이터의 얼굴표정이 특정 얼굴표정과 동일한 것으로 판단할 수 있다.
한편, 발신 단말기(10)가 카메라부(17)로 촬영한 영상데이터의 얼굴표정이 저장부(19)에 저장된 특정 얼굴표정과 일치하는지 판단할 때에는, 영상데이터에서 얼굴표정을 추출하고, 추출한 얼굴표정을 특정 얼굴표정과 비교하여 판단할 수도 있다. 이때에도, 발신 단말기(10)는 완전히 동일하지 않더라도 오차 범위 내에서 일치하면 동일한 것으로 판단할 수 있다.
다음으로 S47과정에서 발신 단말기(10)는 사용자가 취한 메뉴선택 얼굴표정을 감지하면, S49과정에서 메뉴를 출력부(17)에 출력한다. 예컨대, 발신 단말기(10)는 저장부(19)에 저장된 일정관리 메뉴선택 얼굴표정과 일치하는 웃는 얼굴표정을 촬영하여 이를 감지하면, 이에 대응되는 기능을 실행하여 일정관리 메뉴를 호출하여 오늘의 일정정보를 출력부(17)에 출력한다.
다음으로 S51과정에서 발신 단말기(10)가 특정정보선택 얼굴표정을 감지하면, S53과정에서 발신 단말기(10)는 출력된 메뉴의 특정정보를 출력부(17)에 출력한다. 예컨대, 발신 단말기(10) 사용자가 혀를 내민 상태에서 오른쪽 눈을 깜빡이는 얼굴표정을 지으면 카메라부(17)의 촬영영상을 통해 이를 모니터링하던 발신 단말기(10)는 저장부(19) 저장된, 혀를 내민 상태에서 오른쪽 눈을 깜빡이는 얼굴표정과 일치함을 확인하고, 이에 대응되는 기능을 실행하여 현재 출력된 오늘의 일정에서 하루씩 미래로 이동하여 해당일의 일정정보를 출력부(15)에 출력한다.다음으로 S55과정에서 발신 단말기(10)가 전송요청 얼굴표정을 감지하면, S57과정에서 출 력부(17)에 출력한 일정정보를 호제어기(31)를 거쳐 착신 단말기(40)에 전송한다. 예컨대, 발신 단말기(10)는 저장부(19)에 저장된 전송요청 얼굴표정과 일치하는, 입을 벌린 얼굴표정을 촬영하여 이를 감지하면, 이에 대응하는 기능을 실행하여 현재 출력부(15)에 출력되는 일정 정보를 호제어기(31)를 통해 착신 단말기(40)에 전송한다.
다음으로 S59과정에서 착신 단말기(40)는 수신된 메뉴의 특정정보를 출력한다. 즉, 발신 단말기(10)가 전송한 일정관리정보가 착신 단말기(40)에 출력되어 착신 단말기(40) 사용자가 확인할 수 있다.
따라서, 발신 단말기(10)와 착신 단말기(40) 사이에 통화가 실행되는 중에, 착신 단말기(40)의 사용자가 발신 단말기(10)에 저장된 메뉴의 특정정보를 확인하기를 원하는 경우 발신 단말기(10) 사용자는 손으로 입력부(11)를 통해 입력하는 불편함 없이 발신 단말기(10)의 특정정보를 착신 단말기(40)에 전송할 수 있다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
본 발명은 단말기 및 그의 통화 중 기능 실행 방법에 관한 것으로, 사용자가 통화를 실행하던 중 사용자가 특정 얼굴표정을 취하는지를 모니터링하고, 모니터링 중 사용자가 특정 얼굴표정을 취하면 단말기가 특정 얼굴표정에 대응하는 통화 중 기능을 실행하도록 함으로써 단말기의 사용자는 통화 중에 별도의 입력과정 없이 자신의 얼굴표정에 대응하는 메뉴를 검색하고, 상대방에게 특정 메뉴를 전송할 수 있으므로 단말기의 사용자에게 제공되는 서비스의 질을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 의한 단말기의 통화 중 기능 실행 시스템을 대략적으로 보여주는 블록도이다.
도 2은 도 1의 발신 단말기를 보여주는 블록도이다.
도 3은 본 발명의 실시예에 의한 단말기의 통화 중 기능 실행 방법에 따른 흐름도이다.
* 도면의 주요 부분에 대한 부호의 설명 *
10 : 발신 단말기 11 : 송수신부
13 : 입력부 15 : 출력부
17 : 카메라부 19 : 저장부
21 : 제어부 30 : 네트워크
31 : 호제어기 33 : 홈위치등록기
40 : 착신 단말기
100 : 단말기의 통화 중 기능 실행 시스템

Claims (11)

  1. 상대방 단말기와 네트워크를 통하여 통신을 수행하는 송수신부와;
    통화 시 사용자를 촬영하는 카메라부와;
    상기 사용자의 적어도 하나의 특정 얼굴표정 및 그에 대응하는 통화 중 기능을 실행하는 기능실행명령을 저장하는 저장부와;
    상기 송수신부를 통한 통화 중, 상기 사용자의 선택신호에 의해 상기 카메라부를 통해 상기 사용자를 촬영하여 상기 사용자가 특정 얼굴표정을 취하는지를 모니터링하고, 상기 모니터링 중 상기 사용자가 특정 얼굴표정을 취하면, 상기 특정 얼굴표정에 대응하는 메뉴 및 상기 메뉴의 특정정보에 대한 상기 기능실행명령을 호출하고, 호출된 메뉴 및 상기 메뉴의 특정 정보를 출력하고, 사용자가 취한 전송요청에 대응하는 특정 얼굴 표정을 수신하면, 출력된 특정정보를 상기 상대방 단말기로 전송하는 제어부;를 포함하는 것을 특징으로 하는 단말기.
  2. 제1항에 있어서,
    상기 저장부는 메뉴선택 얼굴표정, 특정정보선택 얼굴표정 및 전송요청 얼굴표정을 포함하는 특정 얼굴표정을 저장하고, 상기 특정 얼굴표정에 대응하여 메뉴를 호출하여 출력하는 제1 기능실행명령, 상기 메뉴의 특정정보를 호출하여 출력하는 제2 기능실행명령 및 상기 출력된 상기 메뉴의 특정정보를 상기 상대방 단말기에 전송하는 제3 기능실행명령을 저장하는 것을 특징으로 하는 단말기.
  3. 네트워크를 매개로 상대방 단말기와 통화 중인 단말기가 상기 단말기의 사용자를 촬영하는 촬영단계와;
    상기 단말기가 상기 단말기의 사용자를 촬영한 영상데이터의 얼굴표정을 감지하여 상기 사용자가 특정 얼굴표정을 취하는지를 모니터링하는 모니터링 단계와;
    상기 단말기는 상기 모니터링 중 상기 사용자의 특정 얼굴표정을 수신하면, 상기 특정 얼굴표정에 대응하는 기능을 실행하는 기능실행명령을 호출하여 실행하는 실행단계;를 포함하며,
    상기 실행단계에서,
    상기 단말기는 상기 사용자가 취한 메뉴선택 얼굴표정을 수신하면, 상기 메뉴선택 얼굴표정에 대응하는 메뉴를 호출하여 출력하는 메뉴 출력단계와;
    상기 단말기는 상기 사용자가 취한 특정정보선택 얼굴표정을 수신하면, 상기 특정정보선택 얼굴표정에 대응하는 메뉴의 특정정보를 호출하여 출력하는 특정정보 출력단계와;
    상기 단말기는 상기 사용자가 취한 전송요청 얼굴표정을 수신하면, 상기 출력된 특정정보를 상기 상대방 단말기로 전송하는 전송단계;를 포함하는 것을 특징으로 하는 단말기의 통화 중 기능 실행 방법.
  4. 제3항에 있어서, 상기 모니터링 단계 이전에,
    상기 단말기는 상기 사용자가 취한 메뉴선택 얼굴표정 및 그에 대응하는 메뉴를 호출하여 출력하는 제1 기능실행명령, 특정정보선택 얼굴표정 및 상기 메뉴의 특정정보를 호출하여 출력하는 제2 기능실행명령 및 전송요청 얼굴표정 및 상기 출력된 상기 메뉴의 특정정보를 상기 상대방 단말기에 전송하는 제3 기능실행명령을 저장하는 저장단계;를 더 포함하는 것을 특징으로 하는 단말기의 통화 중 기능 실행 방법.
  5. 삭제
  6. 제3항에 있어서, 상기 모니터링 단계에서,
    상기 단말기는 통화 중인 상기 사용자를 촬영한 영상데이터에서 상기 사용자의 얼굴표정을 인식하는 인식단계와;
    상기 단말기는 인식한 사용자의 얼굴표정이 기 저장된 특정 얼굴표정과 일치하는지 판단하는 판단단계;를 포함하는 것을 특징으로 하는 단말기의 통화 중 기능 실행 방법.
  7. 제6항에 있어서, 상기 판단단계에서,
    상기 단말기는 상기 인식한 사용자의 얼굴표정과 상기 기 저장된 특정 얼굴표정의 전체 픽셀을 비교하여 기 저장된 오차 범위 내에서 전체 픽셀이 일치하면 동일한 것으로 판단하는 것을 특징으로 하는 단말기의 통화 중 기능 실행 방법.
  8. 제7항에 있어서, 상기 판단단계에서,
    상기 단말기는 상기 촬영한 영상데이터를 상기 적어도 하나의 특정 얼굴표정과 하나씩 매칭하여 상기 특정 얼굴표정이 상기 영상데이터 중에 포함되어 있는지 판단하는 것을 특징으로 하는 단말기의 통화 중 기능 실행 방법.
  9. 제7항에 있어서, 상기 판단단계에서,
    상기 단말기는 상기 촬영한 영상데이터에서 상기 얼굴표정을 추출하여 상기 추출한 얼굴표정과 상기 적어도 하나의 특정 얼굴표정을 비교하여, 상기 추출한 얼굴표정과 일치하는 상기 특정 얼굴표정이 있는지 판단하는 것을 특징으로 하는 단말기의 통화 중 기능 실행 방법.
  10. 제6항 내지 제9항 중에 어느 한 항에 있어서,
    상기 적어도 하나의 특정 얼굴표정은 윙크를 포함한 눈 깜박임, 웃는 얼굴, 입 벌림, 입 닫음, 특정 입술 모양 중에 적어도 하나인 것을 특징으로 하는 단말기의 통화 중 기능 실행 방법.
  11. 제3항 또는 제4항에 있어서,
    상기 메뉴의 특정정보는 일정관리, 전화번호부, 다이어리, 메시지 수신함, 컨텐츠 보관함 중 적어도 하나인 것을 특징으로 하는 단말기의 통화 중 기능 실행 방법.
KR1020090083914A 2009-09-07 2009-09-07 단말기 및 그의 통화 중 기능 실행 방법 KR101169323B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090083914A KR101169323B1 (ko) 2009-09-07 2009-09-07 단말기 및 그의 통화 중 기능 실행 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090083914A KR101169323B1 (ko) 2009-09-07 2009-09-07 단말기 및 그의 통화 중 기능 실행 방법

Publications (2)

Publication Number Publication Date
KR20110026136A KR20110026136A (ko) 2011-03-15
KR101169323B1 true KR101169323B1 (ko) 2012-07-30

Family

ID=43933279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090083914A KR101169323B1 (ko) 2009-09-07 2009-09-07 단말기 및 그의 통화 중 기능 실행 방법

Country Status (1)

Country Link
KR (1) KR101169323B1 (ko)

Also Published As

Publication number Publication date
KR20110026136A (ko) 2011-03-15

Similar Documents

Publication Publication Date Title
CN104159255B (zh) 终端间共享网络的方法及装置
CN105120122A (zh) 报警方法及装置
CN106210797B (zh) 网络直播方法及装置
CN105915521B (zh) 多方通话管理的方法、装置及终端
CN105704766B (zh) 双卡移动终端的控制方法及装置
CN106714244B (zh) 终端的无线接入方法、装置及终端
CN105162980A (zh) 一种通话的处理方法和装置
CN105979501A (zh) 资源分配方法及装置
CN106101456A (zh) 一种呼叫联系人的方法及装置
CN104684106A (zh) 网络连接的方法及装置
KR101274471B1 (ko) 영상통화 중 감정 전달 시스템 및 방법
CN106412481B (zh) 基于VoLTE视频通话的提示方法、装置及终端
CN106101600A (zh) 视频通话的连接方法及装置
CN111246032B (zh) 通话管理方法和装置
KR20110020131A (ko) 영상통화 중 상대방의 표정 인식을 통한 감정 전달 시스템 및 방법
CN111541922B (zh) 显示界面输入信息的方法、装置及存储介质
CN104780256A (zh) 通讯录管理方法和装置、智能终端
CN107864460A (zh) 呼叫转移方法、装置和设备
KR101169323B1 (ko) 단말기 및 그의 통화 중 기능 실행 방법
CN106686263B (zh) 通信处理方法及装置
CN107071859B (zh) 网络连接处理方法、装置及终端
CN107277422A (zh) 视频通话方法、装置及系统
KR20110026137A (ko) 영상통화 중 감정 전달 시스템 및 방법
CN114268691A (zh) 通话方法、装置、终端设备及可读存储介质
KR101189052B1 (ko) 영상통화 중 감정 전달 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150625

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170412

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180703

Year of fee payment: 7