KR20140089697A - 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기 - Google Patents

얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기 Download PDF

Info

Publication number
KR20140089697A
KR20140089697A KR1020130001414A KR20130001414A KR20140089697A KR 20140089697 A KR20140089697 A KR 20140089697A KR 1020130001414 A KR1020130001414 A KR 1020130001414A KR 20130001414 A KR20130001414 A KR 20130001414A KR 20140089697 A KR20140089697 A KR 20140089697A
Authority
KR
South Korea
Prior art keywords
image
emotion analysis
emotion
terminal
message
Prior art date
Application number
KR1020130001414A
Other languages
English (en)
Other versions
KR101988279B1 (ko
Inventor
정지혜
최보근
강두석
이창호
임새미
정의창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130001414A priority Critical patent/KR101988279B1/ko
Priority to US14/144,950 priority patent/US9239949B2/en
Priority to CN201410005428.5A priority patent/CN103916536B/zh
Priority to AU2014200039A priority patent/AU2014200039B2/en
Priority to EP14150238.5A priority patent/EP2753076B1/en
Publication of KR20140089697A publication Critical patent/KR20140089697A/ko
Application granted granted Critical
Publication of KR101988279B1 publication Critical patent/KR101988279B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J1/00—Saddles or other seats for cycles; Arrangement thereof; Component parts
    • B62J1/18—Covers for saddles or other seats; Paddings
    • B62J1/26—Paddings involving other resilient material, e.g. sponge rubber with inflatable compartments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1827—Network arrangements for conference optimisation or adaptation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J1/00—Saddles or other seats for cycles; Arrangement thereof; Component parts
    • B62J1/002—Saddles having a seating area with a central cavity or depression
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62J—CYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J1/00—Saddles or other seats for cycles; Arrangement thereof; Component parts
    • B62J1/007—Saddles with specific anatomical adaptations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Social Psychology (AREA)
  • Mechanical Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 얼굴 인식 기반 사용자 기능 운용에 관한 것으로, 특히 본 발명은 메시지 서비스를 기반으로 영상을 송수신하는 영상 채팅 모드 활성화 상태에서 이벤트 발생에 따라 카메라를 활성화하는 과정, 상기 활성화된 카메라를 이용하여 피사체 영상을 획득하는 과정, 상기 획득된 피사체의 얼굴 포함 여부를 확인하고 얼굴이 포함된 경우 상기 얼굴의 감정 종류를 분석하는 분석 과정, 상기 감정 분석 결과가 이전 분석된 감정과 동일한지 확인하는 과정, 상기 감정 분석 결과가 이전 분석된 감정과 동일하지 않는 경우 획득 영상으로부터 감정 분석 영상을 생성하는 과정, 생성된 상기 감정 분석 영상을 타 단말기에 전송하는 과정을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기의 구성을 개시한다.

Description

얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기{Operating Method of User Function based on a Face Recognition and Electronic Device supporting the same}
본 발명은 단말기의 얼굴 인식 기반 기능 운용에 관한 것으로, 특히 얼굴 인식 기반으로 특정 영상들을 영상 송수신할 수 있도록 하여 영상 통화의 효과를 제공하면서도 보다 효과적인 데이터 운용과 전원 절약을 달성할 수 있는 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기에 관한 것이다.
휴대 단말기는 통신 기능을 가지며 그 크기가 휴대할 수 있을 정도로 충분히 작아서 많은 사람들이 이용하고 있다. 휴대 단말기는 최근 들어 터치스크린 크기가 확대됨과 아울러 다양한 컨텐츠를 제공할 수 있는 하드웨어 및 소프트웨어의 지원에 힘입어 극적인 성장을 구가하고 있는 추세이다.
이러한 종래 휴대 단말기는 영상을 송수신할 수 있는 영상 통화 기능을 제공하고 있다. 이를 위하여 휴대 단말기는 카메라를 포함하며 통화 연결 시 영상 통화를 위한 메뉴를 제공하여 송신측과 수신측의 영상 통화 요청 및 허용에 따라 영상을 수집하고 전송할 수 있도록 지원한다. 그런데 이러한 영상 통화 기능은 실시간으로 영상을 수집하고 이를 전송하기 때문에 짧은 시간에 매우 높은 데이터 전송량이 사용된다. 데이터 전송량이 통화 요금을 결정하는 환경에서 영상 통화 기능은 매우 큰 통화 요금 지불을 요구하고 있다. 이에 따라 영상 통화의 이점 즉 상대방의 얼굴이나 상황을 보면서 통화할 수 있다는 장점이 있으면서도 잘 사용되지 않는 기능으로 또는 특별한 상황에서만 한정되게 사용하는 기능으로 전락하고 있다.
또한 영상 통화 기능의 경우 카메라를 계속적으로 턴-온시켜 실시간 영상의 수집과 전송을 수행하기 때문에 매우 큰 전원 소모를 요구한다. 이에 따라 영상 통화를 수행하는 경우 음성 통화에 비하여 상대적으로 짧은 통화 시간 운용에도 불구하고 배터리 소모가 커서 단말기의 장시간 운용이 불가능하게 하며, 단말기의 배터리 교체 주기를 단축시키는 단점이 있다.
따라서 본 발명의 목적은 전술된 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 얼굴 인식 기능을 기반으로 정지 영상을 수집 송수신하되 화자의 얼굴 변화에 따라 정지 영상을 수집 및 전송할 수 있도록 지원하는 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명은 메시지 서비스를 기반으로 영상을 송수신하는 영상 채팅 모드 활성화 상태에서 이벤트 발생에 따라 카메라를 활성화하는 과정, 상기 활성화된 카메라를 이용하여 피사체 영상을 획득하는 과정, 상기 획득된 피사체의 얼굴 포함 여부를 확인하고 얼굴이 포함된 경우 상기 얼굴의 감정 종류를 분석하는 분석 과정, 상기 감정 분석 결과가 이전 분석된 감정과 동일한지 확인하는 과정, 상기 감정 분석 결과가 이전 분석된 감정과 동일하지 않는 경우 획득 영상으로부터 감정 분석 영상을 생성하는 과정, 생성된 상기 감정 분석 영상을 타 단말기에 전송하는 과정을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법의 구성을 개시한다.
본 발명은 또한, 메시지 서비스를 기반으로 영상을 송수신하는 영상 채팅 모드 활성화 상태에서 타 단말기의 설정된 이벤트에 따라 수집된 영상의 얼굴을 인식하여 사전 정의된 감정 분석 데이터베이스를 기반으로 분류한 감정 분석 영상 관련 정보를 수신하는 수신 과정, 상기 수신된 감정 분석 영상 관련 정보에 따라 감정 분석 영상을 일정 위치에 출력하는 출력 과정을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법의 구성을 개시한다.
본 발명은 또한, 일정 주기에 따라 카메라를 활성화하는 과정, 상기 활성화된 카메라를 이용하여 피사체 영상을 획득하는 과정, 상기 획득된 피사체에 포함된 얼굴을 검출하고 상기 얼굴의 감정 종류를 분석하는 과정, 상기 감정 분석 결과가 이전 분석된 감정과 동일한지 확인하는 과정, 상기 감정 분석 결과가 이전 분석된 감정과 동일하지 않는 경우 획득 영상으로부터 감정 분석 영상을 생성하여 타 단말기에 전송하고, 동일한 경우 이전 감정 분석 영상과 동일함을 안내하는 메시지를 타 단말기에 전송하는 과정을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법의 구성을 개시한다.
본 발명은 또한, 이벤트 발생에 따라 카메라를 활성화하는 과정, 상기 활성화된 카메라를 이용하여 피사체 영상을 획득하는 과정, 상기 획득된 피사체에 얼굴을 검출하고, 얼굴의 감정 종류를 분석하는 과정, 상기 감정 분석 결과에 해당하는 감정 분석 정보와 감정 분석 영상을 출력하는 과정을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법의 구성을 개시한다.
본 발명은 또한, 영상을 송수신하는 영상 채팅 모드 활성화 상태에서 이벤트발생 에 따라 피사체 영상을 획득하는 카메라, 상기 획득된 피사체의 얼굴 포함 여부를 확인하고 얼굴이 포함된 경우 상기 얼굴의 감정 종류를 분석하여 상기 감정 분석 결과가 이전 분석된 감정과 동일한지 확인하고 상기 감정 분석 결과가 이전 분석된 감정과 동일하지 않는 경우 획득 영상으로부터 감정 분석 영상을 생성하여 타 단말기에 전송하며, 동일한 경우 이전 감정 분석 영상과 동일함을 안내하는 메시지를 타 단말기에 전송하도록 제어하는 제어부를 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용을 지원하는 단말기의 구성을 개시한다.
이상에서 살펴본 바와 같이 본 발명의 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기에 따르면, 본 발명은 정지 영상을 송수신하되 화자의 얼굴 변화에 따라 영상을 수집하고 영상 관련 정보를 선택적으로 전송함으로써 영상 통화의 효과를 제공하면서도 데이터 전송량을 저감할 수 있다.
또한 본 발명은 화자의 단말기 운용 환경에 따라 카메라를 일시적으로 운용하도록 함으로써 영상 통화에 비하여 카메라 운용에 소요되는 전원을 절약할 수 있다.
도 1은 본 발명의 실시 예에 따른 멀티태스킹 운용을 지원하는 단말기의 구성을 개략적으로 나타낸 도면.
도 2는 도 1의 제어부 구성을 보다 상세히 나타낸 도면.
도 3은 본 발명의 실시 예에 따른 멀티태스킹 운용 방법 중 기능 전환 운용을 설명하기 위한 도면.
도 4는 본 발명의 실시 예에 따른 멀티태스킹 운용 방법 중 기능 참조 운용을 설명하기 위한 도면.
도 5는 본 발명의 실시 예에 따른 단말기의 화면 인터페이스의 일예를 나타낸 도면.
도 6은 본 발명의 실시 예에 따른 단말기의 화면 인터페이스의 일예를 나타낸 도면.
도 7 및 도 8은 본 발명의 실시 예에 따른 감정 분석 영상의 출력 형태의 일예를 설명하기 위한 도면.
도 9는 본 발명의 실시 예에 따른 감정 분석 영상의 표시 효과에 대한 설명을 위한 도면.
도 10은 본 발명의 실시 예에 따른 이전 감정 분석 영상 보기의 일예를 설명하기 위한 도면.
도 11은 본 발명의 실시 예에 따른 영상 채팅 모드에서의 부재중 처리를 설명하기 위한 도면.
도 12는 본 발명의 실시 예에 따른 감정 분석 영상 이력 보기를 설명하기 위한 도면.
도 13 및 도 14는 채팅 환경에서 감정 분석 영상들의 표시 형태를 설명하기 위한 도면.
이하, 본 발명의 실시 예를 첨부된 도면에 의거하여 상세히 설명한다.
실시 예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 또한, 실질적으로 동일한 구성과 기능을 가진 구성 요소들에 대해서는 상세한 설명을 생략하도록 한다.
마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
이하 설명에서는 본 발명의 얼굴 인식 기반 사용자 기능으로서 메시지 기능을 주 예시로 설명하기로 한다. 그러나 본 발명이 이에 한정되는 것은 아니며 본 발명은 영상 통화 등 얼굴 피사체를 촬영하여 전송하는 다양한 단말기 기능 중 적어도 하나의 기능에도 적용할 수 있다.
도 1은 본 발명의 실시 예에 따른 얼굴 인식 기반 메시지 기능 운용을 지원하는 지원 시스템(10)의 구성을 개략적으로 나타낸 도면이다.
도 1을 참조하면, 본 발명의 지원 시스템(10)은 송신측 단말기(101) 및 수신측 단말기(102)를 포함하며, 송신측 단말기(101)와 수신측 단말기(102) 간의 데이터 송수신을 위한 통신 시스템(300)의 구성을 포함한다.
이와 같은 구성을 포함하는 본 발명의 지원 시스템(10)은 송신측 단말기(101)와 수신측 단말기(102) 간의 메시지 기능을 운용하는 과정에서 카메라를 운용하여 사용자에 관한 영상을 수집하고, 수집된 영상에 대한 감정 변화를 분석하여 전송하거나, 분석 결과에 따라 수집 영상의 전송을 결정한다. 이에 따라 본 발명의 지원 시스템(10)은 감정 분석 영상의 전송을 통한 영상 통화 효과를 달성할 수 있으며, 추가적으로 설정에 따라 전송해야 할 영상을 감정 변화 시에만 제공하도록 함으로써 영상 통화의 효과는 유지하면서도 데이터 전송량을 극적으로 저감할 수 있다. 또한 본 발명의 지원 시스템(10)은 메시지 기능 운용 시에만 그리고 설계된 이벤트 조건 만족에 따라 카메라를 운용하도록 제한함으로써 카메라 운용에 소요되는 전원 소모를 저감할 수 있다. 상술한 바와 같이 본 발명의 지원 시스템(10)은 메시지 기능을 기반으로 영상 통화 효과를 달성하면서 영상 통화에 소요되는 전원에 비하여 극히 적은 전원 소모를 기반으로 단말기를 운용하도록 지원한다.
송신측 단말기(101)는 사용자의 요청에 따라 얼굴 인식 기반 메시지 기능에 해당하는 영상 채팅 모드가 운용되면 설계된 이벤트 조건 만족에 따라 카메라를 활성화하고 사용자의 얼굴 정보를 획득한 후, 이를 분석한다. 그리고 송신측 단말기(101)는 감정 분석 영상과 이를 분석한 정보를 전송함으로써 데이터 전송량을 저감하면서 영상 통화 효과를 제공할 수 있다. 한편 사용자의 얼굴 감정이 사전 정의된 특정 감정 타입으로 분석되고, 분석된 감정 타입이 이전 감정 타입과 동일한 경우 송신측 단말기(101)는 현재 수집 영상의 전송을 차단할 수 있다. 이러한 수집 영상의 선별적 전송 기능은 메시지 기능을 운용하는 과정에서 주기적으로 운용될 수도 있으며, 송신측 단말기(101)의 메시지 전송 시에만 운용될 수도 있다. 한편 송신측 단말기(101)는 감정 분석 영상을 자신의 표시부에도 출력하도록 지원할 수 있다.
이를 위하여 송신측 단말기(101)는 카메라와 메시지 기능 운용을 위한 프로그램 예컨대 IM 지원 프로그램 또는 채팅 지원 프로그램을 포함하며 수집된 영상과 메시지의 송수신을 위한 통신부를 포함할 수 있다. 감정 분석과 관련하여 송신측 단말기(101)는 얼굴을 구성하는 다양한 특징적 요소 예컨대 눈, 코, 입, 귀, 이마, 광대, 턱, 볼, 얼굴 전체 구조 등의 요소들의 변화에 따라 대표적인 감정의 분류가 가능하도록 지원한다. 예컨대 송신측 단말기(101)는 눈의 변화 형태, 입의 벌어짐이나 입꼬리의 변화, 귀의 변화, 이마의 주름 변화, 턱의 위치 변화, 볼의 변화, 얼굴 전체 그림자의 변화 등을 토대로 사용자의 얼굴이 어떠한 표정 및 감정을 가지고 있는지를 분별할 수 있도록 지원하는 데이터를 포함한 감정 분석 데이터베이스를 보유할 수 있다. 그리고 송신측 단말기(101)는 사용자의 얼굴이 촬영되면 촬영된 사용자의 얼굴과 상술한 감정 분석 데이터베이스를 이용하여 현재 사용자의 감정을 분석할 수 있다.
이때 감정 분석 데이터베이스는 저장되는 데이터의 세분화 정도에 따라 기쁨, 슬픔, 화남, 놀람, 공포, 혐오 등의 인식뿐만 아니라 보다 다양한 수십 가지의 감정 분석을 가능하도록 지원한다. 송신측 단말기(101)는 상술한 감정 분석 데이터베이스를 사전 저장하거나, 통신부를 통하여 외부로부터 수신하여 저장할 수 있으며, 일정 주기 또는 업데이트 정보 발생에 따라 갱신하여 보다 정확한 그리고 세밀한 감정 분석이 가능하도록 지원할 수 있다.
수신측 단말기(102)는 송신측 단말기(101)가 제공하는 감정 분석 영상을 수신하고 이를 출력한다. 이때 수신측 단말기(102)는 송신측 단말기(101)의 감정 분석 영상 전송 시점에 따라 해당 영상의 수신과 갱신을 수행한다. 예컨대 송신측 단말기(101)가 메시지 기능을 운용하는 환경에서 일정 주기별로 사용자 영상을 수집하고 전송하도록 설정한 경우 수신측 단말기(102)는 해당 주기 단위에서 감정이 변화된 경우 감정 분석된 영상을 수신하여 출력할 수 있다. 또한 수신측 단말기(102)는 송신측 단말기(101)가 메시지 송신과 함께 감정 분석된 영상을 전송하도록 설정한 경우, 이전 감정과 다른 감정으로서 분석된 영상과 함께 메시지를 수신하거나 이전 감정과 동일한 감정임을 안내하는 정보와 송신측 단말기(101)가 기입한 메시지를 수신할 수 있다.
수신측 단말기(102)는 감정 분석된 영상을 메시지 기능 지원 인터페이스에 적용하여 표시부에 출력한다. 이때 수신측 단말기(102)는 상술한 다양한 설정에 따라 감정 분석된 영상을 수신하여 출력할 수 있다. 예컨대 수신측 단말기(102)는 메시지 기능을 운용하는 사용자들의 감정 분석 영상들만을 출력하는 별도 영역을 마련하고, 해당 영역에 현재 사용자의 감정 분석 영상을 출력할 수 있다. 또한 수신측 단말기(102)는 송수신되는 메시지를 출력하는 메시지 출력 화면에서 사용자 관련 영상을 출력할 수 있는 영역을 마련하고, 해당 영역에 현재 사용자들의 감정 분석 영상을 출력할 수 있다.
통신 시스템(300)은 송신측 단말기(101)와 수신측 단말기(102) 간의 데이터 송수신을 지원하는 구성이다. 특히 통신 시스템(300)은 송신측 단말기(101)와 수신측 단말기(102) 중 적어도 하나가 이동통신 장치로 구성된 경우 해당 장치 지원을 위하여 이동통신 시스템을 구성하는 기지국과 기지국 제어기 및 모바일 스위칭 센터 등을 포함하는 네트웍 장치로 구성될 수 있다. 또한 통신 시스템(300)은 단말기들이 무선 액세스 네트웍을 이용할 수 있도록 마련된 경우 해당 네트웍 지원을 위한 인터넷 네트웍 장치를 포함할 수 있다. 또한 통신 시스템(300)은 단말기들의 다양한 통신 방식 지원을 위하여 2G, 3G, 4G 등의 통신 방식 운용을 위한 네트웍 장치를 포함할 수 있다.
상술한 통신 시스템(300)은 송신측 단말기(101)와 수신측 단말기(102) 간의 메시지 송수신 기능을 지원할 수 있다. 특히 통신 시스템(300)은 단말기들(101, 102) 간의 IM(Instant Message) 기능을 지원할 수 있다. 여기서 IM 기능 지원을 위하여 별도의 IM 서비스 서버 장치가 통신 시스템(300)에 연결될 수 있다. 그리고 단말기들(101, 102)은 IM 서비스 서버 장치가 제공한 메시지 지원 프로그램을 설치하고 통신 시스템(300)을 통하여 IM 서비스 서버 장치에 접속하고, IM 서비스 서버 장치를 통하여 본 발명의 얼굴 인식 기반 메시지 기능 운용을 수행할 수 있다. 한편 IM 기능이 단말기들(101, 102) 간의 직접적인 메시지 송수신 형태로 제공되는 경우 별도의 메시지 지원 서비스 장치는 제외될 수도 있다. 상술한 바와 같이 본 발명의 통신 시스템(300)은 통신 방식이나 통신 모듈의 형태로 한정되는 것은 아니며 송신측 단말기(101)에서 수신측 단말기(102)로 메시지와 함께 감정 분석된 영상을 전송할 수 있는 형태로 이해되어야 할 것이다.
한편 단말기(100)의 경우 송신측 기능과 수신측 기능을 모두 포함한 상태에서 타 단말기와의 통신 수행 시 메시지를 전송하는 경우에는 송신측 기능을 수행하며, 메시지를 수신하는 경우에는 수신측 기능을 수행한다. 이에 따라 이하 설명에서는 송신측 단말기(101)와 수신측 단말기(102)에 대하여 도면 번호 100을 할당하고 단말기로서 명명하여 설명하기로 하며, 설명 과정에서 단말기의 송신측 기능과 수신측 기능에 대하여 설명하기로 한다.
도 2는 본 발명의 실시 예에 따른 얼굴 인식 기반 메시지 기능 운용을 지원하는 단말기(100)의 구성을 개략적으로 나타낸 도면이다.
도 2를 참조하면, 본 발명의 단말기(100)는 통신부(110), 입력부(120), 오디오 처리부(130), 표시부(140), 저장부(150), 카메라(170) 및 제어부(160)의 구성을 포함할 수 있다.
이러한 구성의 단말기(100)는 메시지 기능 운용 시 카메라(170)를 활성화하고, 카메라(170)가 수집한 영상에 대하여 감정 분석을 수행하여 감정 분석된 영상을 타 단말기에 전송하도록 지원한다. 여기서 단말기(100)는 감정 분석 시 수집 영상에 대하여 사전 정의된 일정 개수의 감정 중 어느 하나로 분석하고 이전 수집된 감정과 다른 감정의 영상이 수집되면 해당 감정 분석 영상을 타 단말기에 전송하도록 설정에 따라 제한할 수 있다. 이에 따라 단말기(100)는 감정의 변화가 발생한 상황에서만 영상 데이터를 전송하도록 함으로써 감정 전달에 필요한 정보 전달을 최소화하도록 지원한다.
또한 본 발명의 단말기(100)는 타 단말기로부터 감정 분석 영상을 수신하면 이를 별도로 마련된 감정 분석 영상 영역에 출력하여 사용자들의 감정 변화를 파악할 수 있도록 지원한다. 또는 단말기(100)는 수신된 감정 분석 영상을 송수신된 메시지 출력 영역에 출력함으로써 메시지 송수신 변화에 따른 감정 변화를 쉽게 파악할 수 있도록 지원한다.
이를 위하여 통신부(110)는 단말기(100)의 메시지 및 영상 데이터 전송을 지원한다. 이러한 통신부(110)는 적어도 하나의 통신 방식 지원을 위하여 적어도 하나의 통신 모듈을 포함할 수 있다. 예컨대 통신부(110)는 2G, 3G, 4G 등 다양한 세대의 통신 방식을 지원할 수 있는 통신 모듈 중 적어도 하나를 포함하여 구성될 수 있다. 제어부(160)는 사용자 요청에 따라 통신부(110)를 활성화하고, 요청된 서비스 종류에 따른 통신 채널을 형성하도록 지원할 수 있다. 이 과정에서 통신부(110)는 사용자가 활성화를 요청한 항목에 따른 통신 채널 형성을 지원한다. 예컨대 통신부(110)는 채팅 서비스 기능을 지원할 수 있으며 특히 얼굴 인식 기반 메시지 기능 운용에 따른 데이터 전송을 지원한다. 통신부(110)가 지원하는 메시지 기능에 대하여 제어부(160)는 감정 분석 영상을 포함한 메시지 기능 화면을 제공할 수 있다.
입력부(120)는 단말기(100) 운용에 필요한 다양한 입력 신호를 생성하는 구성이다. 상기 입력부(120)는 버튼키나, 사이드 키, 홈 키 등 특정 키 형태로 형성됨은 물론, 풀 터치스크린 지원을 위해 가상 터치 패드로 제공될 수도 있다. 여기서 가상 터치 패드는 표시부(140) 상에 표시되어 사용자 터치에 따른 입력 신호를 생성할 수 있도록 지원하는 구성이 될 수 있다. 특히 입력부(120)는 본 발명의 얼굴 인식 기반 메시지 기능 지원을 위하여 영상 채팅 모드 활성화를 위한 입력 신호를 사용자 요청에 따라 생성할 수 있다. 또한 입력부(120)는 영상 채팅 모드를 해제하여 일반 메시지 기능 예컨대 별도의 영상 전송 없이 입력되는 메시지만을 송수신하는 기능으로 복귀하기 위한 입력 신호를 사용자 요청에 따라 생성할 수 있다. 추가로 영상 채팅 모드에서 카메라(170) 운용과 관련된 다양한 모드가 제공되는 경우, 해당 모드 선택을 위한 입력 신호를 생성할 수 있다. 예컨대 입력부(120)는 일정 주기 단위로 카메라(170)를 운용하도록 설정하는 모드, 메시지 입력 시 또는 메시지 전송 시 카메라(170)를 운용하도록 설정하는 모드, 메시지 수신 확인 시 카메라(170)를 운용하도록 설정하는 모드, 상술한 모드들의 통합 모드 중 어느 하나를 선택할 수 있는 입력 신호 생성을 지원한다.
입력부(120)에서 생성된 입력 신호는 제어부(160)에 전달되어 해당 입력 신호에 따른 기능 수행을 지원한다. 한편 표시부(140)가 입력 기능을 지원하는 경우 표시부(140)는 입력부(120)로서 동작할 수 있다. 이에 따라 상술한 모드 활성화를 위한 입력 신호 및 일반 메시지 기능 복귀를 위한 입력 신호 등은 터치 기능의 표시부(140)를 통하여 생성될 수도 있다.
오디오 처리부(130)는 단말기 운용 과정에서 발생하는 다양한 오디오 신호를 처리하는 구성이다. 예컨대 오디오 처리부(130)는 단말기(100)에서 생성된 또는 복호된 오디오 신호 출력을 지원하기 위해 스피커(SPK)를 포함할 수 있으며, 또한 음성 통화나 영상 통화 기능, 녹음 기능 등을 지원하기 위하여 오디오 신호를 수집할 수 있는 마이크(MIC)를 포함할 수 있다. 이러한 오디오 처리부(130)는 메시지 기능 운용에서 음성 메시지 기능이 지원되는 경우 사용자의 음성을 수집하고 이를 제어부(160)에 제공하는 역할을 수행할 수 있다.
한편 오디오 처리부(130)는 본 발명의 영상 채팅 모드가 설정된 상태를 안내하는 안내 메시지, 영상 채팅 모드 운용 중에 카메라(170)가 영상을 수집함을 안내하는 메시지, 타 단말기로부터 새로운 감정 분석 영상을 수신함을 안내하는 메시지 등의 출력을 지원할 수 있다. 카메라(170) 영상 수집 안내 메시지는 사용자 설정에 따라 생략될 수도 있으며, 또는 촬영 수 초전부터 카운트하는 형태로 제공될 수도 있다.
표시부(140)는 본 발명의 단말기(100) 운용 과정에 필요한 다양한 기능 화면들을 출력하는 구성이다. 예컨대 표시부(140)는 메뉴 화면, 복수의 아이콘 표시 화면, 복수의 위젯 표시 화면, 대기 화면, 락 스크린 화면 등 설정된 기능 및 단말기(100) 지원 기능 등에 따라 다양한 화면을 제공할 수 있다. 본 발명의 표시부(140)는 사용자 요청에 따라 메시지 기능 화면을 출력할 수 있으며, 특히 영상 채팅 모드 선택에 따라 해당 모드 지원 화면을 출력할 수 있다. 영상 채팅 모드의 GUI 형태에 대하여 후술하는 화면 예시도 등을 참조하여 보다 상세히 설명하기로 한다.
저장부(150)는 본 발명의 단말기(100) 운용에 필요한 다양한 데이터와 프로그램을 저장하는 구성이다. 예컨대 저장부(150)는 단말기(100) 운용을 위한 운영체제, 단말기(100) 운용에 있어서 송수신되거나 입력된 데이터 등을 저장할 수 있다. 특히 저장부(150)는 본 발명의 영상 채팅 모드 운용을 위하여 채팅 지원 프로그램(151), 감정 분석 데이터베이스(153), 채팅 사진 데이터베이스(155)를 저장한다.
채팅 지원 프로그램(151)은 단말기(100)의 채팅 기능 지원을 위한 다양한 루틴을 포함할 수 있다. 예컨대 채팅 지원 프로그램(151)은 지정된 타 단말기의 전화번호 또는 ID 정보 등을 이용하여 타 단말기와 채팅을 송수신할 수 있는 채팅방을 개설하는 루틴, 개설된 채팅방을 통하여 메시지를 전송하는 루틴 및 송수신된 메시지를 기록 및 저장하는 루틴을 포함할 수 있다. 특히 채팅 지원 프로그램(151)은 본 발명의 얼굴 인식 기반 메시지 기능 지원을 위하여 특정 이벤트 발생 시 카메라(170)를 활성화하는 루틴, 활성화된 카메라(170)를 이용하여 영상을 획득하는 영상 획득 루틴, 획득된 영상에 대한 감정 분석을 수행하는 감정 분석 루틴, 감정 분석 결과에 따라 수집된 영상을 전송 제어하는 루틴을 포함할 수 있다. 감정 분석 루틴은 사전 정의된 일정 프레임 또는 실시간 프리뷰 영상에 대한 감정 분석을 수행하는 루틴, 실시간 저장된 영상에 대한 감정 분석을 수행하는 루틴, 인코딩 완료된 영상에 대한 감정 분석을 수행하는 루틴 중 적어도 하나를 포함할 수 있다.
감정 분석 데이터베이스(153)는 얼굴 특징 요소별 감정 데이터 매핑 값을 제공한다. 예컨대 감정 분석 데이터베이스(153)는 입술의 모양들, 눈 모양들, 턱의 위치, 미간의 주름 등 다양한 요소들에 대하여 각각의 감정들 예컨대 기쁨, 슬픔, 화남, 놀람, 공포, 혐오 등을 매핑하여 저장한 데이터베이스이다. 이러한 감정 분석 데이터베이스(153)는 보다 다양한 얼굴 형태들에 대하여 보다 다양한 감정들을 매핑하여 제공할 수도 있다.
채팅 사진 데이터베이스(155)는 본 발명의 실시 예에 따른 얼굴 인식 기반 메시지 기능 수행 중에 송수신되는 감정 분석 영상들을 포함한 구성이다. 이러한 채팅 사진 데이터베이스(155)는 채팅방별로 감정 분석 영상들을 그룹 저장할 수 있다. 특히 채팅 사진 데이터베이스(155)는 프리뷰 영상을 일시적으로 버퍼링하는 역할을 지원할 수도 있으며, 인코딩된 영상들을 저장하되 감정 분석 영상과 매핑하여 저장할 수 있다. 그리고 채팅 사진 데이터베이스(155)는 감정 분석 영상에 대한 원본 요청이 타 단말기로부터 발생하면 인코딩된 원본 영상을 타 단말기에 전송하도록 지원할 수 있다. 또한 채팅 사진 데이터베이스(155)는 특정 채팅방 내에서 각 단말기 전화번호별 또는 ID별 대표 감정 분석 영상들을 저장할 수 있으며 자신의 대표 감정 분석 영상도 저장할 수 있다. 채팅 사진 데이터베이스(155)에 저장된 자신의 대표 감정 분석 영상은 특정 이벤트 발생에 따라 획득한 영상의 감정이 이전 저장된 감정과 일치하는지 여부에 따라 전송 여부를 결정하기 위해 비교 기준으로 제공될 수 있다.
카메라(170)는 사용자의 영상을 획득하고, 획득된 영상을 제어부(160)에 전달한다. 특히 카메라(170)는 메시지 기능 이용 중에 사용자의 얼굴 촬영을 위하여 단말기(100)의 표시부(140)가 배치된 전면 일정 영역에 배치될 수 있다. 그리고 카메라(170)는 제어부(160) 제어에 따라 활성화되어 프리뷰 영상을 획득하고 이를 제어부(160)에 제공하거나, 실시간으로 영상을 촬영하여 제어부(160)에 제공할 수 있다. 예컨대 카메라(170)는 메시지 기능 이용 중에 기 설정된 주기에 따라 활성화되고 사용자의 얼굴을 포함하는 영상을 획득한다. 이때 카메라(170)는 사용자의 얼굴이 촬영되지 않는 경우 영상 촬영을 중지하고 얼굴 인식 기반의 메시지 기능을 일시 중지 또는 종료하도록 제어할 수 있다. 일시 중지의 경우 단말기(100) 운용을 위한 입력 이벤트 또는 메시지 기능 운용을 위한 입력 이벤트 발생 시 얼굴 인식 기반의 메시지 기능 지원을 위해 다시 활성화될 수 있다.
제어부(160)는 본 발명의 실시 예에 따른 영상 채팅 모드 운용을 위한 단말기(100)의 신호 흐름과, 데이터의 처리, 정보의 수집과 전송 등을 제어하는 구성이다. 이러한 제어부(160)는 얼굴 인식 기반의 메시지 기능 운용을 위하여 도 3에 도시된 바와 같은 구성을 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른 단말기(100)의 제어부(160) 구성을 보다 상세히 나타낸 도면이다.
도 3을 참조하면, 본 발명의 제어부(160)는 채팅 지원부(161), 영상 수집부(163), 감정 분석 영상 처리부(165)를 포함할 수 있다.
채팅 지원부(161)는 단말기(100)의 기본 채팅 기능 예컨대 지정된 타 단말기와 채팅 메시지를 송수신하도록 지원한다. 그리고 채팅 지원부(161)는 본 발명의 얼굴 인식 기반의 메시지 기능에 해당하는 영상 채팅 모드를 지원한다. 이를 위하여 채팅 지원부(161)는 영상 채팅 모드 선택을 위한 GUI 예컨대 영상 채팅 모드 아이콘 및 영상 채팅 모드 메뉴 항목 중 적어도 하나를 메시지 기능 화면 또는 대기 화면 등에 제공할 수 있다.
한편 채팅 지원부(161)는 대표 감정 분석 영상들의 저장과 갱신 관리를 지원한다. 즉 채팅 지원부(161)는 감정 분석 데이터베이스(153)가 일정 개수의 감정들만을 제공하는 경우, 각 감정들에 대응하는 감정 분석 영상이 수집되는 시점에 해당 감정 분석 영상을 대표 감정 분석 영상으로 채팅 사진 데이터베이스(155)에 저장하도록 제어할 수 있다. 그리고 채팅 지원부(161)는 저장된 대표 감정 분석 영상을 해당 감정이 분석되는 시점에 타 단말기에 전송하는 영상으로 사용할 수 있다. 이때 채팅 지원부(161)는 저장된 대표 감정 분석 영상을 일정 주기 예컨대 시간 단위나 일 단위, 주 단위 등으로 갱신하거나 사용자 요청에 따라 특정 감정 분석 영상이 수집된 시점에 교체할 수 있다. 이를 위하여 채팅 지원부(161)는 특정 영상이 획득되고 감정 분석이 완료되면 동일 감정으로 기 저장된 감정 분석 영상이 있는지 여부를 확인하고, 기 저장된 감정 분석 영상을 전송할 것인지 또는 새로 수집된 감정 분석 영상을 갱신 및 전송할 것인지를 사용자에게 확인받는 과정을 수행하도록 지원할 수 있다. 이때 채팅 지원부(161)는 기 저장된 감정 분석 영상과 새로 수집된 감정 분석 영상을 함께 출력하여 사용자가 비교 확인할 수 있도록 지원한다.
채팅 지원부(161)는 송수신된 영상들의 이력 보기를 지원한다. 이를 위하여 채팅 지원부(161)는 채팅방에 포함된 타 사용자들의 수신된 영상들 보기 및 자신이 전송한 영상들 보기를 위한 아이콘이나 메뉴 항목을 제공할 수 있다. 또는 채팅 지원부(161)는 감정 분석 영상들만을 표시하는 영역을 표시부(140)에 출력하도록 지원하고 해당 영역에 표시된 영상 특정 영상이 지정되는 경우 해당 영상과 관련된 사용자의 전체 감정 분석 영상들의 이력 보기를 지원할 수 있다. 이때 채팅 지원부(161)는 감정 분석 영상들이 송수신된 시점의 채팅 메시지도 영상 이력과 함께 출력하도록 지원할 수 있다.
채팅 지원부(161)는 타 단말기로부터 또는 입력부(120)로부터 특정 감정 분석 영상에 대한 원본 영상이 요청되면, 해당 감정 분석 영상의 원본 영상을 제공할 수 있다. 즉 채팅 지원부(161)는 타 단말기가 특정 감정 분석 영상에 대한 원본 영상을 요청하는 경우 저장된 원본 영상을 타 단말기에 전송하도록 지원할 수 있다. 또한 채팅 지원부(161)는 입력부(120)로부터 자신의 감정 분석 영상에 대한 원본 영상이 요청되면 해당 원본 영상을 표시부(140)에 출력하도록 지원할 수 있다. 또는 채팅 지원부(161)는 프리뷰 영상에 대한 감정 분석 영상인 경우 일시적으로 버퍼링된 원본 영상을 인코딩하여 저장하도록 지원할 수 있다. 이를 위하여 채팅 지원부(161)는 감정 분석 영상에 대한 프리뷰 영상의 버퍼링을 일정 시간 동안 유지하도록 지원할 수 있다.
영상 수집부(163)는 얼굴 인식 기반 메시지 기능이 활성화되면 카메라(170)를 활성화하여 영상을 획득하도록 지원하는 구성이다. 특히 영상 수집부(163)는 특정 설정 이벤트 발생에 따라 영상 수집을 지원한다. 여기서 설정 이벤트는 본 발명의 얼굴 인식 기반 메시지 기능 지원을 위한 영상 채팅 모드 활성화 시 일정 주기를 포함할 수 있다. 또한 설정 이벤트는 영상 채팅 모드 활성화 상태에서 메시지 입력을 위한 입력 이벤트, 메시지 전송을 위한 입력 이벤트, 수신된 메시지 확인 또는 답장 입력 이벤트, 메시지 어플리케이션 활성화 중 적어도 하나를 포함할 수 있다. 이러한 영상 수집부(163)는 단말기(100) 설정 또는 설계 방식에 따라 영상 채팅 모드 지원 중 획득된 프리뷰 영상 또는 실시간 저장 영상 중 적어도 하나를 감정 분석 영상 처리부(165)에 제공할 수 있다.
한편 영상 수집부(163)는 감정 분석 영상을 생성하기 위하여 영상 촬영을 수행하는 시점에 영상 수집에 대한 안내(Notification)를 제공할 수 있다. 예컨대 영상 수집부(163)는 일정 시간 경과 후 영상 획득을 안내하는 안내음, 사전 정의된 일정 형태의 램프 점멸, 진동 패턴 중 적어도 하나의 출력을 제어할 수 있다. 또한 영상 수집부(163)는 카메라를 이용하여 사용자의 얼굴 영상을 획득하는 과정에서 획득된 영상에 얼굴 이미지가 없는 경우 부재중으로 판단하고 부재중 영상 처리를 지원할 수 있다. 부재중 영상 처리는 사전 정의된 부재중 영상을 전송하거나 부재중임을 안내하는 메시지를 전송하도록 지원하는 기능이다.
감정 분석 영상 처리부(165)는 영상 수집부(163)가 제공한 영상 및 감정 분석 데이터베이스(153)를 이용하여 제공된 영상에 대한 감정 분석을 수행한다. 그리고 감정 분석 영상 처리부(165)는 감정 분석 영상을 생성한다. 예컨대 감정 분석 영상 처리부(165)는 영상을 앞서 설명한 바와 같이 다양한 감정 중 어느 하나로 분류하고, 분류된 감정 분석 영상을 생성한다. 이때 감정 분석 영상 처리부(165)는 분석된 감정 정보를 해당 감정 분석 영상에 포함하여 타 단말기에 제공할 수 있다. 특히 감정 분석 영상 처리부(165)는 직전에 수집된 영상의 감정 분석 결과와 일치하는지를 확인하고, 일치하는 경우 이전 감정과 동일한 감정 분석 영상이 수집되었음을 안내할 수 있다. 그리고 감정 분석 영상 처리부(165)는 디폴트로 감정 분석 영상 전송을 취소하거나, 현재 수집된 감정 분석 영상을 타 단말기에 전송할 것인지를 사용자에게 질의하고 확인 여부에 따라 영상 전송을 수행할 수 있다.
도 4는 본 발명의 실시 예에 따른 영상 채팅 모드 운용을 위한 단말기 운용 방법을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 단말기 운용 방법은 제어부(160)가 입력 이벤트 발생이나 설정된 스케줄 정보에 따라 401 단계에서 영상 채팅 모드 실행을 지원한다. 이를 위하여 제어부(160)는 영상 채팅 모드 선택을 위한 아이콘이나 메뉴 항목을 제공할 수 있다. 그리고 제어부(160)는 403 단계에서 설정 이벤트에 따라 사용자 얼굴 획득을 수행한다. 이를 위하여 제어부(160)는 사전 정의된 설정 이벤트 예컨대 앞서 언급한 바와 같이 일정 주기 또는 메시지와 같이 영상 채팅 모드 운용을 위한 기본 기능 활성화를 위한 입력 신호, 메시지 입력을 위한 입력 신호, 메시지 전송을 위한 입력 신호 중 적어도 하나가 발생하면 카메라(170)를 활성화하도록 제어한다. 그리고 제어부(160)는 카메라(170)의 프리뷰 영상을 실시간 획득하거나 일정 시점에 사용자의 얼굴 촬영을 수행하도록 제어할 수 있다.
제어부(160)는 사용자 얼굴 촬영에 따라 얼굴 영상이 수집되거나 얼굴 영상에 대한 프리뷰 영상이 수집되면 405 단계에서 감정 분석을 수행한다. 이때 제어부(160)는 사전 정의된 감정 분석 데이터베이스(153)를 이용하여 현재 수집된 영상에 대한 감정 분석을 수행할 수 있다. 특히 제어부(160)는 촬영된 영상을 이용하거나 프리뷰 영상 중 사전 정의된 일정 시간 동안 움직임이 정지되어 있는 경우 해당 시점에 버퍼링되는 영상을 이용하여 감정 분석을 수행하도록 제어할 수 있다. 또는 제어부(160)는 프리뷰 영상 중 메시지 입력이 완료되는 입력 이벤트가 발생한 시점의 프리뷰 영상, 메시지 전송을 위한 입력 이벤트가 발생한 시점의 프리뷰 영상 등을 획득하고 이를 감정 분석하도록 제어할 수 있다.
감정 분석 수행에 따라 제어부(160)는 407 단계에서 감정 분석 영상을 생성하도록 제어할 수 있다. 즉 제어부(160)는 감정 분석에 이용된 프리뷰 영상 또는 촬영 영상에서 사용자의 얼굴이 포함된 영역 또는 사용자 얼굴이 포함된 일정 포맷 영역을 추출한다. 그리고 제어부(160)는 추출된 영역을 감정 분석 영상으로 지정할 수 있다. 이와 함께 제어부(160)는 감정 분석한 정보에 해당하는 텍스트를 해당 감정 분석 영상에 기입할 수 있다. 한편 제어부(160)는 현재 수집된 감정 분석 결과에 해당하는 대표 감정 분석 영상을 감정 분석 데이터베이스(153)에서 검출하여 감정 분석 영상 생성을 대체할 수 있다. 이 단계에서 제어부(160)는 감정 분석 수행 결과 이전 분석된 감정 분석 결과와 동일한 경우, 감정 분석 영상의 생성과 전송 등의 단계인 407 단계 및 409 단계를 생략할 수 있으며, 설정에 따라 이전 분석된 감정 분석 결과와 동일한 감정의 영상이 획득되었음을 나타내는 메시지를 별도의 영상 전송 없이 단말기 및 타 단말기에 전송할 수 있다. 그리고 403 단계 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수도 있다.
다음으로, 제어부(160)는 409 단계에서 감정 분석 정보 및 감정 분석 영상 전송을 수행한다. 이때 제어부(160)는 메시지 전송과 함께 감정 분석 정보와 감정 분석 영상을 전송하거나 카메라(170)가 영상을 수집하여 분석이 완료됨과 아울러 타 단말기에 전송하도록 지원할 수 있다. 이에 따라 본 발명의 단말기(100)는 별도의 메시지 입력을 수행하지 않는 환경에서도 감정 분석 정보와 감정 분석 영상 전송이 수행되도록 지원할 수 있다. 한편 대표 감정 분석 영상들을 기반으로 영상 채팅 모드가 운용되고 있으며, 타 단말기가 자신의 대표 감정 분석 영상들을 모두 가지고 있는 경우 별도의 감정 분석 영상 전송은 생략하되 현재 감정 분석 정보만을 타 단말기에 전송할 수 있다. 그러면 타 단말기의 제어부는 수신된 감정 분석 정보에 매핑된 사전 저장된 송신측 단말기의 감정 분석 영상을 표시부에 출력하도록 지원할 수 있다. 이때 대표 감정 분석 영상이 주기에 따라 갱신되어 새로운 대표 감정 분석 영상이 저장된 경우 제어부(160)는 타 단말기에 갱신된 새로운 대표 감정 분석 영상과 감정 분석 정보를 전송하도록 제어할 수 있다. 이를 위하여 제어부(160)는 타 단말기에 전송된 대표 감정 분석 영상들에 대한 정보를 관리할 수 있다. 그리고 제어부(160)는 대표 감정 분석 영상들의 구분을 위하여 새로 수집된 또는 대체된 대표 감정 분석 영상들의 버전 정보를 기입하여 구분하도록 지원할 수 있다.
다음으로 제어부(160)는 411 단계에서 영상 채팅 모드 종료를 위한 입력 이벤트 발생 여부를 확인한다. 그리고 제어부(160)는 기능 종료를 위한 입력 이벤트가 발생하지 않는 경우 403 단계로 분기하여 이하 과정을 재수행하도록 지원한다.
도 5는 본 발명의 실시 예에 따른 영상 채팅 모드 지원을 위한 단말기 운용 방법의 다른 예를 설명하기 위한 도면이다.
도 5를 참조하면, 본 발명의 단말기 운용 방법은 제어부(160)가 501 단계에서 단말기(100)의 각 구성들에 전원 공급을 제어한다. 특히 제어부(160)는 본 발명의 영상 채팅 모드 지원을 위하여 해당 메뉴나 아이콘 출력을 위한 전원 공급을 지원할 수 있다. 다음으로 입력 이벤트가 발생하면 제어부(160)는 503 단계에서 채팅 기능 활성화를 위한 입력 이벤트인지 여부를 확인한다. 이 단계에서 발생된 입력 이벤트가 채팅 기능 활성화를 위한 입력 이벤트가 아닌 경우 제어부(160)는 505 단계로 분기하여 입력 이벤트에 따른 해당 기능 수행을 지원한다. 예컨대 제어부(160)는 입력 이벤트에 따라 통화 기능, 방송 수신 기능, 파일 편집 기능, 파일 재생 기능, 메모 기능, 노트 기능, 카메라 기능 등 다양한 기능 수행을 지원할 수 있다.
한편 503 단계에서 채팅 기능 활성화를 위한 입력 이벤트가 발생하면 제어부(160)는 507 단계에서 영상 채팅 모드 활성화를 위한 입력 이벤트가 발생하는지 여부를 확인한다. 여기서 제어부(160)는 영상 채팅 모드 활성화를 위한 입력 이벤트 발생이 없는 경우 509 단계로 분기하여 일반 채팅 기능 지원을 수행할 수 있다. 예컨대 제어부(160)는 입력된 텍스트 메시지의 송수신 기능을 지원할 수 있다.
한편 507 단계에서 영상 채팅 모드 활성화를 위한 입력 이벤트가 발생하면 제어부(160)는 511 단계로 분기하여 카메라(170)를 활성화하도록 제어한다. 그리고 제어부(160)는 513 단계에서 설정 이벤트에 따라 영상 획득을 수행할 수 있다. 특히 제어부(160)는 설정 이벤트에 따라 사용자의 얼굴 영역을 포함하는 일정 범위의 영상을 획득하도록 지원할 수 있다. 그리고 제어부(160)는 515 단계에서 획득된 영상에 대한 감정 분석을 수행한다. 이를 위하여 제어부(160)는 감정 분석 데이터베이스(153)에 저장된 정보를 기반으로 현재 수집된 영상을 특정 감정으로 분류할 수 있다.
다음으로 제어부(160)는 517 단계에서 현재 분류된 감정이 직전 수행된 감정과 동일한지 여부를 확인한다. 이 단계에서 제어부(160)는 이전 감정과 현재 분석된 감정의 분류 정보가 다른 경우 519 단계로 분기하여 감정 분석 영상의 생성 및 전송을 수행할 수 있다. 이때 제어부(160)는 감정 분석 영상에 대한 원본 이미지를 저장부(150)에 별도 저장 관리하도록 지원할 수 있다. 그리고 제어부(160)는 원본 이미지를 감정 분석 영상으로 생성하는 과정에서 해상도 조절을 수행하도록 지원할 수 있다. 예컨대 제어부(160)는 감정 분석 영상의 해상도가 원본 이미지의 1/10이 되도록 조정할 수 있으며, 이 과정에서 설정에 따라 감정 분석 영상의 리사이징 과정을 수행하도록 지원할 수 있다.
한편 517 단계에서 현재 분류된 감정 분석 정보가 이전 감정과 동일한 경우 제어부(160)는 521 단계로 분기하여 이전 감정 분석 영상 정보를 전송할 수 있다. 이때 제어부(160)는 이전 감정 분석 영상과 동일함을 나타내는 감정 분석 영상의 색인 정보만을 전송할 수 있다.
다음으로 제어부(160)는 523 단계에서 채팅 기능 종료를 위한 입력 이벤트 발생이 있는지 여부를 확인한다. 그리고 제어부(160)는 채팅 기능 종료를 이한 입력 이벤트 발생이 없는 경우 507 단계 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수 있다.
도 6은 본 발명의 실시 예에 따른 단말기의 화면 인터페이스의 일예를 나타낸 도면이다.
도 6을 참조하면, 본 발명의 단말기(100)는 표시부(140)에 채팅 메시지 영역(50), 감정 분석 영상 영역(40), 입력 영역(60)을 출력하도록 지원한다.
채팅 메시지 영역(50)은 타 단말 장치 간에 송수신된 채팅 메시지를 출력하는 영역이다. 채팅 메시지 영역(50)은 송수신된 텍스트 정보 영역(58) 및 사용자의 식별과 관련된 이미지 정보 영역들(51, 52)을 출력할 수 있으며, 이미지 정보 영역들(51, 52)이 출력된 영역의 인접된 영역에는 사용자 구분을 위한 식별 정보 영역(59)이 출력될 수 있다. 도 6에서 식별 정보 영역(59)은 "윤희"와, "이숙" 및 각 단말기에서의 "나"에 해당한다. 601 화면은 단말기 사용자 "윤희"의 화면을 나타낸 것이며, 603 화면은 단말기 사용자 "이숙"의 화면을 나타낸 것이다.
도시된 바와 같이 "윤희"의 단말 표시부에 출력되는 제1 감정 분석 영상 영역(41)에는 "이숙"의 제1 감정 분석 영상(71)이 출력된다. 제1 감정 분석 영상(71)은 앞서 설명한 바와 같이 "이숙"의 감정 상태 변화 즉 "이숙"의 얼굴 영상에 대한 감정 분석이 변화되면 갱신될 수 있다. 또는 감정 분석 결과가 변화되지 않더라도 설정에 따라 실시간으로 또는 일정 주기로 "이숙"의 얼굴 영상이 새롭게 갱신되어 출력될 수도 있다. 제1 감정 분석 영상(71)은 감정 분석 영상과 함께 감정 분석 정보 예컨대 "Happiness", "Neutral" 등의 텍스트 정보가 기입될 수 있다. 이미지 정보 영역들에 감정 분석 영상이 출력됨으로 단말기(100)는 감정 분석 영상 생성 시 채팅 기능에서 제공되는 썸네일 크기로 감정 분석 영상을 생성하여 송수신하도록 지원할 수 있다.
한편 "이숙"의 제1 감정 분석 영상(71)은 제1 감정 분석 영상 영역(41)뿐만 아니라 "이숙"의 제1 이미지 정보 영역(51)에도 출력될 수 있다. 그리고 제1 감정 분석 영상(71)이 갱신되는 경우 제1 이미지 정보 영역(51)에 표시되는 제1 감정 분석 영상 또한 갱신될 수 있다. 이때 제1 이미지 정보 영역(51)들 중 현재 수신된 채팅 메시지에 해당하는 이미지 정보만이 새로 수신된 제1 감정 분석 영상을 출력할 수 있다. 예를 들면, 601 화면에서 가장 최근에 "이숙"으로부터 수신된 채팅 메시지의 제1 이미지 정보 영역(51)만이 새로 수신된 제1 감정 분석 영상이 출력되고, 이전 채팅 메시지의 이미지 정보 영역에는 이전 수신된 제1 감정 분석 영상이 출력될 수 있다.
한편 603 화면의 제2 감정 분석 영상 영역(42)에는 "윤희"가 제공하는 제2 감정 분석 영상(72)이 출력될 수 있다. 또한 채팅 메시지 영역(50)에서 "윤희"와 관련된 제2 이미지 정보 영역(52)에도 제2 감정 분석 영상(72)이 출력될 수 있다.
601 화면에서 "나"로 지시된 "윤희"의 이미지 정보 영역 및 603 화면에서 "나"로 지시된 "이숙"의 이미지 정보 영역에도 자신의 감정 분석 영상이 출력될 수 있다. 즉 601 화면에서 "윤희"의 이미지 정보 영역에 "윤희"의 얼굴 인식을 통해 수집된 제2 감정 분석 영상이 출력될 수 있으며, 603 화면에서 "이숙"의 이미지 정보 영역에도 "이숙"의 얼굴 인식을 통해 수집된 제1 감정 분석 영상이 출력될 수 있다. 그리고 상술한 감정 분석 영상들은 칼라 이미지 또는 흑백 이미지 또는 특정 효과가 가미된 이미지의 형태 중 적어도 하나의 형태로 출력될 수 있다.
한편 단말기(100)는 카메라(170)가 구동 중임을 나타내는 알림(Notification)을 출력할 수 있다. 예컨대 단말기(100)는 우상단에 마련된 램프(80)의 색을 변경하거나 램프 점멸 패턴을 변경하는 등의 방법으로 카메라(170)가 구동 중이며 영상을 촬영할 것임을 안내할 수 있다. 또한 단말기(100)는 표시부(140) 전체에 대한 하이라이트 효과 제공, 깜박임 제공, 메시지 팝업 출력, 진동 패턴 적용 중 적어도 하나의 방법을 통하여 카메라(170)가 구동 중이며 감정 분석 영상 전송을 위하여 영상 획득을 수행할 것임을 안내할 수 있다. 카메라(170)는 램프(80)가 배치된 위치와 동일한 위치에 배치될 수 있다. 실질적으로 카메라(170) 렌즈 주위에 램프(80)가 배치될 수 있으며, 앞서 설명한 알림을 위한 다양한 조광 기능을 수행한다. 그리고 카메라(170)가 실제 영상을 촬영하는 시점에서는 램프(80) 운용이 중지될 수 있다. 또는 램프(80)는 카메라(170)가 영상 획득을 위해 필요로 하는 보조광 제공 기능을 수행한다.
도 7 및 도 8은 본 발명의 실시 예에 따른 감정 분석 영상의 출력 형태의 일예를 설명하기 위한 도면이다.
도 7을 참조하면, 단말기(100)는 감정 분석 영상 영역(40)에 해당 채팅 그룹에 속한 모든 사용자들의 감정 분석 영상들을 출력할 수 있다. 예컨대 특정 채팅 그룹에 3명의 사용자가 소속되어 있는 경우 감정 분석 영상 영역(40)에는 도시된 바와 같이 제1 내지 제3 감정 분석 영상들(71, 72, 73)이 출력될 수 있다. 이때 "이숙"의 감정 분석 영상에 해당하는 제1 감정 분석 영상(71)이 갱신되는 경우 701 화면 내지 703 화면에서와 같이 영상이 점진적으로 변화되면서 최종적으로 제1 감정 분석 영상(71) 갱신이 완료될 수 있다. 도 7에서 나타낸 변화는 faid-in 효과를 나타낸 것이다. 한편 제1 감정 분석 영상(71)이 새로운 영상으로 갱신되는 과정에서 이전 감정 분석 영상은 faid-out 효과에 따라 변경될 수 있다. 결과적으로 제1 감정 분석 영상(71)은 영상의 갱신이 요청되면 이전 감정 분석 영상을 faid-out 형태로 제거하고, 새로운 감정 분석 영상을 faid-in 형태로 표시하도록 지원할 수 있다.
한편 본 발명의 감정 분석 영상 출력의 형태는 페이드 효과에 한정되는 것은 아니며 다른 형태에 의해서도 제공될 수 있다. 즉 이전 감정 분석 영상이 감정 분석 영상 영역에서 부분적으로 제거되면서 새로운 감정 분석 영상이 부분적으로 출력될 수 있다. 예컨대 이전 감정 분석 영상이 일정 방향으로 이동되면서 제거되고, 새로운 감정 분석 영상이 이동되면 해당 감정 분석 영상 영역에 출력될 수 있다.
한편 도 8은 채팅 메시지 영역(50) 중 제1 이미지 정보 영역(51)에 출력되는 감정 분석 영상의 변화를 설명하기 위한 것이다. 801 화면 내지 803 화면에 나타낸 바와 같이 "이숙"에 해당하는 제1 이미지 정보 영역(51)에 표시된 제1 감정 분석 영상(71)이 새롭게 갱신되는 과정에서 도 7에서 설명한 바와 동일한 형태로 갱신이 수행될 수 있다. 이에 따라 사용자는 채팅 메시지 영역(50)에 출력된 이미지 정보 영역의 변화를 통하여 타 단말기 사용자의 감정 변화가 발생함을 쉽게 인지할 수 있다. 추가로 도 8에서 이전 출력된 이미지 정보 영역에는 이전 감정 분석 영상이 출력되며, 현재 수신된 채팅 메시지의 이미지 정보 영역에 새로운 감정 분석 영상이 갱신 출력된다.
도 9는 본 발명의 실시 예에 따른 감정 분석 영상의 표시 효과에 대한 설명을 위한 도면이다.
도 9를 참조하면, 단말기(100)는 감정 분석 영상 영역(40)을 별도 제공하지 않고, 표시부(140) 상에 채팅 메시지 영역(50)과 입력 영역(60)만을 포함할 수 있다. 한편 단말기(100)는 채팅 메시지 영역(50)에 마련된 이미지 정보 영역들(51, 52, 53)에 감정 분석 영상들(71, 72, 73)을 출력하도록 지원할 수 있다. 이와 함께 단말기(100)는 감정 분석 영상들(71, 72, 73)의 표시 형태를 901 화면에서와 같이 칼라 이미지의 형태와, 903 화면에서와 같이 흑백 이미지의 형태 중 어느 하나로 출력하도록 지원할 수 있다. 이를 위하여 단말기(100)는 칼라 이미지 및 흑백 이미지 중 어느 하나를 선택할 수 있는 메뉴 항목을 제공할 수 있으며, 해당 메뉴 항목 선택에 따라 특정 이미지 형태로 감정 분석 영상들(71, 72, 73)이 출력되도록 지원할 수 있다. 한편 칼라 이미지 및 흑백 이미지 등의 감정 분석 영상들(71, 72, 73)은 Neutral, Anger, Happiness와 같은 감정 분석 정보가 함께 출력되어 사용자들의 감정 상태가 어떠한 상태인지 보다 확실한 정보 획득이 가능하도록 지원할 수 있다.
한편 본 발명의 단말기(100)는 칼라 이미지 및 흑백 이미지의 적용을 선택적으로 운용되도록 지원할 수 있다. 이를 보다 상세히 설명하면, 단말기(100)는 이전 송수신된 채팅 메시지에 포함된 감정 분석 영상들은 흑백 이미지로 출력하고, 새로 수신된 각 사용자별 채팅 메시지에 포함된 감정 분석 영상을 칼라 이미지로 출력하도록 지원할 수 있다. 또는 단말기(100)는 이전 송수신된 채팅 메시지의 감정 분석 영상들은 흑백 이미지로 출력하고, 사용자 구분 없이 가장 최근에 송신된 또는 수신된 채팅 메시지에 포함된 감정 분석 영상만을 칼라 이미지로 출력하도록 지원할 수 있다. 이 경우 표시부(140)에는 하나의 칼라 이미지로 구현된 감정 분석 영상과 적어도 하나의 흑백 이미지로 구현된 감정 분석 영상이 출력될 수 있다. 칼라 이미지로 출력된 감정 분석 영상은 새로운 채팅 메시지의 수신에 따라 흑백 이미지로 변경될 수 있다.
도 10은 이전 감정 분석 영상 보기의 일예를 설명하기 위한 도면이다.
도 10을 참조하면, 본 발명의 단말기(100)는 1001 화면에서와 같이 감정 분석 영상 영역(40), 채팅 메시지 영역(50) 및 입력 영역(60)을 출력할 수 있다. 여기서 감정 분석 영상 영역(40)에는 해당 채팅 그룹에 소속된 사용자들의 감정 분석 영상들(71, 72, 73)이 출력될 수 있다. 특히 감정 분석 영상들(40) 중 가장 최근 송신된 또는 수신된 채팅 메시지와 관련된 사용자의 감정 분석 영상이 다른 감정 분석 영상들에 비하여 상대적으로 크게 출력될 수 있다. 예를 들어, 가장 최근에 수신된 채팅 메시지가 "이숙"이 전송한 메시지인 경우 감정 분석 영상 영역(40)에서 "이숙"의 감정 분석 영상이 상대적으로 크게 표시될 수 있다. 또한 "이숙"의 감정 분석 영상의 위치가 다른 위치에 배치되다가 감정 분석 영상 영역(40)의 중앙으로 이동 배치될 수 있다.
한편 채팅 메시지 영역(50)에는 다수의 송수신된 채팅 메시지가 출력될 수 있다. 여기서 단말기 사용자가 이전 송수신된 채팅 메시지를 검색하기 위하여 화면 이동을 수행하는 경우 채팅 메시지 영역(50)에 표시되는 채팅 메시지 이동에 따라 감정 분석 영상 영역(40)의 감정 분석 영상들(71, 72, 73)이 변경될 수 있다. 특히 채팅 메시지 영역(50)에 표시된 채팅 메시지 중 1001 화면에서 사용자가 지정한 특정 채팅 메시지와 관련된 감정 분석 영상만을 1003 화면에서와 같이 변경할 수 있다. 이 과정에서 단말기(100)는 최초 1001 화면에서 지정된 "이숙" 채팅 메시지의 제1 이미지 정보 영역(51) 선택을 위한 입력 이벤트 발생에 따라 감정 분석 영상 영역(40)의 "이숙" 관련 감정 분석 영상을 지정한다. 그리고 단말기(100)는 화면 변경에 따라 "이숙" 관련 채팅 메시지 중 다른 채팅 메시지가 화면 하단에 위치하는 경우 해당 채팅 메시지에 등록된 감정 분석 영상을 감정 분석 영상 영역(40)에 적용하도록 지원할 수 있다. 제1 이미지 정보 영역(51)에는 해당 사용자와 관련된 썸네일 이미지 등이 표시될 수 있다. 또한 설정에 따라 제1 이미지 정보 영역(51)에는 감정 분석 영상이 표시될 수 있다.
도 11은 본 발명의 실시 예에 따른 영상 채팅 모드에서의 부재중 처리를 설명하기 위한 도면이다.
도 11을 참조하면, 본 발명의 단말기(100)는 영상 채팅 모드 활성화에 따라 감정 분석 영상 영역(40), 채팅 메시지 영역(50) 및 입력 영역(60)을 표시부(140)에 출력할 수 있다.
여기서 단말기(100)는 다른 단말기로부터 감정 분석 영상을 수신할 수 있으며, 수신된 감정 분석 영상들 및 자신의 감정 분석 영상들(71, 72, 73)을 감정 분석 영상 영역(40)에 출력할 수 있다. 단말기(100)는 설정에 따라 자신의 감정 분석 영상 표시는 제외하고 다른 단말기들로부터 수신된 감정 분석 영상들만을 감정 분석 영상 영역(40)에 출력하도록 지원할 수 있다. 한편 단말기(100)는 타 단말기로부터 사용자의 얼굴 인식이 불가능한 상황임을 나타내는 메시지를 수신할 수 있다. 예컨대 사용자는 단말기를 운용하고 있지 않거나, 단말기를 턴-오프 상태로 전환하도록 할 수 있다. 그러면 해당 단말기는 사용자의 영상 채팅 모드에 대한 부재중 상황임을 안내하는 메시지를 해당 채팅 그룹에 속한 다른 사용자들에게 전송할 수 있다.
타 단말기로부터 부재중 상황임을 안내하는 메시지를 수신하는 단말기(100)는 도시된 바와 같이 감정 분석 영상 영역(40)에 이를 적용할 수 있다. 예를 들면, 제3 감정 분석 영상(73)은 해당 사용자의 부재중 상황에 따라 음영 처리되어 표시될 수 있다. 또는 단말기(100)는 부재중 상태인 사용자의 감정 분석 영상이 출력된 영역에 중첩되거나 또는 인접된 영역에 텍스트 등으로 "부재중"임을 안내하는 정보를 출력하도록 지원할 수도 있다.
또한 단말기(100)는 감정 분석 영상이 출력될 수 있는 이미지 정보 영역에도 부재중 상황임을 안내하는 효과 적용 또는 텍스트 출력을 지원할 수도 있다. 즉 단말기(100)는 "말숙"의 채팅 메시지에 포함된 제3 이미지 정보 영역(53)에 표시된 제3 감정 분석 영상(73)을 부재중 상황에 맞도록 음영처리하여 표시하거나, "부재중"을 안내하는 텍스트를 출력하도록 지원할 수 있다.
도 12는 정 분석 영상 이력 보기를 설명하기 위한 도면이다.
도 12를 참조하면, 단말기(100)는 1201 화면에서와 같이 입력 이벤트 발생에 따라 특정 채팅 그룹에 소속된 사용자들의 감정 분석 영상들을 표시부(140)에 출력하도록 지원할 수 있다. 특히 단말기(100)는 채팅 그룹에 소속된 각 사용자별 감정 분석 영상들을 구분하여 표시한다. 도시된 도면에서는 "이숙", "말숙", "윤희"가 소속된 채팅 그룹에서, 각 소속 사용자들의 감정 분석 영상들을 사용자별로 구분하여 표시한 상태를 나타낸 것이다. 각 감정 분석 영상들에는 해당 감정 분석 정보들이 기입될 수 있다. 단말기(100)는 1201 화면을 제공하기 위하여 별도 메뉴 항목을 제공할 수 있으며, 해당 메뉴 항목 선택 시 1201 화면 출력을 지원할 수 있다.
이러한 감정 분석 영상들 전체 이력 보기는 일정 시간 단위로 갱신될 수 있다. 예컨대 단말기(100)는 일일 감정 분석 영상들 전체 이력 보기, 일주일 감정 분석 영상들 전체 이력 보기, 한 달 감정 분석 영상들 전체 이력 보기 등의 메뉴를 제공할 수 있다. 그리고 단말기(100)는 사용자의 항목 선택에 따라 해당 구간의 감정 분석 영상들 전체 이력 보기 화면을 제공할 수 있다. 한편 각 감정 분석 영상들과 관련된 채팅 메시지가 각 감정 분석 영상들이 표시된 영역에 함께 표시될 수도 있다.
한편 감정 분석 영상들 전체 이력 보기 화면에서 특정 감정 분석 영상이 선택되면 단말기(100)는 선택된 감정 분석 영상의 일정 크기 화면은 1203 화면에서와 같이 표시부(140)에 출력하도록 지원할 수 있다. 즉 1201 화면에서 특정 감정 분석 영상 선택에 따른 입력 이벤트가 발생하면 단말기(100)는 입력 이벤트에 따라 선택된 감정 분석 영상을 표시부(140) 전체 화면으로 출력하도록 지원할 수 있다. 이를 위하여 단말기(100)는 감정 분석 영상들의 원본 요청을 수행할 수 있다. 즉 단말기(100)는 사용자가 특정 감정 분석 영상을 지정하고 일정 크기로 표시되도록 요청하는 입력 이벤트가 생성되면, 해당 감정 분석 영상에 해당하는 타 단말기에게 해당 감정 분석 영상의 원본 이미지를 전송할 것을 요청하는 메시지를 전송할 수 있다. 그리고 단말기(100)는 타 단말기로부터 지정된 감정 분석 영상에 해당하는 원본 이미지를 수신하면 이를 표시부(140)에 출력할 수 있다. 단말기(100)는 타 단말기로부터 특정 감정 분석 영상에 대한 원본 이미지 요청에 대비하여 감정 분석 영상들의 원본 이미지를 일정 기간 동안 저장하도록 지원할 수 있다. 그리고 타 단말기로부터 특정 감정 분석 영상에 대한 원본 이미지 요청을 수신하면 저장된 원본 이미지를 타 단말기에 전송하도록 지원할 수 있다.
한편 1203 화면에서 단말기(100)는 다른 감정 분석 영상 검색을 위한 입력 이벤트 예컨대 표시부(140) 일정 위치에서 발생하는 스윕 이벤트나 드래그 이벤트가 발생하면, 1201 화면에 나타낸 다른 감정 분석 영상들 중 일정 순서에 있는 감정 분석 영상을 출력하도록 지원할 수 있다. 특히 단말기(100)는 동일 사용자의 다른 감정 분석 영상을 표시부(140)에 출력하도록 지원할 수 있다.
도 13 및 도 14는 채팅 환경에서 감정 분석 영상들의 표시 형태를 설명하기 위한 도면이다.
먼저, 도 13을 참조하면, 단말기(100)는 영상 채팅 모드 운용에 따라 1301 화면에 도시된 바와 같이 감정 분석 영상 영역(40), 채팅 메시지 영역(50) 및 입력 영역(60)을 포함하는 화면을 표시부(140)에 출력하도록 지원한다. 이때 사용자가 감정 분석 영상 영역(40)에 출력된 감정 분석 영상(71)을 선택하는 입력 이벤트를 생성하면, 단말기(100)는 1303 화면에서와 같이 해당 감정 분석 영상(71)을 기반으로 수행할 수 있는 메뉴 항목들을 포함하는 메뉴 팝업창(90)을 표시부(140) 일정 위치에 출력할 수 있다. 도면에서는 영상 채팅 모드 화면 상에 레이어가 구분되도록 메뉴 팝업창(90)을 출력한 상태를 나타낸 것이다.
메뉴 팝업창(90)에서 사용자가 "슬라이드 쇼" 항목을 선택하는 입력 이벤트를 생성하면, 단말기(100)는 생성된 입력 이벤트에 따라 1305 화면에서와 같이 슬라이드 쇼 기능을 지원할 수 있다. 이 과정에서 단말기(100)는 1301 화면에서 선택된 감정 분석 영상(71)과 관련된 사용자의 다른 감정 분석 영상들을 슬라이드 쇼 기능으로 제공할 수 있다. 슬라이드 쇼 기능은 특정 사용자와 관련하여 획득된 감정 분석 영상들을 일정 크기 화면 또는 전체 화면 보기로 출력하되 일정 시간 동안 표시부(140)에 노출하고 일정 시간 경과 시 다른 감정 분석 영상으로 대체하여 출력하는 기능이 될 수 있다. 슬라이드 쇼를 위하여 감정 분석 영상들의 원본 이미지가 필요한 경우 단말기(100)는 타 단말기에게 감정 분석 영상들의 원본 이미지를 요청하여 수신할 수 있다.
슬라이드 쇼 기능에 따라 감정 분석 영상들을 출력하면서 마지막에 순서에 배치된 슬라이드가 출력되면, 단말기(100)는 해당 슬라이드가 마지막임을 지시하는 안내 메시지를 출력하고, 슬라이드 보기를 자동 종료할 수 있다. 자동 종료 후에는 영상 채팅 모드 환경인 1301 화면으로 복귀할 수 있다.
또는 단말기(100)는 마지막 순서에 배치된 슬라이드를 출력하면서 이를 안내하고, 다시 처음 순서의 슬라이드를 출력하도록 지원할 수 있다. 그리고 단말기(100)는 화면 복귀를 지시하는 입력 이벤트가 생성되면 슬라이드 쇼 기능을 종료하고 1301 화면으로 복귀하도록 제어할 수 있다.
한편, 도 14를 참조하면, 단말기(100)는 영상 채팅 모드 지원 위하여 1401 화면에서와 같이 감정 분석 영상 영역(40), 채팅 메시지 영역(50) 및 입력 영역(60)을 포함하는 화면을 표시부(140)에 출력할 수 있다. 그리고 감정 분석 영상 영역(40)에서 감정 분석 영상(71)을 선택하는 입력 이벤트가 생성되면 1403 화면에서와 같이 해당 감정 분석 영상(71)의 전체 화면을 표시부(140)에 출력하도록 지원할 수 있다. 이를 위하여 단말기(100)는 감정 분석 영상(71)의 원본 이미지를 해당 사용자 단말기에게 요청할 수 있다.
상술한 설명에서 도 13 및 도 14에서 감정 분석 영상의 슬라이드 쇼 기능 및 전체 화면 보기 기능은 사전 정의된 특정 입력 이벤트에 따라 바로 수행되도록 지원할 수 있다. 예컨대 특정 감정 분석 영상을 "Long press" 타입의 터치 이벤트로 선택하는 경우 단말기(100)는 해당 감정 분석 영상에 해당하는 사용자 관련 감정 분석 영상들을 슬라이드 쇼 기능으로 제공할 수 있다. 또한 단말기(100)는 특정 감정 분석 영상을 "Double tap"으로 선택하는 터치 이벤트가 생성되면, 해당 감정 분석 영상을 전체 화면 보기로 표시부(140)에 출력하도록 지원한다.
이상에서 설명한 바와 같이 본 발명의 실시 예에 따른 얼굴 인식 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기는 카메라(170)를 이용하여 영상을 획득하고, 획득된 영상에서 얼굴 인식을 수행한 후, 얼굴 인식에 따른 감정 분석을 수행함으로써 감정 분석 영상의 전송을 수행할 수 있도록 지원한다. 그리고 본 발명은 감정 분석 영상의 전송을 감정 변화에 따라 수행하도록 함으로써 데이터 전송 이용을 보다 효율적으로 수행하도록 지원할 수 있다.
한편 이상에서는 본 발명의 얼굴 인식 기반 사용자 기능을 메시지 기능을 주 예시로 설명하였으나, 본 발명이 이에 한정되는 것은 아니다. 즉 본 발명의 얼굴 인식 기반 사용자 기능은 영상 통화 기능에도 유사하게 적용될 수 있다. 이를 보다 상세히 설명하면, 영상 통화 중에 본 발명의 얼굴 인식 기반 감정 분석 기능 적용이 요청되는 경우, 실시간 영상을 전송하지 않고, 카메라(170)가 획득한 프리뷰 영상이 촬영 영상에 대한 감정 분석을 수행하고, 감정 분석 결과가 변경된 경우, 변경된 감정 분석 정보 및 해당 감정 분석 정보에 대응하는 영상만을 타 단말기에 전송하도록 지원할 수 있다. 이에 따라 본 발명은 영상 통화를 수행하면서 실시간 영상 전송을 수행하지 않고 감정 변화가 발생한 경우에만 영상을 전송하도록 지원함으로써 영상 통화 효과를 유지하면서도 데이터 전송율을 낮출 수 있다. 특히 영상 통화의 경우 단말기(100)는 카메라(170)의 감정 분석 영상 촬영 시점을 음성 신호 수집 시점으로 정의할 수 있다. 즉 단말기(100)는 화자가 일정한 음성 신호를 생성하고 이를 마이크(MIC)가 수집하는 경우 카메라(170)를 이용한 영상을 수집하고 수집된 영상에 대한 감정 분석 기능을 적용할 수 있다. 그리고 단말기(100)는 별다른 음성 신호 발생이 없는 경우에는 카메라(170)의 영상 촬영을 중지하여 카메라(170) 운용을 위한 전력 소모를 절약하도록 지원할 수 있다. 영상 통화 중에 송수신된 감정 분석 영상에 대해서 단말기(100)는 앞서 설명한 바와 같이 감정 분석 영상 영역을 표시부(140)에 할당하여 제공할 수 있으며, 사용자 조작에 따라 다양한 옵션 기능을 지원할 수 있다.
한편 상술한 휴대 단말기(100)는 그 제공 형태에 따라 다양한 추가 모듈을 더 포함할 수 있다. 즉 상기 휴대 단말기(100)는 통신 단말기인 경우 근거리 통신을 위한 근거리통신모듈, 상기 휴대 단말기(100)의 유선통신방식 또는 무선통신방식에 의한 데이터 송수신을 위한 인터페이스, 인터넷 네트워크와 통신하여 인터넷 기능을 수행하는 인터넷통신모듈 및 디지털 방송 수신과 재생 기능을 수행하는 디지털방송모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수도 있다. 이러한 구성 요소들은 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 구성 요소들과 동등한 수준의 구성 요소가 상기 디바이스에 추가로 더 포함되어 구성될 수 있다. 또한 본 발명의 휴대 단말기(100)는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다. 이는 본 기술분야의 통상의 지식을 가진 자에겐 쉽게 이해될 수 있을 것이다.
또한 본 발명의 실시 예에 따른 상기 휴대 단말기(100)는 예를 들면, 상기 휴대 단말기(100)는 다양한 통신 시스템들에 대응되는 통신 프로토콜들(communication protocols)에 의거하여 동작하는 모든 이동통신 단말기들(mobile communication terminals)을 비롯하여, PMP(Portable Multimedia Player), 디지털방송 플레이어, PDA(Personal Digital Assistant), 음악 재생기(예컨대, MP3 플레이어), 휴대게임단말, 스마트 폰(Smart Phone), 노트북(Notebook) 및 핸드헬드 PC 등 모든 정보통신기기와 멀티미디어 및 그에 대한 응용기기를 포함할 수 있다.
한편, 본 명세서와 도면을 통해 본 발명의 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
10 : 지원 시스템 100, 101, 102 : 단말기
110 : 통신부 120 : 입력부
130 : 오디오 처리부 140 : 표시부
150 : 저장부 160 : 제어부
300 : 통신 시스템

Claims (35)

  1. 메시지 서비스를 기반으로 영상을 송수신하는 영상 채팅 모드 활성화 상태에서 이벤트에 따라 카메라를 활성화하는 과정;
    상기 활성화된 카메라를 이용하여 피사체 영상을 획득하는 과정;
    상기 획득된 피사체의 얼굴 포함 여부를 확인하고 얼굴이 포함된 경우 상기 얼굴의 감정 종류를 분석하는 분석 과정;
    상기 감정 분석 결과가 이전 분석된 감정과 동일한지 확인하는 과정;
    상기 감정 분석 결과가 이전 분석된 감정과 동일하지 않는 경우 획득 영상으로부터 감정 분석 영상을 생성하는 과정;
    생성된 상기 감정 분석 영상을 타 단말기에 전송하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  2. 제1항에 있어서,
    상기 감정 분석 결과가 이전 분석된 감정 결과와 동일한 경우 감정 분석 영상의 생성 및 전송을 생략하고, 이전 분석 감정 결과와 동일함을 나타내는 메시지를 전송하는 과정;을 더 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  3. 제1항에 있어서,
    상기 카메라를 활성화하는 과정은
    상기 영상 채팅 모드 활성화 시 일정 주기가 도래하는 이벤트;
    상기 영상 채팅 모드 지원을 위한 메시지 어플리케이션이 활성화되는 이벤트;
    상기 영상 채팅 모드 활성화 상태에서 메시지 입력을 위한 입력 이벤트가 수신되는 이벤트;
    상기 메시지 전송을 위한 입력 이벤트가 수신되는 이벤트;
    수신된 메시지 확인 또는 답장 입력 이벤트가 수신되는 이벤트; 중 적어도 하나의 과정 발생 시 상기 카메라를 활성화를 하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  4. 제1항에 있어서,
    상기 피사체 영상을 획득하는 과정은
    상기 카메라의 프리뷰 영상 중 일정 시점의 영상을 획득하는 과정;
    사전 정의된 알림(Notification) 출력 이후 피사체 영상을 촬영하는 과정; 중 적어도 하나의 과정을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  5. 제1항에 있어서,
    상기 감정 분석 영상을 생성하는 과정
    상기 카메라가 수집한 영상의 해상도 및 크기 리사이징을 수행하여 일정 크기의 감정 분석 영상을 생성하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  6. 제5항에 있어서,
    상기 감정 분석 영상을 생성하는 과정은
    상기 감정 분석 종류에 따른 텍스트 정보를 상기 감정 분석 영상에 기입하는 과정;을 더 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  7. 제1항에 있어서,
    상기 피사체에 얼굴이 포함되지 않은 경우 부재중 메시지를 생성하는 과정;
    상기 생성된 부재중 메시지를 타 단말기에 전송하는 과정;을 더 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  8. 메시지 서비스를 기반으로 영상을 송수신하는 영상 채팅 모드 활성화 상태에서 타 단말기가 획득한 영상에서 얼굴 인식된 영상의 감정 결과를 포함하는 감정 분석 영상 관련 정보를 수신하는 수신 과정;
    상기 수신된 감정 분석 영상 관련 정보에 포함된 감정 분석 영상을 일정 위치에 출력하는 출력 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  9. 제8항에 있어서,
    상기 수신 과정은
    이전 전송된 감정 분석 영상의 감정 종류와 현재 감정 분석 영상의 감정 종류가 동일한 경우 감정 분석 영상이 동일함을 안내하는 메시지를 수신하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  10. 제8항에 있어서,
    상기 수신 과정은
    상기 감정 분석 종류에 대한 텍스트 정보를 수신하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  11. 제10항에 있어서,
    상기 출력 과정은
    상기 감정 분석 영상이 표시된 영역 상에 상기 텍스트 정보를 함께 출력하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  12. 제8항에 있어서,
    상기 출력 과정은
    상기 감정 분석 영상을 출력하는 감정 분석 영상 영역을 출력하는 과정;
    상기 타 단말기와 송수신되는 메시지를 출력하는 채팅 메시지 영역을 출력하는 과정;
    상기 채팅을 위한 입력 정보를 입력하는 입력 영역을 출력하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  13. 제12항에 있어서,
    상기 감정 분석 영상 영역에 출력된 특정 감정 분석 영상을 선택하는 입력 이벤트를 수신하는 과정;
    상기 입력 이벤트 수신에 따라 상기 감정 분석 영상의 원본 이미지를 상기 타 단말기에 요청하는 과정;
    상기 타 단말기로부터 수신된 원본 이미지를 기반으로 상기 감정 분석 영상을 전체 화면으로 표시하는 과정;을 더 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  14. 제12항에 있어서,
    상기 감정 분석 영상 영역에 출력된 특정 감정 분석 영상을 선택하는 입력 이벤트를 수신하는 과정;
    상기 입력 이벤트 수신에 따라 상기 감정 분석 영상들을 슬라이드로 표시하는 과정;을 더 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  15. 제8항에 있어서,
    상기 출력 과정은
    상기 타 단말기와 송수신되는 메시지 및 상기 감정 분석 영상을 출력하는 채팅 메시지 영역을 출력하는 과정;
    상기 채팅을 위한 입력 정보를 입력하는 입력 영역을 출력하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  16. 제8항에 있어서,
    송수신된 감정 분석 영상들의 이력 보기 입력 이벤트를 수신하는 과정;
    상기 입력 이벤트에 따라 송수신된 감정 분석 영상들을 사용자별로 구분하여 표시하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  17. 제16항에 있어서,
    상기 각 감정 분석 영상들이 수신되는 시점에 함께 수신된 채팅 메시지를 상기 감정 분석 영상들과 함께 출력하는 과정;을 더 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  18. 제8항에 있어서,
    상기 수신 과정은
    상기 타 단말기가 수집한 영상에 얼굴이 없는 경우 부재중임을 안내하는 메시지를 수신하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  19. 제18항에 있어서,
    상기 출력 과정은
    상기 부재중임을 안내하는 메시지에 따라 부재중임을 나타내는 표시 처리를 수행하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  20. 제8항에 있어서,
    상기 출력 과정은
    최근 수신된 메시지와 관련된 감정 분석 영상을 다른 감정 분석 영상과 구분되도록 표시하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  21. 일정 주기에 따라 카메라를 활성화하는 과정;
    상기 활성화된 카메라를 이용하여 피사체 영상을 획득하는 과정;
    상기 획득된 피사체에 포함된 얼굴을 검출하고 상기 얼굴의 감정 종류를 분석하는 과정;
    상기 감정 분석 결과가 이전 분석된 감정과 동일한지 확인하는 과정;
    상기 감정 분석 결과가 이전 분석된 감정과 동일하지 않는 경우 획득 영상으로부터 감정 분석 영상을 생성하여 타 단말기에 전송하고, 동일한 경우 이전 감정 분석 영상과 동일함을 안내하는 메시지를 타 단말기에 전송하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  22. 이벤트 발생에 따라 카메라를 활성화하는 과정;
    상기 활성화된 카메라를 이용하여 피사체 영상을 획득하는 과정;
    상기 획득된 피사체에 얼굴을 검출하고, 얼굴의 감정 종류를 분석하는 과정;
    상기 감정 분석 결과에 해당하는 감정 분석 정보와 감정 분석 영상을 출력하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  23. 제22항에 있어서,
    상기 감정 분석 정보 및 상기 감정 분석 영상을 타 단말기에 전송하는 과정;을 더 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  24. 제22항에 있어서,
    상기 감정 분석 정보와 상기 감정 분석 영상들을 저장하는 과정; 및
    상기 감정 분석 영상들의 원본 이미지를 일시적으로 저장하는 과정;을 더 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  25. 제22항에 있어서,
    상기 출력 과정은
    타 단말기가 전송한 감정 분석 정보와 감정 분석 영상들을 자신의 감정 분석 정보와 감정 분석 영상과 함께 출력하는 과정;을 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  26. 제22항에 있어서,
    상기 카메라를 활성화하는 과정은
    특정 사용자 기능이 활성화되는 시점, 채팅 기능에서 메시지를 입력하는 시점, 채팅 기능에서 메시지 전송을 요청하는 시점, 영상 통화 기능에서 음성 신호를 수집하는 시점 중 적어도 하나의 시점에 수행되는 과정인 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용 방법.
  27. 영상을 송수신하는 영상 채팅 모드 활성화 상태에서 이벤트 발생에 따라 피사체 영상을 획득하는 카메라;
    상기 획득된 피사체의 얼굴 포함 여부를 확인하고 얼굴이 포함된 경우 상기 얼굴의 감정 종류를 분석하여 상기 감정 분석 결과가 이전 분석된 감정과 동일한지 확인하고 상기 감정 분석 결과가 이전 분석된 감정과 동일하지 않는 경우 획득 영상으로부터 감정 분석 영상을 생성하여 타 단말기에 전송하며, 동일한 경우 이전 감정 분석 영상과 동일함을 안내하는 메시지를 타 단말기에 전송하도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용을 지원하는 단말기.
  28. 제27항에 있어서,
    상기 감정 분석 영상 및 타 단말기가 전송한 감정 분석 영상 중 적어도 하나를 출력하는 표시부;를 더 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용을 지원하는 단말기.
  29. 제27항에 있어서,
    상기 표시부는
    상기 감정 분석 영상이 표시된 영역에 상기 감정 분석된 종류에 대한 텍스트 정보를 중첩하여 표시하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용을 지원하는 단말기.
  30. 제27항에 있어서,
    상기 송수신된 감정 분석 영상들을 저장하는 저장부;를 더 포함하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용을 지원하는 단말기.
  31. 제30항에 있어서,
    상기 표시부는
    감정 분석 영상들의 이력 보기 입력 이벤트 발생 시 저장부에 저장된 감정 분석 영상들을 사용자별로 구분하여 표시하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용을 지원하는 단말기.
  32. 제27항에 있어서,
    상기 표시부는
    상기 감정 분석 영상을 표시하는 별도의 감정 분석 영상 영역을 출력하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용을 지원하는 단말기.
  33. 제32항에 있어서,
    상기 표시부는
    상기 감정 분석 영상 영역에 표시된 감정 분석 영상을 선택하는 선택 입력 이벤트 발생 시 상기 감정 분석 영상의 전체 화면 또는 상기 감정 분석 영상과 관련된 다른 감정 분석 영상들을 포함하는 슬라이드 쇼를 출력하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용을 지원하는 단말기.
  34. 제27항에 있어서,
    상기 제어부는
    상기 카메라의 영상 촬영을 알리는 램프 점멸, 진동 패턴, 안내음, 하이라이트 표시, 팝업창 중 적어도 하나의 출력을 제어하는 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용을 지원하는 단말기.
  35. 제27항에 있어서,
    상기 영상 채팅 모드는
    채팅 메시지 서비스 기반에서 수행되는 모드 또는 영상 통화 기반에서 수행되는 모드 인 것을 특징으로 하는 얼굴 인식 기반 사용자 기능 운용을 지원하는 단말기.
KR1020130001414A 2013-01-07 2013-01-07 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기 KR101988279B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020130001414A KR101988279B1 (ko) 2013-01-07 2013-01-07 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
US14/144,950 US9239949B2 (en) 2013-01-07 2013-12-31 Method for user function operation based on face recognition and mobile terminal supporting the same
CN201410005428.5A CN103916536B (zh) 2013-01-07 2014-01-06 用于移动终端中的用户界面方法和系统
AU2014200039A AU2014200039B2 (en) 2013-01-07 2014-01-06 User interface method and system for use in mobile terminal
EP14150238.5A EP2753076B1 (en) 2013-01-07 2014-01-06 Method for user function operation based on face recognition and mobile terminal supporting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130001414A KR101988279B1 (ko) 2013-01-07 2013-01-07 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기

Publications (2)

Publication Number Publication Date
KR20140089697A true KR20140089697A (ko) 2014-07-16
KR101988279B1 KR101988279B1 (ko) 2019-06-12

Family

ID=49999715

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130001414A KR101988279B1 (ko) 2013-01-07 2013-01-07 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기

Country Status (5)

Country Link
US (1) US9239949B2 (ko)
EP (1) EP2753076B1 (ko)
KR (1) KR101988279B1 (ko)
CN (1) CN103916536B (ko)
AU (1) AU2014200039B2 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170112763A (ko) * 2016-04-01 2017-10-12 삼성전자주식회사 전자 장치 및 그의 동작 방법
KR20200103261A (ko) * 2019-02-25 2020-09-02 남기원 자동 피드백 데이터 전송시스템
KR102200816B1 (ko) * 2020-06-29 2021-01-12 주식회사 퓨처플랫폼 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템
KR20230114195A (ko) * 2022-01-24 2023-08-01 주식회사 허니엠앤비 감정 분석 결과 제공 장치 및 감정 분석 결과 제공 시스템

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10638464B2 (en) 2011-04-01 2020-04-28 Futurewei Technologies, Inc. System and method for transmission and reception of control channels in a communications system
USD750111S1 (en) * 2012-12-14 2016-02-23 Facebook, Inc. Display panel of a programmed computer system with a graphical user interface
GB2509323B (en) 2012-12-28 2015-01-07 Glide Talk Ltd Reduced latency server-mediated audio-video communication
KR101988279B1 (ko) * 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
US9558180B2 (en) 2014-01-03 2017-01-31 Yahoo! Inc. Systems and methods for quote extraction
USD775183S1 (en) 2014-01-03 2016-12-27 Yahoo! Inc. Display screen with transitional graphical user interface for a content digest
US9971756B2 (en) * 2014-01-03 2018-05-15 Oath Inc. Systems and methods for delivering task-oriented content
US10503357B2 (en) 2014-04-03 2019-12-10 Oath Inc. Systems and methods for delivering task-oriented content using a desktop widget
US9742836B2 (en) 2014-01-03 2017-08-22 Yahoo Holdings, Inc. Systems and methods for content delivery
US9940099B2 (en) 2014-01-03 2018-04-10 Oath Inc. Systems and methods for content processing
US9681166B2 (en) * 2014-02-25 2017-06-13 Facebook, Inc. Techniques for emotion detection and content delivery
JP6292295B2 (ja) 2014-04-07 2018-03-14 日本電気株式会社 連携システム、装置、方法、および記録媒体
US20150346959A1 (en) * 2014-05-28 2015-12-03 Facebook, Inc. Systems and methods for providing responses to and drawings for media content
KR102241073B1 (ko) * 2014-06-10 2021-04-16 엘지전자 주식회사 이동 단말기
CN104092957B (zh) * 2014-07-16 2017-07-11 浙江航天长峰科技发展有限公司 一种融合人像和语音的屏幕视频生成方法
US20160055370A1 (en) * 2014-08-21 2016-02-25 Futurewei Technologies, Inc. System and Methods of Generating User Facial Expression Library for Messaging and Social Networking Applications
US9613033B2 (en) * 2014-08-29 2017-04-04 Yahoo!, Inc. Emotionally relevant content
EP3017755A1 (en) 2014-11-04 2016-05-11 Samsung Electronics Co., Ltd. Electronic device, and method for analyzing face information in electronic device
KR20170090417A (ko) * 2014-12-03 2017-08-07 소니 주식회사 정보 처리 장치 및 정보 처리 방법, 그리고 프로그램
US10594638B2 (en) 2015-02-13 2020-03-17 International Business Machines Corporation Point in time expression of emotion data gathered from a chat session
CN104753766B (zh) * 2015-03-02 2019-03-22 小米科技有限责任公司 表情发送方法及装置
KR102344063B1 (ko) * 2015-06-29 2021-12-28 엘지전자 주식회사 이동 단말기
US10191920B1 (en) * 2015-08-24 2019-01-29 Google Llc Graphical image retrieval based on emotional state of a user of a computing device
US20180077095A1 (en) * 2015-09-14 2018-03-15 X Development Llc Augmentation of Communications with Emotional Data
US20170090718A1 (en) * 2015-09-25 2017-03-30 International Business Machines Corporation Linking selected messages in electronic message threads
US10097823B1 (en) * 2015-11-13 2018-10-09 Harmonic, Inc. Failure recovery for real-time audio and video encoding, decoding, and transcoding
CN106910513A (zh) * 2015-12-22 2017-06-30 微软技术许可有限责任公司 情绪智能聊天引擎
CN105515955A (zh) * 2015-12-25 2016-04-20 北京奇虎科技有限公司 聊天信息的发布方法及装置
CN105550671A (zh) * 2016-01-28 2016-05-04 北京麦芯科技有限公司 一种人脸识别的方法及装置
CN105847734A (zh) * 2016-03-30 2016-08-10 宁波三博电子科技有限公司 一种基于人脸识别的视频通信方法及系统
US10638091B2 (en) 2016-07-28 2020-04-28 Sony Corporation Information processing device and information processing method
CN109906461B (zh) * 2016-11-16 2022-10-14 本田技研工业株式会社 情感估计装置和情感估计系统
KR20180057366A (ko) * 2016-11-22 2018-05-30 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN106649712B (zh) * 2016-12-20 2020-03-03 北京小米移动软件有限公司 输入表情信息的方法及装置
EP3610412A4 (en) * 2017-04-14 2020-08-05 Facebook, Inc. REACTIVE PROFILE PORTRAITS
US10338767B2 (en) 2017-04-18 2019-07-02 Facebook, Inc. Real-time delivery of interactions in online social networking system
US9942514B1 (en) * 2017-04-29 2018-04-10 Qualcomm Incorporated Video call power optimization
WO2018209094A1 (en) * 2017-05-11 2018-11-15 Kodak Alaris Inc. Method for identifying, ordering, and presenting images according to expressions
US20210149941A1 (en) * 2017-09-12 2021-05-20 AebeZe Labs System and Method for Autonomously Generating a Mood-Filtered Slideshow
CN108960024A (zh) * 2017-09-19 2018-12-07 炬大科技有限公司 一种基于个人用户的情绪识别方法
WO2019103484A1 (ko) * 2017-11-24 2019-05-31 주식회사 제네시스랩 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체
JP6563466B2 (ja) * 2017-11-30 2019-08-21 株式会社サイバーエージェント チャットシステム、サーバ、チャット方法、端末装置及びコンピュータプログラム
US20200302060A1 (en) * 2017-12-14 2020-09-24 Hewlett-Packard Development Company, L.P. Enabling access to capturing devices by basic input and output systems (bios)
KR102448382B1 (ko) * 2018-01-22 2022-09-28 삼성전자주식회사 텍스트와 연관된 이미지를 제공하는 전자 장치 및 그 동작 방법
CN108377418B (zh) * 2018-02-06 2021-06-18 北京奇虎科技有限公司 一种视频标注处理方法和装置
JP7013929B2 (ja) * 2018-02-23 2022-02-01 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN108401129A (zh) * 2018-03-22 2018-08-14 广东小天才科技有限公司 基于穿戴式设备的视频通话方法、装置、终端及存储介质
US10706271B2 (en) * 2018-04-04 2020-07-07 Thomas Floyd BRYANT, III Photographic emoji communications systems and methods of use
US10367931B1 (en) 2018-05-09 2019-07-30 Fuvi Cognitive Network Corp. Apparatus, method, and system of cognitive communication assistant for enhancing ability and efficiency of users communicating comprehension
CN108830917B (zh) * 2018-05-29 2023-04-18 努比亚技术有限公司 一种信息生成方法、终端及计算机可读存储介质
US11277362B2 (en) * 2018-07-23 2022-03-15 Honda Motor Co., Ltd. Content post delay system and method thereof
CN109274819A (zh) * 2018-09-13 2019-01-25 广东小天才科技有限公司 通话时用户情绪调整方法、装置、移动终端及存储介质
JP7225631B2 (ja) 2018-09-21 2023-02-21 ヤマハ株式会社 画像処理装置、カメラ装置、および画像処理方法
US11082578B2 (en) * 2018-09-24 2021-08-03 Dosl, Llc Image capture and transfer system
KR20200040625A (ko) * 2018-10-10 2020-04-20 삼성전자주식회사 사용자의 발화를 처리하는 사용자 단말 및 그 제어 방법
US10834543B2 (en) * 2018-11-26 2020-11-10 International Business Machines Corporation Creating a social group with mobile phone vibration
CN111559327B (zh) * 2019-02-14 2022-05-24 华为技术有限公司 一种数据处理方法及对应的装置
JP7189097B2 (ja) * 2019-07-22 2022-12-13 ｉ－ＰＲＯ株式会社 出席状況管理システム、出席状況管理方法、およびプログラム
CN110587621B (zh) * 2019-08-30 2023-06-06 深圳智慧林网络科技有限公司 机器人、基于机器人的病人看护方法和可读存储介质
US11595739B2 (en) 2019-11-29 2023-02-28 Gree, Inc. Video distribution system, information processing method, and computer program
CN111372029A (zh) * 2020-04-17 2020-07-03 维沃移动通信有限公司 视频显示方法、装置及电子设备
JP7442091B2 (ja) * 2020-04-30 2024-03-04 グリー株式会社 動画配信装置、動画配信方法及び動画配信プログラム
CN112135083B (zh) * 2020-09-27 2022-09-06 广东小天才科技有限公司 一种视频通话过程中脸舞互动的方法及系统
CN112203151B (zh) * 2020-10-09 2022-05-17 北京字跳网络技术有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
US11671695B2 (en) * 2021-04-08 2023-06-06 Google Llc Systems and methods for detecting tampering with privacy notifiers in recording systems
EP4273669A1 (en) * 2022-05-06 2023-11-08 Nokia Technologies Oy Monitoring of facial characteristics
US20240220749A1 (en) * 2022-12-30 2024-07-04 Ford Global Technologies, Llc Systems and methods for tracking a tool stored in an enclosure

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012142925A (ja) * 2010-12-16 2012-07-26 Canon Inc 映像処理装置および映像処理方法
WO2012139276A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Avatar facial expression techniques
US20120281063A1 (en) * 2007-01-23 2012-11-08 Pace Charles P Systems And Methods For Providing Personal Video Services

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3167865B2 (ja) 1994-07-28 2001-05-21 株式会社半導体エネルギー研究所 情報処理装置
US7003731B1 (en) * 1995-07-27 2006-02-21 Digimare Corporation User control and activation of watermark enabled objects
AU2002225593A1 (en) * 2000-10-17 2002-04-29 Digimarc Corporation User control and activation of watermark enabled objects
JP3950802B2 (ja) 2003-01-31 2007-08-01 株式会社エヌ・ティ・ティ・ドコモ 顔情報送信システム、顔情報送信方法、顔情報送信プログラム、及びコンピュータ読取可能な記録媒体
US7669135B2 (en) * 2004-07-15 2010-02-23 At&T Mobility Ii Llc Using emoticons, such as for wireless devices
KR100828371B1 (ko) * 2006-10-27 2008-05-08 삼성전자주식회사 컨텐츠의 메타 데이터 생성 방법 및 장치
US8111281B2 (en) * 2007-06-29 2012-02-07 Sony Ericsson Mobile Communications Ab Methods and terminals that control avatars during videoconferencing and other communications
JP2009265692A (ja) * 2008-04-21 2009-11-12 Pfu Ltd ノート型情報処理装置、および、画像読取方法
US8447065B2 (en) * 2008-09-16 2013-05-21 Cyberlink Corp. Method of facial image reproduction and related device
US8537196B2 (en) 2008-10-06 2013-09-17 Microsoft Corporation Multi-device capture and spatial browsing of conferences
KR101494388B1 (ko) * 2008-10-08 2015-03-03 삼성전자주식회사 이동통신단말기에서 감정 표시 서비스를 제공하기 위한 장치 및 방법
JP2010134785A (ja) * 2008-12-05 2010-06-17 Toshiba Corp 顔認証を利用した情報処理方法および情報表示装置
KR20110012491A (ko) 2009-07-30 2011-02-09 에스케이텔레콤 주식회사 영상데이터 및 아바타를 이용한 메시지 전송 시스템, 관리서버, 단말 및 방법
EP2510460A4 (en) * 2009-12-10 2013-05-08 Nokia Corp PROCESS, DEVICE OR PICTURE PROCESSING SYSTEM
CN101789990A (zh) * 2009-12-23 2010-07-28 宇龙计算机通信科技(深圳)有限公司 一种在通话过程中判断对方情绪的方法及移动终端
TW201220216A (en) 2010-11-15 2012-05-16 Hon Hai Prec Ind Co Ltd System and method for detecting human emotion and appeasing human emotion
US9262612B2 (en) * 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
US8832190B1 (en) * 2011-06-20 2014-09-09 Google Inc. Chat-enabled social circles
US9153031B2 (en) * 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
US20130086615A1 (en) * 2011-10-03 2013-04-04 SocialEyes, Inc. Concurrent real-time communication with media contextualized activity sharing
KR101951761B1 (ko) * 2012-01-27 2019-02-25 라인 가부시키가이샤 모바일 환경에서 제공되는 서비스에서 아바타를 제공하는 아바타 서비스 시스템 및 방법
KR101907136B1 (ko) * 2012-01-27 2018-10-11 라인 가부시키가이샤 유무선 웹을 통한 아바타 서비스 시스템 및 방법
US9001178B1 (en) * 2012-01-27 2015-04-07 Google Inc. Multimedia conference broadcast system
US8908005B1 (en) * 2012-01-27 2014-12-09 Google Inc. Multiway video broadcast system
US8693648B1 (en) * 2012-04-16 2014-04-08 Google Inc. Providing backstage support for online video communication broadcasts
US20130337420A1 (en) * 2012-06-19 2013-12-19 International Business Machines Corporation Recognition and Feedback of Facial and Vocal Emotions
US9245287B2 (en) * 2012-07-18 2016-01-26 Teletech Holdings, Inc. Method for providing support with associates anywhere and notifications
US9031293B2 (en) * 2012-10-19 2015-05-12 Sony Computer Entertainment Inc. Multi-modal sensor based emotion recognition and emotional interface
US20140157153A1 (en) * 2012-12-05 2014-06-05 Jenny Yuen Select User Avatar on Detected Emotion
KR101988279B1 (ko) * 2013-01-07 2019-06-12 삼성전자 주식회사 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
US9077850B1 (en) * 2013-01-15 2015-07-07 Google Inc. Recording multi-party video calls

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120281063A1 (en) * 2007-01-23 2012-11-08 Pace Charles P Systems And Methods For Providing Personal Video Services
JP2012142925A (ja) * 2010-12-16 2012-07-26 Canon Inc 映像処理装置および映像処理方法
WO2012139276A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Avatar facial expression techniques

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170112763A (ko) * 2016-04-01 2017-10-12 삼성전자주식회사 전자 장치 및 그의 동작 방법
US11743571B2 (en) 2016-04-01 2023-08-29 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
KR20200103261A (ko) * 2019-02-25 2020-09-02 남기원 자동 피드백 데이터 전송시스템
KR102200816B1 (ko) * 2020-06-29 2021-01-12 주식회사 퓨처플랫폼 얼굴 이미지를 이용한 정신건강 자가관리 제공 방법 및 정신건강 자가관리 제공 시스템
KR20230114195A (ko) * 2022-01-24 2023-08-01 주식회사 허니엠앤비 감정 분석 결과 제공 장치 및 감정 분석 결과 제공 시스템

Also Published As

Publication number Publication date
CN103916536A (zh) 2014-07-09
AU2014200039A1 (en) 2014-07-24
US9239949B2 (en) 2016-01-19
EP2753076B1 (en) 2018-08-22
CN103916536B (zh) 2018-12-18
EP2753076A3 (en) 2014-07-30
US20140192134A1 (en) 2014-07-10
AU2014200039B2 (en) 2019-01-17
KR101988279B1 (ko) 2019-06-12
EP2753076A2 (en) 2014-07-09

Similar Documents

Publication Publication Date Title
KR101988279B1 (ko) 얼굴 인식 기반 사용자 기능 운용 방법 및 이를 지원하는 단말기
US10565763B2 (en) Method and camera device for processing image
US20190037173A1 (en) Method and apparatus for providing image service
CN106791893A (zh) 视频直播方法及装置
WO2022062896A1 (zh) 直播互动方法及装置
KR101971736B1 (ko) 이동단말기 및 그 제어방법
KR20170029837A (ko) 이동 단말기 및 그 제어 방법
KR20170131101A (ko) 이동 단말기 및 그 제어방법
KR20170025177A (ko) 이동단말기 및 그 제어방법
KR20180133743A (ko) 이동 단말기 및 그 제어 방법
CN112905074B (zh) 交互界面展示方法、交互界面生成方法、装置及电子设备
US9491401B2 (en) Video call method and electronic device supporting the method
CN114185503B (zh) 多屏交互的系统、方法、装置和介质
KR20170073068A (ko) 이동단말기 및 그 제어방법
KR20170046969A (ko) 모바일 디바이스 및 그 제어 방법
CN106791563A (zh) 信息传输方法、本端设备、对端设备及系统
KR20110000880A (ko) 이동 단말기 및 이것의 영상 디스플레이 방법
EP3629560A1 (en) Full screen terminal, and operation control method and device based on full screen terminal
KR20110096372A (ko) 프로젝트 기능을 구비한 단말기 및 그의 사용자 인터페이스 제공 방법
CN114637390A (zh) 内容显示方法及装置
CN111882673A (zh) 一种显示控制方法、装置、包含显示屏的镜子及存储介质
CN111538447A (zh) 信息展示方法、装置、设备及存储介质
KR20170011934A (ko) 이동 단말기 및 그것의 제어방법
KR20180056273A (ko) 이동 단말기 및 그 제어방법
KR101631436B1 (ko) 휴대 단말기의 동작방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant