KR102125735B1 - 영상 통화를 제공하는 방법 및 영상 통화 제공 시스템 - Google Patents

영상 통화를 제공하는 방법 및 영상 통화 제공 시스템 Download PDF

Info

Publication number
KR102125735B1
KR102125735B1 KR1020180034189A KR20180034189A KR102125735B1 KR 102125735 B1 KR102125735 B1 KR 102125735B1 KR 1020180034189 A KR1020180034189 A KR 1020180034189A KR 20180034189 A KR20180034189 A KR 20180034189A KR 102125735 B1 KR102125735 B1 KR 102125735B1
Authority
KR
South Korea
Prior art keywords
visual object
video call
information
condition
selection
Prior art date
Application number
KR1020180034189A
Other languages
English (en)
Other versions
KR20190112340A (ko
Inventor
안상일
최혁
Original Assignee
주식회사 하이퍼커넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이퍼커넥트 filed Critical 주식회사 하이퍼커넥트
Priority to KR1020180034189A priority Critical patent/KR102125735B1/ko
Priority to US16/363,856 priority patent/US10602091B2/en
Publication of KR20190112340A publication Critical patent/KR20190112340A/ko
Application granted granted Critical
Publication of KR102125735B1 publication Critical patent/KR102125735B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72522—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50—Telephonic communication in combination with video communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephonic Communication Services (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

영상 통화 중인 인물이나 배경, 시공간적 정보와 시각적 오브젝트 간의 연관관계를 학습하고 이를 이용하여 자동으로 시각적 오브젝트를 추천하여 제공하는 방법 및 이를 수행하는 시스템이 개시된다. 본 발명의 일 측면에 따르면, 영상 통화를 제공하는 방법으로서, 영상 통화 제공 시스템이, 적어도 하나의 시각적 오브젝트 및 적어도 하나의 선택 조건간의 관계 정보를 포함하는 시각적 오브젝트 선택 모델을 저장하는 단계 및 상기 영상 통화 제공 시스템이, 상기 시각적 오브젝트 선택 모델에 기초하여, 영상 통화를 수행하는 단말 및 상기 단말의 상대방 단말 중 적어도 하나에서 특정된 시각적 오브젝트 표시 시점에 표시될 추천 시각적 오브젝트를 결정하는 단계를 포함하는 영상 통화를 제공하는 방법이 제공된다.

Description

영상 통화를 제공하는 방법 및 영상 통화 제공 시스템{Method for providing video call, and system for providing video call}
본 발명은 영상 통화를 제공하는 방법 및 영상 통화 제공 시스템에 관한 것이다. 보다 상세하게는 영상 통화 중인 인물이나 배경, 시공간적 정보와 시각적 오브젝트 간의 연관관계를 학습하고 이를 이용하여 자동으로 시각적 오브젝트를 추천하여 제공하는 방법 및 이를 수행하는 시스템에 관한 것이다.
최근 통신 기술이 발달하고 스마트폰, 태블릿PC 등 개인용 디바이스가 널리 보급됨에 따라, 이러한 기술을 이용하여 사용자 간에 손쉽게 커뮤니케이션을 할 수 있도록 하는 방안이 폭넓게 연구되고 있다. 개인용 디바이스와 통신기술을 이용한 대표적인 커뮤니케이션 매체로 소셜 미디어, 채팅 서비스 등을 들 수 있다.
한편, 카메라 기술과 디스플레이 기술의 발전과 맞물려, 최근에 등장한 상당 수의 개인용 디바이스는 이미지 및 비디오를 촬영할 수 있는 카메라 모듈과 고해상도의 디스플레이를 장착하고 있으며, 이러한 고성능의 개인용 디바이스의 특성에 맞는 화상 채팅 서비스(영상 통화 서비스)도 등장하는 추세이다.
다양한 매체를 통해 커뮤니케이션이 활성화됨에 따라, 사용자의 커뮤니케이션을 보다 흥미롭게 하기 위한 다양한 기법들 역시 제안되고 있는데, 대표적으로 이모티콘 혹은 이모지를 들 수 있다. 사용자들은 대화 중간 중간에 이모티콘을 삽입함으로써, 대화 상에서의 자신의 감정이나 의사를 표현할 수 있고 대화에 대한 상대방의 흥미를 끌 수 있으며 재미도 부여할 수 있다.
한편, 대표적인 커뮤니케이션 채널인 채팅의 경우, 대화자가 서로 모르는 사이이거나 친분관계가 없는 경우 어색함이 지속될 수 있으며, 이로 인하여 대화가 원활히 이루어지지 않거나, 심하면 어느 일방이 대화방을 나가버리는 경우도 일어나게 된다. 따라서, 대화자간의 긴장감이나 어색함을 없애고 대화의 분위기를 부드럽게 하는 장치(아이스 브레이커)를 마련하고자 하는 요구가 늘어가고 있으며, 특히, 최근 등장하고 있는 랜덤 채팅과 같이 대화 상대방이 무작위로 결정되는 서비스의 경우에는 아이스 브레이커의 중요성이 매우 크다고 할 수 있다.
본 발명이 해결하고자 하는 과제는 영상 통화 내의 인물이나 배경, 시공간적 정보와 시각적 오브젝트 간의 연관관계를 학습하고 이를 이용하여 자동으로 영상 통화 중인 상황에 적합한 시각적 오브젝트를 추천함으로써, 어색함을 줄이고 자연스러운 영상 통화를 유도할 수 있도록 하는 기술적 사상을 제공하는 것이다.
본 발명의 일 측면에 따르면, 영상 통화를 제공하는 방법으로서, 영상 통화 제공 시스템이, 적어도 하나의 시각적 오브젝트 및 적어도 하나의 선택 인자간의 관계 정보를 포함하는 시각적 오브젝트 선택 모델을 저장하는 단계 및 상기 영상 통화 제공 시스템이, 상기 시각적 오브젝트 선택 모델에 기초하여, 영상 통화를 수행하는 복수의 단말 중 적어도 하나에서 특정된 시각적 오브젝트 표시 시점에 표시될 추천 시각적 오브젝트를 결정하는 단계를 포함하고, 상기 선택 조건은, 적어도 하나의 인물 외형 조건, 적어도 하나의 배경 조건, 적어도 하나의 시간 관련 조건, 적어도 하나의 위치 관련 조건, 프로필 조건 및 통화 음성 관련 조건 중 적어도 하나를 포함하고, 상기 추천 시각적 오브젝트를 결정하는 단계는, 상기 시각적 오브젝트 표시 시점에서 상기 복수의 단말 중 적어도 하나에 의해 촬영된 영상 통화 화면으로부터, 상기 영상 통화 화면에 나타난 인물의 외형 정보를 획득하는 단계, 상기 시각적 오브젝트 표시 시점에서 상기 복수의 단말 중 적어도 하나에 의해 촬영된 상기 영상 통화 화면으로부터, 상기 영상 통화 화면에 나타난 인물 주변의 배경 정보를 획득하는 단계, 상기 단말의 위치 정보를 획득하는 단계, 상기 단말의 사용자의 프로필 정보를 획득하는 단계, 상기 복수의 단말 중 적어도 하나에 의해 수행되는 영상 통화 중에 발화되는 통화 음성으로부터 통화 음성 관련 정보를 획득하는 단계 및 상기 인물의 외형 정보, 상기 배경 정보, 상기 단말의 위치 정보, 상기 시각적 오브젝트 표시 시점, 상기 프로필 정보 및 상기 통화 음성 관련 정보 중 적어도 하나와 상기 시각적 오브젝트 선택 모델에 기초하여, 상기 적어도 하나의 시각적 오브젝트 중 어느 하나를 상기 추천 시각적 오브젝트로 결정하는 단계를 포함하는 영상 통화를 제공하는 방법이 제공된다.
일 실시예에서, 상기 적어도 하나의 인물 외형 조건 각각은, 표정 조건, 제스처 조건 및 착용품 조건 중 적어도 하나를 포함하고, 상기 시각적 오브젝트 표시 시점에서 상기 복수의 단말 중 어느 하나에 의해 촬영된 영상 통화 화면으로부터, 상기 영상 통화 화면에 나타난 인물의 외형 정보를 획득하는 단계는, 상기 영상 통화 화면으로부터, 상기 인물의 표정 정보를 획득하는 단계, 상기 영상 통화 화면으로부터, 상기 인물의 제스처 정보를 획득하는 단계 및 상기 영상 통화 화면으로부터, 상기 인물의 착용품 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에서, 상기 통화 음성 관련 조건 각각은, 목소리 톤 조건 및 통화 컨텍스트 조건 중 적어도 하나를 포함하고, 상기 통화 음성 관련 정보를 획득하는 단계는, 상기 영상 통화 중에 발화되는 통화 음성으로부터 목소리 톤 정보를 획득하는 단계 및 상기 영상 통화 중에 발화되는 통화 음성으로부터 통화 컨텍스트 정보를 획득하는 단계를 포함할 수 있다.
일 실시예에서, 상기 시각적 오브젝트 선택 모델을 저장하는 단계는, 상기 영상 통화 제공 시스템이, 상기 복수의 단말에서 영상 통화를 수행하는 도중에 사용자에 의해 훈련 시각적 오브젝트가 선택될 때, 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건을 특정하는 단계, 상기 영상 통화 제공 시스템이, 상기 선택된 각각의 훈련 시각적 오브젝트에 상응하는 선택 조건에 기초하여, 상기 시각적 오브젝트 선택 모델을 생성하는 단계 및 상기 영상 통화 제공 시스템이, 상기 생성된 시각적 오브젝트 선택 모델을 저장하는 단계를 포함하고, 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건을 특정하는 단계는, 상기 선택된 훈련 시각적 오브젝트 선택 시의 영상 통화 화면으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 상기 영상 통화 화면에 나타난 인물의 외형 조건을 생성하는 단계, 상기 선택된 훈련 시각적 오브젝트 선택 시의 영상 통화 화면으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 상기 영상 통화 화면에 나타난 인물 주변의 배경 조건을 생성하는 단계, 상기 선택된 훈련 시각적 오브젝트를 선택한 시간 정보를 획득하고, 획득한 상기 시간 정보로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 시간 관련 조건을 생성하는 단계, 상기 선택된 훈련 시각적 오브젝트를 선택한 사용자의 위치 정보를 획득하고, 획득한 상기 위치 정보로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 위치 관련 조건을 생성하는 단계, 상기 선택된 훈련 시각적 오브젝트를 선택한 사용자의 프로필 정보를 획득하고, 상기 획득한 프로필 정보로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 프로필 조건을 생성하는 단계 및 상기 선택된 훈련 시각적 오브젝트의 선택 시점을 포함하는 소정의 기간 동안 발화된 통화 음성을 획득하고, 획득한 통화 음성으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 통화 음성 관련 조건을 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 시각적 오브젝트 선택 모델을 생성하는 단계는, 상기 복수의 단말 중 적어도 하나에서 선택되는 훈련 시각적 오브젝트 및 상기 훈련 시각적 오브젝트의 각각에 상응하는 선택 조건이 학습 데이터인 기계학습을 수행하여 상기 시각적 오브젝트 선택 모델을 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 결정된 시각적 오브젝트를 상기 복수의 중 적어도 하나의 영상 통화 화면에 표시하는 단계를 더 포함할 수 있다.
본 발명의 다른 일 측면에 따르면, 상술한 방법을 수행하기 위한 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 다른 일 측면에 따르면, 컴퓨팅 시스템으로서, 프로세서 및 컴퓨터 프로그램을 저장하는 메모리를 포함하고, 상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 컴퓨팅 시스템으로 하여금 상술한 방법을 수행하도록 하는 컴퓨팅 시스템이 제공된다.
본 발명의 다른 일 측면에 따르면, 영상 통화 제공 시스템으로서, 적어도 하나의 시각적 오브젝트 및 적어도 하나의 선택 조건간의 관계 정보를 포함하는 시각적 오브젝트 선택 모델을 저장하는 저장모듈 및 상기 시각적 오브젝트 선택 모델에 기초하여, 영상 통화를 수행하는 복수의 단말 중 적어도 하나에서 특정된 시각적 오브젝트 표시 시점에 표시될 추천 시각적 오브젝트를 결정하는 제어모듈을 포함하되,
상기 선택 조건은, 적어도 하나의 인물 외형 조건, 적어도 하나의 배경 조건, 적어도 하나의 시간 관련 조건, 적어도 하나의 위치 관련 조건, 프로필 조건 및 통화 음성 관련 조건 중 적어도 하나를 포함하고, 상기 제어모듈은, 상기 시각적 오브젝트 표시 시점에서 상기 복수의 단말 중 적어도 하나에 의해 촬영된 영상 통화 화면으로부터 상기 영상 통화 화면에 나타난 인물의 외형 정보를 획득하고, 상기 시각적 오브젝트 표시 시점에서 상기 복수의 단말 중 적어도 하나에 의해 촬영된 상기 영상 통화 화면으로부터 상기 영상 통화 화면에 나타난 인물 주변의 배경 정보를 획득하고, 상기 단말의 위치 정보를 획득하고, 상기 단말의 사용자의 프로필 정보를 획득하고, 상기 복수의 단말 중 적어도 하나에 의해 수행되는 영상 통화 중에 발화되는 통화 음성으로부터 통화 음성 관련 정보를 획득하고, 상기 인물의 외형 정보, 상기 배경 정보, 상기 단말의 위치 정보, 상기 시각적 오브젝트 표시 시점, 상기 프로필 정보 및 상기 통화 음성 관련 정보 중 적어도 하나와 상기 시각적 오브젝트 선택 모델에 기초하여, 상기 적어도 하나의 시각적 오브젝트 중 어느 하나를 상기 추천 시각적 오브젝트로 결정하는 영상 통화 제공 시스템이 제공된다.
일 실시예에서, 상기 시각적 오브젝트 선택 조건에 포함되는 상기 적어도 하나의 인물 외형 조건 각각은, 표정 조건, 제스처 조건 및 착용품 조건 중 적어도 하나를 포함하고, 상기 제어모듈은, 상기 시각적 오브젝트 표시 시점에서 상기 단말에 의해 촬영된 영상 통화 화면으로부터 상기 영상 통화 화면에 나타난 인물의 외형 정보를 획득하기 위하여, 상기 영상 통화 화면으로부터 상기 인물의 표정 정보를 획득하고, 상기 인물의 제스처 정보를 획득하고, 상기 인물의 착용품 정보를 획득할 수 있다.
일 실시예에서, 상기 영상 통화 제공 시스템은, 상기 복수의 단말에서 영상 통화를 수행하는 도중에 사용자에 의해 훈련 시각적 오브젝트가 선택될 때, 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건을 특정하는 선택 조건 특정모듈 및 상기 선택된 훈련 시각적 오브젝트 각각에 상응하는 선택 조건에 기초하여, 상기 시각적 오브젝트 선택 모델을 생성하는 선택 모델 생성모듈을 더 포함하며, 상기 선택 조건 특정모듈은, 상기 선택된 훈련 시각적 오브젝트 선택 시의 영상 통화 화면으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 상기 영상 통화 화면에 나타난 인물의 외형 조건을 생성하고, 상기 선택된 훈련 시각적 오브젝트 선택 시의 영상 통화 화면으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 상기 영상 통화 화면에 나타난 인물 주변의 배경 조건을 생성하고, 상기 선택된 훈련 시각적 오브젝트를 선택한 시간 정보를 획득하고, 상기 획득한 시간 정보로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 시간 관련 조건을 생성하고, 상기 선택된 훈련 시각적 오브젝트를 선택한 사용자의 위치 정보를 획득하고, 상기 획득한 위치 정보로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 위치 관련 조건을 생성하고, 상기 선택된 훈련 시각적 오브젝트를 선택한 사용자의 프로필 정보를 획득하고, 상기 획득한 프로필 정보로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 프로필 조건을 생성하고, 상기 선택된 훈련 시각적 오브젝트의 선택 시점을 포함하는 소정의 기간 동안 발화된 통화 음성을 획득하고, 상기 획득한 통화 음성으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 통화 음성 관련 조건을 생성할 수 있다.
일 실시예에서, 상기 선택 모델 생성모듈은, 상기 복수의 단말 중 적어도 하나에서 선택되는 훈련 시각적 오브젝트 및 상기 훈련 시각적 오브젝트의 각각에 상응하는 선택 조건이 학습 데이터인 기계학습을 수행하여 상기 시각적 오브젝트 선택 모델을 생성할 수 있다.
일 실시예에서, 제9항에 있어서, 상기 영상 통화 제공 시스템은, 결정한 상기 추천 시각적 오브젝트를 상기 단말 또는 상기 단말의 상대방 단말의 영상 통화 화면에 표시하는 표시모듈을 더 포함할 수 있다.
사용자가 직접 적당한 시각적 오브젝트를 찾는 경우에는 그 동안 상대방과의 상호작용이 어려워 더욱 긴장감이 커질 수 있으나 본 발명의 일 실시예에 따른 영상 통화 제공 방법의 경우 사용자의 개입 없이도 상황에 적합한 시각적 오브젝트를 선정할 수 있다. 따라서, 본 발명의 일 실시예에 따른 영상 통화 제공 방법이 각종 채팅/통화 서비스(예를 들면, 영상 통화, 화상 채팅, 음성 채팅, 문자 채팅 등)에 적용되는 경우, 시각적 오브젝트는 긴장감이나 어색함을 없애고 대화의 분위기를 부드럽게 하는 아이스 브레이커로서의 기능을 수행할 수 있다.
또한 채팅/통화 서비스를 통해 대화하는 두 사용자 간에 친밀감을 높이거나 상대방의 흥미를 유도하고 재미를 유발할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 영상 통화 제공 방법의 수행 환경을 개략적으로 설명하기 위한 도면이다.
도 2a 및 도 2b는 각각 영상 통화 화면에 시각적 오브젝트가 디스플레이되는 예를 설명하기 위한 도면이다.
도 3a 내지 도 3c는 본 발명의 일 실시예에 따른 영상 통화 제공 시스템에 의하여 자동 선택된 시각적 오브젝트가 단말에 표시되는 예를 도시한 도면이다.
도 4은 본 발명의 일 실시예에 따른 단말의 구성을 개략적으로 도시한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 영상 통화 제공 시스템의 구성을 개략적으로 나타내는 블록도이다.
도 6는 본 발명의 일 실시예에 따른 영상 통화 제공 시스템이 선택 조건을 생성하는 방법을 나타내는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 영상 통화 제공 시스템이 추천 시각적 오브젝트를 결정하는 방법을 도시한 흐름도이다.
본 발명은 다양한 전환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 외관에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 전환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 적어도 하나의 표현을 포함한다.
본 명세서에 있어서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터를 '전송'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터를 전송할 수도 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터를 상기 다른 구성요소로 전송할 수도 있는 것을 의미한다. 반대로 어느 하나의 구성요소가 다른 구성요소로 데이터를 '직접 전송'하는 경우에는 상기 구성요소에서 다른 구성요소를 통하지 않고 상기 다른 구성요소로 상기 데이터가 전송되는 것을 의미한다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 중심으로 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 영상 통화를 제공하는 방법(이하, '영상 통화 제공 방법'이라고 함)의 수행 환경을 개략적으로 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 통화 제공 방법을 구현하기 위하여, 영상 통화 제공 시스템(100)이 구비될 수 있다.
상기 영상 통화 제공 시스템(100)은 단말(200)에 영상 통화 서비스를 제공하는 시스템일 수 있다. 영상 통화는 적어도 2인의 사용자가 비디오를 통해 서로 대화할 수 있도록 하는 수단으로서, 화상 통화, 화상 채팅, 비디오 채팅, 비디오 컨퍼런스 등으로 불릴 수 있다.
이하에서는 제1단말(200-1) 및 제2단말(200-2)이 영상 통화를 수행하는 예에 대하여 설명하지만, 이와 같은 설명에 본 발명의 기술적 사상이 한정되는 것이 아니다. 상기 영상 통화 제공 시스템(100)에 접속한 복수의 단말(200-1 내지 200-N) 중 임의의 두 단말이 영상 통화를 수행할 수 있으며, 실시예에 따라서는 3 이상의 단말이 영상 통화를 수행할 수 있다.
영상 통화를 수행하는 제1단말(200-1) 및 제2단말(200-2) 각각은 카메라 모듈을 통해 각 단말을 사용하는 사용자의 영상을 촬영하여 상대방 단말로 제공하고, 상대방 단말로부터 제공받은 상대방의 영상을 디스플레이할 수 있다. 영상 통화를 수행하는 단말(200)에는 영상 통화를 위한 특정된 애플리케이션이 설치될 수 있다.
상기 영상 통화 제공 시스템(100)은 복수의 단말(200-1 내지 200-N) 중 두 단말(예를 들어 200-1 및 200-2)이 영상 통화를 수행할 수 있도록 상기 두 단말(200-1 및 200-2)을 매칭할 수 있다. 상기 영상 통화 제공 시스템(100)은 특정된 매칭 알고리즘을 통해 두 단말을 매칭할 수 있다.
상기 영상 통화 제공 시스템(100)은 서로 영상 통화를 하고자 하는 제1단말(200-1) 및 제2단말(200-2)을 중개하고, 상기 제1단말(200-1) 및 상기 제2단말(200-2)이 영상 통화를 위한 세션을 수립하도록 할 수 있다. 그러면, 상기 제1단말(200-1) 및 제2단말(200-2)은 영상 통화를 위한 세션을 수립하고, 영상 통화를 수행할 수 있다.
상기 영상 통화 제공 시스템(100)은 서버일 수 있다.
상기 단말(200)은 네트워크 통신 기능을 구비한 정보처리장치일 수 있다. 예를 들어, 상기 단말(200)은 데스크탑 컴퓨터나 랩탑 컴퓨터, 또는 휴대전화, 위성전화, 무선전화, SIP(Session Initiation Protocol), WLL(Wireless Local Loop) 스테이션, 스마트폰, 타블렛 PC, PDA(Personal Digital Assistant) 등의 핸드헬드 장치를 포함하는 프로세싱 장치일 수도 있다.
상기 영상 통화 제공 시스템(100)은 단말(200)과 통신 네트워크를 통해 연결되어 본 발명의 기술적 사상을 구현하는데 필요한 각종 정보, 데이터 및/또는 신호를 송수신할 수 있다. 또한 필요에 따라서는 적어도 하나의 단말(200-1 내지 200-N) 간에도 서로 통신하며 본 발명의 기술적 사상을 구현하는데 필요한 각종 정보, 데이터 및/또는 신호를 송수신할 수 있다.
한편, 실시예에 따라서는, 도 1에 도시된 바와 달리, 상기 영상 통화 제공 시스템(100)은 단말(200)에 포함되는 서브 시스템의 형태로 구현될 수도 있다.
한편, 영상 통화를 수행하는 제1단말(200-1) 및/또는 제2단말(200-2)은 시각적 오브젝트(visual object)를 디스플레이할 수 있다.
이하에서, 시각적 오브젝트라고 함은, 단말(200)이 구비하고 있는 디스플레이 장치를 통해 시각적으로 표현되는 오브젝트를 의미할 수 있다. 예를 들어 시각적 오브젝트는 이모티콘(emoticon), 이모지(emoji), 스티커(sticker), 액티콘(acticon) 등일 수 있다.
시각적 오브젝트는 정적 이미지, 1번 재생되는 동적 이미지, 반복적으로 재생되는 동적 이미지 또는 이들의 결합일 수 있다.
상기 영상 통화 제공 시스템(100)은 상기 단말(200)이 시각적 오브젝트를 디스플레이하기 위하여 필요한 정보를 제공할 수 있으며, 상기 단말(200)은 제공된 정보에 기초하여 시각적 오브젝트를 디스플레이할 수 있다.
영상 통화를 수행하는 제1단말(200-1) 및 제2단말(200-2)은 화면 상에 시각적 오브젝트를 디스플레이할 수 있는데, 이하에서는 도 2a 및 도 2b를 참조하여 구체적인 실시예에 대하여 설명하기로 한다. 이하에서는 제1단말(200-1)의 사용자를 사용자 A라고 하고, 제2단말(200-2)의 사용자를 사용자 B라고 한다.
도 2a 및 도 2b를 참조하면, 제2단말(200-2)은 구비한 카메라 모듈을 통하여 사용자 B의 영상을 촬영하고, 제1단말(200-1)로 제공할 수 있다. 상기 제1단말(200-1)의 화면(300-1)에는 상기 제2단말(200-2)에 의해 촬영되어 상기 제1단말(200-1)로 제공되는 제1영상(310-1; 사용자 B 의 영상)가 디스플레이될 수 있다.
한편, 제1단말(200-1)은 구비한 카메라 모듈을 통하여 사용자 A의 영상을 촬영하고, 제2단말(200-2)로 제공할 수 있다. 상기 제2단말(200-2)의 영상 통화 화면(300-2)에는 상기 제1단말(200-1)에 의해 촬영되어 상기 제2단말(200-2)로 제공되는 제2영상(310-2; 사용자 B 의 영상)가 디스플레이될 수 있다.
실시 예에 따라서는 상기 제1단말(200-1)의 영상 통화 화면(300-1)에는 제1단말(200-1)의 사용자인 사용자 A의 모습을 촬영한 영상(320-1)이 더 표시될 수 있으며, 상기 제2단말(200-2)의 영상 통화 화면(300-2)에는 제2단말(200-2)의 사용자인 사용자 B의 모습을 촬영한 영상(320-2)이 더 표시될 수 있다.
한편, 도 2a의 실시예에서, 상기 제1단말(200-1)은 상기 시각적 오브젝트(330-1)를 상기 제1영상(310-1)에 오버레이하여 디스플레이할 수 있다. 또한 상기 제2단말(200-2)은 상기 시각적 오브젝트(330-2)를 상기 제2영상(310-2)에 오버레이하여 디스플레이할 수 있다.
반면 도 2b의 실시예에서는, 도 2a와 달리, 상기 제1단말(200-1)은 상기 시각적 오브젝트(330-1)를 상기 제1영상(310-1)에 오버레이하여 디스플레이할 수 있으며, 상기 제2단말(200-2)은 상기 시각적 오브젝트(330-2)를 상기 제2영상(310-2)에 오버레이하여 디스플레이할 수 있다.
상기 제1단말(200-1) 및/또는 상기 제2단말(200-2)에 디스플레이되는 시각적 오브젝트는 상기 제1단말(200-1) 또는 상기 제2단말(200-2)를 통해 영상 통화를 수행하는 사용자에 의해 선택될 수 있다.
예를 들어, 상기 영상 통화 제공 시스템(100)은 상기 제1단말(200-1)로 상기 영상 통화 제공 시스템(100)이 제공할 수 있는 적어도 하나의 시각적 오브젝트에 관한 리스트를 제공할 수 있으며, 상기 제1단말(200-1)은 상기 적어도 하나의 시각적 오브젝트의 리스트를 디스플레이할 수 있다. 그러면 상기 제1단말(200-1)의 사용자는 적어도 하나의 시각적 오브젝트의 리스트에서 하나를 선택할 수 있으며, 상기 영상 통화 제공 시스템(100)은 선택된 시각적 오브젝트에 관한 정보를 상기 제1단말(200-1) 및/또는 상기 제2단말(200-2)에 제공하고 상기 제1단말(200-1) 및/또는 상기 제2단말(200-2)은 선택된 시각적 오브젝트를 디스플레이할 수 있다.
한편, 상기 제1단말(200-1) 및/또는 상기 제2단말(200-2)에 디스플레이되는 시각적 오브젝트는 상기 영상 통화 제공 시스템(100)에 의해 자동 선택될 수도 있다.
상기 영상 통화 제공 시스템(100)은 시각적 오브젝트의 선택에 필요한 각종 정보를 상기 제1단말(200-1) 및/또는 상기 제2단말(200-2)로부터 수집하고, 수집된 정보에 기초하여 적어도 하나의 시각적 오브젝트 중 어느 하나를 자동으로 선택할 수 있다.
도 3a 내지 도 3c는 상기 영상 통화 제공 시스템(100)에 의하여 자동 선택된 시각적 오브젝트가 단말에 표시되는 예를 도시한 도면이다.
예를 들어, 상기 영상 통화 제공 시스템(100)은 도 3a에 도시된 바와 같이, 영상 통화 중인 인물의 배경에 건물이 존재한다고 판단한 경우, 킹콩 형상의 시각적 오브젝트를 자동으로 선택하여 표시할 수 있다.
또는 상기 영상 통화 제공 시스템(100)은 도 3b에 도시된 바와 같이, 영상 통화 중인 인물이 우는 표정을 짓고 있다고 판단한 경우, 우는 표정 형태의 시각적 오브젝트를 자동으로 선택하고 이를 표시할 수 있다.
또는 상기 영상 통화 제공 시스템(100)은 도 3c에 도시된 바와 같이, 영상 통화 중 눈이 오고 있다고 판단하는 경우, 눈사람 형태의 시각적 오브젝트를 자동으로 선택하고 이를 표시할 수 있다.
상기 영상 통화 제공 시스템(100)이 시각적 오브젝트를 자동 선택하는 보다 상세한 방법에 관해서는 추후 설명하기로 한다.
도 4은 본 발명의 일 실시예에 따른 단말(200)의 구성을 개략적으로 도시한 블록도이다.
도3을 참조하면, 상기 단말(200)은 카메라 모듈(210), GPS모듈(220), 디스플레이 장치(230), 통신 모듈(240), 메모리(250) 및 프로세서(260)를 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 상기 단말(200)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다.
상기 카메라 모듈(210)은 렌즈를 통해 들어온 이미지를 디지털신호로 전환할 수 있으며, 사진 또는 동영상을 촬영하기 위해 이용될 수 있다. 상기 카메라 모듈(210)은 CCD(Charge Coupled Device) 센서 또는 CMOS(Complementary Metal Oxide Semi-conductor) 센서 등의 이미지 센서, 렌즈, 적외선 필터 등을 포함할 수 있다.
상기 GPS모듈(220)은 GPS(Global Positioning System) 위성으로부터 GPS정보를 수신할 수 있다.
상기 디스플레이 장치(230)는 시각적 정보를 출력할 수 있는 장치로서, 액정 디스플레이(LCD), 발광 다이오드 디스플레이(LED), 플라즈마 디스플레이(PDP), 유기 발광 다이오드 디스플레이(OLED), 표면 전도형 전자 방출 소자 디스플레이(SED) 등을 포함할 수 있다. 상기 디스플레이 장치(230)는 터치스크린일 수 있다.
상기 통신모듈(240)은 외부 장치와 통신을 수행하며, 각종 신호, 정보, 데이터를 송수신할 수 있다. 상기 통신모듈(260)은 3G 모듈, LTE(Long Term Evolution) 모듈, LTE-A 모듈, Wi-Fi 모듈, WiGig 모듈, Ultra Wide Band(UWB) 모듈, LAN 카드 등의 원거리 통신 모듈 혹은 MST 모듈, Bluetooth 모듈, NFC 모듈, RFID 모듈, ZigBee 모듈, Z-Wave 모듈, IR 모듈 등의 근거리 통신 모듈을 포함할 수 있다.
상기 메모리(250)는 외부 장치로부터 수신/입력되는 데이터, 상기 단말(200)이 생성한 데이터 등 각종 데이터 및 컴퓨터 프로그램을 저장할 수 있다. 상기 메모리(250)는 휘발성 메모리 및 비휘발성 메모리를 포함할 수 있다. 상기 메모리(270)는 예를 들어, 플래시 메모리, ROM, RAM, EEROM, EPROM, EEPROM, 하드 디스크, 레지스터를 포함할 수 있다. 또는 상기 메모리(250)는 파일 시스템, 데이터베이스, 임베디드 데이터베이스를 포함할 수도 있다.
상기 프로세서(260)는 상기 단말(200)에 포함된 다른 구성(예를 들면, 카메라 모듈(210), GPS모듈(220), 디스플레이 장치(230), 통신 모듈(240), 메모리(250) 등)과 연결되어, 이들의 기능 및/또는 리소스를 제어할 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 통화 제공 시스템(100)의 구성을 개략적으로 나타내는 블록도이다.
도 5를 참조하면 상기 영상 통화 제공 시스템(100)은 통신모듈(110), 저장모듈(120), 제어모듈(130), 선택조건 생성모듈(140), 선택모델 생성모듈(150)을 포함할 수 있다. 본 발명의 실시예에 따라서는, 상술한 구성요소들 중 일부 구성요소는 반드시 본 발명의 구현에 필수적으로 필요한 구성요소에 해당하지 않을 수도 있으며, 또한 실시예에 따라 영상 통화 제공 시스템(100)은 이보다 더 많은 구성요소를 포함할 수도 있음은 물론이다.
상기 영상 통화 제공 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 필요한 하드웨어 리소스(resource) 및/또는 소프트웨어를 구비할 수 있으며, 반드시 하나의 물리적인 구성요소를 의미하거나 하나의 장치를 의미하는 것은 아니다. 즉, 상기 영상 통화 제공 시스템(100)은 본 발명의 기술적 사상을 구현하기 위해 구비되는 하드웨어 및/또는 소프트웨어의 논리적인 결합을 의미할 수 있으며, 필요한 경우에는 서로 이격된 장치에 설치되어 각각의 기능을 수행함으로써 본 발명의 기술적 사상을 구현하기 위한 논리적인 구성들의 집합으로 구현될 수도 있다. 또한, 상기 영상 통화 제공 시스템(100)은 본 발명의 기술적 사상을 구현하기 위한 각각의 기능 또는 역할별로 별도로 구현되는 구성들의 집합을 의미할 수도 있다. 또한, 본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예를 들면, 상기 모듈은 특정된 코드와 상기 특정된 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아님은 본 발명의 기술분야의 평균적 전문가에게는 용이하게 추론될 수 있다.
계속해서 도 5를 참조하면 상기 통신모듈(110)은 외부 장치와 통신을 수행하며, 각종 신호, 정보, 데이터를 송수신할 수 있다. 예를 들어 상기 통신모듈(110)은 상기 단말(200)과 통신을 수행할 수 있다. 상기 통신모듈(110)은 3G 모듈, LTE 모듈, LTE-A 모듈, Wi-Fi 모듈, WiGig 모듈, Ultra Wide Band(UWB) 모듈, LAN 카드 등의 원거리 통신 모듈 혹은 MST 모듈, Bluetooth 모듈, NFC 모듈, RFID 모듈, ZigBee 모듈, Z-Wave 모듈, IR 모듈 등의 근거리 통신 모듈을 포함할 수 있다.
상기 저장모듈(120)은 외부 장치로부터 수신/입력되는 데이터, 상기 단말(200)이 생성한 데이터 등 각종 데이터 및 컴퓨터 프로그램을 저장할 수 있다. 예를 들어 상기 저장모듈 (120)은 하나 이상의 시각적 오브젝트에 관한 정보, 사용자가 미리 입력한 프로파일 정보(예를 들면, 생년월일, 나이, 성별, 국적, 주소, 접속장소, 관심분야 등) 등을 저장할 수 있다. 상기 저장모듈(120)은 휘발성 메모리 및 비휘발성 메모리를 포함할 수 있다. 상기 저장모듈(120)은 예를 들어, 플래시 메모리, ROM(read-only memory), RAM(random-access memory), EEROM(electrically erasable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), 하드 디스크, 레지스터를 포함할 수 있다. 또는 상기 저장모듈(270)은 파일 시스템, 데이터베이스, 임베디드 데이터베이스를 포함할 수도 있다.
상기 제어모듈(130)은 상기 영상 통화 제공 시스템(100)에 포함된 다른 구성(예를 들면, 통신모듈(110), 메모리(120) 등)과 연결되어, 이들의 기능 및/또는 리소스를 제어할 수 있다. 또한 상기 제어모듈(130)은 상기 영상 통화 제공 시스템(100)이 후술하는 시각적 오브젝트 제공 방법을 수행하도록 제어할 수 있다. 상기 제어모듈(130)은 CPU(central processing unit), GPU(graphics processing unit), MCU(micro controller unit), 마이크로프로세서 등과 같은 프로세서를 포함할 수 있다.
상기 저장모듈(120)은 적어도 하나의 시각적 오브젝트에 관한 정보, 적어도 하나의 선택조건에 관한 정보를 저장할 수 있다.
상기 저장모듈(120)에 저장되는 각각의 선택 조건은 i) 적어도 하나의 인물 외형 조건, ii) 적어도 하나의 배경 조건, iii) 적어도 하나의 시간 관련 조건, iv) 적어도 하나의 위치 관련 조건, v) 프로필 조건 또는 vi) 통화 음성 관련 조건 중 적어도 일부를 포함할 수 있다.
인물 외형 조건은 영상통화 중인 인물 자체의 외형에 관한 조건으로서, 각각의 인물 외형 조건은 표정 조건, 제스처 조건 및 착용품 조건 중 적어도 하나를 포함할 수 있다.
표정 조건은 영상통화 중인 인물이 특정 표정을 짓고 있는지 여부에 관한 조건일 수 있다. 후술하는 바와 같이, 상기 제어모듈(130) 및/또는 선택 조건 생성모듈(140)은 영상 통화 화면을 분석하여 영상 통화 중인 인물이 짓고 있는 표정을 판단하고 표정 정보를 획득할 수 있으며, 획득한 표정 정보가 표정 조건을 만족하는지 여부를 판단할 수 있다. 상기 제어모듈(130)이 감지할 수 있는 표정은 미소 짓는 표정/웃는 표정/무표정/우는 표정/찡그리는 표정 등일 수 있다.
제스처 조건은 영상통화 중인 인물이 특정한 몸짓이나 손짓을 행하고 있는지 여부에 관한 조건일 수 있다. 상기 제어모듈(130) 및/또는 선택 조건 생성모듈(140)은 영상 통화 화면을 분석하여 영상 통화 중인 인물이 취하고 있는 제스처를 판단할 수 있다.
상기 제어모듈(130) 및/또는 선택 조건 생성모듈(140)은 해당 인물의 실제 정서나 감정 상태를 판단하는 것은 아니며, 영상 통화 화면 상에 나타난 인물의 외적 상태에 부합하는 표정 혹은 제스처를 판단할 수 있다.
착용품 조건은 영상통화 중인 인물이 특정한 물품을 착용하고 있는지 여부에 관한 조건일 수 있다. 예를 들어 착용품은 안경, 목걸이, 귀걸이, 모자, 옷 등일 수 있다. 또한, 착용품 조건은 착용품의 외형, 모양, 문양, 무늬, 또는 색상에 관한 조건을 포함할 수 있다.
이 외에도 상기 외형 조건은 안면의 형태, 눈/코/입/귀 등의 형태에 관한 조건을 더 포함할 수도 있다.
배경 조건은 영상통화 중인 인물 주변의 시각적 요소 관련된 조건일 수 있다. 예를 들어, 배경 조건은 영상통화 중인 인물의 배경에 특정한 오브젝트가 존재하는지 여부에 관한 조건, 인물의 주변 배경의 색상에 관한 조건 등일 수 있다. 배경에 등장하는 오브젝트는 인공물이거나 자연물일 수 있다. 후술하는 바와 같이, 상기 제어모듈(130) 및/또는 선택 조건 생성모듈(140)은 영상 통화 화면을 분석하여 인물 주변의 배경에 관한 정보를 획득할 수 있다.
시간 관련 조건은 사용자가 영상통화를 진행하고 있는 시간에 관련된 조건일 수 있다. 예를 들어 시간 관련 조건은 영상통화를 진행되고 있는 연도, 월, 날짜, 분기, 계절 등에 관한 조건일 수 있다.
위치 관련 조건은 영상 통화 중인 사용자의 위치와 관련된 조건일 수 있다. 예를 들어 위치 관련 조건은, 영상 통화 중인 사용자가 위치한 국가, 도시, 행정구역, 좌표 등에 관한 조건일 수 있다.
프로필 조건은 영상 통화 중인 인물의 프로필에 관한 조건일 수 있다. 프로필 조건은 사용자의 성별, 나이, 출생시기, 혈액형, 직업, 별명, 학력, 경력, 소속, 국적, 취미, 특기, 취향, 종교 또는 기타 개인정보 등에 관한 조건일 수 있다.
특정 사용자의 프로필은 해당 사용자에 의해 미리 입력되는 정보일 수 있다. 예를 들어 사용자는 영상 통화를 수행하기 전에 영상 통화 제공 시스템(100)에 자신의 프로필 정보를 미리 등록할 수 있으며, 상기 영상 통화 제공 시스템(100)은 사용자의 프로필 정보를 상기 저장모듈(120)에 저장할 수 있다.
통화 음성 관련 조건은 영상 통화 중에 통화자가 발화하는 통화 음성과 관련된 조건일 수 있다. 예를 들어 통화 음성 관련 조건은 목소리 톤이나 발화하는 음성의 내용(컨텍스트)에 관한 조건일 수 있다.
한편, 상기 저장모듈(120)은 시각적 오브젝트 선택 모델을 저장할 수 있다.
시각적 오브젝트 선택 모델은 상기 적어도 하나의 선택 조건과 상기 적어도 하나의 시각적 오브젝트간의 관계 정보를 포함할 수 있다. 즉, 상기 시각적 오브젝트 선택 모델은 적어도 하나의 선택 조건으로부터 특정한 시각적 오브젝트를 도출할 수 있도록 하는 양자간의 관계 정보를 정의하는 모델일 수 있다.
이해의 편의를 위해 가장 단순한 형태의 시각적 오브젝트의 실시 예를 살펴보면, 상기 시각적 오브젝트 선택 모델은 적어도 하나의 선택 조건으로 구성되는 선택 조건 리스트와 그에 대응되는 시각적 오브젝트의 쌍으로 구성될 수 있다. 예를 들어, 본 실시예에서, 상기 시각적 오브젝트 선택모델은 (<C1, …, CN>, V)와 형태의 적어도 하나의 관계 정보로 구성될 수 있다(여기서, C1 내지 CN은 임의의 선택 조건이며, N은 1 이상의 정수이며, V는 시각적 오브젝트 혹은 그를 식별할 수 있는 정보임).
다른 일 실시예에서, 상기 시각적 오브젝트 선택 모듈은 적어도 하나의 선택 조건과 그에 대응되는 2 이상의 시각적 오브젝트의 리스트의 쌍으로 구성될 수도 있다. 예를 들어 본 실시예에서, 상기 시각적 오브젝트 선택 모델은 (<C1, …, CN>, <V1, …, VM>|<P(V1), …, P(VM)>)와 같은 형태의 관계 정보를 저장할 수 있다(여기서, C1 내지 CN은 임의의 선택 조건이며, N은 1 이상의 정수이며, V1 내지 VM은 임의의 시각적 오브젝트 혹은 그를 식별할 수 있는 정보이며, M은 2 이상의 정수이며, P(Vm)는 V1 내지 VM 중 Vm일 확률임).
다른 일 실시예에서, 상기 시각적 오브젝트 선택 모델은 기계 학습에 의해 학습된 결과물의 형태일 수 있다. 예를 들어 상기 시각적 오브젝트 선택 모델은 딥러닝에 의해 학습된 뉴럴 네트워크, 베이지언 로지스틱 회귀 방법에 의해 학습된 베이지언 모델 등일 수 있다.
이 외에도 상기 시각적 오브젝트 선택 모델의 형태나 구현은 다양할 수 있다.
한편 상기 저장모듈(120)에 저장되는 시각적 오브젝트 선택 모델은 선택조건 생성모듈(140) 및 선택모델 생성모듈(150)에 의해 생성되거나 갱신될 수 있다.
상기 선택 조건 생성모듈(140)은 복수의 단말(200-1 내지 200-N)에서 영상 통화를 수행하는 도중에 사용자에 의해 시각적 오브젝트가 선택될 때마다, 선택된 시각적 오브젝트에 상응하는 선택 조건을 생성할 수 있다.
선택 모델 생성모듈(150)은 영상 통화가 진행 중인 단말에서 선택되는 각각의 시각적 오브젝트에 상응하는 선택 조건에 기초하여, 상기 시각적 오브젝트 선택 모델을 생성할 수 있다.
이하에서는 상기 선택 조건 생성모듈(140)이 선택 조건을 생성하는데 이용하는 시각적 오브젝트를 훈련 시각적 오브젝트이라고 칭하기로 한다.
도 6는 본 발명의 일 실시예에 따른 선택 조건 생성모듈(140)이 선택 조건을 생성하는 방법을 나타내는 흐름도이다.
도 6를 참조하면, 영상 통화 중인 사용자가 훈련 시각적 오브젝트를 선택하는 경우, 상기 선택 조건 생성모듈(140)은 훈련 시각적 오브젝트 선택 시의 영상 통화 화면으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 인물의 외형 조건을 생성할 수 있다(S100).
상기 훈련 시각적 오브젝트 선택 시의 영상 통화 화면은 선택된 시점에 촬영된 한 장의 이미지일 수도 있으며, 선택된 시점에서 전의 특정 시점으로부터 선택된 시점까지 촬영된 다수의 이미지 및/또는 선택된 시점으로부터 선택된 시점 이후의 특정 시점까지 촬영된 다수의 이미지일 수도 있다.
또한 상기 선택 조건 생성모듈(140)은 상기 선택된 훈련 시각적 오브젝트 선택 시의 영상 통화 화면으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 배경 조건을 생성할 수 있다(S110).
일 실시예에서, 상기 선택 조건 생성모듈(140)은 영상 통화 화면에 나타난 인물 주변의 배경 정보를 획득하기 위하여, 상기 영상 통화 화면에 기초하여 상기 영상 통화 화면에 나타난 인물 주변의 오브젝트를 인식할 수 있다.
상기 선택 조건 생성모듈(140)은 공지된 다양한 이미지 분석기법을 통하여 상기 영상 통화 화면에 나타난 인물의 외형 정보 및/또는 배경 정보를 획득할 수 있다.
또한 상기 선택 조건 생성모듈(140)은 상기 선택된 훈련 시각적 오브젝트를 선택한 시간 정보를 획득하고, 획득한 상기 시간 정보에 기초하여 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 시간 관련 조건을 생성할 수 있다(S120).
시간 관련 정보는 사용자가 영상통화를 진행하고 있는 시간에 관련된 정보일 수 있다.
일 실시예에서, 상기 선택 조건 생성모듈(140)은 시스템 내부의 타이머를 통하여 시간 정보를 획득하거나 외부의 타임 서버로부터 시간 정보를 수신할 수 있으며, 획득한 시간 정보로부터 다양한 시간 관련 정보를 생성할 수 있다.
또한 상기 선택 조건 생성모듈(140)은 상기 선택된 훈련 시각적 오브젝트를 선택한 사용자의 위치 정보를 획득하고, 획득한 상기 위치 정보에 기초하여 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 위치 관련 조건을 생성할 수 있다(S130).
위치 관련 정보는 영상 통화 중인 사용자의 위치와 관련된 정보일 수 있다.
일 실시예에서, 상기 선택 조건 생성모듈(140)은 영상 통화 중인 단말에 의해 제공되는 위치 정보를 통하여 다양한 위치 관련 정보를 생성할 수 있다. 또는 상기 선택 조건 생성모듈(140)은 영상 통화 중인 단말에 의해 직접 위치 관련 정보를 수신할 수도 있다.
상기 선택 조건 생성모듈(140)은 훈련 시각적 오브젝트를 선택한 사용자의 프로필 정보를 획득하고, 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 프로필 조건을 생성할 수 있다(S140).
일 실시예에서 상기 선택 조건 생성모듈(140)은 상기 저장모듈(120)에 미리 저장된 사용자의 프로필 정보를 획득할 수 있다.
상기 선택 조건 생성모듈(140)은 상기 선택된 훈련 시각적 오브젝트의 선택 시점을 포함하는 소정의 기간 동안 영상 통화 중에 발화된 통화 음성을 획득하고, 획득한 통화 음성으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 통화 음성 관련 조건을 생성할 수 있다(S150).
상술한 바와 같이, 일 실시예에서, 음성 관련 조건은 목소리 톤을 포함할 수 있다. 이 경우 상기 선택 조건 생성모듈(140)은 통화 음성의 파형을 분석하여 목소리 톤에 관한 정보를 생성할 수 있다.
또한 일 실시예에서, 음성 관련 조건은 통화 음성의 컨텍스트 정보를 포함할 수 있다. 이 경우, 상기 선택 조건 생성모듈(140)은 통화 음성에 Speech-to-Text 기법을 적용하여 통화 음성을 텍스트로 변환할 수 있다. 또한 실시예에 따라 상기 선택 조건 생성모듈(140)은 변환된 텍스트에 대한 의미론적 분석을 수행함으로써 통화 음성으로부터 컨텍스트 정보를 획득할 수 있다.
한편, 상기 선택 조건 생성모듈(140)은 상기 외형 조건, 배경 조건, 시간 관련 조건 및/또는 위치 관련 조건을 포함하는 선택 조건을 생성할 수 있다(S160).
다시 도 5를 참조하면, 상기 선택 모델 생성모듈(150)은 기계학습을 수행하여 시각적 오브젝트 선택 모델을 생성할 수 있다.
상기 선택 모델 생성모듈(150)은 공지된 다양한 기계학습 방법을 적용하여 시각적 오브젝트 선택 모델을 생성할 수 있다.
기계학습은 학습 데이터로부터 추론 함수를 구하는 것으로서, 특히 상기 선택 모델 생성모델(150)이 수행하는 기계학습은 지도학습(Supervised Learning)일 수 있다. 지도학습은 레이블이 부여된 입력 데이터를 통해 학습을 수행하는 기계학습을 의미할 수 있다. 지도학습에서는 학습 데이터를 분석하여 추론함수를 도출하며, 이후 입력 데이터의 결과값을 추론할 수 있다.
예를 들어, 상기 선택 모델 생성모듈(150)은 k-NN(Nearest Neighbor), 뉴럴 네트워크, 딥러닝(Deep Learning), SVM(Support Vector Machine), 의사 결정 트리(Decision Tree), Random Forest, k-Means Clustering, 은닉 마르코프 모델(Hidden Markov Model), 베이지언 로지스틱 회귀분석(Bayesian Logistic Regression)과 같은 기계학습 방법을 적용하여 시각적 오브젝트 선택 모델을 생성할 수 있다.
상기 선택 모델 생성모듈(150)은 기계학습의 두 단계, 즉 학습 단계와 추론 단계 중 학습 단계를 수행하는 모듈일 수 있다.
상기 선택 모델 생성모듈(150)에 의해 수행되는 기계 학습의 학습 데이터는 상기 복수의 단말(200)에서 영상 통화 중에 선택되는 훈련 시각적 오브젝트 및 각각의 훈련 시각적 오브젝트에 상응하는 선택 조건일 수 있다. 예를 들어, 상기 선택 조건 생성모듈(140)에 의해 생성되는 선택 조건이 학습 데이터의 특징 값이며, 그에 상응하는 훈련 시각적 오브젝트가 학 데이터의 레이블일 수 있다.
상술한 시각적 오브젝트 선택 모델은 상기 선택 모델 생성모듈(150)이 수행하는 기계학습에 의존적인 형태일 수 있다.
상기 선택 모델 생성모듈(150)에 의해 학습이 완료된 후, 상기 제어모듈(130)은 학습된 결과에 의한 추론 단계를 수행할 수 있다.
즉, 시각적 오브젝트 선택 모델이 생성된 후, 상기 제어모듈(130)은 상기 시각적 오브젝트 선택 모델에 기초하여, 영상 통화를 수행하는 단말(예를 들어, 200-1) 및 상기 단말(200-1)의 상대방 단말(예를 들어, 200-2) 중 적어도 하나에서 특정된 시각적 오브젝트 표시 시점에 표시될 추천 시각적 오브젝트를 결정할 수 있다.
일 실시예에서, 시각적 오브젝트 표시 시점은 두 단말이 영상통화를 개시하는 시점일 수 있다. 또는 두 단말이 영상 통화를 개시한 후 특정된 기간이 경과한 시점일 수도 있다. 또는 영상 통화 중인 사용자가 영상 통화 제공 시스템(100)에 시각적 오브젝트를 추천하라는 명령을 입력하는 시점일 수도 있다.
도 7은 상기 제어모듈(130)이 추천 시각적 오브젝트를 결정하는 방법을 도시한 흐름도이다.
도 7을 참조하면, 상기 제어모듈(130)은 상기 시각적 오브젝트 표시 시점에서 상기 단말에 의해 촬영된 영상 통화 화면에 기초하여, 상기 영상 통화 화면에 나타난 인물의 외형 정보를 획득할 수 있다(S200).
일 실시예에서, 상기 제어모듈(130)은 상기 영상 통화 화면에 기초하여, 상기 인물의 표정을 특정하기 위한 표정 정보, 상기 인물의 제스처를 특정하기 위한 제스처 정보를 획득하고, 상기 인물이 착용하고 있는 착용품을 특정하기 위한 착용품 정보를 획득할 수 있다.
한편 상기 제어모듈(130)은 상기 시각적 오브젝트 표시 시점에서 상기 단말에 의해 촬영된 상기 영상 통화 화면에 기초하여, 상기 영상 통화 화면에 나타난 인물 주변의 배경 정보를 획득할 수 있다(S210).
또한 상기 제어모듈(130)은 영상 통화 중인 상기 단말의 위치 정보를 획득할 수 있다(S220).
또한 상기 제어모듈(130)은 상기 단말의 사용자의 프로필 정보를 획득할 수 있다(S230).
또한 상기 제어모듈(130)은 영상 통화 중에 발화되는 통화 음성으로부터 통화 음성 관련 정보를 획득할 수 있다(S240).
이후 상기 제어모듈(130)은 상기 인물의 외형 정보, 상기 배경 정보, 상기 단말의 위치 정보, 상기 시각적 오브젝트 표시 시점, 상기 프로필 정보 및 상기 통화 음성 관련 정보 중 적어도 일부와 상기 시각적 오브젝트 선택 모델에 기초하여, 상기 적어도 하나의 시각적 오브젝트 중 어느 하나를 상기 추천 시각적 오브젝트로 결정할 수 있다(S250).
일 실시예에서, 상기 제어모듈(130)은 상기 인물의 외형 정보, 배경 정보, 상기 단말의 위치 정보 및 상기 시각적 오브젝트 표시 시점 중 적어도 일부로 구성되는 선택 조건을 상기 시각적 오브젝트 선택 모델에 적용하여 상기 선택 조건에 대응되는 시각적 오브젝트를 확인할 수 있다.
다시 도 5를 참조하면, 상기 표시모듈(160)은 상기 제어모듈(130)에 의해 결정된 상기 추천 시각적 오브젝트을 상기 단말(예를 들면, 200-1) 또는 상기 단말의 상대방 단말(예를 들면, 200-2)의 영상 통화 화면에 표시할 수 있다.
자동 선택된 상기 추천 시각적 오브젝트는 단말(200-1 및/또는 200-2)에 바로 디스플레이될 수 있다. 또는 상기 추천 시각적 오브젝트를 포함하는 추천 리스트 상의 특정 위치(예를 들면 최상단)에 위치하거나, 추천 대상임을 나타내는 특별한 마크와 함께 리스트 상에 표시될 수도 있다.
한편, 실시 예에 따라서, 상기 영상 통화 제공 시스템(100)은 프로세서 및 상기 프로세서에 의해 실행되는 프로그램을 저장하는 메모리를 포함할 수 있다. 도 5여기서, 상기 프로그램은, 프로세서에 의해 실행되는 경우, 본 실시예에 따른 영상 통화 제공 시스템(100)으로 하여금, 상술한 시각적 오브젝트 제공 방법을 수행하도록 할 수 있다.
상기 프로세서는 상기 영상 통화 제공 시스템(100)를 구성하는 하드웨어 및/또는 소프트웨어를 제어할 수 있으며, CPU, GPU, MCU, 마이크로프로세서 등을 포함할 수 있다. 상기 메모리는 예를 들어, 플래시 메모리, ROM, RAM, EEROM, EPROM, EEPROM, 하드 디스크, 레지스터를 포함할 수 있다.
한편, 본 발명의 실시예에 따른 시각적 오브젝트 제공 방법은 컴퓨터가 읽을 수 있는 프로그램 명령 외관으로 구현되어 컴퓨터로 읽을 수 있는 기록 매체에 저장될 수 있으며, 본 발명의 실시예에 따른 제어 프로그램 및 대상 프로그램도 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
기록 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 외관으로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성요소들도 결합된 외관으로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타나며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 외관이 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (13)

  1. 영상 통화를 제공하는 방법으로서,
    영상 통화 제공 시스템이, 적어도 하나의 시각적 오브젝트 및 적어도 하나의 선택 조건간의 관계 정보를 포함하는 시각적 오브젝트 선택 모델을 저장하는 단계; 및
    상기 영상 통화 제공 시스템이, 상기 시각적 오브젝트 선택 모델에 기초하여, 영상 통화를 수행하는 복수의 단말 중 적어도 하나에서 특정된 시각적 오브젝트 표시 시점에 표시될 추천 시각적 오브젝트를 결정하는 단계를 포함하고,
    상기 선택 조건은, 적어도 하나의 인물 외형 조건, 적어도 하나의 배경 조건, 적어도 하나의 시간 관련 조건, 적어도 하나의 위치 관련 조건, 프로필 조건 및 통화 음성 관련 조건 중 적어도 하나를 포함하고,
    상기 추천 시각적 오브젝트를 결정하는 단계는,
    상기 시각적 오브젝트 표시 시점에서 상기 복수의 단말 중 적어도 하나에 의해 촬영된 영상 통화 화면으로부터, 상기 영상 통화 화면에 나타난 인물의 외형 정보를 획득하는 단계;
    상기 시각적 오브젝트 표시 시점에서 상기 복수의 단말 중 적어도 하나에 의해 촬영된 상기 영상 통화 화면으로부터, 상기 영상 통화 화면에 나타난 인물 주변의 배경 정보를 획득하는 단계;
    상기 단말의 위치 정보를 획득하는 단계;
    상기 단말의 사용자의 프로필 정보를 획득하는 단계;
    상기 복수의 단말 중 적어도 하나에 의해 수행되는 영상 통화 중에 발화되는 통화 음성으로부터 통화 음성 관련 정보를 획득하는 단계; 및
    상기 인물의 외형 정보, 상기 배경 정보, 상기 단말의 위치 정보, 상기 시각적 오브젝트 표시 시점, 상기 프로필 정보 및 상기 통화 음성 관련 정보 중 적어도 하나와 상기 시각적 오브젝트 선택 모델에 기초하여, 상기 적어도 하나의 시각적 오브젝트 중 어느 하나를 상기 추천 시각적 오브젝트로 결정하는 단계를 포함하되,
    상기 시각적 오브젝트 선택 모델을 저장하는 단계는,
    상기 영상 통화 제공 시스템이, 상기 복수의 단말에서 영상 통화를 수행하는 도중에 사용자에 의해 훈련 시각적 오브젝트가 선택될 때, 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건을 특정하는 단계;
    상기 영상 통화 제공 시스템이, 상기 선택된 각각의 훈련 시각적 오브젝트에 상응하는 선택 조건에 기초하여, 상기 시각적 오브젝트 선택 모델을 생성하는 단계; 및
    상기 영상 통화 제공 시스템이, 상기 생성된 시각적 오브젝트 선택 모델을 저장하는 단계를 포함하고,
    상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건을 특정하는 단계는,
    상기 선택된 훈련 시각적 오브젝트 선택 시의 영상 통화 화면으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 상기 영상 통화 화면에 나타난 인물의 외형 조건을 생성하는 단계;
    상기 선택된 훈련 시각적 오브젝트 선택 시의 영상 통화 화면으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 상기 영상 통화 화면에 나타난 인물 주변의 배경 조건을 생성하는 단계;
    상기 선택된 훈련 시각적 오브젝트를 선택한 시간 정보를 획득하고, 획득한 상기 시간 정보로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 시간 관련 조건을 생성하는 단계;
    상기 선택된 훈련 시각적 오브젝트를 선택한 사용자의 위치 정보를 획득하고, 획득한 상기 위치 정보로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 위치 관련 조건을 생성하는 단계;
    상기 선택된 훈련 시각적 오브젝트를 선택한 사용자의 프로필 정보를 획득하고, 상기 획득한 프로필 정보로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 프로필 조건을 생성하는 단계; 및
    상기 선택된 훈련 시각적 오브젝트의 선택 시점을 포함하는 소정의 기간 동안 발화된 통화 음성을 획득하고, 획득한 통화 음성으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 통화 음성 관련 조건을 생성하는 단계를 포함하는 영상 통화를 제공하는 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 인물 외형 조건 각각은, 표정 조건, 제스처 조건 및 착용품 조건 중 적어도 하나를 포함하고,
    상기 시각적 오브젝트 표시 시점에서 상기 복수의 단말 중 어느 하나에 의해 촬영된 영상 통화 화면으로부터, 상기 영상 통화 화면에 나타난 인물의 외형 정보를 획득하는 단계는,
    상기 영상 통화 화면으로부터, 상기 인물의 표정 정보를 획득하는 단계;
    상기 영상 통화 화면으로부터, 상기 인물의 제스처 정보를 획득하는 단계; 및
    상기 영상 통화 화면으로부터, 상기 인물의 착용품 정보를 획득하는 단계를 포함하는 영상 통화를 제공하는 방법.
  3. 제1항에 있어서,
    상기 통화 음성 관련 조건 각각은, 목소리 톤 조건 및 통화 컨텍스트 조건 중 적어도 하나를 포함하고,
    상기 통화 음성 관련 정보를 획득하는 단계는,
    상기 영상 통화 중에 발화되는 통화 음성으로부터 목소리 톤 정보를 획득하는 단계; 및
    상기 영상 통화 중에 발화되는 통화 음성으로부터 통화 컨텍스트 정보를 획득하는 단계를 포함하는 영상 통화를 제공하는 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 시각적 오브젝트 선택 모델을 생성하는 단계는,
    상기 복수의 단말 중 적어도 하나에서 선택되는 훈련 시각적 오브젝트 및 상기 훈련 시각적 오브젝트의 각각에 상응하는 선택 조건이 학습 데이터인 기계학습을 수행하여 상기 시각적 오브젝트 선택 모델을 생성하는 단계를 포함하는 영상 통화를 제공하는 방법.
  6. 제1항에 있어서,
    상기 결정된 시각적 오브젝트를 상기 복수의 중 적어도 하나의 영상 통화 화면에 표시하는 단계를 더 포함하는 영상 통화를 제공하는 방법.
  7. 제1항 내지 제3항, 제5항 및 제6항 중 어느 한 항에 기재된 방법을 수행하기 위한 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체.
  8. 컴퓨팅 시스템으로서,
    프로세서; 및
    컴퓨터 프로그램을 저장하는 메모리를 포함하고,
    상기 컴퓨터 프로그램은, 상기 프로세서에 의해 실행되는 경우, 상기 컴퓨팅 시스템으로 하여금 제1항 내지 제3항, 제5항 및 제6항 중 어느 한 항에 기재된 방법을 수행하도록 하는 컴퓨팅 시스템.
  9. 영상 통화 제공 시스템으로서,
    적어도 하나의 시각적 오브젝트 및 적어도 하나의 선택 조건간의 관계 정보를 포함하는 시각적 오브젝트 선택 모델을 저장하는 저장모듈; 및
    상기 시각적 오브젝트 선택 모델에 기초하여, 영상 통화를 수행하는 복수의 단말 중 적어도 하나에서 특정된 시각적 오브젝트 표시 시점에 표시될 추천 시각적 오브젝트를 결정하는 제어모듈을 포함하되,
    상기 선택 조건은, 적어도 하나의 인물 외형 조건, 적어도 하나의 배경 조건, 적어도 하나의 시간 관련 조건, 적어도 하나의 위치 관련 조건, 프로필 조건 및 통화 음성 관련 조건 중 적어도 하나를 포함하고,
    상기 제어모듈은,
    상기 시각적 오브젝트 표시 시점에서 상기 복수의 단말 중 적어도 하나에 의해 촬영된 영상 통화 화면으로부터 상기 영상 통화 화면에 나타난 인물의 외형 정보를 획득하고, 상기 시각적 오브젝트 표시 시점에서 상기 복수의 단말 중 적어도 하나에 의해 촬영된 상기 영상 통화 화면으로부터 상기 영상 통화 화면에 나타난 인물 주변의 배경 정보를 획득하고, 상기 단말의 위치 정보를 획득하고, 상기 단말의 사용자의 프로필 정보를 획득하고, 상기 복수의 단말 중 적어도 하나에 의해 수행되는 영상 통화 중에 발화되는 통화 음성으로부터 통화 음성 관련 정보를 획득하고,
    상기 인물의 외형 정보, 상기 배경 정보, 상기 단말의 위치 정보, 상기 시각적 오브젝트 표시 시점, 상기 프로필 정보 및 상기 통화 음성 관련 정보 중 적어도 하나와 상기 시각적 오브젝트 선택 모델에 기초하여, 상기 적어도 하나의 시각적 오브젝트 중 어느 하나를 상기 추천 시각적 오브젝트로 결정하며,
    상기 영상 통화 제공 시스템은,
    상기 복수의 단말에서 영상 통화를 수행하는 도중에 사용자에 의해 훈련 시각적 오브젝트가 선택될 때, 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건을 특정하는 선택 조건 특정모듈; 및
    상기 선택된 훈련 시각적 오브젝트 각각에 상응하는 선택 조건에 기초하여, 상기 시각적 오브젝트 선택 모델을 생성하는 선택 모델 생성모듈을 더 포함하며,
    상기 선택 조건 특정모듈은,
    상기 선택된 훈련 시각적 오브젝트 선택 시의 영상 통화 화면으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 상기 영상 통화 화면에 나타난 인물의 외형 조건을 생성하고,
    상기 선택된 훈련 시각적 오브젝트 선택 시의 영상 통화 화면으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 상기 영상 통화 화면에 나타난 인물 주변의 배경 조건을 생성하고,
    상기 선택된 훈련 시각적 오브젝트를 선택한 시간 정보를 획득하고, 상기 획득한 시간 정보로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 시간 관련 조건을 생성하고,
    상기 선택된 훈련 시각적 오브젝트를 선택한 사용자의 위치 정보를 획득하고, 상기 획득한 위치 정보로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 위치 관련 조건을 생성하고,
    상기 선택된 훈련 시각적 오브젝트를 선택한 사용자의 프로필 정보를 획득하고, 상기 획득한 프로필 정보로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 프로필 조건을 생성하고,
    상기 선택된 훈련 시각적 오브젝트의 선택 시점을 포함하는 소정의 기간 동안 발화된 통화 음성을 획득하고, 상기 획득한 통화 음성으로부터 상기 선택된 훈련 시각적 오브젝트에 상응하는 선택 조건에 포함될 통화 음성 관련 조건을 생성하는 영상 통화 제공 시스템.
  10. 제9항에 있어서,
    상기 시각적 오브젝트 선택 조건에 포함되는 상기 적어도 하나의 인물 외형 조건 각각은, 표정 조건, 제스처 조건 및 착용품 조건 중 적어도 하나를 포함하고,
    상기 제어모듈은, 상기 시각적 오브젝트 표시 시점에서 상기 단말에 의해 촬영된 영상 통화 화면으로부터 상기 영상 통화 화면에 나타난 인물의 외형 정보를 획득하기 위하여,
    상기 영상 통화 화면으로부터 상기 인물의 표정 정보를 획득하고, 상기 인물의 제스처 정보를 획득하고, 상기 인물의 착용품 정보를 획득하는 영상 통화 제공 시스템.
  11. 삭제
  12. 제9항에 있어서,
    상기 선택 모델 생성모듈은,
    상기 복수의 단말 중 적어도 하나에서 선택되는 훈련 시각적 오브젝트 및 상기 훈련 시각적 오브젝트의 각각에 상응하는 선택 조건이 학습 데이터인 기계학습을 수행하여 상기 시각적 오브젝트 선택 모델을 생성하는 영상 통화 제공 시스템.
  13. 제9항에 있어서, 상기 영상 통화 제공 시스템은,
    결정한 상기 추천 시각적 오브젝트를 상기 단말 또는 상기 단말의 상대방 단말의 영상 통화 화면에 표시하는 표시모듈을 더 포함하는 영상 통화 제공 시스템.
KR1020180034189A 2018-03-26 2018-03-26 영상 통화를 제공하는 방법 및 영상 통화 제공 시스템 KR102125735B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180034189A KR102125735B1 (ko) 2018-03-26 2018-03-26 영상 통화를 제공하는 방법 및 영상 통화 제공 시스템
US16/363,856 US10602091B2 (en) 2018-03-26 2019-03-25 Method and system for providing video call service

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180034189A KR102125735B1 (ko) 2018-03-26 2018-03-26 영상 통화를 제공하는 방법 및 영상 통화 제공 시스템

Publications (2)

Publication Number Publication Date
KR20190112340A KR20190112340A (ko) 2019-10-07
KR102125735B1 true KR102125735B1 (ko) 2020-06-23

Family

ID=67985916

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180034189A KR102125735B1 (ko) 2018-03-26 2018-03-26 영상 통화를 제공하는 방법 및 영상 통화 제공 시스템

Country Status (2)

Country Link
US (1) US10602091B2 (ko)
KR (1) KR102125735B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102646276B1 (ko) * 2019-10-29 2024-03-11 라인플러스 주식회사 새로운 사람을 소개해주는 영상통화의 통화시간을 공평하게 과금하는 방법 및 시스템
US11272140B2 (en) * 2019-12-04 2022-03-08 Meta Platforms, Inc. Dynamic shared experience recommendations
CN111966909B (zh) * 2020-08-26 2023-07-21 腾讯科技（深圳）有限公司 视频推荐方法、装置、电子设备及计算机可读存储介质
CN114125351A (zh) * 2020-08-28 2022-03-01 华为技术有限公司 视频互动方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090002479A1 (en) * 2007-06-29 2009-01-01 Sony Ericsson Mobile Communications Ab Methods and terminals that control avatars during videoconferencing and other communications
US20120206560A1 (en) * 2011-02-11 2012-08-16 Eric Setton Augmenting a video conference
US20140139609A1 (en) * 2012-11-16 2014-05-22 At&T Intellectual Property I, Lp Method and apparatus for providing video conferencing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090002479A1 (en) * 2007-06-29 2009-01-01 Sony Ericsson Mobile Communications Ab Methods and terminals that control avatars during videoconferencing and other communications
US20120206560A1 (en) * 2011-02-11 2012-08-16 Eric Setton Augmenting a video conference
US20140139609A1 (en) * 2012-11-16 2014-05-22 At&T Intellectual Property I, Lp Method and apparatus for providing video conferencing

Also Published As

Publication number Publication date
KR20190112340A (ko) 2019-10-07
US20190297301A1 (en) 2019-09-26
US10602091B2 (en) 2020-03-24

Similar Documents

Publication Publication Date Title
KR102073351B1 (ko) 서버 및 그것의 동작 방법
US9936127B2 (en) Systems and methods for providing attention directing functions in an image capturing device
KR102125735B1 (ko) 영상 통화를 제공하는 방법 및 영상 통화 제공 시스템
KR102271308B1 (ko) 영상통화 중에 상호작용 가능한 시각적 오브젝트를 제공하기 위한 방법, 및 이를 수행하는 상호작용 가능한 시각적 오브젝트 제공 시스템
US10878631B2 (en) Providing an augmented reality overlay for display over a view of a user
US11108991B2 (en) Method and apparatus for contextual inclusion of objects in a conference
US10719713B2 (en) Suggested comment determination for a communication session based on image feature extraction
KR102311603B1 (ko) 단말기 및 그것의 동작 방법
KR102455966B1 (ko) 중개 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR20130022434A (ko) 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
CN105825522A (zh) 图像处理方法和支持该方法的电子设备
KR101979650B1 (ko) 서버 및 그것의 동작 방법
KR20230124083A (ko) 햅틱 피드백 응답을 갖는 통신 인터페이스
US20230254272A1 (en) Systems and methods for initiating communication between users based on machine learning techniques
KR20230161516A (ko) 햅틱 피드백 응답을 갖는 가상 현실 인터페이스
KR20230160905A (ko) 햅틱 및 오디오 피드백 응답을 갖는 인터페이스
KR20230160918A (ko) 햅틱 및 오디오 피드백 응답을 갖는 인터페이스
KR20230124081A (ko) 햅틱 피드백 응답을 갖는 통신 인터페이스
KR20230124082A (ko) 햅틱 피드백 증강들을 갖는 미디어 콘텐츠 아이템들
KR20230152723A (ko) 평균 스무딩을 사용하여 이미지-대-이미지 모델들 압축
KR20230021753A (ko) 외향 디스플레이를 갖는 스마트 안경
CN111145080A (zh) 一种图像生成模型的训练方法、图像生成方法及装置
US20220318303A1 (en) Transmitting metadata via inaudible frequencies
US20220319061A1 (en) Transmitting metadata via invisible light
KR20240052043A (ko) 대화 안내 증강 현실 경험

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant