KR20150032674A - 통신 시스템 - Google Patents

통신 시스템 Download PDF

Info

Publication number
KR20150032674A
KR20150032674A KR1020147036550A KR20147036550A KR20150032674A KR 20150032674 A KR20150032674 A KR 20150032674A KR 1020147036550 A KR1020147036550 A KR 1020147036550A KR 20147036550 A KR20147036550 A KR 20147036550A KR 20150032674 A KR20150032674 A KR 20150032674A
Authority
KR
South Korea
Prior art keywords
user terminal
user
image
terminal
video
Prior art date
Application number
KR1020147036550A
Other languages
English (en)
Other versions
KR102077354B1 (ko
Inventor
조나단 데이비드 로젠버그
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20150032674A publication Critical patent/KR20150032674A/ko
Application granted granted Critical
Publication of KR102077354B1 publication Critical patent/KR102077354B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72439—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for image or video messaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Image Processing (AREA)

Abstract

사용자 단말기는 비디오 신호를 수신하는 입력부와, 이 비디오 신호로부터 유도된 비디오 이미지를 사용자에게 디스플레이하는 디스플레이를 포함한다. 비디오 신호로부터 유도된 비디오 이미지를 향상시키는 적어도 하나의 효과를 사용자로부터 수신하기 위해 선택 입력이 제공된다. 사용자 단말기는 선택된 효과에 의해 향상된 비디오 신호로부터 유도된 비디오 이미지를 디스플레이 상에 렌더링하는 렌더링 장치를 포함한다.

Description

통신 시스템{COMMUNICATION SYSTEM}
패킷 기반 통신 시스템은 퍼스널 컴퓨터와 같은 장치의 사용자가 인터넷과 같은 컴퓨터 네트워크를 통해 통신할 수 있도록 해준다. 패킷 기반 통신 시스템은 사용자로 하여금 인터넷을 통해 라이브 비디오 스트림을 교환할 수 있게 하는 IP(internet protocol)를 통한 비디오 통신 시스템을 포함한다. 이들 시스템은 흔히 고정 회선 또는 모바일 네트워크보다 훨씬 저렴한 비용이 들기 때문에, 이들 시스템은 사용자에게 유익하다. 이것은 장거리 통신의 경우에 특히 그러하다. IP를 통한 비디오(video-over IP) 시스템을 사용하기 위해, 사용자는 클라이언트 소프트웨어를 자신의 장치에 설치하여 실행시켜야 한다. 클라이언트 소프트웨어는 등록 및 인증과 같은 비디오 IP 접속 및 기타 기능을 제공한다. 비디오 통신에서, 클라이언트는 또한 오디오, 인스턴트 메시징(instant messaging; "IM"), SMS 메시징 및 보이스메일과 같은 추가 특징을 제공할 수도 있다.
이에 따라 사용자들은 제각기의 컴퓨터 단말기 각각에 탑재된 웹 캠으로부터 취해진 화상들을 교환함으로써 화상통화(face-to-face video call)를 할 수 있다.
화상 통신은 화상을 향상 또는 변경하는 "특수 효과(special effect)"의 사용에 의해 향상될 수 있다. 현재, 이것은 수신 단에서 렌더링된 자신의 이미지를 향상시킬 효과를 선택할 수 있는 전송 단의 사용자로 제한된다. 이것의 일례는 http://www.logitech.com/enus/webcam-communications/video-software-services/video-effects의 웹 주소에서 볼 수 있다.
본 개요는 후속하여 발명의 상세한 설명 부분에서 설명되는 개념들 중 선택된 것들을 단순화된 형태로 소개하고자 제공되는 것이다. 본 개요는 청구항의 청구대상의 핵심적인 특징이나 필수적인 특징들을 밝히고자 함이 아니며, 청구항의 청구대상의 범위를 결정하는 데 도움이 되고자 함도 아니다.
사용자 단말기는 비디오 신호를 수신하는 입력부와, 비디오 신호로부터 유도된 비디오 이미지를 사용자에게 디스플레이하는 디스플레이부를 포함하며 이하에 설명된다. 비디오 신호로부터 유도된 비디오 이미지를 향상시키기 위한 적어도 하나의 효과를 사용자로부터 수신하기 위한 선택 입력부가 제공된다. 사용자 단말기는 선택된 효과에 의해 향상된 비디오 신호로부터 유도된 비디오 이미지를 디스플레이 상에서 렌더링하기 위한 렌더링 장치를 포함한다.
컴퓨터 프로그램 제품은 프로세서에 의해 실행될 경우에 비디오 신호를 렌더링하는 방법을 구현하는 프로그램 코드를 포함한다. 한 방법에 따르면, 선택된 효과의 표시가 사용자 단말기에서 수신된다. 사용자의 이미지는 사용자 단말기에서 캡처되고, 사용자 단말기에서 캡처된 이미지는 사용자 단말기의 디스플레이에서 렌더링되며 선택된 효과에 의해 이미지를 향상시킨다.
개시된 실시예들을 보다 잘 이해하기 위해, 그리고 이들 실시예가 수행되는 방법을 보여주기 위해, 예로서 첨부 도면을 참고할 것이다.
도 1은 하나 이상의 실시예에 따른 통신 시스템의 개략적인 블록도이다.
도 2는 하나 이상의 실시예에 따른 근단(near-end) 사용자 단말기에서의 기능 블록들의 개략적인 블록도이다.
도 3 내지 7은 하나 이상의 실시예에 따른 선택된 효과들의 스크린 샷들을 도시한 것이다.
도 8은 하나 이상의 실시예에 따른 원단(far-end) 단말기에서의 기능 블록들의 개략적인 블록도이다.
도 9는 하나 이상의 실시예에 따른 소셜 미디어 포스팅의 스크린 샷이다.
아래에서 설명되는 실시예들에 있어서, 사용자는 비디오 효과 "포토 부스(photo booth)" 스타일을 자신의 비디오에 적용할 수 있다. 사용자는 비디오 효과를 통화중인 상대방(원격 사용자)에게 적용할 수 있다. 예를 들어, 앨리스가 밥에게 전화를 하고 있다면, 앨리스는 이 효과를 밥의 비디오에 적용할 수 있고 적용된 효과를 갖는 밥을 볼 수 있을 것이다. 밥은 자신의 셀프뷰(self-view)에서 자신에게 적용된 이 효과를 볼 수 있고 이를 통지받는다. 하나 이상의 실시예에서, 밥에게 이 효과를 앨리스에게 적용하는 옵션이 주어질 수 있다.
하나 이상의 실시예에서, 밥이나 앨리스는 이 효과가 있는 스크린 샷을 찍을 수 있고 소셜 미디어 환경, 예컨대, 페이스북 월에 포스팅할 수 있다. 일단 포스팅되면, 포스트에서 클릭하는 것은 제3자에게 이 효과를 획득할 기회를 준다.
이 효과는, 예컨재 사용자의 머리나 눈을 추적하는 정적 이미지일 수 있다. 애니메이션 효과도 가능하다.
도 1은 제1 사용자 단말기(2)가 비디오 데이터를 통신망, 예컨대 인터넷(6)과 같은 패킷 기반 네트워크를 통해 제2 사용자 단말기(4)와 교환하도록 구성되어 있는 통신 시스템의 개략적인 블록도이다. 제2 사용자 단말기(4)는 양방향 통신 이벤트(화상 통화)에서 비디오 데이터를 수신하고 비디오 데이터를 송신한다. 참조번호 70은 수신된 비디오 데이터를 나타내고, 참조번호 72는 제각기의 단말기로부터 송신된 비디오 데이터를 나타낸다.
한 유형의 패킷 기반 통신 시스템은 독점 프로토콜로 구축된 피어투피어(P2P) 토폴로지를 이용한다. 피어투피어 시스템에 액세스할 수 있도록 하기 위해, 사용자는 P2P 소프트웨어 제공자에 의해 제공된 P2P 클라이언트 소프트웨어를 자신의 컴퓨터 상에서 실행해야 하며, P2P 시스템에 등록해야 한다. 사용자가 P2P 시스템에 등록할 때, 클라이언트 소프트웨어는 서버로부터 디지털 인증서를 제공받는다. 클라이언트 소프트웨어가 인증서를 획득하면, 후속적으로 통신이 설정되고 서버의 추가 이용 없이 P2P 시스템의 사용자들 사이에서 라우팅될 수 있다. 특히, 사용자는 P2P 시스템에 대한 액세스를 가능하게 하는 하나 이상의 디지털 인증서(또는 사용자 식별 인증서(UIC))의 교환에 기초하여 P2P 시스템을 통해 자신의 통신 루트를 확립할 수 있다. 사용자들 사이의 디지털 인증서의 교환은 사용자의 신원의 증거 및 사용자들이 P2P 시스템에서 적절히 승인되고 인증되었다는 증거를 제공한다. 따라서, 디지털 인증서는 사용자의 신원에 신뢰를 제공한다. 그러므로 통신이 서버를 이용하여 라우팅되지 않고 엔드 유저로부터 엔드 유저로 직접 이루어지는 것이 피어투피어 통신의 특징이다.
IMS(Internet Multimedia Subsystem)나 다른 서버 기반 시스템과 같은 다른 형태의 통신망이 가능하다.
각각의 사용자 단말기(2, 4)는 디스플레이(8, 10)와, 근단 디스플레이(8) 상에 비디오로서 디스플레이될 수 있고/또는 원격 디스플레이(10) 상의 디스플레이를 위해 단말기(4)로 전송될 수 있는 동영상을 캡처하는 카메라(12, 14)를 제각기 포함한다. 각각의 디스플레이는 근단 사용자의 셀프 이미지(2a, 4a) 및 원단 사용자의 이미지(2b, 4b)를 보여준다(도 3 내지 7에 명확히 도시되어 있음). 이 경우, 앨리스가 제1 사용자 단말기(근단)를 사용하고 있고, 밥이 제2 사용자 단말기(원단)를 사용하고 있다고 가정해 보자. 도 1은 매우 개략적이며 임의의 특정 장치를 정확히 나타내고자 하는 것은 아니다. 일반적인 유형의 사용자 단말기는 모바일 폰과 같은 모바일 핸드셋, 랩탑 컴퓨터, 태블릿, 데스크탑 컴퓨터, 텔레비전 세트 또는 셋탑박스를 구비한 텔레비전 및 많은 다른 유형의 장치들을 포함할 수 있다. 일실시예에서, 예컨대, 스마트폰 또는 태블릿에서, 디스플레이(8, 10)는 터치 스크린 기술을 이용하여 사용자 인터페이스를 구성하지만, 예컨대 키보드, 마우스 등과 같은 다른 사용자 인터페이스가 사용될 수 있다.
일반적으로, 본 명세서에 기술된 기능들 중 어느 하나는 소프트웨어, 펌웨어, 하드웨어(예컨대, 고정식 로직 회로), 또는 이들의 조합을 이용하여 구현될 수 있다. 본 명세서에 사용된 "모듈", "기능", "컴포넌트" 및 "로직"이란 용어는 일반적으로, 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합을 나타낸다. 소프트웨어 구현의 경우에, 모듈, 기능 또는 로직은 프로세서(예컨대, CPU 또는 CPU들) 상에서 실행될 경우에 지정된 태스크를 수행하는 프로그램 코드를 나타낸다. 프로그램 코드는 하나 이상의 컴퓨터 판독가능 메모리 장치에 저장될 수 있다. 아래에 기술된 기법들의 특징은 플랫폼 독립적인데, 이는 이들 기법이 다양한 프로세서를 갖는 다양한 상용 컴퓨팅 플랫폼 상에서 구현될 수 있다는 것을 의미한다.
예를 들어, 사용자 단말기는 또한 사용자 단말기의 하드웨어로 하여금 동작들, 예컨대, 프로세서, 기능 블록 등을 수행하게 하는 개체(예컨대, 소프트웨어)를 포함할 수 있다. 예를 들어, 사용자 단말기는, 사용자 단말기, 보다 구체적으로는 운영 체제 및 사용자 단말기의 관련 하드웨어로 하여금 동작들을 수행하게 하는 명령어를 유지하도록 구성될 수 있는 컴퓨터 판독가능 매체를 포함할 수 있다. 따라서, 명령어들은 운영 체제 및 관련 하드웨어가 동작들을 수행해서 이런 방식으로 결국 운영 체제를 변화시키고 관련 하드웨어가 기능들을 수행하게 하도록 구성하는 기능을 한다. 명령어들은 컴퓨터 판독가능 매체에 의해 다양한 구성을 통해 사용자 단말기로 제공될 수 있다.
이러한 컴퓨터 판독가능 매체의 한 구성은 명령어를 (예컨대 반송파로서) 네트워크 등을 통해 컴퓨터 장치로 전송하도록 구성되는 신호 전달 매체이다. 컴퓨터 판독가능 매체는 또한 신호 전달 매체가 아닌 컴퓨터 판독가능 저장 매체로서 구성될 수 있다. 컴퓨터 판독가능 저장 매체의 예들은 RAM, ROM, 광학 디스크, 플래시 메모리, 하드 디스크 메모리, 및 명령어 및 다른 데이터를 저장하기 위한 자기, 광학 및 기타 다른 기법들을 이용할 수 있는 기타 메모리 장치를 포함한다.
다양한 실시예들은, 사용자 단말기(2)에서의 수신측 사용자(앨리스)의 제어 하에, 예컨대, 사용자 단말기(2)에서의 수신된 비디오 데이터에 "포토북" 스타일 비디오 효과의 추가를 허용한다. 이들 효과의 표시는 통신망(6)을 통해 사용자 단말기(2)로부터 사용자 단말기(4)로 전송된 비디오 데이터와 함께 전송될 수 있으며, 따라서 송신측 사용자(밥)는 특수 효과를 갖는 자신의 셀프 이미지(4a)를 볼 수 있다. 구체적으로, 실시예들은 근단 사용자가 원단으로부터 수신된 비디오 데이터에 어떤 특수 효과를 적용할 지를 결정할 수 있도록 한다. 앨리스는 사용자 인터페이스를 사용하여, 예컨대 그 효과를 (마우스/커서 인터페이스로)클릭하거나 또는 (터치 스크린 기술로)그 효과를 터치함으로써 디스플레이(8) 상의 밥에게 디스플레이된 효과 세트 중에서 하나의 효과를 선택한다.
도 2는 사용자 단말기(2)에서의 기능 블록들의 개략적인 블록도이다. 단말기(4)로부터 수신된 비디오가 디스플레이(8) 상에 이미지(2b)로서 사용자에게 디스플레이되고 있다고 가정한다. 참조번호(18)는 사용자가 디스플레이(8) 상의 특수 효과를 선택할 수 있게 하는 선택 수단을 나타낸다. 선택 수단(18)은 효과 메모리(13)에 연결되고, 효과 메모리는 선택된 효과(32)를 후처리 블록(17)에 제공하며, 후처리 블록(17)은 디코더(16)의 출력부에 연결되고, 디코더(16)는 패킷 스트림의 형태의 비디오 신호(70)를 수신한다. 디코더(16)는 비디오 데이터(70)의 패킷을 수신하고 이들을 디코딩한다. 후처리 블록(17)은 선택된 특수 효과(32)를 추가하고 디스플레이(8) 상에 밥의 향상된 비디오 이미지(2b)를 렌더링하기 위한 디스플레이 제어 신호(25)를 생성한다. 일실시예에서, 선택된 효과와 관련된 정보가 또한 인코더(15)의 후처리 블록(19)에 제공된다. 인코더(14)는 카메라(12)로부터의 이미지 데이터를 단말기(4)로 전송하기 위한 비디오 신호(72)의 패킷으로 인코딩한다. 후처리 블록은 특수 효과(32)를 식별하는 정보(EL32)를 삽입하며, 따라서 원단 디스플레이에서 셀프 이미지(4a) 상에 렌더링될 수 있다. 표시(42)가 또한 포함될 수 있다.
다른 방법은 별도의 제어 메시지 스트림을 다시 상대편에게 송신하여 어떤 효과가 적용될 지를 알려주는 것이다. 이런 방법으로, 시스템은 사용자에게 인코더가 없는 단방향 비디오와 함께 작동할 수 있다.
도 8은 사용자 단말기(4)에서의 기능 블록들의 개략적인 블록도이다. 사용자 단말기(4)가 이제 효과 정보(EL32) 및 표시(42)를 포함하는 패킷 스트림 형태의 비디오 신호를 수신한다고 가정한다. 추출 기능(33)은 효과 정보(EL32)를 추출하고 이것을 효과 메모리(13)에 액세스하는데 사용한다. 비디오 신호의 나머지는 디코더(16)에 제공되며, 디코더는 이것을 정상적으로 디코딩하여 앨리스의 이미지(4b)를생성하기 위한 디스플레이 제어 신호를 생성한다. 효과 정보가 별도의 제어 메시지에 적용될 경우, 비디오 스트림으로부터 그것을 추출할 필요가 없다. 실제로 비디오 스트림을 송신하지 않고 효과 정보가 적용될 수 있다. 효과 메모리(13)로부터의 효과(32)는 로컬 카메라(14)로부터 데이터를 수신하는 혼합 기능(35)에 적용된다. 이런 방식으로, 효과(32)는 카메라(14)로부터의 로컬 이미지 데이터와 혼합되어 밥의 향상된 셀프 이미지(4a)를 렌더링하기 위한 디스플레이 제어 신호(25)를 제공한다. 카메라(14)는 또한 이미지 데이터를 인코더(15)에 제공하고, 인코더는 원격 단말기에 공급하기 위한 패킷 스트림을 생성한다. 이하에서 보다 상세히 설명되는 바와 같이, 밥이 앨리스에게 적용된 선택된 효과를 자신이 갖기를 원한다고 결정하면, 밥은 적용 효과 표시자(76)가 앨리스의 단말기로 전송될 비디오 신호(72)에 포함되게 하는 아이콘(44)을 디스플레이(10) 상에서 작동시킬 수 있다. 이것은 선택된 효과가 단말기(2)에서 밥의 이미지에 적용된 것과 동일한 방식으로 단말기(4)에서의 앨리스의 이미지에 적용되게 한다. 또한, 적용 효과 표시자(76)는 단말기(2)에서의 추출 기능(33)에 의해 추출되어, 앨리스의 향상된 셀프 이미지를 생성하도록 이 효과가 35와 유사한 혼합 기능에 로컬 카메라와 혼합되게 한다. 이것에 대한 기능 블록은 도 8에 도시되어 있지 않고 도 2에만 도시되어 있다.
도 2 및 8은 설명의 편의를 위해 근단 및 원단 단말기에서의 동작에 대해 별도의 도면으로 도시되었지만, 실제로는 각 사용자 단말기는 근단 및 원단 기능을 포함할 것이라는 것을 쉽게 이해할 수 있을 것이다. 효과 메모리(13)는 단말기에 대해 로컬 메모리로서 도시되어 있지만, 특수 효과가, 아마도 통신 시스템(6) 내의 원단 서버로부터 로컬로 또는 원격으로 액세스될 수 있음을 쉽게 이해할 수 있을 것이다.
이제 도 3 내지 7을 참조하여 선택된 효과의 적용을 보다 상세히 설명할 것이다. 도 3은 제1 사용자 단말기(2)의 개략도이다. 참조번호(2b)는 원격 단말기(4)의 제2 사용자에 의해 캡처되어 비디오 신호에 의해 제1 단말기(2)로 제공된 비디오 이미지를 나타낸다. 참고하기 편하도록, 이것을 "밥의 이미지"라고 하는데, 밥은 원격 단말기(4)의 제2 사용자이다. 참조번호(2a)는 제1 단말기의 제1 사용자의 셀프 이미지를 나타내며, 이를 "앨리스"라고 지칭할 것이다. 이것은 제1 단말기(2)의 카메라에 의해 캡처된 이미지이다. 앨리스는 밥의 이미지(2b)에 비디오 효과를 적용하기로 결정한다. 이렇게 하기 위해, 앨리스는 복수의 비디오 효과를 디스플레이하는 기능(18)을 선택한다. 도 4에는, 예를 들어, 모조의 코 세트(30)가 도시되어 있다. 이들 코는, 예컨대, 돼지코(32), 코끼리 코(34), 고양이 코(36) 및 오리너구리 코(38) 같이 상이한 동물들의 코일 수 있다. 이들 효과는 효과 메모리(13)에 저장된다. 효과 기능이 사용자에 의해 선택될 경우, 효과들의 이미지가 (로컬 또는 원격) 메모리로부터 불러내어지며 도 4에 도시된 바와 같이 단말기(2)의 디스플레이 상에 디스플레이된다.
도 5에 도시된 바와 같이, 이 경우, 앨리스는 돼지 코(32)를 선택하기로 결정한다. 이것은 마우스나 커서 또는 임의의 다른 방법으로 터치 스크린 상의 코를 탭핑함으로써 행해질 수 있다. 돼지 코(32)가 선택되면, 밥의 이미지는 도 2를 참조하여 위에서 설명된 바와 같이 코(32)를 포함하도록 렌더링된다. 도 2를 참고하여 위에서 설명한 바와 같이, 선택된 효과에 대한 정보(EL32)는 밥의 단말기(4)로 전송되며, 이는 도 6에 도시되어 있다. 밥의 단말기에서, 주요하게 디스플레이된 이미지(4b)는 앨리스의 이미지이다. 앨리스가 효과(32)를 선택하면, 그 효과에 대한 정보가 밥의 단말기(4)로 전송되고, 2개의 표시(42, 44)가 밥에게 디스플레이된다. 제1 표시는 선택된 효과, 예컨대, "앨리스가 당신에게 돼지 코를 붙였다"는 것을 나타내고, 제2 표시는 밥이 "돼지 코 돌려주기"와 같이 선택된 효과를 앨리스에게 적용할 수 있도록 하는 작동가능한 버튼 또는 아이콘 형태이다. 이들 표시는 밥의 단말기(4)에 비디오 신호로 전송된 정보에 기초하여 사람이 읽을 수 있는 텍스트 형태로 디스플레이 상에 렌더링된다. 또한, 밥은, 자신의 셀프 이미지(4a)가 밥의 단말기(4)에서 수신된 정보에 기초하여 선택된 효과로 렌더링되기 때문에, 앨리스의 단말기에서 자신이 어떻게 보일지 알 수 있다. 밥이 동일한 효과를 앨리스에게 적용하기로 결정하면, 밥은 표시 버튼(44)을 선택하고, 그 결과는 그가 보는 앨리스의 이미지(4b)에 선택된 효과를 적용하는 것이다. 이것은 도면에 도시되지 않지만, 이것이 밥의 단말기에서 어떻게 인지될지에 대해 앨리스의 이미지에 돼지 코가 적용된 앨리스의 단말기에서의 효과를 보여주는 도 5로부터 분명할 것이다. 또한, 적용 효과 표시자(76)는 비디오 신호와 함께 앨리스의 단말기로 리턴되어 앨리스의 셀프 이미지(2a)가 선택된 효과(32)로 마찬가지로 렌더링되게 한다. 또한, 표시(78)는 사람이 읽을 수 있는 텍스트로, 예컨대, "밥이 당신에게도 돼지 코를 붙였음"이라는 텍스트로 디스플레이된다.
특징(feature) 인식은 비디오 상의 정확한 위치에 선택된 효과를 적용하는데 사용될 수 있다. 예를 들어, 특징 인식 소프트웨어는 사용자의 코가 이미지 내 어디에 위치하는지 검출하여 코 이미지가 그 영역 내에 중첩되게 할 수 있다. 또는 효과가 디스플레이 상에서 사용자의 검출된 얼굴 위치에 대해 사용자에 의해 선택된 위치에 위치될 수도 있다.
각각의 사용자 단말기는 전술한 기능들을 구현하기 위한 적절한 소프트웨어를 실행하는 프로세서를 포함한다. 이들 기능은 하드웨어, 펌웨어 또는 소프트웨어의 임의의 적절한 조합으로 구현될 수 있다. 도시되어 있지는 않지만, 각각의 단말기가 자신의 프로세서와 같이 양방향 화상 통화를 확립하는 통신 클라이언트 애플리케이션을 실행함은 명확하다. 전술한 기능들은 통신 클라이언트 애플리케이션의 일부를 형성할 수 있거나 또는 프로세서에 의해 실행된 별개의 소프트웨어 애플리케이션으로 제공될 수 있다.
다양한 실시예들은 이미지에 적용된 선택된 효과를 소셜 미디어 환경, 예컨대, 효과가 적용된 사용자(본 예에서는 "밥")에 속하는 페이스북 월에 포스팅할 수 있게 한다. 그렇게 하기 위해, 앨리스는 자신의 단말기에서 예컨대, 밥의 페이스북 월, 앨리스의 페이스북 월 및 이메일 옵션을 식별하는 다수의 공유 가능성을 상기시키는 공유 기능을 선택할 수 있다. 앨리스는, 예컨대, 밥의 페이스북 월에 포스팅하거나, 도 9에 도시된 바와 같이, 선택된 효과가 적용되었으면 선택된 효과가 적용된 밥의 이미지를 자신의 페이스북 월에 포스팅하는 것과 같이 적절한 옵션을 선택할 수 있다. 제3자는 포스트를 클릭하거나 또는 임의의 다른 방법에 의해 그 포스트를 선택할 수 있고, 그렇게 하는 중에 자신이 사용하기 위한 효과에 액세스할 수 있다.
비디오 효과의 사회적 성격은 소셜 네트워크와의 여러 상호작용에 도움이 된다. 이들 효과는, 예컨대 그 효과를 위한 비디오 앱 아이콘을 클릭함으로써 사용자의 단말기에 대해, 사용자들에게 전자적으로 이용가능해질 수 있다. 비디오 앱은, 런칭되면, 예컨대, URL(uniform Resource Locator)을 사용하여 서버와 같은 웹 기반 저장 위치에 액세스함으로써 사용자가 원하는 효과를 얻도록 해줄 것이다.
일실시예에 따르면, 비디오 이미지 렌더링 방법으로서, 제1 단말기에서 제2 단말기로부터 전송된 비디오 신호를 수신하는 단계와, 제1 단말기의 사용자로부터 수신된 비디오 신호로부터 유도된 비디오 이미지를 향상시키는 적어도 하나의 효과의 선택을 수신하는 단계와, 선택된 효과에 의해 향상된 비디오 신호로부터 유도된 비디오 이미지를 제1 단말기의 디스플레이 상에 렌더링하는 단계를 포함하는 비디오 이미지 렌더링 방법이 제공된다. 다른 실시예는 사용자 단말기로서, 원격 단말기로부터 전송된 비디오 신호를 수신하는 수단과, 비디오 신호로부터 유도된 비디오 이미지를 사용자 단말기의 사용자에게 디스플레이하는 디스플레이와, 비디오 신호로부터 유도된 비디오 이미지를 향상시키는 적어도 하나의 효과를 사용자 단말기의 사용자로부터 수신하는 선택 수단과, 선택된 효과에 의해 향상된 비디오 신호로부터 유도된 비디오 이미지를 디스플레이 상에 렌더링하는 수단을 포함하는 사용자 단말기를 제공한다.
본 발명이 구조적 특성 및/또는 방법적 동작에 특유한 표현을 이용하여 기술되었지만, 첨부하는 특허청구범위에 정의된 청구대상은 전술한 구체적인 특성이나 동작으로 제한되지 않는다. 오히려, 전술한 구체적인 특성이나 동작은 청구항을 구현하는 예시적인 형태로서 개시된 것이다.

Claims (10)

  1. 사용자 단말기로서,
    비디오 신호를 수신하는 입력부와,
    비디오 신호로부터 유도된 비디오 이미지를 상기 사용자 단말기의 사용자에게 디스플레이하는 디스플레이와,
    상기 비디오 신호로부터 유도된 비디오 이미지를 향상시키기 위한 적어도 하나의 효과를 상기 사용자 단말기의 사용자로부터 수신하는 선택 입력부와,
    상기 선택된 효과에 의해 향상된 상기 비디오 신호로부터 유도된 상기 비디오 이미지를 상기 디스플레이 상에 렌더링하는 렌더링 장치
    를 포함하는 사용자 단말기.
  2. 제1항에 있어서,
    상기 렌더링 장치는 상기 수신된 비디오 신호를 디코딩하고 상기 디스플레이 상에 상기 비디오 이미지를 렌더링하기 위한 디스플레이 제어 신호를 생성하도록 구성된 디코더를 포함하고, 상기 디스플레이 제어 신호는 상기 선택된 효과를 포함하는
    사용자 단말기.
  3. 제1항에 있어서,
    상기 사용자 단말기로부터 원격 단말기로 상기 선택된 효과의 표시를 전송하는 수단을 더 포함하는
    사용자 단말기.
  4. 제3항에 있어서,
    상기 사용자 단말기로부터 상기 원격 단말기로 전송되는 비디오 이미지를 인코딩하도록 동작가능한 인코더를 더 포함하되, 상기 인코더는 상기 표시를 상기 사용자 단말기로부터 전송되는 비디오 신호에 삽입하도록 동작가능한
    사용자 단말기.
  5. 제1항에 있어서,
    상기 사용자 단말기의 사용자의 이미지를 캡처하는 카메라를 더 포함하되, 상기 디스플레이는 상기 캡처된 이미지를 렌더링하도록 동작가능한
    사용자 단말기.

  6. 제1항에 있어서,
    상기 사용자 단말기에서 수신된 상기 비디오 신호는 원격 단말기의 사용자에 의해 선택된 효과를 나타내고, 상기 사용자 단말기는 상기 원격 단말기에서 선택된 효과로 향상된 카메라에 의해 캡처된 이미지를 디스플레이하도록 구성된 혼합 기능을 포함하는
    사용자 단말기.
  7. 비디오 이미지를 렌더링하는 방법으로서,
    사용자 단말기에서 선택된 효과의 표시를 수신하는 단계와,
    상기 사용자 단말기에서 사용자의 이미지를 캡처하는 단계와,
    상기 사용자 단말기에서 캡처된 이미지를 상기 사용자 단말기의 디스플레이에서 렌더링하는 단계
    를 포함하되, 상기 렌더링하는 단계는 상기 선택된 효과에 의해 상기 이미지를 향상시키는 단계를 포함하는
    비디오 이미지 렌더링 방법.
  8. 제7항에 있어서,
    상기 사용자 단말기에서 사용자의 이미지를 캡처하는 단계와,
    상기 비디오 신호 내의 상기 이미지를 원격 단말기로 전송하는 단계 -이에 따라 상기 원격 단말기의 디스플레이 상에서 렌더링된 상기 사용자 단말기의 비디오 이미지가 상기 선택된 효과에 의해 향상됨-
    를 더 포함하는 비디오 이미지 렌더링 방법.
  9. 제7항에 있어서,
    상기 선택된 효과에 의해 향상된 상기 사용자 단말기의 사용자의 캡처된 이미지를 소셜 네트워크 사이트에 디스플레이하는 단계를 더 포함하는
    비디오 이미지 렌더링 방법.
  10. 프로세서에 의해 실행될 경우에 비디오 이미지를 렌더링하는 방법을 구현하는 프로그램 코드를 포함하는 컴퓨터 프로그램 제품으로서,
    상기 방법은
    제1 단말기에서 비디오 신호를 수신하는 단계와,
    상기 수신된 비디오 신호로부터 유도된 비디오 이미지를 향상시키는 적어도 하나의 효과의 선택을 상기 제1 단말기의 사용자로부터 수신하는 단계와,
    상기 선택된 효과에 의해 향상된 상기 비디오 신호로부터 유도된 비디오 이미지를 상기 제1 단말기의 디스플레이 상에 렌더링하는 단계
    를 포함하는 컴퓨터 프로그램 제품.
KR1020147036550A 2012-06-28 2013-06-25 통신 시스템 KR102077354B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/536,495 US8947491B2 (en) 2012-06-28 2012-06-28 Communication system
US13/536,495 2012-06-28
PCT/US2013/047445 WO2014004411A1 (en) 2012-06-28 2013-06-25 Communication system

Publications (2)

Publication Number Publication Date
KR20150032674A true KR20150032674A (ko) 2015-03-27
KR102077354B1 KR102077354B1 (ko) 2020-02-13

Family

ID=48790598

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147036550A KR102077354B1 (ko) 2012-06-28 2013-06-25 통신 시스템

Country Status (11)

Country Link
US (1) US8947491B2 (ko)
EP (1) EP2850816B1 (ko)
JP (1) JP6161088B2 (ko)
KR (1) KR102077354B1 (ko)
CN (1) CN104380701B (ko)
AU (1) AU2013280679B2 (ko)
BR (1) BR112014032210B1 (ko)
CA (1) CA2876238C (ko)
MX (1) MX339988B (ko)
RU (1) RU2642513C2 (ko)
WO (1) WO2014004411A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103905668B (zh) * 2012-12-27 2016-12-28 中强光电股份有限公司 具有视讯功能的电话机及其视讯会谈的方法
CN104836977B (zh) * 2014-02-10 2018-04-24 阿里巴巴集团控股有限公司 即时通讯过程中的视频通讯方法及系统
US9372550B2 (en) * 2014-02-10 2016-06-21 Airtime Media, Inc. Automatic audio-video switching
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US9282287B1 (en) * 2014-09-09 2016-03-08 Google Inc. Real-time video transformations in video conferences
CN107210958A (zh) * 2015-03-16 2017-09-26 奥林巴斯株式会社 通信装置、通信系统和通信方法
CN106303690A (zh) * 2015-05-27 2017-01-04 腾讯科技（深圳）有限公司 一种视频处理方法及装置
USD794069S1 (en) * 2015-08-26 2017-08-08 Branch Banking And Trust Company Portion of a display screen with icon
KR20170091913A (ko) 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
CN109845250B (zh) * 2016-10-18 2021-07-16 韩国斯诺有限公司 用于影像的效果共享方法及系统
JP6964671B2 (ja) * 2017-03-28 2021-11-10 Ｌｉｎｅ株式会社 通信装置、その方法及びそのコンピュータプログラム
US10412139B2 (en) * 2017-05-26 2019-09-10 Streamsure Solutions Limited Communication event
CN109474844B (zh) 2017-09-08 2020-08-18 腾讯科技（深圳）有限公司 视频信息处理方法及装置、计算机设备
US20190104101A1 (en) * 2017-10-04 2019-04-04 Facebook, Inc. Paired effects in conversations between users
KR102271308B1 (ko) * 2017-11-21 2021-06-30 주식회사 하이퍼커넥트 영상통화 중에 상호작용 가능한 시각적 오브젝트를 제공하기 위한 방법, 및 이를 수행하는 상호작용 가능한 시각적 오브젝트 제공 시스템
US10681310B2 (en) * 2018-05-07 2020-06-09 Apple Inc. Modifying video streams with supplemental content for video conferencing
US11012389B2 (en) 2018-05-07 2021-05-18 Apple Inc. Modifying images with supplemental content for messaging
US11636673B2 (en) 2018-10-31 2023-04-25 Sony Interactive Entertainment Inc. Scene annotation using machine learning
US10854109B2 (en) 2018-10-31 2020-12-01 Sony Interactive Entertainment Inc. Color accommodation for on-demand accessibility
US10977872B2 (en) * 2018-10-31 2021-04-13 Sony Interactive Entertainment Inc. Graphical style modification for video games using machine learning
US11375293B2 (en) 2018-10-31 2022-06-28 Sony Interactive Entertainment Inc. Textual annotation of acoustic effects
CN109348276B (zh) * 2018-11-08 2019-12-17 北京微播视界科技有限公司 视频画面调整方法、装置、计算机设备和存储介质
US11704626B2 (en) * 2021-07-09 2023-07-18 Prezi, Inc. Relocation of content item to motion picture sequences at multiple devices

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060022494A (ko) * 2004-09-07 2006-03-10 엘지전자 주식회사 이동단말기로 화상 통화시의 이펙트 화면 제공 장치 및방법
KR20070080401A (ko) * 2006-02-07 2007-08-10 엘지전자 주식회사 이동통신 단말기의 영상 통화 장치 및 방법
KR20100064873A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 단말기 및 그 제어 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6414707B1 (en) * 1998-10-16 2002-07-02 At&T Corp. Apparatus and method for incorporating virtual video conferencing environments
JP2002077840A (ja) * 2000-08-30 2002-03-15 Toshiba Corp 通信端末装置
JP2005012764A (ja) 2003-05-22 2005-01-13 Casio Comput Co Ltd データ通信装置、画像送信方法および画像送信プログラム
JP2005064939A (ja) * 2003-08-14 2005-03-10 Nec Corp アニメーション機能を有する携帯電話端末およびその制御方法
US20060248210A1 (en) * 2005-05-02 2006-11-02 Lifesize Communications, Inc. Controlling video display mode in a video conferencing system
US7564476B1 (en) * 2005-05-13 2009-07-21 Avaya Inc. Prevent video calls based on appearance
US7612794B2 (en) * 2005-05-25 2009-11-03 Microsoft Corp. System and method for applying digital make-up in video conferencing
US8963926B2 (en) 2006-07-11 2015-02-24 Pandoodle Corporation User customized animated video and method for making the same
US7728866B2 (en) * 2005-11-03 2010-06-01 Broadcom Corp. Video telephony image processing
US8954851B2 (en) 2006-09-15 2015-02-10 Microsoft Corporation Adding video effects for video enabled applications
US8044989B2 (en) * 2006-12-12 2011-10-25 General Instrument Corporation Mute function for video applications
US8373799B2 (en) 2006-12-29 2013-02-12 Nokia Corporation Visual effects for video calls
US9060094B2 (en) * 2007-09-30 2015-06-16 Optical Fusion, Inc. Individual adjustment of audio and video properties in network conferencing
US8373742B2 (en) 2008-03-27 2013-02-12 Motorola Mobility Llc Method and apparatus for enhancing and adding context to a video call image
KR101533065B1 (ko) 2008-12-01 2015-07-01 삼성전자주식회사 화상통화 중 애니메이션 효과 제공 방법 및 장치
JP2010258781A (ja) * 2009-04-24 2010-11-11 Ntt Docomo Inc 携帯端末及び情報伝達方法
CN101924903B (zh) * 2009-06-17 2013-03-20 华为技术有限公司 实现视频通话的方法、装置和系统
WO2011030263A1 (en) * 2009-09-11 2011-03-17 Koninklijke Philips Electronics N.V. Image processing system
US8823739B2 (en) * 2010-08-25 2014-09-02 International Business Machines Corporation Background replacement for videoconferencing
US20130088562A1 (en) * 2011-10-07 2013-04-11 Hanwha Solution & Consulting Co., Ltd Communication terminal for providing silhouette function on video screen for video call and method thereof
US8767034B2 (en) * 2011-12-01 2014-07-01 Tangome, Inc. Augmenting a video conference
US20130250048A1 (en) * 2012-01-13 2013-09-26 Joshua Victor Aller Method of capture, display and sharing of orientation-based image sets
US8982179B2 (en) * 2012-06-20 2015-03-17 At&T Intellectual Property I, Lp Apparatus and method for modification of telecommunication video content

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060022494A (ko) * 2004-09-07 2006-03-10 엘지전자 주식회사 이동단말기로 화상 통화시의 이펙트 화면 제공 장치 및방법
KR20070080401A (ko) * 2006-02-07 2007-08-10 엘지전자 주식회사 이동통신 단말기의 영상 통화 장치 및 방법
KR20100064873A (ko) * 2008-12-05 2010-06-15 엘지전자 주식회사 단말기 및 그 제어 방법

Also Published As

Publication number Publication date
CN104380701B (zh) 2017-06-06
EP2850816B1 (en) 2019-05-29
WO2014004411A1 (en) 2014-01-03
RU2014153013A (ru) 2016-07-20
US20140002578A1 (en) 2014-01-02
BR112014032210B1 (pt) 2022-08-09
CA2876238A1 (en) 2014-01-03
AU2013280679B2 (en) 2016-12-08
BR112014032210A2 (pt) 2017-06-27
CN104380701A (zh) 2015-02-25
US8947491B2 (en) 2015-02-03
MX339988B (es) 2016-06-17
RU2642513C2 (ru) 2018-01-25
AU2013280679A1 (en) 2015-01-22
CA2876238C (en) 2020-06-09
JP2015529031A (ja) 2015-10-01
MX2014015948A (es) 2015-03-03
JP6161088B2 (ja) 2017-07-12
KR102077354B1 (ko) 2020-02-13
EP2850816A1 (en) 2015-03-25

Similar Documents

Publication Publication Date Title
KR102077354B1 (ko) 통신 시스템
US10747418B2 (en) Frictionless interface for virtual collaboration, communication and cloud computing
US9516266B2 (en) Sharing content
KR102327571B1 (ko) 영상 통화 데이터의 디스플레이
US11171893B2 (en) Methods and systems for providing virtual collaboration via network
US9722986B2 (en) Electronic tool and methods for meetings
US20120209954A1 (en) Systems and Methods for Online Session Sharing
US20120306622A1 (en) Proximity session mobility
KR20130129366A (ko) 컴퓨팅 디바이스들 사이에서 정보의 이동
JP6963070B2 (ja) 匿名基盤プロフィールを介してソーシャルネットワークサービスを提供するためのインターフェースの表示方法及び装置
EP2868095B1 (en) Collaboration environments and views
US20130332832A1 (en) Interactive multimedia systems and methods
US9749828B2 (en) Communication system and method for making telephone calls over the internet
EP2974288B1 (en) Generating an image stream
KR102095306B1 (ko) 콘텐츠 공유를 위한 장치

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right