KR20120041392A - 네트워크 ｔｖ를 이용하여 영상 통화 서비스를 제공하는 방법 및 상기 네트워크 ｔｖ - Google Patents

Abstract

본 발명의 일실시예에 의한 네트워크 TV를 이용하여 영상 통화 서비스를 제공하는 방법은, 방송 네트워크 인터페이스를 통해 방송 데이터를 수신하는 단계와, 상기 수신된 방송 데이터가 출력되도록 제어하는 단계와, 영상 통화 모드가 실행 중인 경우, 카메라를 통해 사용자를 촬영하는 단계와, 부가 비디오 서비스 모드가 실행 중인 경우, 상기 촬영된 사용자가 디스플레이 되는 제1영역에 표시되는 부가 이미지의 종류 및 위치를 선택하는 단계와, 상기 부가 이미지를 비디오 프로세싱하는 과정에서 사용되는 데이터 셋트를 구성하는 단계와, 그리고 상기 카메라를 통해 촬영된 오리지널 비디오 데이터 및 상기 구성된 데이터 셋트를, 상기 영상 통화 모드의 상대방 디바이스로 전송하는 단계를 포함한다.

Description

네트워크 ＴＶ를 이용하여 영상 통화 서비스를 제공하는 방법 및 상기 네트워크 ＴＶ {METHOD FOR PROVIDING VIDEO CALL SERVICE IN NETWORK TV AND THE NETWORK TV}

본 발명은 네트워크 TV (network television) 기술에 대한 것으로서, 보다 상세하게는 네트워크 TV 를 이용하여 영상 통화 서비스를 제공하는 방법 및 상기 네트워크 TV에 대한 것이다.

최근에 이르러서, 여러가지 종류의 네트워크 TV 등이 논의되고 있다. 상기 네트워크 TV의 일실시예는, 기존 텔레비젼이 방송 네트워크를 통해서만 제한된 데이터를 수신하던 것과 달리, 유/무선의 인터넷 네트워크를 통해 보다 다량의 정보를 실시간으로 수신하고 처리하는 기능이 기대된다. 상기 네트워크 TV의 보다 구체적인 실시예는, IPTV(internet protocol television), 스마트 TV(smart television), HBBTV(hybrid broadcast broadband television), DTV(digital television) 등이 해당된다고 할 수 있다.

다만, 상기 네트워크 TV의 구체적인 기능들이 아직 정의되지 않고 있으며, 특히 네트워크 TV 를 이용하여 보다 향상된 영상 통화 시스템을 제공하는 방안이 도출되지 못하고 있는 실정이다.

예컨대, 기존의 TV 에서는 카메라에서 촬영된 영상을 단순히 그대로 전송하는 고정된 서비스만을 제공하였다. 따라서, 전화를 건 사용자 및 전화를 받는 사용자 모두 스테레오 타입의 비디오 데이터를 보는 경우가 대부분이어서, 휴대폰 영상 통화와 차별화된 서비스라 보기 어려운 문제점이 있었다.

또한, 종래 기술에 의하면, TV의 제한된 성능(performance)으로 인하여 영상 통화의 데이터 처리 시간이 지연되는 한계가 있었다.

본 발명의 일실시예는, 카메라에서 촬영된 영상을 단순히 그대로 전송하는 개념을 탈피하여 부가 비디오 서비스를 제공하고자 한다.

또한, 본 발명의 다른 일실시예는, 영상 통화 모드의 다양한 모드를 구현함으로써, 휴대폰 영상 통화와 차별화된 서비스를 제공하고자 한다.

그리고, 본 발명의 또 다른 일실시예는, 전술한 부가 비디오 서비스를 보다 제고된 스피드로 처리하기 위한 솔루션을 정의하고자 한다.

본 발명의 일실시예에 의한 네트워크 TV를 이용하여 영상 통화 서비스를 제공하는 방법은, 방송 네트워크 인터페이스를 통해 방송 데이터를 수신하는 단계와, 상기 수신된 방송 데이터가 출력되도록 제어하는 단계와, 영상 통화 모드가 실행 중인 경우, 카메라를 통해 사용자를 촬영하는 단계와, 부가 비디오 서비스 모드가 실행 중인 경우, 상기 촬영된 사용자가 디스플레이 되는 제1영역에 표시되는 부가 이미지의 종류 및 위치를 선택하는 단계와, 상기 부가 이미지를 비디오 프로세싱하는 과정에서 사용되는 데이터 셋트를 구성하는 단계와, 그리고 상기 카메라를 통해 촬영된 오리지널 비디오 데이터 및 상기 구성된 데이터 셋트를, 상기 영상 통화 모드의 상대방 디바이스로 전송하는 단계를 포함한다.

그리고, 본 발명의 일실시예에 의한 영상 통화 서비스를 제공하는 네트워크 TV는, 영상 통화 연결 신호를 송수신하는 콜 커넥션 모듈과, 방송 데이터를 수신하는 방송 네트워크 인터페이스 모듈과, 그리고 상기 수신된 방송 데이터 및 상기 영상 통화 연결 신호를 처리하는 제어부를 포함한다. 나아가, 상기 제어부의 컨트롤에 따라, 영상 통화 모드로의 전환이 실행되고, 상기 영상 통화 모드의 상대방 디바이스로부터, 카메라를 통해 촬영된 오리지널 비디오 데이터와, 상기 오리지널 비디오 데이터가 디스플레이 되는 제1영역에 표시되는 부가 이미지의 식별정보 및 상기 부가 이미지를 비디오 프로세싱하는 과정에서 사용되는 데이터 셋트를 수신하고, 그리고 상기 수신된 데이터 셋트에 기초하여 상기 부가 이미지를 비디오 프로세싱하도록 설계된다.

본 발명의 일실시예에 의하면, 카메라에서 촬영된 영상을 단순히 그대로 전송하는 개념을 탈피하여 부가 비디오 서비스를 제공한다.

또한, 본 발명의 다른 일실시예에 의하면, 영상 통화 모드의 다양한 모드를 구현함으로써, 휴대폰 영상 통화와 차별화된 서비스를 제공한다.

그리고, 본 발명의 또 다른 일실시예에 의하면, 전술한 부가 비디오 서비스를 보다 제고된 스피드로 처리하기 위한 솔루션을 정의한다.

보다 구체적인 발명의 효과에 대해서는, 이하 목차에서 상세히 후술하도록 하겠다.

도 1은 본 발명의 일실시예에 따른 네트워크 TV를 포함한 전체 방송 시스템의 일예를 개략적으로 나타낸 도면이다.
도 2는 도 1에 도시된 네트워크 TV의 일예를 보다 상세히 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 영상 통화 서비스를 제공하는 네트워크 TV를 포함한 전체 시스템을 도시한 도면이다.
도 4는 도 3에 도시된 네트워크 TV의 제1실시예를 도시한 도면이다.
도 5는 도 3에 도시된 네트워크 TV의 제2실시예를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 전화가 걸려 온 상황을 인디케이트(indicate) 하는 화면을 도시한 도면이다.
도 7은 본 발명의 일실시예에 따른 영상 통화 화면을 도시한 도면이다.
도 8은 본 발명의 다른 일실시예에 따른 영상 통화 화면을 도시한 도면이다.
도 9는 본 발명의 일실시예에 따라 부가 비디오 서비스 모드를 인디케이트(indicate) 하는 화면을 도시한 도면이다.
도 10은 본 발명의 일실시예에 따른 부가 비디오 서비스 모드가 제1모드에 해당하는 경우의 화면 전환을 도시한 도면이다.
도 11은 도 10의 과정을 설명하기 위한 플로우 차트이다.
도 12는 본 발명의 일실시예에 따른 부가 비디오 서비스 모드가 제2모드에 해당하는 경우의 화면 전환을 도시한 도면이다.
도 13은 도 12의 과정을 설명하기 위한 플로우 차트이다.
도 14는 본 발명의 일실시예에 따른 부가 비디오 서비스 모드가 제3모드에 해당하는 경우의 화면 전환을 도시한 도면이다.
도 15는 도 14의 과정을 설명하기 위한 플로우 차트이다.
도 16은 본 발명의 일실시예에 따른, 부가 이미지를 비디오 프로세싱하는 과정에서 사용되는 데이터 셋트가 제1디바이스에서 처리되는 과정을 도식적으로 나타낸 도면이다.
도 17은 본 발명의 일실시예에 따른, 부가 이미지를 비디오 프로세싱하는 과정에서 사용되는 데이터 셋트가 제2디바이스에서 처리되는 과정을 도식적으로 나타낸 도면이다.
그리고, 도 18은 본 발명의 일실시예에 따른 전체 과정을 설명하는 플로우 차트이다.

이하에서는 첨부된 도면을 참조하여 본 발명의 여러가지 실시예들을 보다 상세히 설명하도록 하겠다. 나아가, 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함을 고려하여 부여되는 것으로서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수 있으며, 하드웨어 또는 소프트웨어로 설계 가능하다.

한편, 본 명세서에서 기술되는 네트워크 TV는, 예컨대 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 영상표시기기로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모콘 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수도 있다.

따라서, 본 발명에서 기술되는 네트워크 TV는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 상기 네트워크 TV는, 보다 구체적으로 예를 들면, 인터넷 TV, HBBTV, 스마트 TV, DTV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.

나아가, 이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.

도 1은 본 발명의 일실시예에 따른 네트워크 TV를 포함한 전체 방송 시스템의 일예를 개략적으로 나타낸 도면이다. 이하, 도 1을 참조하여, 본 발명의 일실시예에 따른 네트워크 TV를 포함한 전체 방송 시스템의 일예를 개략적으로 설명하면 다음과 같다.

도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 네트워크 TV를 포함한 전체 방송 시스템은, 컨텐츠 제공자(Content Provider;CP)(10), 서비스 제공자(Service Provider;SP)(20), 네트워크 제공자(Network Provider; NP)(30) 및 HNED(40)로 구분될 수 있다. 상기 HNED(40) 는, 예를 들어 본 발명의 실시예에 따른 네트워크 TV인 클라이언트(100)에 대응한다.

컨텐츠 제공자(10)는, 각종 컨텐츠를 제작하여 제공한다. 컨텐츠 제공자(10)에는 도 1에서와 같이 지상파 방송 송출자(terrestrial broadcaster), 케이블 방송 사업자(cable SO(System Operator) 또는 MSO(Multiple System Operator), 위성 방송 송출자(satellite broadcaster), 인터넷 방송 송출자(Internet broadcaster) 등이 예시될 수 있다. 또한, 컨텐츠 제공자(10)는, 방송 컨텐츠 외에, 다양한 애플리케이션 등을 제공할 수도 있다.

서비스 제공자(20)는, 컨텐츠 제공자(10)가 제공하는 컨텐츠들을 서비스 패키지화하여 제공할 수 있다. 예를 들어, 도 1의 서비스 제공자(20)는, 제1 지상파 방송, 제2 지상파 방송, 케이블 MSO, 위성 방송, 다양한 인터넷 방송, 애플리케이션 등을 패키지화하여 사용자에게 제공할 수 있다.

한편, 서비스 제공자(20)는, 유니캐스트(unicast) 또는 멀티캐스트(multicast) 방식을 이용하여 클라이언트(100) 측에 서비스를 제공할 수 있다. 유니캐스트 방식은 하나의 송신자와 하나의 수신자 사이에 데이터를 1:1로 전송하는 방식이다. 예를 들어, 유니캐스트 방식의 경우 수신기에서 서버에 데이터를 요청하면, 서버는 요청에 따라 데이터를 수신기에 전송할 수 있다. 멀티캐스트 방식은 특정한 그룹의 다수의 수신자에게 데이터를 전송하는 방식이다. 예를 들어, 서버는 데이터를 미리 등록된 다수의 수신기에 한꺼번에 전송할 수 있다. 이러한 멀티캐스트 등록을 위해 IGMP(Internet Group Management Protocol) 프로토콜 등이 사용될 수 있다.

네트워크 제공자(30)는, 서비스를 클라이언트(100)에게 제공하기 위한 네트워크 망을 제공할 수 있다. 클라이언트(100)는 홈 네트워크(Home Network End User;HNED)를 구축하여 서비스를 제공받을 수도 있다.

한편, 전송되는 컨텐츠를 보호하기 위한 수단으로, 제한 수신(Conditional Access) 또는 컨텐츠 보호(Content Protection) 등이 사용될 수 있다. 이러한 제한 수신이나 컨텐츠 보호를 위한 하나의 예로서, 케이블카드(CableCARD), DCAS(Downloadable Conditional Access System)와 같은 방식이 사용될 수도 있으나, 이와 같은 설계로 본 발명이 제한되는 것은 아니다.

한편, 클라이언트(100)도 네트워크를 통해, 컨텐츠를 제공하는 것이 가능하다. 이러한 경우, 상술한 바와 달리, 역으로, 클라이언트(100)가 컨텐츠 제공자가 될 수 있으며, 컨텐츠 제공자(10)가 클라이언트(100)로부터 컨텐츠를 수신할 수도 있다. 이와 같이 설계된 경우, 양방향 컨텐츠 서비스 또는 데이터 서비스가 가능한 장점이 있다.

도 2는 도 1에 도시된 네트워크 TV의 일예를 보다 상세히 도시한 도면이다. 이하, 도 2를 참조하여, 도 1에 도시된 네트워크 TV의 일예를 보다 상세히 설명하면 다음과 같다.

본 발명의 일실시예에 의한 네트워크 TV(200)는, 네트워크 인터페이스부(Network Interface)(201), TCP/IP 매니저(TCP/IP Manager)(202), 서비스 전달 매니저(Service Delivery Manager)(203), 디멀티플렉서(Demux)(205), PSI&(PSIP and/or SI) 디코더(204), 오디오 디코더(Audio Decoder)(206), 비디오 디코더(Video Decoder)(207), 디스플레이부(Display A/V and OSD Module)(208), 서비스 제어 매니저(Service Control Manager)(209), 서비스 디스커버리 매니저(Service Discovery Manager)(210), 메타데이터 매니저(Metadata Manager)(212), SI&Metadata DB(211), UI 매니저(214), 그리고 서비스 매니저(213) 등을 포함하여 이루어 진다.

네트워크 인터페이스부(201)는 네트워크 망으로부터 수신되는 패킷(packet)들을 수신하고, 네트워크 망으로 패킷을 전송한다. 즉 네트워크 인터페이스부(201)는 네트워크 망을 통해 서비스 제공자로부터 서비스, 컨텐츠 등을 수신한다.

TCP/IP 매니저(202)는, 네트워크 TV(200)로 수신되는 패킷과 네트워크 TV(200)가 전송하는 패킷에 대하여, 즉 소스로부터 목적지까지의 패킷 전달에 관여한다. 그리고 TCP/IP 매니저(202)는 수신된 패킷을 적절한 프로토콜에 대응되도록 분류하고, 서비스 전달 매니저(205), 서비스 디스커버리 매니저(210), 서비스 제어 매니저(209) 및 메타데이터 매니저(212)로 분류된 패킷을 출력한다.

서비스 전달 매니저(203)는 수신되는 서비스 데이터의 제어를 담당한다. 예를 들어, 실시간 스트리밍(real-time streaming) 데이터를 제어하는 경우 RTP/RTCP를 사용할 수 있다. 상기 실시간 스트리밍 데이터를 RTP를 사용하여 전송하는 경우, 상기 서비스 전달 매니저(203)는 상기 수신된 데이터 패킷을 RTP에 따라 파싱(parsing)하여 디멀티플렉서(205)에 전송하거나 서비스 매니저(213)의 제어에 따라 SI&Metadata DB(711)에 저장한다. 그리고 RTCP를 이용하여 상기 네트워크 수신 정보를 서비스를 제공하는 서버측에 피드백(feedback)한다.

디멀티플렉서(205)는 수신된 패킷을 오디오, 비디오, PSI(Program Specific Information) 데이터 등으로 역다중화하여 각각 오디오/비디오 디코더(206, 207), PSI&(PSIP and/or SI) Decoder(204)에 전송한다.

PSI&(PSIP and/or SI) Decoder(204)는 예를 들어, PSI(Program Specific Information) 등의 서비스 정보를 디코딩한다. 즉, PSI&(PSIP and/or SI) Decoder(204)는 상기 디멀티플렉서(205)에서 역다중화된 PSI 섹션, PSIP(Program and Service Information Protocol) 섹션 또는 SI(Service Information) 섹션 등을 수신하여 디코딩한다.

또한 상기 PSI&(PSIP and/or SI) Decoder(204)는 상기 수신된 섹션들을 디코딩하여 서비스 정보에 관한 데이터베이스를 만들고, 상기 서비스 정보에 관한 데이터베이스는 SI&Metadata DB(211)에 저장한다.

오디오/비디오 디코더(206/207)는, 상기 디멀티플렉서(205)에서 수신된 비디오 데이터와 오디오 데이터를 디코딩한다. 상기 오디오 디코더(206)에서 디코딩된 오디오 데이터 및 상기 비디오 디코더(207)에서 디코딩된 비디오 데이터는 디스플레이부(208)를 통하여 사용자에게 제공된다.

UI 매니저(214) 및 서비스 매니저(213)는, 네트워크 TV(200)의 전반적인 상태를 관리하고 유저 인터페이스를 제공하며, 다른 매니저를 관리한다.

UI 매니저(214)는 사용자를 위한 GUI(Graphic User Interface)를 OSD(On Screen Display) 등을 이용하여 제공하며, 사용자로부터 키 입력을 받아 상기 입력에 따른 수신기 동작을 수행한다. 예를 들어, 사용자로부터 채널선택에 관한 키 입력을 받으면 상기 키 입력신호를 서비스 매니저(213)에 전송한다.

서비스 매니저(213)는 서비스 전달 매니저(203), 서비스 디스커버리 매니저(210), 서비스 제어 매니저(209) 및 메타데이터 매니저(212) 등 서비스와 연관된 매니저를 제어한다.

또한 서비스 매니저(213)는 채널 맵(Channel Map)을 만들고 상기 유저 인터페이스 매니저(214)로부터 수신한 키 입력에 따라 상기 채널 맵을 이용하여 채널을 선택하다. 그리고 상기 서비스 매니저(213)는 PSI&(PSIP and/or SI) Decoder(204)로부터 채널의 서비스정보를 전송받아 선택된 채널의 오디오/비디오 PID(Packet Identifier)를 디멀티플렉서(205)에 설정한다.

서비스 디스커버리 매니저(210)는 서비스를 제공하는 서비스 제공자를 선택하는데 필요한 정보를 제공한다. 상기 서비스 매니저(213)로부터 채널선택에 관한 신호를 수신하면, 서비스 디스커버리 매니저(210)는 상기 정보를 이용하여 서비스를 찾는다.

서비스 제어 매니저(209)는 서비스의 선택과 제어를 담당한다. 예를 들어, 사용자가 기존의 방송방식과 같은 Live Broadcasting 서비스를 선택하는 경우 IGMP 또는 RTSP 등을 사용하고, VOD(Video On Demand)와 같은 서비스를 선택하는 경우에는 RTSP를 사용하여 서비스의 선택, 제어를 수행한다. 상기 RTSP 프로토콜은 실시간 스트리밍에 대해 트릭 모드(trick mode)를 제공할 수 있다. 또한, 서비스 제어 매니저(209)는 IMS(IP Multimedia Subsystem), SIP(Session Initiation Protocol)를 이용하여 IMC 게이트웨이를 통하는 세션을 초기화하고 관리할 수 있다. 상기 프로토콜들은 일 실시예이며, 구현 예에 따라 다른 프로토콜을 사용할 수도 있다.

메타데이터 매니저(212)는 서비스와 연관된 메타데이터를 관리하고 상기 메타데이터를 SI&Metadata DB(211)에 저장한다.

SI&Metadata DB(211)는 PSI&(PSIP and/or SI) Decoder(204)가 디코딩한 서비스 정보, 메타데이터 매니저(212)가 관리하는 메타데이터 및 서비스 디스커버리 매니저(210)가 제공하는 서비스 제공자를 선택하는데 필요한 정보를 저장한다. 또한 SI&Metadata DB(211)는 시스템에 대한 셋업 데이터 등을 저장할 수 있다.

SI&Metadata DB(211)는 비휘발성 메모리(NonVolatile RAM : NVRAM) 또는 플래쉬 메모리 등을 사용하여 구현될 수도 있다.

한편, 상기 IG(250)는, IMS 기반의 IPTV 서비스에 접근하기 위해 필요한 기능들을 모아 놓은 게이트웨이 이다.

도 3은 본 발명의 일실시예에 따른 영상 통화 서비스를 제공하는 네트워크 TV를 포함한 전체 시스템을 도시한 도면이다. 이하, 도 3을 참조하여, 본 발명의 일실시예에 따른 영상 통화 서비스를 제공하는 네트워크 TV를 포함한 전체 시스템을 설명하면 다음과 같다.

도 3에 도시된 바와 같이, 본 발명의 일실시예에 의한 네트워크 TV(300, 310)는 카메라(301. 311) 및 데이터베이스(302, 312) 등을 포함한다. 상기 카메라(301, 311)는 TV 화면 앞에 위치한 사용자의 모습을 촬영하기 위한 용도로 사용될 수 있으며, 영상 통화를 위한 마이크를 더 구비한다. 물론, 별도의 마이크가 사용될 수도 있다. 또한, 상기 데이터베이스(302,312)는 예를 들어, 데이터를 저장할 수 있는 성능을 가진 메모리 모두 가능하며, 특별한 제한이 없다.

나아가, 영상 통화 서비스가 가능한 네트워크 TV(300)는 다른 네트워크 TV(310)와 네트워크(340)로 연결이 되며, 상기 네트워크는 예를 들어 인터넷, LAN, 인트라넷, WAN 등이 될 수도 있다. 그리고, 예컨대, 상기 다른 네트워크 TV(310) 대신, 모바일 디바이스(320), PC(330) 등이 사용된다.

도 4는 도 3에 도시된 네트워크 TV의 제1실시예를 도시한 도면이다. 이하, 도 4를 참조하여, 도 3에 도시된 네트워크 TV(300, 310)의 구성 모듈들을 보다 상세히 설명하면 다음과 같다.

도 4에 도시된 제1 네트워크 TV(400)는 부가 비디오 서비스 모드를 실행하는 디바이스에 해당하며, 제2 네트워크 TV(410)는 상기 부가 비디오 서비스 모드를 실행하기 위한 정보를 수신하여 처리하는 디바이스에 해당한다.

상기 제1 네트워크 TV(400)는, 방송 네트워크 인터페이스 모듈(401), 선택부(402), 콜 커넥션 모듈(403), 제어부(404), 촬영부(405), 구성부(406) 그리고 전송부(407) 등을 포함한다. 전술한 모듈들은 하드웨어 또는 소프트웨어로 설계 가능하며, 필요에 따라 하드웨어와 소프트웨어의 결합으로 디자인할 수도 있다. 또한, 본 발명의 권리범위는 이에 한정되지 않으며, 원칙적으로 특허청구범위에 의해 정해져야 한다.

상기 방송 네트워크 인터페이스 모듈(401)은 방송 데이터를 수신하고, 상기 제어부(404)의 제어에 따라 상기 수신된 방송 데이터가 출력된다.

나아가, 상기 콜 커넥션 모듈(403)의 동작에 따라, 상기 제2 네트워크 TV(410)로부터 전화가 걸려 오거나 또는 전화를 건 경우, 영상 통화 모드가 실행된다. 상기 영상 통화 모드가 실행된 경우, 상기 촬영부(405)는 상기 제1 네트워크 TV(400)의 화면에 인접한 사용자를 촬영한다. 상기 촬영부는 일반 카메라, RGB 카메라, IR 카메라 등이 사용될 수도 있다.

상기 선택부(402)는, 부가 비디오 서비스 모드가 실행 중인 경우, 상기 촬영된 사용자가 디스플레이 되는 제1영역에 표시되는 부가 이미지의 종류 및 위치를 선택한다.

그리고, 상기 구성부(406)는 상기 부가 이미지를 비디오 프로세싱하는 과정에서 사용되는 데이터 셋트를 구성하고, 상기 전송부(407)는 상기 촬영부(405)를 통해 촬영된 오리지널 비디오 데이터 및 상기 구성된 데이터 셋트를, 상기 제2 네트워크 TV(410)로 전송한다. 전술하여 설명한 바와 같이, 상기 제2 네트워크 TV(410)는 상기 영상 통화 모드의 상대방 디바이스에 해당한다.

상기 부가 이미지는, 상기 제1 네트워크 TV(400)의 메모리에 기저장되어 있을 수 있으며, 상기 메모리는 예를 들어 데이터베이스(DataBase)에 해당한다.

또한, 본 발명의 일실시예에 의하면, 상기 데이터 셋트는 프레임 단위로 생성되며, 그리고 상기 데이터 셋트는 상기 부가 이미지의 위치 정보, 상기 부가 이미지의 3D 변환 매트릭스 정보 및 상기 부가 이미지의 스케일 정보를 포함한다.

또한, 본 발명의 일실시예에 의하면, 상기 부가 비디오 서비스 모드는, 특정 이미지를 단순 추가하는 제1모드, 백그라운드를 변경하는 제2모드, 또는 사용자의 이미지를 아바타 이미지로 변경하는 제3모드 중 적어도 하나 이상에 대응한다.

상기 부가 비디오 서비스 모드가 제1모드에 대응하는 경우, 상기 제1 네트워크 TV(400)는, 상기 카메라를 통해 촬영된 오리지널 비디오 데이터에, 상기 선택된 부가 이미지를 오버레이(overlay) 하고, 상기 오버레이된 비디오 데이터가 디스플레이 되도록 제어한다. 전술한 제1모드에 대해서는, 도 10 및 도 11에서 보다 상세히 설명하도록 하겠다.

상기 부가 비디오 서비스 모드가 제2모드에 대응하는 경우, 상기 제1 네트워크 TV(400)는, 상기 카메라를 통해 촬영된 오리지널 비디오 데이터에서, 사용자 이미지와 백그라운드 이미지를 분리하여 검출하고, 상기 분리 검출된 백그라운드 이미지를, 상기 선택된 부가 이미지로 대체하고, 상기 오리지널 비디오 데이터의 사용자 이미지와 상기 대체된 부가 이미지를 합성하고, 그리고 상기 합성된 이미지가 디스플레이 되도록 제어한다. 전술한 제2모드에 대해서는, 도 12 및 도 13에서 보다 상세히 설명하도록 하겠다.

상기 부가 비디오 서비스 모드가 제3모드에 대응하는 경우, 상기 제1 네트워크 TV(400)는, 상기 카메라를 통해 촬영된 오리지널 비디오 데이터의 사용자 이미지 중 얼굴 이미지를 검출하고, 상기 검출된 얼굴 이미지를 분석하여, 대응하는 아바타 이미지를 독출하고, 그리고 상기 사용자 이미지를 상기 독출된 아바타 이미지로 대체한다. 전술한 제3모드에 대해서는, 도 14 및 도 15에서 보다 상세히 설명하도록 하겠다.

상기 제2 네트워크 TV(410)는, 콜 커넥션 모듈(411), 제어부(412) 그리고 방송 네트워크 인터페이스 모듈(413) 등을 포함한다. 전술한 모듈들은 하드웨어 또는 소프트웨어로 설계 가능하며, 필요에 따라 하드웨어와 소프트웨어의 결합으로 디자인할 수도 있다. 또한, 본 발명의 권리범위는 이에 한정되지 않으며, 원칙적으로 특허청구범위에 의해 정해져야 한다.

상기 콜 커넥션 모듈(411)은, 상기 제1 네트워크 TV(400)와 영상 통화 연결 신호를 송수신한다. 상기 방송 네트워크 인터페이스 모듈(413)은, 방송 데이터를 수신하고, 상기 제어부(412)는, 상기 수신된 방송 데이터 및 상기 영상 통화 연결 신호를 처리한다.

나아가, 상기 제어부(412)의 컨트롤에 따라, 상기 제2 네트워크 TV(410)는 영상 통화 모드로의 전환이 실행된다. 또한, 상기 제2 네트워크 TV(410)는 상기 영상 통화 모드의 상대방 디바이스(예를 들어, 제1 네트워크 TV(400))로부터, 카메라를 통해 촬영된 오리지널 비디오 데이터와, 상기 오리지널 비디오 데이터가 디스플레이 되는 제1영역에 표시되는 부가 이미지의 식별정보 및 상기 부가 이미지를 비디오 프로세싱하는 과정에서 사용되는 데이터 셋트를 수신한다.

그리고 상기 제어부(412)의 컨트롤에 따라, 상기 제2 네트워크 TV(410)는 상기 수신된 데이터 셋트에 기초하여 상기 부가 이미지를 비디오 프로세싱한다.

또한, 본 발명의 다른 일실시예에 의한 상기 제2 네트워크 TV(410)는, 상기 제어부(412)의 컨트롤에 따라, 상기 제1영역에 상기 비디오 프로세싱된 부가 이미지 및 상기 오리지널 비디오 데이터를 출력하는 디스플레이 모듈과, 상기 부가 이미지의 식별정보에 맵핑되어 있는 부가 이미지를 기저장하고 있는 메모리를 더 포함한다.

이와 같이 설계된 본 발명의 일실시예는 다음과 같은 효과가 있다. 즉, 제1 네트워크 TV는 카메라로 촬영된 영상 자체를 변형하지 않고, 이미지 합성에 적용된 정보만을 전달한다. 또한, 제2 네트워크 TV는 촬영된 오리지널 영상 위에, 전송 받은 정보를 이용하여 해당 이미지를 표시하므로, 추가된 이미지로 인한 별도의 인코딩/디코딩 과정이 필요없는 장점이 있다. 따라서, 성능이 좋지 않은 TV에도 본 발명을 적용 가능하며, 부가 이미지 처리 속도를 제고할 수 있는 효과가 있다.

도 5는 도 3에 도시된 네트워크 TV의 제2실시예를 도시한 도면이다. 이하, 도 5를 참조하여, 도 3에 도시된 네트워크 TV(300, 310)의 구성 모듈들을 보다 상세히 설명하면 다음과 같다.

도 5에 도시된 제1 네트워크 TV(500)는 부가 비디오 서비스 모드를 실행하는 디바이스에 해당하며, 제2 네트워크 TV(510)는 상기 부가 비디오 서비스 모드를 실행하기 위한 정보를 수신하여 처리하는 디바이스에 해당한다.

본 발명의 일실시예에 의한 제1 네트워크 TV(500)는, 이미지 선택부(501), 카메라 영상 처리부(502), 실감 영상 합성부(503), 정보 구성부(504), 그리고 정보 전송부(505) 등을 포함한다. 전술한 모듈들은 하드웨어 또는 소프트웨어로 설계 가능하며, 필요에 따라 하드웨어와 소프트웨어의 결합으로 디자인할 수도 있다. 또한, 본 발명의 권리범위는 이에 한정되지 않으며, 원칙적으로 특허청구범위에 의해 정해져야 한다.

예를 들어, 상기 제1 네트워크 TV(500)의 사용자가 카메라를 통해 촬영된 본인의 영상에 다른 이미지를 추가하길 원하는 경우, 상기 이미지 선택부(501)는 이미지 DB(미도시)에 액세스 하여 특정 부가 이미지를 선택한다.

상기 특정 부가 이미지가 선택된 경우, 상기 카메라 영상 처리부(502)는 컴퓨터 비전(computer vision) 기술을 이용하여 카메라로부터 입력 받은 비디오 데이터에서 사용자 이미지만을 추출한다. 이를 위해, 오브젝트 디텍션/오브젝트 트래킹(object detection & object tracking) 기술이 차용될 수도 있다. 나아가, 상기 카메라 영상 처리부(502)는 백그라운드 추출 기법(background subtraction)을 이용하여, 카메라에서 촬영된 비디오 데이터에서 사용자 이미지와 백그라운드 이미지를 분리 검출한다. 또한, 상기 카메라 영상 처리부(502)는 상기 촬영된 비디오 데이터의 사용자 이미지 중, 얼굴 표정을 인식하도록 설계될 수도 있다. 다만, 전술하여 설명한 백그라운드 추출 기법 및 얼굴 표정 인식 방법은 종래에 널리 알려진 기술을 차용할 수도 있다.

상기 실감 영상 합성부(503)는, 예를 들어 AR(Augmented Reality) 기법을 사용한다. 따라서, 상기 실감 영상 합성부(503)는 카메라로부터 사용자까지의 거리 및 방향 등의 3차원 정보를 고려하여, 카메라에서 촬영된 오리지널 비디오 데이터와 상기 이미지 선택부에서 선택된 특정 부가 이미지를 합성한다.

나아가, 상기 정보 구성부(504)는, 상기 합성된 데이터가 상대방 디바이스에서 디스플레이 되기 위한 정보를 프레임 단위로 구성하고, 상기 정보 전송부(505)는 상기 구성된 정보를 제2 네트워크 TV로 전송한다. 상기 제2 네트워크 TV는, 영상 통화 상대방의 디바이스에 대응한다.

한편, 본 발명의 일특징 중 하나인 부가 이미지를 비디오 프로세싱 하기 위한 데이터 셋트를 구성하는 구체적인 방법에 대해서는, 도 16을 참조하여 보다 상세히 후술하도록 하겠다.

본 발명의 일실시예에 의한 제2 네트워크 TV(510)는, 정보 수신부(511), 정보 추출부(512) 그리고 영상 출력부(513) 등을 포함한다. 전술한 모듈들은 하드웨어 또는 소프트웨어로 설계 가능하며, 필요에 따라 하드웨어와 소프트웨어의 결합으로 디자인할 수도 있다. 또한, 본 발명의 권리범위는 이에 한정되지 않으며, 원칙적으로 특허청구범위에 의해 정해져야 한다.

상기 정보 수신부(511)는, 상기 제1 네트워크 TV(500)의 정보 전송부(505)가 전송한 프레임 단위의 데이터 셋트를 수신하고, 상기 정보 추출부(512)는 영상 통화 화면 구성을 위한 상기 데이터 셋트를 추출한다. 그리고, 상기 영상 출력부(513)는 상기 추출된 데이터 셋트를 이용하여, 부가 이미지가 추가된 영상 통화 화면을 신속하게 디스플레이 한다.

한편, 본 발명의 일특징 중 하나인 부가 이미지를 비디오 프로세싱 하기 위한 데이터 셋트를 수신하여 처리하는 구체적인 방법에 대해서는, 도 17을 참조하여 보다 상세히 후술하도록 하겠다.

도 6은 본 발명의 일실시예에 따라 전화가 걸려 온 상황을 인디케이트(indicate) 하는 화면을 도시한 도면이다. 도 7은 본 발명의 일실시예에 따른 영상 통화 화면을 도시한 도면이다. 도 8은 본 발명의 다른 일실시예에 따른 영상 통화 화면을 도시한 도면이다. 그리고, 도 9는 본 발명의 일실시예에 따라 부가 비디오 서비스 모드를 인디케이트(indicate) 하는 화면을 도시한 도면이다. 이하, 도 6 내지 도 9를 참조하여, 일반 방송 화면, 영상 통화 화면, 그리고 부가 비디오 서비스 모드에 대하여 순차적으로 설명하면 다음과 같다.

도 6에 도시된 바와 같이, 본 발명의 일실시예에 의한 네트워크 TV는 일반 방송 화면(601)을 디스플레이 하다가, 상대방 디바이스로부터 전화가 걸려 오면, 이를 표시하는 정보(602)가 디스플레이 된다. 다만, 도 6에서는 전화가 걸려 온 상황을 예시하였지만, 그 반대로 본 발명이 적용될 수도 있다.

도 6에 도시된 정보(602)에 대한 승낙 내지 컨펌이 이루어 진 경우, 도 7에 도시된 바와 같이, 일반 방송 화면(701)과 사용자 본인의 비디오 데이터(702) 및 상대방의 비디오 데이터(703)가 디스플레이 된다. 다만, 상기 비디오 데이터는, 예컨대 네트워크 TV 또는 기타 디바이스에 연결된 카메라를 통해 촬영된 영상이다.

또는, 도 6에 도시된 정보(602)에 대한 승낙 내지 컨펌이 이루어 진 경우, 도 8에 도시된 바와 같이, 일반 방송 화면은 사라지고 사용자 본인의 비디오 데이터(801) 및 상대방의 비디오 데이터(802)가 디스플레이 된다.

나아가, 도 9에 도시된 바와 같이, 영상 통화 모드를 시작하는 순간부터 또는 사용자 요청이 있는 경우, 사용자 본인의 비디오 데이터(901) 및 상대방의 비디오 데이터(902)와 함께, 부가 비디오 서비스 모드를 가이드 하는 정보(903)가 디스플레이 된다. 다만, 상기 부가 비디오 서비스 모드는, 예를 들어 영상 통화 중 카메라로 촬영된 비디오 데이터를 실시간으로 편집 가능한 상태에 대응하며, 상기 용어로 본 발명의 권리범위가 제한되는 것은 아니며, 본 발명의 권리범위는 원칙적으로 당연히 특허청구범위에 의해 결정되어야 한다.

도 10은 본 발명의 일실시예에 따른 부가 비디오 서비스 모드가 제1모드에 해당하는 경우의 화면 전환을 도시한 도면이다. 도 11은 도 10의 과정을 설명하기 위한 플로우 차트이다. 이하, 도 10 및 도 11을 참조하여, 부가 비디오 서비스 모드 중 특정 이미지를 단순 추가하는 제1모드에 대하여 설명하면 다음과 같다.

도 10에 도시된 바와 같이 영상 통화 모드 초기에는 영상 통화 모드의 caller 에 대한 비디오 데이터(1000)와 상대방에 대한 비디오 데이터(1010)가 디스플레이 되다가, 특정 이미지를 단순 추가하는 부가 비디오 서비스 모드(제1모드)에 진입한 경우, caller 에 대한 비디오 데이터(1020)에 특정 부가 이미지(1021)가 오버레이된 형태로 출력된다. 다만, 상대방에 대한 비디오 데이터(1030)는 그대로 유지되는 것으로 도 10에 도시되어 있으나, 상대방 네트워크 TV의 조작에 따라, 부가 이미지가 추가된 형태가 될 수도 있다.

다시 정리하여 설명하면, 도 11에 도시된 바와 같이, 본 발명의 일실시예에 의한 네트워크 TV가, 특정 이미지를 단순 추가하는 부가 비디오 서비스 모드(제1모드)에 진입한 경우, 자신의 비디오 데이터를 편집하기 위한 특정 부가 이미지를 선택한다(S1101). 상기 네트워크 TV는, 카메라를 통해 촬영된 오리지널 비디오 데이터에, 상기 선택된 부가 이미지를 오버레이(overlay) 하고(S1102), 상기 오버레이된 비디오 데이터가 디스플레이 되도록 제어한다(S1103).

그리고, 상기 네트워크 TV는, 상기 오버레이에 사용된 데이터 셋트를 상대방 네트워크 TV에 전송하도록 설계된다(S1104). 다만, 이에 대한 보다 상세한 설명은 도 16에서 후술하도록 하겠다.

도 12는 본 발명의 일실시예에 따른 부가 비디오 서비스 모드가 제2모드에 해당하는 경우의 화면 전환을 도시한 도면이다. 도 13은 도 12의 과정을 설명하기 위한 플로우 차트이다. 이하, 도 12 및 도 13을 참조하여, 부가 비디오 서비스 모드 중 백그라운드를 변경하는 제2모드에 대하여 설명하면 다음과 같다.

도 12에 도시된 바와 같이 영상 통화 모드 초기에는 영상 통화 모드의 caller 에 대한 비디오 데이터(1200)와 상대방에 대한 비디오 데이터(1210)가 디스플레이 되다가, 백그라운드를 변경하는 부가 비디오 서비스 모드(제2모드)에 진입한 경우, caller 에 대한 비디오 데이터(1220)의 백그라운드 이미지가 대체된 형태(1221)로 출력된다. 다만, 상대방에 대한 비디오 데이터(1230)는 그대로 유지되는 것으로 도 12에 도시되어 있으나, 상대방 네트워크 TV의 조작에 따라, 백그라운드 이미지가 변경된 형태가 될 수도 있다.

다시 정리하여 설명하면, 도 13에 도시된 바와 같이, 본 발명의 일실시예에 의한 네트워크 TV가, 백그라운드를 변경하는 부가 비디오 서비스 모드(제2모드)에 진입한 경우, 자신의 비디오 데이터를 편집하기 위한 특정 배경 이미지를 선택한다(S1301). 상기 네트워크 TV는, 카메라를 통해 촬영된 오리지널 비디오 데이터에서, 사용자 이미지와 백그라운드 이미지를 분리 검출하고(S1302), 상기 분리 검출된 백그라운드 이미지를 상기 선택된 배경 이미지로 대체한다(S1303).

그리고, 상기 네트워크 TV는, 상기 대체된 배경 이미지에 사용된 데이터 셋트를 상대방 네트워크 TV에 전송하도록 설계된다(S1304). 다만, 이에 대한 보다 상세한 설명은 도 16에서 후술하도록 하겠다.

도 14는 본 발명의 일실시예에 따른 부가 비디오 서비스 모드가 제3모드에 해당하는 경우의 화면 전환을 도시한 도면이다. 도 15는 도 14의 과정을 설명하기 위한 플로우 차트이다. 이하, 도 14 및 도 15를 참조하여, 부가 비디오 서비스 모드 중 사용자의 이미지를 아바타 이미지로 변경하는 제3모드에 대하여 설명하면 다음과 같다.

도 14에 도시된 바와 같이 영상 통화 모드 초기에는 영상 통화 모드의 caller 에 대한 비디오 데이터(1400)와 상대방에 대한 비디오 데이터(1410)가 디스플레이 되다가, 사용자의 이미지를 아바타 이미지로 변경하는 부가 비디오 서비스 모드(제3모드)에 진입한 경우, caller 에 대한 비디오 데이터(1420) 중 일부 사용자의 이미지가 아바타 이미지로 대체된 형태(1421)로 출력된다. 다만, 상대방에 대한 비디오 데이터(1430)는 그대로 유지되는 것으로 도 14에 도시되어 있으나, 상대방 네트워크 TV의 조작에 따라, 백그라운드 이미지가 변경된 형태가 될 수도 있다.

다시 정리하여 설명하면, 도 15에 도시된 바와 같이, 본 발명의 일실시예에 의한 네트워크 TV가, 사용자의 이미지를 아바타 이미지로 변경하는 부가 비디오 서비스 모드(제3모드)에 진입한 경우, 카메라를 통해 촬영된 사용자 이미지 중 얼굴 이미지를 검출한다(S1501). 나아가, 상기 네트워크 TV는 상기 검출된 얼굴 이미지를 분석하여, 대응하는 아바타 이미지를 독출한다(S1502). 예를 들어, 웃는 얼굴인 경우 웃는 얼굴의 아바타로 대체되고, 화난 얼굴인 경우 화난 얼굴의 아바타로 대체된다. 다만, 다른 실시예로서, 사용자가 직접 원하는 아바타 이미지를 선택하도록 설계할 수도 있다.

그리고, 상기 네트워크 TV는, 상기 사용자 이미지를 상기 독출된 아바타 이미지로 대체한다(S1503). 또한, 도 15에 도시하지는 않았지만, 아바타 이미지로 대체하는 과정에서 사용된 데이터 셋트 또한 상대방 디바이스로 전송된다. 다만, 이에 대한 보다 상세한 설명은 도 16에서 후술하도록 하겠다.

도 16은 본 발명의 일실시예에 따른, 부가 이미지를 비디오 프로세싱하는 과정에서 사용되는 데이터 셋트가 제1디바이스에서 처리되는 과정을 도식적으로 나타낸 도면이다. 이하, 도 16을 참조하여, 본 발명의 일실시예에 따른, 부가 이미지를 비디오 프로세싱 하는 과정에서 사용되는 데이터 셋트가 제1디바이스에 처리되는 과정을 설명하면 다음과 같다. 다만, 상기 제1디바이스는, 예를 들어, 부가 이미지를 추가하고자 하는 영상 통화 모드의 네트워크 TV를 의미한다.

도 16의 (A)에 도시된 바와 같이, 제1디바이스는 이미지 DB 를 가지고 있으며, 상기 이미지 DB에는 다양한 종류의 이미지 데이터가 저장되어 있다. 다만, 상기 제1디바이스는 다른 외부의 디바이스 등과 접속하여, 새로운 이미지 데이터를 업데이트 할 수도 있다. 도 16의 (A)에 도시된 image 1 은 아바타 이미지의 일예이고, image 2 는 백그라운드 이미지의 일예이고, 그리고 image k 는 부가 이미지의 일예이다. 이하에서는, 부가 이미지의 일예인 image k 가 선택된 경우를 예로 들어 설명하지만, 당업자라면 다른 image 를 선택한 경우의 설계도 용이하게 적용할 수가 있다.

또한, 도 16의 (B)에 도시된 바와 같이, 상기 제1디바이스는 사용자의 요청에 따라, 선택된 특정 부가 이미지인 image k 가 디스플레이 되고자 하는 위치를 결정한다. 나아가, 도 16의 (C)에 도시된 바와 같이, 상기 제1디바이스는 실감 영상 합성 엔진(AR engine)을 이용하여, 선택된 부가 이미지(image k)와 현재 카메라를 통해 입력되는 비디오 데이터(Vi)를 3차원적으로 합성하여, 실감 영상을 생성한다.

나아가, 도 16의 (D)에 도시된 바와 같이, 상기 제1디바이스는 합성 과정에서 사용된 정보를 하나의 테이블로 구성한다. 상기 정보는, 예컨대 상기 부가 이미지를 비디오 프로세싱하는 과정에서 사용되는 데이터 셋트를 의미한다. 그리고, 도 16의 (D)에 도시된 바와 같이, 상기 데이터 셋트는 상기 부가 이미지의 위치 정보(P(xi, yi)), 상기 부가 이미지의 3D 변환 매트릭스 정보(Matrix Mi) 및 상기 부가 이미지의 스케일 정보(Ci)를 포함한다. 상기 부가 이미지의 스케일 정보는, 예컨대 변환된 부가 이미지의 크기를 의미한다.

따라서, 제1디바이스는, 부가 이미지와 카메라를 통해 촬영된 비디오 데이터의 합성 이미지를 인코딩 하지 않고, 영상 통화의 상대방 디바이스에 전술한 데이터 셋트를 전송함으로써, TV의 성능이 상대적으로 낮은 경우에도 원활한 부가 비디오 서비스가 가능한 특유의 효과가 있다.

도 17은 본 발명의 일실시예에 따른, 부가 이미지를 비디오 프로세싱하는 과정에서 사용되는 데이터 셋트가 제2디바이스에서 처리되는 과정을 도식적으로 나타낸 도면이다. 이하, 도 17을 참조하여, 본 발명의 일실시예에 따른, 부가 이미지를 비디오 프로세싱 하는 과정에서 사용되는 데이터 셋트가 제2디바이스에 처리되는 과정을 설명하면 다음과 같다. 다만, 상기 제2디바이스는, 예를 들어, 상대방 디바이스에 의해 추가된 부가 이미지를 디스플레이 하는 영상 통화 모드의 네트워크 TV를 의미한다.

우선, 제2디바이스가 전술한 제1디바이스로부터 데이터 셋트를 수신한 경우, 상기 제2디바이스는 자신의 이미지 데이터 베이스에서 해당 이미지(image k)를 읽어 온다. 나아가, 상기 제2디바이스는 도 17의 (A)에 도시된 바와 같이, Mi 변수를 이용하여 해당 이미지를 변환하고, Ci 변수를 이용하여 크기를 조정한 다음, 해당 비디오 프레임(Vi)의 특정 위치인 P(xi, yi)에 변환된 부가 이미지를 출력한다. 또한, 전술한 과정들은 사용자의 카메라로 입력되는 영상의 매프레임 마다 적용되므로, 합성되는 영상은 사용자의 움직임을 실시간으로 반영할 수 있는 장점이 있다.

도 18은 본 발명의 일실시예에 따른 전체 과정을 설명하는 플로우 차트이다. 이하, 도 18을 참조하여, 본 발명의 일실시예에 따른 전체 과정을 보다 상세히 설명하면 다음과 같다. 다만, 도 18은 본 발명의 실시예들을 설명하기 위한 도면이며, 도 18에 도시된 내용으로 권리범위가 제한되어서는 아니되며, 원칙적으로 특허청구범위에 의해 본 발명의 권리범위가 정해져야 한다.

본 발명의 일실시예에 의한 제1 네트워크 TV는 방송 데이터를 수신 및 출력한다(S1810). 본 발명의 일실시예에 의한 제2 네트워크 TV도 방송 데이터를 수신 및 출력하고(S1820), 영상 통화 요청을 상기 제1 네트워크 TV로 전송한다(S1821).

상기 제1 네트워크 TV 및 상기 제2 네트워크 TV 모두 영상 통화 모드를 실행하고(S1811, 1822), 카메라 촬영이 개시된다(S1812, S1823). 그리고, 상기 제1 네트워크 TV 및 상기 제2 네트워크 TV는 일반 영상 통화 화면을 출력한다(S1813, S1824).

사용자 등의 요청에 따라, 상기 제1 네트워크 TV는 부가 비디오 서비스 모드를 실행한다(S1814). 다만, 상기 S1814 단계는 도 9에 도시된 화면에 기초하여 이루어 질 수도 있다.

상기 제1 네트워크 TV는 자신이 촬영된 비디오 데이터에 추가하고자 하는 부가 이미지의 종류 및 위치를 선택한다(S1815). 나아가, 상기 제1 네트워크 TV는 상기 부가 이미지를 비디오 프로세싱하는 과정에서 사용되는 데이터 셋트를 구성하고(S1816), 그리고 상기 데이터 셋트를 상기 제2 네트워크 TV로 전송한다(S1817).

한편, 상기 제2 네트워크 TV는 상기 제1 네트워크 TV로부터 상기 데이터 셋트를 수신하고(S1825), 상기 수신된 데이터 셋트를 이용하여 부가 이미지를 비디오 프로세싱한다(S1826). 그리고, 상기 제2 네트워크 TV는 상기 비디오 프로세싱된 부가 이미지를 상대방 이미지 데이터와 합성하여 출력한다(S1827).

따라서, 이와 같이 설계된 본 발명의 일실시예에 의하면, 카메라로 입력되는 영상 자체는 변형하지 않고, 송신측에서는 사용자가 선택한 이미지 합성에 적용된 정보를 전달하고, 수신측에서는 사용자의 영상 위에 전송 받은 정보를 바탕으로 해당 이미지를 디스플레이 하므로, 추가된 이미지로 인한 별도의 디코딩 이나 인코딩이 필요하지 않은 장점이 있다.

또한, 본 발명의 다른 일실시예에 의하면, 네트워크 TV를 이용한 인터넷 영상 통화에서 사용자가 자신의 실제 영상을 그대로 전송하지 않고, 원하는 이미지를 추가하거나, 실제 배경을 다른 배경으로 변경하거나, 또는 사용자가 설정하였거나 자동으로 선택된 아바타 이미지를 상대방 디바이스에서 신속하게 디스플레이 되도록 하는 것이 가능하다.

나아가, 본 발명의 또 다른 일실시예에 의하면, 사용자가 선택한 영상을 합성하는데 있어서, 실감 영상 합성 기법을 도입함으로써, 사용자와 카메라로부터의 거리 및 방향으로 인한 3차원적인 정보를 활용할 수가 있다. 따라서, 추가된 부가 이미지를 보다 현실감 있게 상대방에게 전달할 수 있는 장점이 있다.

그리고, 당해 명세서에서는 물건 발명과 방법 발명이 모두 설명되고 있으며, 필요에 따라 양발명의 설명은 보충적으로 적용될 수가 있다.

본 발명에 따른 방법 발명은 모두 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

300, 400 : 제1 네트워크 TV
310, 410 : 제2 네트워크 TV
320 : 모바일 디바이스
330 : PC

Claims (12)

1. 네트워크 TV를 이용하여 영상 통화 서비스를 제공하는 방법에 있어서,
   방송 네트워크 인터페이스를 통해 방송 데이터를 수신하는 단계;
   상기 수신된 방송 데이터가 출력되도록 제어하는 단계;
   영상 통화 모드가 실행 중인 경우, 카메라를 통해 사용자를 촬영하는 단계;
   부가 비디오 서비스 모드가 실행 중인 경우, 상기 촬영된 사용자가 디스플레이 되는 제1영역에 표시되는 부가 이미지의 종류 및 위치를 선택하는 단계;
   상기 부가 이미지를 비디오 프로세싱하는 과정에서 사용되는 데이터 셋트를 구성하는 단계; 그리고
   상기 카메라를 통해 촬영된 오리지널 비디오 데이터 및 상기 구성된 데이터 셋트를, 상기 영상 통화 모드의 상대방 디바이스로 전송하는 단계
   를 포함하는 네트워크 TV를 이용하여 영상 통화 서비스를 제공하는 방법.
2. 제1항에 있어서,
   상기 부가 이미지는,
   상기 네트워크 TV의 데이터베이스(DataBase)에 기저장되어 있는 네트워크 TV를 이용하여 영상 통화 서비스를 제공하는 방법.
3. 제1항에 있어서,
   상기 부가 비디오 서비스 모드는,
   특정 이미지를 단순 추가하는 제1모드, 백그라운드를 변경하는 제2모드, 또는 사용자의 이미지를 아바타 이미지로 변경하는 제3모드 중 적어도 하나 이상에 대응하는 네트워크 TV를 이용하여 영상 통화 서비스를 제공하는 방법.
4. 제1항에 있어서,
   상기 데이터 셋트는 프레임 단위로 생성되며, 그리고
   상기 데이터 셋트는 상기 부가 이미지의 위치 정보, 상기 부가 이미지의 3D 변환 매트릭스 정보 및 상기 부가 이미지의 스케일 정보를 포함하는 네트워크 TV를 이용하여 영상 통화 서비스를 제공하는 방법.
5. 제3항에 있어서,
   상기 부가 비디오 서비스 모드가 제1모드에 대응하는 경우,
   상기 카메라를 통해 촬영된 오리지널 비디오 데이터에, 상기 선택된 부가 이미지를 오버레이(overlay) 하는 단계; 그리고
   상기 오버레이된 비디오 데이터가 디스플레이 되도록 제어하는 단계
   를 더 포함하는 네트워크 TV를 이용하여 영상 통화 서비스를 제공하는 방법.
6. 제3항에 있어서,
   상기 부가 비디오 서비스 모드가 제2모드에 대응하는 경우,
   상기 카메라를 통해 촬영된 오리지널 비디오 데이터에서, 사용자 이미지와 백그라운드 이미지를 분리하여 검출하는 단계;
   상기 분리 검출된 백그라운드 이미지를, 상기 선택된 부가 이미지로 대체하는 단계;
   상기 오리지널 비디오 데이터의 사용자 이미지와 상기 대체된 부가 이미지를 합성하는 단계; 그리고
   상기 합성된 이미지가 디스플레이 되도록 제어하는 단계
   를 더 포함하는 네트워크 TV를 이용하여 영상 통화 서비스를 제공하는 방법.
7. 제3항에 있어서,
   상기 부가 비디오 서비스 모드가 제3모드에 대응하는 경우,
   상기 카메라를 통해 촬영된 오리지널 비디오 데이터의 사용자 이미지 중 얼굴 이미지를 검출하는 단계;
   상기 검출된 얼굴 이미지를 분석하여, 대응하는 아바타 이미지를 독출하는 단계; 그리고
   상기 사용자 이미지를 상기 독출된 아바타 이미지로 대체하는 단계
   를 더 포함하는 네트워크 TV를 이용하여 영상 통화 서비스를 제공하는 방법.
8. 영상 통화 서비스를 제공하는 네트워크 TV에 있어서,
   영상 통화 연결 신호를 송수신하는 콜 커넥션 모듈;
   방송 데이터를 수신하는 방송 네트워크 인터페이스 모듈; 그리고
   상기 수신된 방송 데이터 및 상기 영상 통화 연결 신호를 처리하는 제어부
   를 포함하며,
   상기 제어부의 컨트롤에 따라, 영상 통화 모드로의 전환이 실행되고,
   상기 제어부의 컨트롤에 따라, 상기 영상 통화 모드의 상대방 디바이스로부터, 카메라를 통해 촬영된 오리지널 비디오 데이터와, 상기 오리지널 비디오 데이터가 디스플레이 되는 제1영역에 표시되는 부가 이미지의 식별정보 및 상기 부가 이미지를 비디오 프로세싱하는 과정에서 사용되는 데이터 셋트를 수신하고, 그리고
   상기 제어부의 컨트롤에 따라, 상기 수신된 데이터 셋트에 기초하여 상기 부가 이미지를 비디오 프로세싱하는 네트워크 TV.
9. 제8항에 있어서,
   상기 제어부의 컨트롤에 따라, 상기 제1영역에 상기 비디오 프로세싱된 부가 이미지 및 상기 오리지널 비디오 데이터를 출력하는 디스플레이 모듈
   을 더 포함하는 네트워크 TV.
10. 제8항에 있어서,
    상기 부가 이미지의 식별정보에 맵핑되어 있는 부가 이미지를 기저장하고 있는 메모리
    를 더 포함하는 네트워크 TV.
11. 제10항에 있어서,
    상기 데이터 셋트는 프레임 단위로 생성되며, 그리고
    상기 데이터 셋트는 상기 부가 이미지의 위치 정보, 상기 부가 이미지의 3D 변환 매트릭스 정보 및 상기 부가 이미지의 스케일 정보를 포함하는 네트워크 TV.
12. 제8항에 있어서,
    상기 네트워크 TV는,
    스마트 TV, IPTV, HBBTV, DTV 중 어느 하나에 대응하는 네트워크 TV.

Images