KR20140020733A - 영상 획득 방법 및 로컬 엔드포인트 호스트 장치 - Google Patents

영상 획득 방법 및 로컬 엔드포인트 호스트 장치 Download PDF

Info

Publication number
KR20140020733A
KR20140020733A KR20130075743A KR20130075743A KR20140020733A KR 20140020733 A KR20140020733 A KR 20140020733A KR 20130075743 A KR20130075743 A KR 20130075743A KR 20130075743 A KR20130075743 A KR 20130075743A KR 20140020733 A KR20140020733 A KR 20140020733A
Authority
KR
South Korea
Prior art keywords
remote
host device
local
endpoint host
camera
Prior art date
Application number
KR20130075743A
Other languages
English (en)
Other versions
KR102157634B1 (ko
Inventor
파비오 가바
페이 씨에
프라빈 카쉬얍
시앙-펭 리
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP13179182.4A priority Critical patent/EP2696591B1/en
Priority to CN201310341655.0A priority patent/CN103581607B/zh
Publication of KR20140020733A publication Critical patent/KR20140020733A/ko
Application granted granted Critical
Publication of KR102157634B1 publication Critical patent/KR102157634B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 영상 획득 방법 및 로컬 엔드포인트 호스트 장치에 관한 것으로서, 본 발명의 일 실시예에 따른 영상 획득 방법은 카메라를 포함하는 로컬 엔드포인트 호스트 장치에서의 영상 통화를 위한 영상을 획득하는 방법에 있어서, 카메라에 의하여 캡쳐된 제1 영상 스트림을 원격 엔드포인트 호스트 장치로 스트리밍하는 단계, 원격 카메라 장치로 스위칭하기 위한 제1 신호를 수신하는 단계, 로컬 엔드포인트 호스트 장치를 원격 카메라 장치로 연결하는 단계, 원격 카메라 장치로부터 제2 영상 스트림을 수신하는 단계, 및 원격 엔드포인트 호스트 장치로 제2 영상 스트림을 전송하는 단계를 포함할 수 있다.

Description

영상 획득 방법 및 로컬 엔드포인트 호스트 장치{IMAGE CAPTURING METHOD AND LOCAL ENDPOINT HOST DEVICE}
본 발명은 영상 획득 방법 및 로컬 엔드포인트 호스트 장치에 관한 것으로서, 더욱 상세하게는 원격 카메라 장치로써 영상 스트림을 수신한 후 이를 로컬 엔드포인트 호스트 장치를 통하여 원격 엔드포인트 호스트 장치로 전송하도록 하는 영상 획득 방법 및 로컬 엔드포인트 호스트 장치에 관한 것이다.
화상 통화 어플리케이션은 초기의 (로컬) 피어 투 피어(peer to peer) 방식에서, 서버 기반의 중계 통신으로 발전되어, 마침내 외부 서버를 이용하여 피어 투 피어 세션을 초기화하는 최신 SIP 서비스까지 구현할 수 있게 되었다. 그러나, 이러한 기술 발전에도 불구하고, 화상 통화 어플리케이션은 화상 통화 장치와 인접한 위치에 있는 사용자와 다른 화상 통화 장치와 인접한 위치에 있는 다른 사용자 간에 통화하는 것에 국한되어 있었다.
TV가 화상 통화 장치로 이용되는 경우도 있으나, 이러한 장치는 무거울 뿐만 아니라 고정된 채로 사용되는 것이기 때문에, TV에 부착되어 고정된 카메라를 통해 실감나는 영상 또는 이미지를 사용자에게 제공하는 것은 현실적으로 어려운 문제가 있다. 이러한 문제를 해결하기 위해 자동으로 회전할 수 있도록 하는 PZT(Pan-Zoom-Tilt) 카메라를 TV에 부착하여 사용할 수 있으나, 이는 고가일 뿐만 아니라 박막화 되어 가는 TV에 이를 부착하는 것은 적절하지 못하다는 문제가 있다. 또한, SW-FOV(Super-wide Field Of View) 카메라를 TV에 부착하여 사용할 수 있으나, 이는 고해상도 디스플레이 장치에서 흐림 현상(Blurry)을 발생할 수 있고, 어안 렌즈(Fish-eye lens)로 인해 렌즈 왜곡을 유발할 수 있는 문제점이 있다.
본 발명의 목적은 원격 카메라 장치로써 영상 스트림을 수신한 후 이를 로컬 엔드포인트 호스트 장치를 통하여 원격 엔드포인트 호스트 장치로 전송하도록 하는 영상 획득 방법 및 로컬 엔드포인트 호스트 장치를 제공하기 위함이다.
상기의 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 영상 획득 방법은 카메라를 포함하는 로컬 엔드포인트 호스트 장치에서의 영상 통화를 위한 영상을 획득하는 방법에 있어서, 카메라에 의하여 캡쳐된 제1 영상 스트림을 원격 엔드포인트 호스트 장치로 스트리밍하는 단계, 원격 카메라 장치로 스위칭하기 위한 제1 신호를 수신하는 단계, 로컬 엔드포인트 호스트 장치를 원격 카메라 장치로 연결하는 단계, 원격 카메라 장치로부터 제2 영상 스트림을 수신하는 단계, 및 원격 엔드포인트 호스트 장치로 제2 영상 스트림을 전송하는 단계를 포함할 수 있다.
또한, 원격 카메라 장치를 선택하기 위한 팝업 메뉴를 디스플레이하는 단계를 더 포함할 수 있다.
또한, 네트워크 상태에 따른 제어 명령을 원격 카메라 장치로 전송하는 단계를 더 포함할 수 있다.
또한, 제어 명령은, 원격 카메라 장치로부터 로컬 엔드포인트 호스트 장치로 초당 정해진 개수의 프레임 또는 프레임 당 정해진 개수의 비트를 전송하도록 하는 명령을 포함할 수 있다.
또한, 사용자 선택에 따라 카메라 및 원격 카메라 장치 사이를 토글링하는 단계를 더 포함할 수 있다.
또한, 제1 신호는 원격 카메라 장치로부터 전송되는 것일 수 있다.
또한, 로컬 엔드포인트 호스트 장치는 라우터에 연결되고, 라우터는 원격 엔드포인트 호스트 장치와 연결되도록 하는 광역 네트워크와 연결되는 것일 수 있다.
또한, 로컬 엔드포인트 호스트 장치는 원격 카메라 장치에 의해 네트워크 상에서 탐색되는 것일 수 있다.
또한, 제2 영상 스트림에 대한 스트리밍은 원격 카메라 장치에 의해 수행되는 것일 수 있다.
또한, 원격 카메라 장치의 스트리밍 어플리케이션이 종료되면 로컬 엔드포인트 호스트 장치의 카메라를 스위칭하는 단계를 더 포함할 수 있다.
또한, 원격 카메라 장치로 장치 제어 및 스트림 제어를 포함하는 제어 데이터를 전송하는 단계를 더 포함할 수 있다.
한편, 본 발명의 다른 실시예에 따른 영상 획득 방법은 카메라를 포함하지 않는 로컬 엔드포인트 호스트 장치에서의 영상 통화를 위한 영상을 획득하는 방법에 있어서, 로컬 엔드포인트 호스트 장치와 원격 카메라 장치를 연결하는 단계, 원격 카메라 장치로부터 영상 스트림을 수신하는 단계, 영상 스트림을 로컬 엔드포인트 호스트 장치로부터 원격 엔드포인트 호스트 장치로 전송하는 단계, 원격 카메라 장치와의 연결을 해제하는 단계, 및 원격 엔드포인트 호스트 장치와의 영상 통화를 종료하는 단계를 포함하고, 로컬 엔드포인트 호스트 장치는 영상 통화의 로컬 엔드포인트 프록시로서 기능을 수행하는 것일 수 있다.
또한, 로컬 엔드포인트 호스트 장치에서 원격 카메라 장치를 선택하기 위한 팝업 메뉴를 디스플레이하는 단계를 더 포함할 수 있다.
또한, 원격 카메라 장치 명령을 원격 카메라 장치로 전송하는 단계를 더 포함하고, 원격 카메라 장치 명령은 네트워크 상태에 따라 달라지는 것일 수 있다.
또한, 명령은, 원격 카메라 장치로부터 로컬 엔드포인트 호스트 장치로 초당 정해진 개수의 프레임 또는 프레임당 정해진 개수의 비트를 전송하도록 하는 명령을 포함할 수 있다.
또한, 로컬 엔드포인트 호스트 장치는 라우터에 연결되고, 라우터는 원격 엔드포인트 호스트 장치와 연결되도록 하는 광역 네트워크와 연결되는 것일 수 있다.
또한, 로컬 엔드포인트 호스트 장치는 원격 카메라 장치에 의해 네트워크 상에서 탐색되는 것일 수 있다.
또한, 원격 카메라 장치의 스트리밍 어플리케이션이 종료되면 로컬 엔드포인트 호스트 장치의 영상 통화를 종료하는 단계를 더 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 로컬 엔드포인트 호스트 장치는 로컬 카메라를 포함하는 로컬 엔드포인트 호스트 장치에 있어서, 화상 통화를 실행하여 원격 카메라 장치로부터 영상을 수신하는 스트리밍 프로토콜 모듈, 로컬 카메라로부터 영상을 수신하여 기 설정된 파라미터에 따라 로우(raw) 영상을 인코딩하는 로컬 인코더, 로컬 카메라로 제어 신호를 전송하는 카메라 매니저 모듈, 및 로컬 네트워크를 통하여 원격 카메라 장치로 제어 신호를 전송하는 제어 프로토콜 모듈을 포함하고, 카메라 매니저 모듈은 로컬 카메라와 원격 카메라 장치 사이를 스위칭하도록 하는 것일 수 있다.
또한, 제어 신호는, 원격 카메라 장치 제어 및 영상 스트림 제어를 위한 신호를 포함할 수 있다.
본 발명의 다양한 실시예에 따르면, 로컬 엔드포인트 호스트 장치의 FOV(Field of View) 외부의 영상을 원격 엔드포인트 호스트 장치로 전송할 수 있다.
도 1은 서로 다른 두 장소에서 이루어지는 영상 통화를 도시한 일 예.
도 2는 본 발명의 일 실시예에 따른 영상 통화에 대한 하이-레벨 네트워크 다이어그램의 일 예.
도 3은 로컬 영역 네트워크 레이어를 통해 연결된 로컬 엔드포인트 호스트 장치 및 원격 카메라 장치의 블럭도의 일 예.
도 4는 본 발명의 일 실시예에 따라 내장 카메라 또는 외장 카메라를 포함하는 로컬 엔드포인트 프록시를 통한 영상 통화의 흐름도의 일 예.
도 5는 본 발명의 일 실시예에 따라 내장 카메라 또는 외장 카메라를 포함하지 않는 로컬 엔드포인트 프록시를 통한 영상 통화의 흐름도의 일 예.
도 6은 본 발명의 일 실시예에 따라 원격 카메라 장치를 사용하여 영상 통화를 하는 UX(User experience)에 관한 연속된 스크린 샷의 일 예.
도 7A 및 도 7B는 본 발명의 일 실시예에 따른 컴퓨팅 시스템 다이어그램의 일 예.
이하, 첨부된 도면을 참조하여 본 발명에 대해 상세히 설명한다.
사용자가 영상 통화를 하는 방법 및 그 시스템에서는 영상 소스로서 다양한 형태의 원격 카메라 장치를 사용한다. 화상 통화라고도 하는 종래의 영상 통화 어플리케이션은 일반적으로 인터넷 등과 같은 퍼블릭 네트워크로 연결된 두 개의 엔드포인트를 포함한다. 본 발명에 따른 실시예는 크게 두 가지로 나눌 수 있다. 하나는 카메라를 포함하지 않는 엔드포인트 호스트와 카메라를 포함하는 호스트를 사용하는 경우이다. 카메라를 포함하는 호스트의 경우, 카메라는 고정되어 FOV(Field of View) 내의 이미지만을 캡쳐할 수 있다. 나머지 하나는 스마트 폰, 태블릿 PC, 캠코더, 또는 감시 카메라 등과 같은 원격 카메라 장치로부터 얻어지는 영상에 대하여 프록시를 수행하는 호스트 장치를 사용하는 경우이다. 이러한 호스트 장치는 영상 스트림을 수신하여 이를 다른 엔드포인트 호스트 장치로 리디렉션(redirection)할 수 있다.
도 1은 서로 다른 두 장소에서 이루어지는 영상 통화를 도시한 일 예이다. 제1 사용자(110)는 제1 원격 카메라 장치(112)를 가지고 있고, 제2 사용자(116)는 제2 원격 카메라 장치(118)를 가지고 있다. 제1 원격 카메라 장치(112) 및 제2 원격 카메라 장치(118)는 휴대폰 또는 스마트 폰 등일 수 있다. 제1 사용자(110)가 있는 곳과 인접한 장소에는 카메라(106)를 포함하는 TV(104) 및 이와 마주보도록 배치된 소파(108)가 있다.
또한, 본 발명의 다른 실시 예에 따르면, TV(104)는 내장 카메라 또는 외장 카메라를 포함하지 않을 수도 있다. 제1 사용자(110)는 엔드포인트 호스트 장치로서 수행하는 제1 원격 카메라 장치(112)로써 피사체(114)를 촬영하고 있다. 피사체(114)를 촬영한 영상은 가정 내의 로컬 영역 네트워크를 통해 TV(104)로 전송될 수 있다. 이 경우, 제1 원격 카메라(112)는 UpnP와 같은 네트워크 프로토콜에 의하여 탐색될 수 있다. 한편, 제1 사용자(110)와 통화를 하는 제2 사용자(116)는 제1 사용자(110)가 있는 장소와 다른 장소에 있으며, 또 다른 엔드포인트 호스트 장치로서 수행하는 제2 원격 카메라 장치(118)를 가지고 있다.
또한, 본 발명의 다른 실시 예에 의하면, 제1 원격 카메라 장치(112)는 네트워크 프로토콜을 사용하여 영상 스트리밍 기능을 수행함으로써 TV(104)를 탐색할 수 있다. 제2 사용자(116)는 TV(104)에 포함된 카메라로부터의 영상이 아닌, 제1 원격 카메라(112)로부터의 영상을 볼 수 있다.
이러한 방식에 의하여, 영상 통화를 위한 소스는 가정 내의 로컬 네트워크가 가능한 모든 위치로 전달될 수 있다. TV(104)는 카메라를 포함하지 않을 수 있으므로, 영상 통화에 적합하지 않을 수 있다. 다만, TV(104)는 로컬 네트워크와 연결됨으로써, 영상 통화의 엔드포인트 호스트 기능을 하는 원격 카메라 장치에 대한 프록시(proxy) 여를 수행할 수 있다.
도 1은 본 발명이 가정에서 실시될 수 있는 일 예를 나타내었다. 물론, 이는 하나의 예시에 불과하다. 또한, 엔드포인트 호스트 장치는 반드시 TV일 필요는 없고, 인터넷(또는 퍼블릭 네트워크)을 통하여 영상 통화가 가능하도록 하는 모든 장치일 수 있으며, 게임 콘솔 또는 인터넷 기기 등과 같이 로컬 네트워크와 연결될 수 있다. 복수 개의 엔드포인트 호스트 장치(104, 112, 118) 각각은 영상 통화에 있어서의 클라이언트일 수 있다.
원격 카메라 장치(112, 118)는 영상 스트리밍이 가능한 태블릿 PC, 슬레이트 컴퓨터, 디지털 카메라 등 다양한 형태일 수 있고, 고정된 감시 카메라 등과 같이 매뉴얼 조작이 필요 없는 카메라일 수도 있다. 도 1에서는 엔드포인트 호스트 장치(112, 118)를 휴대폰 또는 스마트 폰으로 도시하였으나, 이는 설명을 위한 것에 불과하며, 클라이언트 화상 통화 어플리케이션을 제공하는 모든 형태로 구현될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 영상 통화에 대한 하이-레벨 네트워크 다이어그램의 일 예이다. 영상 통화를 함에 있어서는 일반적으로 두 개 또는 두 개 이상의 엔드포인트 호스트 장치를 필요로 한다. 도 2에 도시된 바에 의하면, 하나의 엔드포인트 호스트 장치는 제1 원격 엔드포인트 호스트(202)일 수 있고, 이는 TV로 설명할 수 있다.
대부분의 경우, 제1 원격 엔드포인트 호스트 장치(202)에는 카메라(미도시)가 부착될 수 있다. 제1 원격 엔드포인트 호스트 장치(202)는 태블릿 PC 또는 휴대폰 등과 같은 모바일 장치일 수도 있다. 제1 원격 엔드포인트 호스트 장치(202)는 언노운(unknown) 네트워크 또는 퍼블릭 네트워크를 통해 다른 엔드포인트 호스트 장치인 제2 엔드포인트 호스트 장치(204)와 연결될 수 있다. 이 경우, 제2 엔드포인트 호스트 장치(204)는 로컬 엔드포인트 호스트 장치일 수 있다. 인터넷의 옵셔널 세션(Optional session) 개시 서버는 영상 통화에 사용될 수 있다. 이러한 SIP(미도시) 또는 엑세서블 프록시 호스트는 영상 통화에 적합한 프로토콜에 의하여 영상 통화를 용이하게 할 수 있다.
로컬 엔드포인트 호스트 장치(204)는 로컬 네트워크 또는 서브넷(205)을 사용하여 원격 카메라 장치(206)와의 통신을 수행할 수 있다. 로컬 네트워크(LAN, 205)는 홈 네트워크일 수 있고, 로컬 엔드포인트 호스트 장치(204)가 원격 카메라 장치(206)를 찾을 수 있도록 하는 오피스 환경 네트워크일 수도 있다. 전술한 바와 같이, 태블릿 PC, 카메라, 휴대폰 등과 같은 원격 카메라 장치(206)는 로컬 엔드포인트 호스트 장치(204)를 탐색할 수 있다. 제1 화살표(208)의 방향과 같이, 로컬 엔드포인트 호스트 장치(204)의 제어 명령은 원격 카메라 장치(206)로 전송될 수 있다. 제2 화살표(210)의 방향과 같이, 원격 카메라 장치(206)는 영상을 로컬 엔드포인트 호스트 장치(204)로 전송할 수 있다. 제1 화살표(208)와 제2 화살표(210)의 크기가 서로 다른 것은 제1 화살표(208)에 비해 제2 화살표(210)가 많은 양의 데이터(영상 데이터 등)를 원격 카메라로부터 로컬 엔드포인트 호스트 장치(204)로 전송됨을 설명하기 위한 것이다.
한편, 로컬 엔드포인트 호스트 장치(204)는 원격 카메라 장치와의 통신을 용이하게 하는 클라이언트 어플리케이션을 포함함으로써, 로컬 네트워크로부터 데이터를 수신하여 이를 다른 장치로 전송하는 엔드포인트 프록시 장치로 수행할 수 있다. 전술한 바와 같이, 로컬 엔드포인트 호스트 장치(204)는 내장 카메라 또는 외장 카메라를 포함할 수도 있다. 이러한 본 발명의 실시예에 의하면, 엔드포인트 호스트 장치가 카메라를 포함하지 않더라도, 로컬 네트워크를 통해 연결되어 영상 소스를 제공하는 원격 카메라 장치를 이용함으로써 영상 통화가 이루어질 수 있다.
도 3은 로컬 영역 네트워크 레이어를 통해 연결된 로컬 엔드포인트 호스트 장치 및 원격 카메라 장치에 관한 블럭도의 일 예이다. 로컬 엔드포인트 호스트 장치(302)는 원격 엔드포인트 호스트 장치(304)와의 사이에서 영상 통화를 수행하는 모듈을 포함할 수 있다.
도 3에 따르면, 로컬 엔드포인트 호스트 장치(302)는 카메라 모듈, 스트리밍 프로토콜 모듈(312), 모니터 연결 모듈(314), 카메라 매니져 모듈(316), 원격 카메라 제어부(318), 제어 프로토콜 모듈(320)을 포함할 수 있다. 또한, 로컬 엔드포인트 호스트 장치(302)는 내장 카메라 또는 외장 카메라를 포함할 수 있다.
카메라 모듈은 카메라 구동부(306), 인코더(308), 및 로컬 카메라 제어부(310)를 포함할 수 있다. 카메라 모듈은 일반적인 카메라의 동작을 수행하도록 하는 모듈일 수 있다. 특히, 인코더(308)는 카메라 구동부(306)로부터 수신된 로우(raw) 영상을 로컬 엔드포인트 호스트 장치(302)에 사용되는 화상 통화 프로토콜에 의한 파라미터(코덱, 레졸루션, 비트 레이트, 프레임 레이트 등)에 따라 인코딩할 수 있다. 인코더(308)는 영상을 스트리밍 프로토콜 모듈(312)로 전송할 수 있다.
스트리밍 프로토콜 모듈(312)은 영상을 인터넷 또는 그 외의 다른 광역 네트워크를 통해 원격 엔드포인트 호스트 장치(304)로 전송할 수 있다. 또한, 스트리밍 프로토콜 모듈(312)은 네트워크 상태에 관한 정보를 모니터 연결 모듈(314)로 제공할 수 있다.
스트리밍 프로토콜 모듈(312)의 주요 기능 중 하나는 로컬 엔드포인트 호스트 장치(302) 및 원격 엔드포인트 호스트 장치(304)에 사용되는 화상 통화 프로토콜을 수행하도록 하는 것이다. 어떠한 영상 프로그램이 사용되더라도, 스트리밍 프로토콜 모듈(312)은 로컬 엔드포인트 호스트 장치(302)에서 이를 실행할 수 있다.
또한, 스트리밍 프로토콜 모듈(312)의 주요 기능 중 다른 하나는 영상의 부드러운 재생이 가능하도록 하는 것이다. 이를 위해, 스트리밍 프로토콜 모듈(312)은 영상 스트림을 언팩(unpack)하고, 영상 재생시 디스럽션(disruption)을 유발할 수 있는 로컬 엔드포인트 호스트 장치(302) 및 원격 카메라 장치(322) 사이의 클럭 차이를 카운트하는 타임스탬프와 같은 영상 블록의 데이터를 업데이트하거나 재배치할 수 있다.
또한, 스트리밍 프로토콜 모듈(312)은 로컬 엔드포인트 호스트 장치(302) 및 원격 카메라 장치(322) 사이의 대역폭 변화와 같이, 영상 통화와 관련된 다른 요소를 감지할 수 있다.
모니터 연결 모듈(314)은 대기 시간, 대역폭, 패킷 손실 등 네트워크 연결 상태에 관한 정보를 수신하고, 영상을 디코딩하는 방식에 대한 명령을 준비할 수 있다. 예를 들어, 모니터 연결 모듈(314)은 해상도를 증가 또는 감소시키기 위한 명령을 만들거나, 비트 레이트 및 프레임 레이트를 수정할 수 있다.
전술한 바와 같이, 로컬 엔드포인트 호스트 장치(302)는 카메라를 포함할 수 있다. 도 1에 도시된 바와 같이, 원격 카메라 장치는 로컬 엔드포인트 호스트 장치(302)에 부착된 카메라의 FOV 외부의 영상을 획득할 수 있다. 따라서, 화상 통화에는 서로 다른 두 개의 영상 소스를 제공하기 위하여 두 개의 카메라가 사용될 수 있다. 후술하겠지만, 사용자는 두 개의 카메라(즉, 로컬 카메라 및 원격 카메라)를 스위칭할 수 있다. 여기서, 로컬 카메라는 로컬 엔드포인트 호스트 장치에 포함된 카메라이고, 원격 카메라는 원격 카메라 장치에 포함된 카메라일 수 있다.
카메라 매니저 모듈(316)은 로컬 카메라 및 원격 카메라 사이를 스위칭하기 위한 토글링(toggling) 기능을 수행할 수 있다. 카메라 매니저 모듈(316)은 네트워크 상태에 따른 인코딩 방식에 대한 명령을 수신할 수 있다. 카메라 매니저 모듈(316)은 제어 데이터를 로컬 카메라 제어부(310) 및 원격 카메라 제어부(318)로 전송할 수 있다.
제어 프로토콜 모듈(320)은 원격 카메라 장치(322), 특히 원격 카메라 제어 프로토콜 모듈(324)에 대하여 명령을 할 수 있다. 제어 프로토콜 모듈(320)은 특정한 영상 포맷을 로컬 엔드포인트 호스트 장치(302)로 전송하도록 원격 카메라 장치(322)에 대하여 명령할 수 있다. 이러한 명령에 대한 송수신은 로컬 영역 네트워크 레이어(324)를 통해 이루어질 수 있다. 로컬 엔드포인트 호스트 장치(302)에 포함된 모듈에서 알 수 있는 바와 같이, 제어 데이터는 영상 통화를 위한 연결 또는 링크를 모니터링하는 모니터 연결 모듈(314)로부터 카메라 매니저 모듈(316), 카메라 제어부(310, 318), 및 제어 프로토콜 모듈(320)로 전송될 수 있다.
로컬 엔드포인트 호스트 장치(302), 특히 제어 프로토콜 모듈(320)로부터 출력되는 제어 데이터 또는 제어 명령은 원격 카메라 장치 제어(예를 들어, UPnP 장치/서비스) 및 영상 스트림 제어(RTSP)의 두 부분으로 나눌 수 있다. UPnP 장치는 원격 카메라 장치를 위해 만들어진 것이다. TV와 같은 로컬 엔드포인트 호스트 장치(302)는 카메라 장치를 탐지하기 위해 스탠더드 UPnP 장치 디스커버리 방식을 채택한다. 원격 카메라 장치(322)에 있어서, 'CONNECT', 'AUTHORIZE', 'DISCONNECT'의 세 가지 제어 메시지가 정의된다.
원격 카메라 장치(322)와 로컬 엔드포인트 호스트 장치(302)의 연결 후, 로컬 엔드포인트 호스트 장치(302)는 원격 카메라 장치(322)로부터 수신된 오디오 스트림 및 영상 스트림을 RTSP 프로토콜에 의해 제어할 수 있다. 본 발명의 다른 실시 예에 따르면, 'SETUP', 'PLAY', 'SET_PARAMETER', 'TEARDOWN' 네 가지 제어 메시지가 정의될 수도 있다.
원격 카메라 장치(322)는 제어 프로토콜 모듈(320)로부터의 명령을 LAN(325)을 통해 수신하는 원격 카메라 제어 프로토콜 모듈(324)을 포함한다. 전술한 바와 같이, 수신된 데이터는 원격 카메라(322)의 영상 포맷 및 인코딩에 관계된다. 이 외에, 원격 카메라 장치(322)의 다른 구성은 카메라의 일반적인 구성에 관한 것으로서, 원격 카메라 제어 프로토콜 모듈(324)로부터의 명령을 수신하는 로컬 카메라 제어부(326)를 포함한다. 로컬 카메라 제어부(326)는 로컬 엔드포인트 호스트 장치의 인코더(308)와 동일한 인코딩을 수행하는 인코더(328)에 대해 명령을 전송한다.
원격 카메라 장치(322)에 의해 획득된 영상은 영상 통화 프로토콜 및 로컬 엔드포인트 호스트 장치(302)상의 로직 레지던트와 호환 가능하거나 작동 가능(acceptable)한 포맷으로 인코딩되는 것이 바람직하다. 원격 카메라 장치의 인코더(328)는 원격 카메라 구동부(330)로부터 영상을 획득한다. 영상은 작동 가능한 포맷으로 인코딩되어 로컬 엔드포인트 호스트 장치(302)의 스트리밍 프로토콜 모듈(312)로부터 원격 카메라 장치(322)의 스트리밍 프로토콜 모듈(332)로 전송된다.
전술한 바와 같이, 원격 카메라 장치는 로컬 엔드포인트 호스트 장치의 로컬 부분에 있다는 점에서, 원격 카메라 장치는 로컬 호스트와 동일한 네트워크/서브넷 상에서 연결될 수 있고, 또는 동일한 엑세스 가능 네트워크 상에 있을 수 있다. 원격 카메라 장치는 엔드포인트 프록시라고도 하는 로컬 엔드포인트 호스트 장치와의 통신을 위해 원격 카메라 어플리케이션 또는 다른 레지던트 코드를 지원할 수 있다. 원격 카메라 어플리케이션은 UPnP, Bonjour HLS, RTP/RTSP 등과 같은 장치에 의해 지원되는 하나 또는 그 이상의 프로토콜일 수 있다.
전술한 바와 같이, 로컬 엔드포인트 호스트 장치는 영상 통화의 컨텍스트에서 엔드포인트 프록시의 기능을 할 수 있다. 원격 카메라 장치로부터 입력되는 채널 및 원격 엔드포인트 호스트 장치로 출력되는 채널이 있다는 점은 로컬 엔드포인트 호스트 장치가 엔드포인트 프록시로서의 기능을 하는 것을 의미할 수 있다. 로컬 엔드포인트 호스트 장치에 대한 입력 연결 또는 출력 연결이 종료됨으로써, 로컬 엔드포인트 호스트 장치는 엔드포인트 프록시의 기능을 중단한다. 다만, 어느 하나의 연결이 종료되더라도, 다른 하나의 연결이 종료되는 것은 아니다. 만약, 하나의 연결이 종료되면, 로컬 엔드포인트 호스트 장치는 영상 통화를 위한 로컬 엔드포인트 호스트로서의 기본 기능으로 복귀할 수 있다.
예를 들어, 만약 원격 카메라 장치로부터의 입력 채널(또는 연결)이 종료되면, 로컬 엔드포인트 호스트 장치는 영상 스트리밍을 위하여 카메라 장치를 사용하는 기능으로 복귀하거나, 오디오 전용 모드 기능으로 복귀할 수 있다. 또한, 만약 원격 엔드포인트 호스트 장치의 출력 채널(또는 연결)이 종료되면, 영상 통화가 종료되어 그에 따른 데이터가 전송되지 않더라도, 원격 카메라 장치는 로컬 장치로 스트리밍을 계속 할 수 있다. 만약, 새로운 영상 통화가 시작된다면, 스트리밍은 원격 소스로부터 다시 시작할 수 있다.
도 4는 본 발명의 일 실시 예에 따라 내장 카메라 또는 외장 카메라를 포함하는 로컬 엔드포인트 프록시를 통한 영상 통화의 흐름도의 일 예이다. 도 5는 카메라를 포함하지 않은 로컬 엔드포인트 프록시를 통한 영상 통화의 흐름도의 일 예이다. 도 4에서는, 로컬 엔드포인트 호스트 장치와 원격 엔드포인트 호스트 장치 사이에서 화상 통화가 진행되고 있는 상태이다. TV와 같은 로컬 엔드포인트 호스트 장치는 퍼블릭 네트워크를 통해 로컬 카메라 장치로부터 원격 엔드포인트 호스트 장치로 영상을 전송한다(S402).
도 1에 도시된 바와 같이, 로컬 카메라 장치는 제한된 FOV를 가지므로, 제한적인 영상이 원격 엔드포인트 호스트 장치로 전송되게 된다. 로컬 엔드포인트 호스트 장치의 사용자는 다른 (원격) 사용자에게 로컬 카메라 장치의 FOV 외부의 이미지를 보여주고자 할 수 있다. 이 경우, 로컬 엔드포인트 호스트 장치의 사용자는 스마트 폰과 같은 원격 카메라 장치에 어플리케이션을 실행한 후, TV와 같은 로컬 엔드포인트 호스트 장치에 대한 명령을 수행할 수 있다.
이러한 UX(User experience) 및 인터페이스에 대해서는 도 6에 상세히 도시되어 있다. 다른 실시예에 의하면, 로컬 사용자는 원격 카메라 장치에 어플리케이션을 실행하고, TV를 탐색한 후 영상 스트리밍을 하도록 한다. 다른 실시예에 의하면, 원격 카메라 장치는 감시 카메라와 같이 다른 장소에 고정될 수 있다.
로컬 엔드포인트 호스트 장치는 로컬 사용자에 의해 선택된 특정한 원격 카메라 장치로 스위칭하기 위한 명령을 수신한다(S404). 이 경우, 로컬 엔드포인트 호스트 장치에 의해 탐색되는 원격 카메라 장치는 하나 이상일 수 있다. 이러한 명령은 모니터 연결 모듈(314) 또는 카메라 매니저 모듈(316)로부터 수신되는 것일 수 있다.
로컬 엔드포인트 호스트 장치는 로컬 카메라 장치에서 사용자가 선택한 원격 카메라 장치로 스위칭한다(S406). 이러한 토글링(toggling) 기능은 카메라 매니저 모듈(316)에 의해 수행될 수 있다. 카메라 매니저 모듈(316)은 로컬 카메라 제어부(310) 대신, 원격 카메라 제어부(318)로 명령을 전송한다. 여기서, 영상 스트리밍은 원격 카메라 장치에서 시작된다. 원격 카메라 장치가 모바일 단말기라고 하면, 영상 통화를 통해 전송되는 로컬 카메라 FOV의 외부에 있는 피사체는 더욱 넓은 범위에 걸쳐 있을 수 있다.
전술한 바와 같이, 원격 카메라 장치는 로컬 엔드포인트 프록시의 기능을 하는 로컬 엔드포인트 호스트 장치가 연결된 LAN 또는 서브넷에 연결되어야 한다. 원격 카메라 장치로에서 생성되는 영상은 LAN 또는 서브넷을 통하여 로컬 엔드포인트 프록시의 스트리밍 프로토콜 모듈(312)로 전송된 후, 원격 엔드포인트 호스트로 전송된다(S408).
한편, 로컬 사용자는 TV상의 카메라와 같은 로컬 카메라로 다시 스위칭하기를 원하는 경우가 있다. 사용자는 스크린 상의 팝-업 메뉴로부터 '로컬 카메라'를 선택함으로써 로컬 엔드포인트 호스트 장치에 명령을 입력할 수 있다. 카메라 매니저 모듈(316)에 의해 이러한 명령이 수신되면, 원격 카메라 장치로부터의 영상 스트림 및 제어 신호는 로컬 카메라 제어부(310)로 전송된다. 모바일 장치의 스트리밍 어플리케이션 종료로 인해 카메라 매니저 모듈(316)이 로컬 카메라로 다시 스위칭될 수 있다. 여기서, 카메라 매니저 모듈(316)은 토글링을 하는 기능을 할 수 있다. 화상 통화는 종료된다(S412).
도 5는 본 발명의 일 실시예에 따라 내장 카메라 또는 외장 카메라를 포함하지 않는 로컬 엔드포인트 프록시를 통한 영상 통화의 흐름도의 일 예이다. 도 4와 같이, 화상 통화가 진행되고 있는 상태에서 시작한다. 로컬 사용자는 카메라를 포함하지 않는 로컬 엔드포인트 호스트 장치를 사용한다. 따라서, 원격 사용자에게 영상이 전송될 수 없다. 사용자는 로컬 엔드포인트 호스트 장치의 원격 카메라 장치의 팝-업 메뉴를 선택하거나 명령을 입력한다(S502). 이로써, 특정한 원격 카메라 장치로 연결이 이루어질 수 있다. 다른 실시예에 따르면, 사용자는 로컬 엔드포인트 호스트 장치에 대해 명령을 입력하지 않는 대신, 카메라 장치 상에 원격 카메라 어플리케이션을 실행시킬 수 있다. 이러한 방식에 따라, 로컬 사용자의 UX는 TV에서 휴대폰으로 전환됨으로써, 로컬 사용자에 대해 더욱 직관적이고 자연스러운 방식을 제공할 수 있다. 이러한 방식은 카메라를 포함하지 않는 TV 또는 다른 엔드포인트 호스트 장치인 경우에 특히 적합하다. 사용자는 휴대폰이나 다른 모바일 장치를 사용하기 때문에, 휴대폰이나 모바일 장치상의 원격 카메라 어플리케이션을 실행하는 것이 사용자에게 더욱 직관적일 수 있다.
영상 스트밍은 전술한 바와 같은 방식으로 원격 카메라 장치에서 로컬 엔드포인트 프록시로 수행된다(S504). 도 4에 도시된 방식과의 주요 차이점은 로컬 엔드포인트 호스트 장치는 로컬 카메라와 제어부(310), 인코더(308) 등과 같은 로컬 카메라 장치에 관한 요소를 포함하지 않는다는 것이다. 이 경우, 카메라 매니저(316)는 토글링 기능을 수행할 필요가 없다. 로컬 엔드포인트 프록시는 영상을 원격 카메라 장치에서 원격 엔드포인트 호스트 장치로 전송한다(S506). 이러한 방식에 의해, 카메라를 포함하지 않고, 인터넷 등과 같은 퍼블릭 네트워크에 연결된 TV 등과 같은 장치는 영상을 원격 엔드포인트 호스트 장치로 전송하여, 영상 통화가 가능하도록 할 수 있다. 로컬 사용자는 원격 카메라의 어플리케이션을 종료하고, 로컬 엔드포인트 호스트 장치로의 영상 스트림을 종료한다(S508). 또한, 사용자는 원격 카메라 장치를 선택하지 않음으로써 영상 스트림을 종료할 수도 있다.
도 6은 본 발명의 일 실시예에 따라 원격 카메라 장치를 사용하여 영상 통화를 하는 UX에 관한 연속된 스크린 샷의 일 예이다. 도 6을 참조하면, 서로 다른 세가지 장치의 디스플레이에 대한 세 개의 컬럼을 도시하였다. 우측 컬럼에 도시된 스크린 샷은 원격 엔드포인트 호스트 장치에 관한 것이다. 이러한 스크린 샷은 TV, 컴퓨터, 또는 모바일 장치 등에서 디스플레이되는 것일 수 있다. 중간측 컬럼에 도시된 스크린 샷은 통화를 연결하는 사용자에 의해 영상 통화가 개시되는 로컬 엔드포인트 호스트 장치에 관한 것이다. 이 경우, 로컬 엔드포인트 호스트 장치는 카메라를 포함한다. 좌측 컬럼에 도시된 스크린 샷은 원격 카메라 장치의 기능을 하는 모바일 장치에 관한 것이다. 영상 통화를 개시하는 로컬 사용자가 로컬 엔드포인트 호스트 장치의 화상 통화 어플리케이션을 실행하는 것으로 시작한다.
화면(602)에 도시된 바와 같이, 통화 개시자(로컬 사용자)는 화상 통화 버튼 및 통화하고자 하는 상대방(원격 사용자)을 선택한다. 이에 따라 통화 리퀘스트(통화 요청)가 원격 엔드포인트 호스트 장치로 전송되고, 원격 사용자는 '원격 사용자로부터의 통화 요청' 등과 같은 화면을 볼 수 있다. 화면(604)에 나타난 바와 같이, 원격 사용자가 스크린 디스플레이 상의 '통화'를 선택하면, 통화 요청을 승인 또는 수락하게 되어 두 엔드포인트 호스트 장치 사이가 연결될 수 있다. 화면(606)에 도시된 바와 같이, 영상 스트리밍은 두 엔드포인트 호스트 장치 사이에서 시작되게 된다. 이 경우, 만약 로컬 엔드포인트 호스트 장치가 카메라를 포함하지 않는다면, 원격 엔드포인트 호스트 장치는 로컬 사용자의 영상을 보여줄 수 없다.
로컬 사용자는 원격 사용자에게 로컬 엔드포인트 호스트 장치 카메라의 FOV 외부에 있는 피사체를 보여주고자 할 수 있다. 스크린 샷(608)에 도시된 바와 같이, 로컬 사용자는 모바일 장치의 원격 카메라 어플리케이션을 실행할 수 있다. 원격 카메라 어플리케이션이 실행되면, 로컬 엔드포인트 호스트 장치 카메라의 FOV 외부의 피사체가 나타난다. 도 6에서는 FOV 외부의 피사체인 강아지를 나타내었다.
그 후, 로컬 사용자는 화면상의 '카메라 변경'을 선택한다. 이로써, 610에 도시된 바와 같이, LAN/서브넷으로 탐색된 원격 카메라 장치에 팝-업 메뉴가 디스플레이된다. 로컬 사용자는 로컬 엔드포인트 호스트 장치의 화면 상에서 원격 카메라 장치를 선택한다. 여기서는, '제1 원격 카메라'를 선택하는 것으로 한다. 경우에 따라서는, 하나의 원격 카메라 장치만을 선택할 수 있고, 호스트 장치가 카메라를 포함하지 않는 경우에는 '로컬 카메라' 옵션은 표시되지 않을 수도 있다. 로컬 사용자가 원격 카메라 장치를 선택하면, 원격 카메라 장치와 로컬 엔드포인트 호스트 장치 사이에 연결이 이루어진다.
스크린 샷(612)에 도시된 바와 같이, 원격 카메라 장치는 로컬 사용자에게 로컬 엔드포인트 호스트 장치로 원격 카메라 장치의 영상 스트리밍을 허용할지 여부를 확인할 수 있다. 이는 하나의 장치에서 캡쳐한 영상이 다른 장치에 보여진다는 것을 사용자가 알 수 있도록 하는 것이므로, 사용자 보안에 바람직한 사항이다.
예를 들어, 로컬 사용자(통화 개시자)는 원격 카메라 어플리케이션을 실행하지 않을 수 있다. 이 경우, 다른 사람(예컨대, 로컬 네트워크 내의 범위인 집 외부에서 모바일 장치를 소지하고 있는 다른 사람)은 영상을 캡쳐하고, 그의 스마트 폰에서 영상 스트리밍을 허용할 수 있다. 사용자는 '스트리밍을 허용하시겠습니까?' 등과 같은 메시지를 확인하고, '예'를 선택함으로써 원격 카메라 장치로부터의 스트리밍을 시작하게 된다. 로컬 사용자 또는 다른 사용자가 '예'를 선택하면, 원격 카메라의 스크린 샷(614)과 같이 원격 카메라 장치로부터 로컬 엔드포인트 호스트 장치로의 영상 스트리밍이 시작된다. 이 경우, 화면(616)에서 도시된 바와 같이 로컬 엔드포인트 호스트 장치는 카메라를 원격 카메라 장치로 스위칭하도록 할 수 있고, 원격 엔드포인트 호스트 장치의 스크린 샷(618)에 도시된 바와 같이 원격 엔드포인트 호스트 장치로의 스트리밍을 시작한다. 여기서, 로컬 사용자의 영상은 원격 카메라 장치에 의해 캡쳐되는 강아지의 영상으로 대체된다. 이 경우, 로컬 엔드포인트 호스트 장치는 로컬 엔드포인트 프록시 장치로서의 기능을 하게 된다.
로컬 엔드포인트 호스트 장치, 원격 엔드포인트 호스트 장치, 및 원격 카메라 장치는 컴퓨터의 기본 구성을 포함하는 컴퓨팅 장치로 표현될 수 있다. 전술한 바와 같이, 컴퓨팅 장치는 스마트 폰, 태블릿 PC, 모바일 장치, TV, 퍼스널 컴퓨터(PC), 또는 랩탑 컴퓨터일 수 있고, 감시 카메라일 수도 있다.
도 7A 및 도 7B는 본 발명의 일 실시예에 따른 컴퓨팅 시스템의 일 예이다. 도 7A는 컴퓨팅 시스템의 일 예이다. 디스플레이부(704)는 컴퓨팅 시스템(700)과 동일한 하우징(Housing)일 수 있다. 컴퓨팅 시스템(700)은 디스플레이부(또는 스크린, 704)를 포함할 수 있다. 컴퓨팅 시스템(700)은 키보드(710)를 포함할 수 있다. 이 경우, 키보드(710)는 디스플레이부(704)에 디스플레이되는 가상(Virtual) 키보드일 수 있다. 또한, HDMI 또는 USB 포트(미도시)와 같은 다양한 포트를 포함할 수 있다. 컴퓨팅 시스템(700)과 연결되는 컴퓨터 판독 가능 매체는 USB 메모리 장치와 다양한 형태의 메모리 칩, 메모리 스틱, 및 메모리 카드를 포함할 수 있다.
도 7B은 컴퓨팅 시스템(700)에 대한 블럭도의 일 예이다. 시스템 버스(720)에는 다양한 서브 시스템이 연결된다. 프로세서(또는 복수의 프로세서, 722)는 메모리(724)를 포함하는 저장 장치와 연결된다. 메모리(724)는 RAM 및 ROM을 포함할 수 있다. 이미 잘 알려진 바와 같이, ROM은 데이터 전송 및 CPU에 대한 단방향(uni-directionally) 명령을 수행하고, RAM은 데이터 및 명령을 양방향(bi-directional)으로 전송한다. 이러한 두 가지 타입의 메모리는 컴퓨터 판독 가능 매체를 포함할 수 있다. 고정 디스크(726)는 프로세서(722)와 양방향으로 연결되어, 부가적인 데이터 저장 용량을 제공하고, 컴퓨터 판독 가능 매체를 포함할 수 있다. 고정 디스크(726)는 프로그램, 데이터 등을 저장할 수 있고, 일반적으로 주 저장 매체(primary storage)보다 속도가 느린 제2 저장 매체일 수 있다. 고정 디스크(726)에 저장된 정보는 메모리(724) 내의 가상 메모리에 통합될 수 있다.
프로세서(722)는 디스플레이부(704) 및 네트워크 인터페이스(740)와 같은 다양한 입출력 장치와 연결될 수 있다. 입출력 장치는 영상 디스플레이부, 키보드, 마이크, 터치 패널, 태블릿 PC, 스타일러스, 음성 인식기, 필기(handwriting) 인식기, 생체 인식 리더, 또는 그 밖의 장치 중 하나일 수 있다. 프로세서(722)는 다른 컴퓨터 또는 네트워크 인터페이스(740)를 사용하는 텔레커뮤니케이션 네트워크와 선택적으로 연결될 수 있다. 이러한 네트워크 인터페이스에 의해, CPU는 전술한 방법을 수행함으로써 네트워크로부터 정보를 수신하거나, 네트워크로 정보를 출력할 수 있다. 또한, 본 발명의 일 실시 예에 의한 방법은 프로세서(722)에서만 실행할 수 있고, 인터넷 등과 같은 네트워크상에서 원격 프로세서와 함께 실행할 수 있다.
한편, 상술한 다양한 실시 예에 따른 영상 획득 방법 및 로컬 엔드포인트 호스트는 컴퓨터 판독 가능 매체를 포함하는 컴퓨터 저장 장치와 관련될 수 있다. 컴퓨터 판독 가능 매체는, 하드 디스크, 플로피 디스크, 마그네틱 테이프 등과 같은 자성 매체; CD-ROM, 홀로그래픽 장치와 같은 광학 매체; 소형 자기 디스크와 같은 광자기 디스크; 및 ASICs(Application-specific Integrated Circuits), PLDs(Programmable Logic Devices), ROM, RAM 등과 같이 프로그램 코드를 저장하고 실행하는 하드웨어 장치일 수 있으나, 이에 한정되지는 않는다. 컴퓨터 코드는 컴파일러가 만드는 머신 코드, 인터프리터를 사용하여 컴퓨터에 의해 실행되는 하이-레벨 코드를 포함하는 파일을 포함할 수 있다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
112 : 제1 원격 카메라 장치
118 : 제2 원격 카메라 장치
202 : 제1 원격 엔드포인트 호스트 장치
204 : 제2 원격 엔드포인트 호스트 장치
206 : 원격 카메라 장치
302 : 로컬 엔드포인트 호스트 장치
322 : 원격 카메라 장치
324 : 로컬 영역 네트워크 레이어

Claims (20)

  1. 카메라를 포함하는 로컬 엔드포인트 호스트 장치에서의 영상 통화를 위한 영상을 획득하는 방법에 있어서,
    상기 카메라에 의하여 캡쳐된 제1 영상 스트림을 원격 엔드포인트 호스트 장치로 스트리밍하는 단계;
    원격 카메라 장치로 스위칭하기 위한 제1 신호를 수신하는 단계;
    상기 로컬 엔드포인트 호스트 장치를 상기 원격 카메라 장치로 연결하는 단계;
    상기 원격 카메라 장치로부터 제2 영상 스트림을 수신하는 단계; 및
    상기 원격 엔드포인트 호스트 장치로 상기 제2 영상 스트림을 전송하는 단계;를 포함하는 영상 획득 방법.
  2. 제1항에 있어서,
    상기 원격 카메라 장치를 선택하기 위한 팝업 메뉴를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 영상 획득 방법.
  3. 제1항에 있어서,
    네트워크 상태에 따른 제어 명령을 상기 원격 카메라 장치로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 영상 획득 방법.
  4. 제3항에 있어서,
    상기 제어 명령은,
    상기 원격 카메라 장치로부터 상기 로컬 엔드포인트 호스트 장치로 초당 정해진 개수의 프레임 또는 프레임 당 정해진 개수의 비트를 전송하도록 하는 명령을 포함하는 것을 특징으로 하는 영상 획득 방법.
  5. 제1항에 있어서,
    사용자 선택에 따라 상기 카메라 및 상기 원격 카메라 장치 사이를 토글링하는 단계;를 더 포함하는 것을 특징으로 하는 영상 획득 방법.
  6. 제1항에 있어서,
    상기 제1 신호는 상기 원격 카메라 장치로부터 전송되는 것을 특징으로 하는 영상 획득 방법.
  7. 제1항에 있어서,
    상기 로컬 엔드포인트 호스트 장치는 라우터에 연결되고,
    상기 라우터는 상기 원격 엔드포인트 호스트 장치와 연결되도록 하는 광역 네트워크와 연결되는 것을 특징으로 하는 영상 획득 방법.
  8. 제1항에 있어서,
    상기 로컬 엔드포인트 호스트 장치는 상기 원격 카메라 장치에 의해 네트워크 상에서 탐색되는 것을 특징으로 하는 영상 획득 방법.
  9. 제1항에 있어서,
    상기 제2 영상 스트림에 대한 스트리밍은 상기 원격 카메라 장치에 의해 수행되는 것을 특징으로 하는 영상 획득 방법.
  10. 제1항에 있어서,
    상기 원격 카메라 장치의 스트리밍 어플리케이션이 종료되면 상기 로컬 엔드포인트 호스트 장치의 카메라를 스위칭하는 단계;를 더 포함하는 것을 특징으로 하는 영상 획득 방법.
  11. 제1항에 있어서,
    상기 원격 카메라 장치로 장치 제어 및 스트림 제어를 포함하는 제어 데이터를 전송하는 단계;를 더 포함하는 것을 특징으로 하는 영상 통화를 위한 영상 획득 방법.
  12. 카메라를 포함하지 않는 로컬 엔드포인트 호스트 장치에서의 영상 통화를 위한 영상을 획득하는 방법에 있어서,
    상기 로컬 엔드포인트 호스트 장치와 원격 카메라 장치를 연결하는 단계;
    상기 원격 카메라 장치로부터 영상 스트림을 수신하는 단계;
    상기 영상 스트림을 상기 로컬 엔드포인트 호스트 장치로부터 원격 엔드포인트 호스트 장치로 전송하는 단계;
    상기 원격 카메라 장치와의 연결을 해제하는 단계; 및
    상기 원격 엔드포인트 호스트 장치와의 영상 통화를 종료하는 단계;를 포함하고,
    상기 로컬 엔드포인트 호스트 장치는 영상 통화의 로컬 엔드포인트 프록시로서 기능을 수행하는 것을 특징으로 하는 영상 획득 방법.
  13. 제12항에 있어서,
    상기 로컬 엔드포인트 호스트 장치에서 상기 원격 카메라 장치를 선택하기 위한 팝업 메뉴를 디스플레이하는 단계;를 더 포함하는 것을 특징으로 하는 영상 획득 방법.
  14. 제12항에 있어서,
    원격 카메라 장치 명령을 상기 원격 카메라 장치로 전송하는 단계;를 더 포함하고,
    상기 원격 카메라 장치 명령은 네트워크 상태에 따라 달라지는 것을 특징으로 하는 영상 획득 방법.
  15. 제14항에 있어서,
    상기 명령은,
    상기 원격 카메라 장치로부터 상기 로컬 엔드포인트 호스트 장치로 초당 정해진 개수의 프레임 또는 프레임당 정해진 개수의 비트를 전송하도록 하는 명령을 포함하는 것을 특징으로 하는 영상 획득 방법.
  16. 제12항에 있어서,
    상기 로컬 엔드포인트 호스트 장치는 라우터에 연결되고,
    상기 라우터는 상기 원격 엔드포인트 호스트 장치와 연결되도록 하는 광역 네트워크와 연결되는 것을 특징으로 하는 영상 획득 방법.
  17. 제12항에 있어서,
    상기 로컬 엔드포인트 호스트 장치는 상기 원격 카메라 장치에 의해 네트워크 상에서 탐색되는 것을 특징으로 하는 영상 획득 방법.
  18. 제12항에 있어서,
    상기 원격 카메라 장치의 스트리밍 어플리케이션이 종료되면 상기 로컬 엔드포인트 호스트 장치의 영상 통화를 종료하는 단계;를 더 포함하는 것을 특징으로 하는 영상 획득 방법.
  19. 로컬 카메라를 포함하는 로컬 엔드포인트 호스트 장치에 있어서,
    화상 통화를 실행하여 원격 카메라 장치로부터 영상을 수신하는 스트리밍 프로토콜 모듈;
    상기 로컬 카메라로부터 영상을 수신하여 기 설정된 파라미터에 따라 로우(raw) 영상을 인코딩하는 로컬 인코더;
    상기 로컬 카메라로 제어 신호를 전송하는 카메라 매니저 모듈; 및
    로컬 네트워크를 통하여 상기 원격 카메라 장치로 제어 신호를 전송하는 제어 프로토콜 모듈;을 포함하고,
    상기 카메라 매니저 모듈은 상기 로컬 카메라와 상기 원격 카메라 장치 사이를 스위칭하도록 하는 것을 특징으로 하는 로컬 엔드포인트 호스트 장치.
  20. 제19항에 있어서,
    상기 제어 신호는,
    원격 카메라 장치 제어 및 영상 스트림 제어를 위한 신호를 포함하는 것을 특징으로 하는 로컬 엔드포인트 호스트 장치.
KR1020130075743A 2012-08-09 2013-06-28 영상 획득 방법 및 로컬 엔드포인트 호스트 장치 KR102157634B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP13179182.4A EP2696591B1 (en) 2012-08-09 2013-08-02 Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy
CN201310341655.0A CN103581607B (zh) 2012-08-09 2013-08-07 使用远程摄像机设备将视频流传递到本地端点主机的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/571,192 2012-08-09
US13/571,192 US9024995B2 (en) 2012-08-09 2012-08-09 Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy

Publications (2)

Publication Number Publication Date
KR20140020733A true KR20140020733A (ko) 2014-02-19
KR102157634B1 KR102157634B1 (ko) 2020-09-21

Family

ID=50065899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130075743A KR102157634B1 (ko) 2012-08-09 2013-06-28 영상 획득 방법 및 로컬 엔드포인트 호스트 장치

Country Status (2)

Country Link
US (1) US9024995B2 (ko)
KR (1) KR102157634B1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9286776B1 (en) * 2013-03-19 2016-03-15 Steven Gregory Morton Methods and apparatus for determining patterns of presence and ownership of mobile devices by integrating video surveillance with smartphone WiFi monitoring
US9990129B2 (en) 2014-05-30 2018-06-05 Apple Inc. Continuity of application across devices
AU2015311074B2 (en) * 2014-09-03 2019-09-19 Electrolux Appliances Aktiebolag Method for data communication with a domestic appliance by a mobile computer device, mobile computer device and domestic appliance
CN105653248A (zh) * 2014-11-14 2016-06-08 索尼公司 控制装置、方法以及电子设备
JP6152125B2 (ja) * 2015-01-23 2017-06-21 任天堂株式会社 プログラム、情報処理装置、情報処理システム及びアバター画像の生成方法
CN104936037B (zh) * 2015-06-05 2018-01-19 广东欧珀移动通信有限公司 一种视频应用的截图方法及装置
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
DK201870364A1 (en) 2018-05-07 2019-12-03 Apple Inc. MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE
US11074116B2 (en) * 2018-06-01 2021-07-27 Apple Inc. Direct input from a remote device
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
CN112422874B (zh) * 2019-04-17 2022-06-24 荣耀终端有限公司 一种摄像头的控制方法及电子设备
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
KR102436985B1 (ko) 2019-05-31 2022-08-29 애플 인크. 오디오 미디어 제어를 위한 사용자 인터페이스
WO2020248627A1 (zh) * 2019-06-11 2020-12-17 聚好看科技股份有限公司 一种视频通话方法和显示设备
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
US20220368548A1 (en) 2021-05-15 2022-11-17 Apple Inc. Shared-content session user interfaces
US11893214B2 (en) 2021-05-15 2024-02-06 Apple Inc. Real-time communication user interface
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US11847378B2 (en) 2021-06-06 2023-12-19 Apple Inc. User interfaces for audio routing
US11770600B2 (en) 2021-09-24 2023-09-26 Apple Inc. Wide angle video conference
WO2023196231A1 (en) * 2022-04-04 2023-10-12 Apple Inc. User interfaces for camera sharing
US11974012B1 (en) * 2023-11-03 2024-04-30 AVTech Select LLC Modifying audio and video content based on user input

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090174763A1 (en) * 2008-01-09 2009-07-09 Sony Ericsson Mobile Communications Ab Video conference using an external video stream
KR20100022833A (ko) * 2008-08-20 2010-03-03 삼성전자주식회사 통화 송수신 방법 및 이를 이용하는 통화 장치
US20110273526A1 (en) * 2010-05-04 2011-11-10 Qwest Communications International Inc. Video Call Handling

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6732183B1 (en) 1996-12-31 2004-05-04 Broadware Technologies, Inc. Video and audio streaming for multiple users
US20050014527A1 (en) * 2003-07-18 2005-01-20 Agere Systems Incorporated Retractable rotatable camera module for mobile communication device and method of operation thereof
KR100578251B1 (ko) * 2003-11-26 2006-05-11 (주)씨앤에스 테크놀로지 비디오-레디 인터넷 전화기
JP2007068066A (ja) * 2005-09-02 2007-03-15 Fujinon Corp リモート雲台システム
KR101079591B1 (ko) * 2006-11-21 2011-11-07 삼성전자주식회사 화상통화기능을 가진 디스플레이장치, 그 제어방법 및화상통화시스템
EP2368225A2 (en) 2008-11-25 2011-09-28 Uap, Llc Method and system for providing content over a network
US9264659B2 (en) * 2010-04-07 2016-02-16 Apple Inc. Video conference network management for a mobile device
US20130088562A1 (en) * 2011-10-07 2013-04-11 Hanwha Solution & Consulting Co., Ltd Communication terminal for providing silhouette function on video screen for video call and method thereof
RU2597490C2 (ru) * 2011-10-21 2016-09-10 Телефонактиеболагет Лм Эрикссон (Пабл) Способы связи в реальном времени, обеспечивающие паузу и возобновление, и связанные с ними устройства
US9424660B2 (en) * 2012-08-07 2016-08-23 Intel Corporation Media encoding using changed regions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090174763A1 (en) * 2008-01-09 2009-07-09 Sony Ericsson Mobile Communications Ab Video conference using an external video stream
KR20100022833A (ko) * 2008-08-20 2010-03-03 삼성전자주식회사 통화 송수신 방법 및 이를 이용하는 통화 장치
US20110273526A1 (en) * 2010-05-04 2011-11-10 Qwest Communications International Inc. Video Call Handling

Also Published As

Publication number Publication date
US20140043424A1 (en) 2014-02-13
US9024995B2 (en) 2015-05-05
KR102157634B1 (ko) 2020-09-21

Similar Documents

Publication Publication Date Title
KR102157634B1 (ko) 영상 획득 방법 및 로컬 엔드포인트 호스트 장치
US8300079B2 (en) Apparatus and method for transferring video
US9338394B2 (en) System and method for providing enhanced audio in a video environment
US8923649B2 (en) System and method for calibrating display overscan using a mobile device
KR102115922B1 (ko) 영상 통신 방법 및 그 영상 통신 시스템
EP2963902B1 (en) System, and method of controlling data transmission, and recording medium
US20120092441A1 (en) System and method for providing a paring mechanism in a video environment
US10079867B2 (en) Apparatus, system, and method of controlling output of content data, and recording medium
JP6179179B2 (ja) 情報処理装置、情報処理方法およびプログラム
EP3253066B1 (en) Information processing device
JP2016082455A (ja) 伝送システム、伝送端末、伝送方法及び伝送プログラム
EP2696591B1 (en) Video calling using a remote camera device to stream video to a local endpoint host acting as a proxy
EP3399713B1 (en) Device, system, and method to perform real-time communication
EP3068072B1 (en) Transmission management apparatus, transmission system, transmission management method and recording medium
JP2016167656A (ja) 伝送管理システム、伝送システム、伝送管理方法、及びプログラム
CN114125164A (zh) 融合办公通信终端、方法及装置
CN112104649A (zh) 多媒体交互方法、装置、电子设备、服务器和存储介质
JP2016143954A (ja) 無線通信装置及び無線通信方法
JP6492460B2 (ja) 伝送端末、伝送方法、及びプログラム
EP2950527A1 (en) Transmission terminal, transmission system, relay device selecting method, and carrier means
JP2017038251A (ja) 伝送管理システム、伝送システム、中継装置の決定方法、及びプログラム
JP6213420B2 (ja) 通信装置、通信システム、通信方法およびプログラム
JP2016067003A (ja) 伝送端末、伝送システム、表示方法、及びプログラム
JP2017118218A (ja) 通信システム、通信制御方法、及びプログラム
JP2016071880A (ja) 伝送管理システム、伝送システム、伝送管理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant