KR20180043712A - 영상 표시 방법 및 그 전자장치 - Google Patents

영상 표시 방법 및 그 전자장치 Download PDF

Info

Publication number
KR20180043712A
KR20180043712A KR1020160166213A KR20160166213A KR20180043712A KR 20180043712 A KR20180043712 A KR 20180043712A KR 1020160166213 A KR1020160166213 A KR 1020160166213A KR 20160166213 A KR20160166213 A KR 20160166213A KR 20180043712 A KR20180043712 A KR 20180043712A
Authority
KR
South Korea
Prior art keywords
image
information
camera
electronic device
server
Prior art date
Application number
KR1020160166213A
Other languages
English (en)
Other versions
KR102501713B1 (ko
Inventor
전강원
천민수
황문경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201780066853.7A priority Critical patent/CN109891904B/zh
Priority to US16/340,816 priority patent/US11223853B2/en
Priority to PCT/KR2017/011023 priority patent/WO2018074768A1/ko
Priority to EP17863189.1A priority patent/EP3509315A4/en
Publication of KR20180043712A publication Critical patent/KR20180043712A/ko
Application granted granted Critical
Publication of KR102501713B1 publication Critical patent/KR102501713B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Abstract

본 발명의 예시적 실시 예에 따른 전자장치는, 서버로부터 데이터를 수신하는 통신부; 카메라를 장착한 복수의 객체를 촬영한 제 1 영상 또는 객체가 촬영한 제 2영상을 표시하는 디스플레이부; 사용자 입력을 수신하는 입력부; 및 상기 입력부를 통해 상기 디스플레이부에 상기 제 1 영상을 표시하고, 상기 제 1 영상에 포함된 복수의 객체 중 적어도 하나의 객체를 선택하는 사용자 입력을 수신하고, 상기 사용자 입력에 기초하여 상기 선택된 객체가 촬영한 제 2 영상을 상기 디스플레이부의 일부 또는 전체영역에 표시하도록 상기 디스플레이부를 제어하는 제어부;를 포함할 수 있다.

Description

영상 표시 방법 및 그 전자장치{METHOD FOR DISPLAYING AN IMAGE AND AN ELECTRONIC DEVICE THEREOF}
본 개시는 복수의 카메라가 촬영한 영상들 중에서 사용자가 선택한 카메라의 시점에서 촬영된 영상을 화면에 표시하는 방법에 관한 것이다.
최근 소형 카메라를 사람의 신체에 장착하여 사용자 시점에서 촬영한 영상이 제공되고 있다. 이러한 영상을 1인칭 영상이라고 부르는데, 1인칭 영상은 특히 인터넷상에서 공유되면서 많은 관심을 받고 있다.
한편 이러한 1인칭 영상을 스포츠 경기에서도 도입하려는 움직임이 생겨나고 있으며 이에 따라 선수들의 시점에서 촬영한 영상을 효과적으로 사용자에게 제공하기 위한 기술 개발이 필요하다.
본 개시는 스포츠 경기에 참여하고 있는 선수의 시점(view point) 또는 공연에 참여하고 있는 공연자의 시점에서 촬영한 영상들을 사용자에게 제공하기 위해 사용자가 원하는 시점에서의 영상을 선택하면 이에 따라 사용자가 선택한 선수의 시점에서 촬영된 영상을 화면에 표시하는 방법을 제공하고자 한다.
본 개시의 예시적 실시예에 따른 전자장치의 영상 표시 방법은, 카메라를 장착한 복수의 객체를 촬영한 제 1 영상을 디스플레이부에 표시하는 단계; 상기 디스플레이부에 표시된 복수의 객체 중 적어도 하나의 객체를 선택하는 사용자 입력을 수신하는 단계; 상기 사용자 입력에 기초하여 상기 선택된 객체가 촬영한 제 2 영상을 상기 디스플레이부의 일부 또는 전체영역에 표시하는 단계;를 포함할 수 있다.
상기 방법은, 상기 객체 또는 상기 객체에 장착된 카메라에 대응하는 UI를 상기 디스플레이부에 표시하는 단계;를 더 포함하며, 상기 사용자 입력을 수신하는 단계는, 상기 UI를 통해 상기 사용자 입력을 수신할 수 있다.
상기 UI는, 서버로부터 전송된 UI 정보에 기초하여 상기 디스플레이에 표시될 수 있다.
상기 UI는, 상기 제 2 영상의 URL 정보 및 상기 객체에 장착된 카메라의 ID 정보 중 적어도 하나를 포함할 수 있다.
상기 제 2 영상은, 상기 객체에 장착된 카메라에서 전송된 영상 데이터를 상기 카메라의 센서부에서 출력된 움직임 정보를 이용하여 흔들림 보정된 것일 수 있다.
상기 UI는, 상기 객체에 장착된 카메라의 위치정보에 기초하여 상기 디스플레이부의 표시 위치가 결정될 수 있다.
본 개시의 예시적 실시예에 따른 전자장치의 영상 표시 방법의 일 측은, 상기 사용자 입력에 기초하여, 상기 선택된 객체에 장착된 카메라의 위치정보 및 상기 객체 주변에 위치한 다른 객체들에 장착된 카메라의 위치정보에 기초하여 검색된, 상기 선택된 객체가 포함된 제 3 영상을 상기 디스플레이부의 일부 또는 전체영역에 표시하는 단계;를 더 포함할 수 있다.
본 개시의 예시적 실시예에 따른 서버의 영상 데이터 처리 방법은, 복수의 객체에 장착된 카메라로부터 영상 데이터, 상기 카메라들의 움직임에 기초하여 생성된 움직임 및 위치정보 및 상기 카메라들의 ID 정보를 수신하는 단계; 상기 움직임 정보에 기초하여 상기 영상 데이터를 흔들림 보정하고, 제 2 영상을 생성하는 단계; 상기 ID 정보에 기초하여 상기 제 2 영상을 선택할 수 있는 UI 정보를 생성하는 단계; 및 상기 UI 정보를 전자장치로 전송하는 단계;를 포함할 수 있다.
본 개시의 예시적 실시예에 따른 서버의 영상 데이터 처리 방법의 일 측은, 상기 전자장치로부터 복수의 UI중 하나를 선택하는 사용자 입력을 수신하는 단계; 및 상기 수신된 사용자 입력에 기초하여 상기 선택된 UI에 대응하는 제 2 영상을 상기 전자장치에게 전송하는 단계;를 더 포함할 수 있다.
본 개시의 예시적 실시예에 따른 서버의 영상 데이터 처리 방법의 다른 일 측은, 상기 복수의 카메라의 위치정보 및 방향정보에 기초하여 상기 복수의 객체 중 특정 객체가 포함된 제 2 영상을 검색하는 단계;를 더 포함할 수 있다.
본 개시의 예시적 실시예에 따른 전자장치는, 서버로부터 데이터를 수신하는 통신부; 카메라를 장착한 복수의 객체를 촬영한 제 1 영상 또는 객체가 촬영한 제 2영상을 표시하는 디스플레이부; 사용자 입력을 수신하는 입력부; 및 상기 입력부를 통해 상기 디스플레이부에 상기 제 1 영상을 표시하고, 상기제 1 영상에 포함된 복수의 객체 중 적어도 하나의 객체를 선택하는 사용자 입력을 수신하고, 상기 사용자 입력에 기초하여 상기 선택된 객체가 촬영한 제 2 영상을 상기 디스플레이부의 일부 또는 전체영역에 표시하도록 상기 디스플레이부를 제어하는 제어부;를 포함할 수 있다. 여기서 상기 제어부는, 상기 객체 또는 상기 객체에 장착된 카메라에 대응하는 UI를 상기 디스플레이부에 표시하도록 상기 디스플레이부를 제어하고, 상기 UI를 통해 상기 사용자 입력을 수신할 수 있다.
상기 UI는, 서버로부터 전송된 UI 정보에 기초하여 상기 디스플레이에 표시될 수 있다.
상기 UI는, 상기 제 2 영상의 URL 정보 및 상기 객체에 장착된 카메라의 ID 정보 중 적어도 하나를 포함할 수 있다.
상기 제 2 영상은, 상기 객체에 장착된 카메라에서 전송된 영상 데이터를 상기 카메라의 센서부에서 출력된 움직임 정보를 이용하여 흔들림 보정될 수 있다.
상기 UI는, 상기 객체에 장착된 카메라의 위치정보에 기초하여 상기 디스플레이부의 표시 위치가 결정될 수 있다.
상기 제어부는, 상기 사용자 입력에 기초하여, 상기 선택된 객체에 장착된 카메라의 위치정보 및 상기 객체 주변에 위치한 다른 객체들에 장착된 카메라의 위치정보를 이용하여 검색된, 상기 선택된 객체가 포함된 제 3 영상을 상기 디스플레이부의 일부 또는 전체영역에 표시하도록 상기 디스플레이부를 제어할 수 있다.
본 개시의 예시적 실시예에 따른 서버는, 복수의 객체에 장착된 카메라로부터 영상 데이터, 상기 카메라들의 움직임에 기초하여 생성된 움직임 및 위치정보 및 상기 카메라들의 ID 정보를 수신하는 통신부; 및 상기 움직임 정보에 기초하여 상기 영상 데이터를 흔들림 보정하고, 제 2 영상을 생성하고, 상기 ID 정보에 기초하여 상기 제 2 영상을 선택할 수 있는 UI 정보를 생성하고, 상기 UI 정보를 전자장치로 전송하는 제어부;를 포함할 수 있다.
상기 제어부는, 상기 통신부를 통해, 상기 전자장치로부터 상기 UI 정보에 기초하여 상기 전자장치의 디스플레이부에 표시된 복수의 UI중 하나를 선택하는 사용자 입력을 수신하고, 상기 수신된 사용자 입력에 기초하여 상기 선택된 UI에 대응하는 제 2 영상을 상기 전자장치에게 전송할 수 있다.
상기 제 2 영상은, 상기 복수의 객체 중 특정 객체가 포함된 제 3 영상일 수 있다.
상기 제어부는, 상기 복수의 카메라의 위치정보 및 방향정보에 기초하여 상기 복수의 객체 중 특정 객체가 포함된 제 3 영상을 검색하여, 상기 전자장치에게 전송할 수 있다.
본 개시의 예시적 실시예에 따르면 전자장치는 스포츠 경기에 참여하는 선수들의 시점 또는 공연에 참여하고 있는 공연자의 시점에서 촬영된 영상을 선택할 수 있는 UI를 화면에 표시한다. 이에 따라 사용자는 화면에 표시된 UI중에서 원하는 시점(view point)의 영상에 대응하는 UI를 선택하여 대응하는 영상을 화면에 표시할 수 있다.
또한 UI는 스포츠 경기에 참여하는 선수 또는 공연에 참여하고 있는 공연자들과 매칭되므로 사용자는 직관적으로 원하는 시점의 영상을 선택할 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 시스템 구성을 나타낸 도면이다.
도 2는 본 개시의 예시적 실시예에 따른 시스템의 영상 데이터 및 부가 데이터 처리 과정의 예를 도시한다.
도 3은 본 개시의 예시적 실시예에 따른 카메라의 블록도이다.
도 4는 본 개시의 예시적 실시예에 따른 서버의 블록도이다.
도 5는 본 개시의 예시적 실시예에 따른 전자장치의 블록도이다.
도 6은 본 개시의 예시적 실시 예에 따른 전자장치에서 사용자 입력에 따라 화면에 제 1 영상 또는 제 2 영상을 표시하는 과정에 대한 흐름도이다.
도 7은 본 개시의 예시적 실시 예에 따른 전자장치의 디스플레이부에 복수의 객체를 촬영한 제 1 영상이 표시된 예를 도시한다.
도 8은 본 개시의 예시적 실시 예에 따른 전자장치의 디스플레이부에 복수의 객체를 촬영한 제 1 영상, 객체가 촬영한 제 2 영상 및 UI가 표시된 예를 도시한다.
도 9 내지 도 12는 본 개시의 예시적 실시 예에 따른 제 1 영상, 제 2 영상및 UI를 복수의 전자장치를 이용하여 표시하는 다양한 예를 도시한다.
도 13은 본 개시의 예시적 실시예에 따른 서버가 UI 정보를 생성하여 전자장치로 전송하는 과정에 대한 흐름도이다.
도 14 및 도 15는 서버가 수신하는 영상 데이터 및 센서 데이터를 도시한다. 센서 데이터는 카메라의 움직임 정보를 포함할 수 있다.
17 및 도 18은 본 개시의 실시예에 따른 서버가 전자장치의 형태에 따라 다른 UI를 제공하는 예를 도시한다.
도 19 및 도 20은 본 개시의 실시예에 따른 서버가 전자장치의 폼팩터에 따라 각각 다른 형태의 UI를 제공하는 예를 도시한다.
도 21은 본 개시의 전자장치에서 제 1 영상 및 제 2 영상을 표시하는 다른 예를 도시한다.
도 22는 본 개시의 다른 실시예를 도시한다.
도 23 은 본 개시의 전자장치에서 경기에 참여하는 특정 선수의 3인칭 영상을 획득하는 예를 도시한다.
이하, 본 개시의 예시적 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 개시에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서, "가진다", "가질 수 있다", "포함한다" 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 개시에서, "A 또는 B", "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B", "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 사용된 "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)", "~하는 능력을 가지는(having the capacity to)", "~하도록 설계된(designed to)", "~하도록 변경된(adapted to)", "~하도록 만들어진(made to)" 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어(hardware)적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"메모리라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU(central processing unit) 또는 AP(application processor))를 의미할 수 있다.
본 개시에서 사용된 용어들은 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 다른 실시 예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
본 개시에서 전자장치는, 예를 들면, TV, 스마트폰(smartphone) 및 태블릿 PC(tablet personal computer), 이동 전화기(mobile phone), 전자책 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation) 중 적어도 하나를 포함할 수 있다.
본 개시에서 “화면”은 “디스플레이부”를 포함하는 의미로 사용될 수 있다.
본 개시에서 ‘선수의 시점 영상’은 스포츠 경기에 참여하는 선수에게 장착된 카메라가 촬영한 영상을 지칭할 수 있다.
본 개시에서 ‘공연자의 시점 영상’은 음악 공연, 발레 공연 또는 연극 공연등과 같은 공연에 참여하는 공연자에게 장착된 카메라가 촬영한 영상을 지칭할 수 있다.
본 개시에서 ‘장착된 카메라’의 의미는 카메라가 의복, 헬멧 및 사용자의 신체에 직접 장착되는 경우뿐만 아니라, 선수 및 공연자가 직접 휴대하는 카메라를 포함하는 의미로 사용될 수 있다.
또한 ‘선수의 시점 영상’및 ‘공연자의 시점 영상’은 제 3 자가 선수 및 공연자를 따라가면서 촬영하는 영상을 포함할 수 있다. 예를 들면 카메라 촬영자가 선수 또는 공연자의 뒤에서, 선수 또는 공연자를 따라가면서 선수 또는 공연자가 주시하는 방향을 촬영하는 영상을 포함할 수 있다.
이하의 설명에서는 편의상 스포츠 경기를 예로 들어 설명하지만, 본 개시는 이에 한정되지 않으며 공연 또는 복수의 카메라를 사용하여 하나의 프로그램을 제작하는 경우에도 적용될 수 있다.
설명의 편의상 카메라가 선수 또는 공연자의 옷에 장착되는 것을 예로 들어 설명하지만, 본 개시는 이에 한정되지 않으며, 상술한 바와 같이 카메라가의복, 헬멧 및 사용자의 신체에 직접 장착되는 경우뿐만 아니라 사용자가 휴대하면서 촬영하는 것 및 제 3 자가 선수 또는 공연자를 따라가면서 촬영하는 경우에도 적용될 수 있다.
도 1은 본 개시의 예시적 실시예에 따른 시스템 구성을 나타낸 도면이다.
도 1을 참조하면 복수의 카메라(111 내지 120), 서버(300) 및 전자장치(200,202)가 도시되어 있다.
복수의 카메라(111 내지 120)는 촬영한 영상을 서버로 전송할 수 있다. 복수의 카메라 중 일부는 고정된 위치에서 경기장에 대한 고정된 화각의 영상을 제공할 수 있다. 예를 들면 카메라(100)는 고정된 위치에서 경기장 전체를 촬영할 수 있다. 복수의 카메라(111 내지 120)는 경기에 참여하고 있는 선수의 옷에 장착되어 선수 시점의 영상을 제공할 수 있다. 예를 들면 카메라(118)는 선수가 착용하고 있는 옷(122)에 장착될 수 있다. 복수의 카메라(111 내지 120)는 선수들이 움직임에 따라 경기장 내의 다양한 위치에서 촬영된 영상을 제공할 수 있다. 복수의 카메라(111 내지 120)에서 촬영된 영상들은 서버(300)로 전송된다. 복수의 카메라(111 내지 120)은 통신부를 포함하며, 통신부를 통해 유선 또는 무선으로 촬영한 영상에 대한 비디오 데이터를 서버로 전송할 수 있다. 복수의 카메라(111 내지 120)는 고유 ID 정보를 가질 수 있다. ID 정보는 예컨대 IP 어드레스일 수 있으나 이에 한정되지 않는다. ID 정보는 네트웍 상에서 특정 카메라를 식별하는데 사용될 수 있다. 예를 들면 카메라(100)는 ID 정보로 IP 어드레스 ‘10.92.232.1’을 가질 수 있고, 카메라(111)은 ID 정보로 IP 어드레스 ‘10.92.232.2’를 가질 수 있다.
복수의 카메라(101 내지 120)는 서버(300)로 영상 데이터를 전송하면서 ID 정보를 함께 전송할 수 있다. 복수의 카메라(101 내지 120)는 센서부를 더 포함할 수 있으며, 센서부를 통해 카메라의 움직임 정보 및 카메라의 방향 정보를 취득할 수 있다. 실시 형태에 따라 복수의 카메라(101 내지 120)는 GPS 수신부를 더 포함할 수 있으며 GPS 수신부를 통해 카메라의 위치 정보를 취득할 수 있다.
복수의 카메라(111 내지 120)는 영상 데이터와 함께 ID 정보, 카메라의 움직임 정보, 카메라의 방향 정보, 카메라의 화각 정보 및 카메라의 위치 정보를 서버(300)로 전송할 수 있다.
서버(300)는 통신부를 통해 복수의 카메라(111 내지 120)에서 전송되는 영상 데이터, 카메라의 ID 정보, 카메라의 움직임 정보, 방향 정보, 화각 정보 및 위치정보를 수신할 수 있다. 이하의 설명에서는 카메라의 ID 정보, 카메라의 움직임 정보, 방향 정보, 화각 정보 및 위치정보를 편의상 ‘영상 데이터’와 대비되도록 하기 위해 ‘부가 데이터’로 칭하여 설명할 것이다. 부가 데이터는 영상 데이터에 동기화될 수 있으며, 영상 데이터 안에 포함될 수도 있다.
서버(300)는 복수의 카메라(111 내지 120)에서 입력되는 영상 데이터 및 부가 데이터를 처리하여 제 2 영상을 만들 수 있다. 제 2 영상은 카메라가 촬영한 영상을 흔들림 보정한 영상 일 수 있다. 서버(300)는 영상 데이터와 함께 전송된 부가 데이터 중에서 움직임 정보를 이용하여 흔들림 보정된 제 2 영상을 생성할 수 있다. 예를 들면 서버(300)는 카메라(111)에서 영상 데이터 및 부가 데이터를 수신하고, 카메라(111)의 움직임 정보를 이용하여 흔들림 보정된 제 2 영상을 생성할 수 있다.
서버(300)는 카메라(112)에서 영상 데이터 및 부가 데이터를 수신하고 카메라(112)의 움직임 정보를 이용하여 흔들림 보정된 제 2 영상을 생성할 수 있다.
이와 같이 서버(300)는 복수의 카메라(111 내지 120)가 전송하는 영상 데이터 및 부가 데이터를 수신하고, 각각의 카메라에 대응하는 제 2 영상을 생성할 수 있다.
서버(300)는 복수의 카메라(111 내지 120)에서 전송된 ID 정보들을 이용하여 복수의 카메라(111 내지 120)에 대응하는 UI(User Interface) 정보를 생성할 수 있다. UI 정보는 예컨대 아이콘, 그래픽 이미지, 문자, 슷자, IP 어드레스, 포트(port) 및 도메인 정보를 포함할 수 있으나 이에 한정되지는 않는다.
예를 들면 서버(300)는 카메라(100)에서 전송되는 ID 정보를 이용하여 카메라(100)에 대응하는 아이콘을 생성할 수 있다. 아이콘 생성에 필요한 그래픽 이미지는 카메라(100)의 ID 정보에 포함되거나 또는 서버(300)가 제공할 수 있다. 서버가 상기 그래픽 이미지를 제공하는 경우, 서버(300)는 복수의 후보 이미지를 전자장치(200)로 전송하고, 전자장치(200)는 복수의 후보 이미지를 화면에 표시하고, 사용자 입력을 수신하여 카메라(100)에 대응하는 이미지를 결정할 수 있다. 아이콘은 텍스트 정보를 포함할 수 있으며, 상기 텍스트 정보는 카메라(100)의 ID 정보에 기초하여 결정되거나 또는 전자장치(200)에서 사용자 입력을 수신하여 결정될 수 있다.
서버(300)는 아이콘 생성 없이 카메라(100)의 ID 정보에 포함된 텍스트를 이용하여 카메라(100)에 대한 명칭을 생성하고 전자장치(200)로 전송할 수 있다.
또는 전자장치(200)에서 사용자 입력을 수신하여 카메라 명칭을 생성할 수 있다. 예를 들면 카메라(100)에 대한 명칭을 사용자로부터 입력 받아 ‘“메인 카메라”를 생성할 수 있다.
또한 서버(300)는 카메라(116)에서 전송되는 ID 정보를 이용하여 카메라(116)에 대응하는 아이콘을 생성할 수 있다. 아이콘 생성에 필요한 그래픽 이미지는 카메라(116)의 ID 정보에 포함되거나 또는 서버(300)가 제공할 수 있다. 서버가 상기 그래픽 이미지를 제공하는 경우, 서버(300)는 복수의 후보 이미지를 전자장치(200)로 전송하고, 전자장치(200)는 복수의 후보 이미지를 화면에 표시하고, 사용자 입력을 수신하여 카메라(116)에 대응하는 이미지를 결정할 수 있다. 아이콘은 텍스트 정보를 포함할 수 있으며, 상기 텍스트 정보는 카메라(116)의 ID 정보에 기초하여 결정되거나 또는 전자장치(200)에서 사용자 입력을 수신하여 결정될 수 있다.
서버(300)는 아이콘 생성 없이 카메라(116)의 ID 정보에 포함된 텍스트를 이용하여 카메라(116)에 대한 명칭을 생성하고 전자장치(200)로 전송할 수 있다. 예를 들면 서버(300)는 카메라(116)을 장착하고 있는 선수의 이름을 전자장치(200)에서 사용자로부터 입력받아 UI를 생성할 수 있다.
서버(300)는 복수의 카메라(111 내지 120)에 대응하는 UI 정보를 전자장치(200, 202)로 전송하고, 전자장치로부터 특정 UI를 선택하는 사용자 입력에 따라 선택된 UI에 대응하는 제 2 영상을 전자장치(200, 202)로 전송할 수 있다.
전자장치(200)는 예컨대 TV 일수 있다. 전자장치(202)는 예컨대 스마트폰일 수 있다. 이하의 설명에서는 설명의 편의를 위해 전자장치(200)가 TV인 것을 가정하여 설명한다.
전자장치(200)는 서버(300)로부터 UI 정보를 수신하고, 수신된 UI 정보에 기초하여 화면(201)에 UI를 표시할 수 있다. 사용자가 화면(201)에 표시된 UI중에서 적어도 하나의 UI를 선택하면, 전자장치(200)는 선택된 UI에 대한 정보를 서버(300)로 전송하고 서버(300)는 선택된 UI에 대응하는 제 2 영상을 전자장치(200)로 전송할 수 있다. 전자장치(200)는 수신된 제 2 영상을 화면(201)에 표시할 수 있다.
도 2 는 본 개시의 예시적 실시예에 따른 시스템의 영상 데이터 및 부가 데이터 처리 과정의 예를 도시한다. 설명의 편의를 위해 스포츠 경기를 예로 설명하나 이에 한정되지는 않는다.
도 2를 참조하면 카메라(152, 162, 172, 182), 서버(300) 및 전자장치(200)가 도시되어 있다.
카메라(152)는 예를 들면 경기장 전체(151)를 촬영하며, 촬영된 영상(151)의 영상 데이터(153)을 서버(300)로 전송한다. 경기장 전체를 촬영한 영상(151)에는 객체 A, 객체 B 및 객체 C가 포함될 수 있다.
서버(300)는 카메라(152)가 전송한 영상 데이터(153)를 수신하고 카메라(152)에서 전송된 카메라(152)의 움직임 정보(154)에 기초하여 영상 데이터(153)를 흔들림 보정(155)하여 제 2 영상(156)를 생성할 수 있다. 카메라(152)의 움직임 정보(154)는 영상 데이터(153)와 별도로 전송되거나 또는 영상 데이터(153)에 포함된 부가 데이터의 형태로 전송될 수 있다. 부가 데이터는 카메라(152)의 움직임 정보뿐만 아니라 카메라(152)의 위치 정보, 방향 정보 및 ID 정보도 포함할 수 있다. 실시 형태에 따라 카메라(152)는 고정된 위치에서 경기장 전체를 촬영할 수 있으며 이 경우에는 별도의 움직임 정보가 발생되지 않을 수도 있다. 움직임 정보(154), 위치 정보 및 방향 정보는 카메라(152)에 포함된 센서부에 의해 취득될 수 있다. 움직임 정보(154), 위치 정보 및 방향 정보는 영상 데이터(153)과 동기화 되어 전송될 수 있다. 서버(300)는 흔들림 보정된 제 2 영상(156)를 전자장치(200)의 요청에 의해 전자장치(200)로 전송할 수 있다.
실시 형태에 따라 서버(300)는 전자장치(157)의 요청이 없더라도 경기장 전체의 화면을 제공하기 위해 제 2 영상(156)를 전자장치(200)로 전송할 수 있다.
서버(300)는 카메라(153)의 ID 정보를 이용하여 UI 정보를 생성하고 UI 정보를 전자장치(200)로 전송할 수 있다. UI 정보는 예컨대 아이콘, 그래픽 이미지, 문자, 숫자숫자, IP 어드레스, 포트(port) 및 도메인 정보를 포함할 수 있으나 이에 한정되지는 않는다.
카메라(162)는 예를 들면 경기에 참여하는 선수 A의 옷에 장착된 카메라일 수 있으며, 선수 A의 시점 영상(161)을 제공할 수 있다. 카메라(162)는 촬영된 영상(161)의 영상 데이터(163)을 서버(300)로 전송한다. 서버(300)는 카메라(162)가 전송한 영상 데이터(163)를 수신하고 카메라(162)에서 전송된 카메라(162)의 움직임 정보(164)에 기초하여 영상 데이터(163)를 흔들림 보정(165)하여 제 2 영상(166)를 생성할 수 있다. 카메라(162)의 움직임 정보(164)는 영상 데이터(163)와 별도로 전송되거나 또는 영상 데이터(163)에 포함된 부가 데이터의 형태로 전송될 수 있다. 부가 데이터는 카메라(162)의 움직임 정보뿐만 아니라 카메라(162)의 위치 정보, 방향 정보 및 ID 정보도 포함할 수 있다. 움직임 정보(164), 위치 정보 및 방향 정보는 카메라(162)에 포함된 센서부에 의해 취득될 수 있다. 움직임 정보(164), 위치 정보 및 방향 정보는 영상 데이터(163)과 동기 되어 전송될 수 있다. 서버(300)는 흔들림 보정된 제 2 영상(166)을 전자장치(200)의 요청에 의해 전자장치(200)로 전송할 수 있다.
서버(300)는 카메라(153)의 ID 정보를 이용하여 UI 정보를 생성하고 UI 정보를 전자장치(200)로 전송할 수 있다. UI 정보는 예컨대 아이콘, 그래픽 이미지, 문자, 숫자숫자, IP 어드레스, 포트(port) 및 도메인 정보를 포함할 수 있으나 이에 한정되지는 않는다.
카메라(172)는 예를 들면 경기에 참여하는 선수 B의 옷에 장착된 카메라일 수 있으며, 선수 B의 시점 영상(171)을 제공할 수 있다. 카메라(172)는 촬영된 영상(171)의 영상 데이터(173)을 서버(300)로 전송한다. 서버(300)는 카메라(172)가 전송한 영상 데이터(173)를 수신하고 카메라(172)에서 전송된 카메라(172)의 움직임 정보(174)에 기초하여 영상 데이터(173)를 흔들림 보정(175)하여 제 2 영상(176)을 생성할 수 있다. 카메라(172)의 움직임 정보(174)는 영상 데이터(173)와 별도로 전송되거나 또는 영상 데이터(173)에 포함된 부가 데이터의 형태로 전송될 수 있다. 부가 데이터는 카메라(172)의 움직임 정보뿐만 아니라 카메라(172)의 위치 정보, 방향 정보 및 ID 정보도 포함할 수 있다. 움직임 정보(174), 위치 정보 및 방향 정보는 카메라(172)에 포함된 센서부에 의해 취득될 수 있다. 움직임 정보(174), 위치 정보 및 방향 정보는 영상 데이터(173)과 동기화 되어 전송될 수 있다. 서버(300)는 흔들림 보정된 제 2 영상(176)을 전자장치(200)의 요청에 의해 전자장치(200)로 전송할 수 있다.
서버(300)는 카메라(153)의 ID 정보를 이용하여 UI 정보를 생성하고 UI 정보를 전자장치(200)로 전송할 수 있다. UI 정보는 예컨대 아이콘, 그래픽 이미지, 문자, 숫자, IP 어드레스, 포트(port) 및 도메인 정보를 포함할 수 있으나 이에 한정되지는 않는다.
카메라(182)는 예를 들면 경기에 참여하는 선수 C의 옷에 장착된 카메라일 수 있으며, 선수 C의 시점 영상(181)을 제공할 수 있다. 카메라(182)는 촬영된 영상(181)의 영상 데이터(183)을 서버(300)로 전송한다. 서버(300)는 카메라(182)가 전송한 영상 데이터(183)를 수신하고 카메라(182)에서 전송된 카메라(182)의 움직임 정보(184)에 기초하여 영상 데이터(183)를 흔들림 보정(185)하여 제 2 영상(186)를 생성할 수 있다. 카메라(182)의 움직임 정보(184)는 영상 데이터(183)와 별도로 전송되거나 또는 영상 데이터(183)에 포함된 부가 데이터의 형태로 전송될 수 있다. 부가 데이터는 카메라(182)의 움직임 정보뿐만 아니라 카메라(182)의 위치 정보, 방향 정보 및 ID 정보도 포함할 수 있다. 움직임 정보(184), 위치 정보 및 방향 정보는 카메라(182)에 포함된 센서부에 의해 취득될 수 있다. 움직임 정보(184), 위치 정보 및 방향 정보는 영상 데이터(183)과 동기화 되어 전송될 수 있다. 서버(300)는 흔들림 보정된 제 2 영상(186)를 전자장치(200)의 요청에 의해 전자장치(200)로 전송할 수 있다.
서버(300)는 카메라(153)의 ID 정보를 이용하여 UI 정보를 생성하고 UI 정보를 전자장치(200)로 전송할 수 있다. UI 정보는 예컨대 아이콘, 그래픽 이미지, 문자, 숫자숫자, IP 어드레스, 포트(port) 및 도메인 정보를 포함할 수 있으나 이에 한정되지는 않는다.
전자장치(200)는 서버(300)에서 전송된 UI 정보를 이용하여 사용자와 인터랙션 할 수 있는 그래픽 이미지를 화면에 표시할 수 있다. 예를 들면 전자장치(200)는 서버(300)로부터 카메라(152)에 대응하는 UI 정보, 카메라(162)에 대응하는 UI 정보, 카메라(172)에 대응하는 UI 정보 및 카메라(182)에 대응하는 UI 정보를 수신하여, 화면에 UI(157, 167, 177, 187)를 표시할 수 있다. 상술한 바와 같이 화면에 표시되는 UI는 아이콘, 그래픽 이미지, 문자, 숫자, IP 어드레스, 포트(port) 및 도메인 정보를 포함할 수 있다.
실시 형태에 따라 UI(157)는 서버(300)가 제공하는 카메라(152)에 대한 제 2 영상으로 대체될 수 있다. 이 경우 화면(157)에는 전체 경기장을 촬영한 영상이 표시될 수 있다.
전자장치(200)는 화면에 UI(157, 167, 177, 187)가 표시된 상태에서 어느 하나의 UI를 선택하는 사용자 입력을 수신하고, 수신된 입력에 기초하여 사용자가 선택한 UI에 대응하는 제 2 영상을 서버(300)로부터 전송 받아 화면에 표시할 수 있다.
예를 들면 사용자가 UI(167)를 선택하면, 전자장치(200)는 서버(300)에게 UI(167)이 선택되었음을 알리는 정보를 보내고, 서버(300)는 상기 정보를 수신하여 UI(167)에 대응하는 제 2 영상(168)를 전자장치(200)로 전송할 수 있다.
UI(167)이 선택되었을 때 전자장치(200)가 서버(300)로 전송하는 정보는 선택된 UI에 대응하는 카메라 ID 정보, 컨텐츠에 대응하는 URL 정보 및 UI에 대응하는 컨텐츠에 대한 요청 정보 및 컨텐츠 식별정보를 포함할 수 있으며, 암호화 되어 서버(300)로 전송될 수 있다.
이에 따라 전자장치(200)의 화면에는 카메라(162)가 촬영한 선수 A 시점의 영상(168)이 표시될 수 있다.
실시 형태에 따라 서버(300)는 UI(167)에 대응하는 제 2 영상의(168)의 첫번째 프레임 또는 썸네일 이미지와 함께 제 2 영상이 저장되어 있는 URL 정보를 전자장치(200)로 전송하고, 사용자로부터 재생 명령을 입력 받은 후 제 2 영상(168)을 전자장치(200)로 전송할 수 있다.
1.
다른 예로 사용자가 UI(177)을 선택하면, 전자장치는 서버(300)에게 UI(177)이 선택되었음을 알리는 정보를 보내고, 서버(300)는 이를 수신하여 UI(177)에 대응하는 제 2 영상(176)를 전자장치(200)에게 전송할 수 있다. 이에 따라 화면에는 카메라(172)가 촬영한 선수 B 시점의 영상(178)이 표시될 수 있다.
또 다른 예로 사용자가 UI(187)를 선택하면, 전자장치는 서버(300)에게 UI(187)이 선택되었음을 알리는 정보를 보내고, 서버(300)는 이를 수신하여 UI(187)에 대응하는 제 2 영상(186)를 전자장치(200)에게 전송할 수 있다. 이에 따라 화면에는 카메라(182)가 촬영한 선수 C 시점의 영상(188)이 표시될 수 있다.
도 3은 본 개시의 예시적 실시예에 따른 카메라의 블록도이다.
도 3을 참조하면 카메라는 통신부(131), 센서부(133), 카메라부(135) 및 제어부(137)를 포함할 수 있다.
통신부(131)는 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, NFC 모듈 및 RF(radio frequency) 모듈을 포함할 수 있다.
셀룰러 모듈은, 예를 들면, 통신 네트워크를 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 가입자 식별 모듈(예: SIM(subscriber identification module) 카드)를 이용하여 통신 네트워크 내에서 전자장치(101)의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 제어부가 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈은 커뮤니케이션 프로세서(CP: communication processor)를 포함할 수 있다.
WiFi 모듈, 블루투스 모듈 또는 NFC 모듈 각각은, 예를 들면, 해당하는 모듈을 통해서 송수신되는 데이터를 처리하기 위한 프로세서를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈 또는 NFC 모듈중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다.
RF 모듈은, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈은, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter), LNA(low noise amplifier), 또는 안테나(antenna) 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈, WiFi 모듈, 블루투스 모듈, GNSS 모듈 또는 NFC 모듈 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다.
통신부(131)는 카메라부(135)에서 촬상된 이미지의 영상 데이터를 서버(300)로 전송한다. 통신부(131)는 GPS 수신부를 더 포함할 수 있으며, GPS 수신부에서 수신된 위치 정보를 서버(300)로 전송할 수 있다.
센서부(133)는 복수의 센서를 포함할 수 있으며 카메라의 움직임, 흔들림 및 방향에 따른 신호를 출력할 수 있다. 실시 형태에 따라 센서부(133)는 카메라의 이동 속도, 가속도 및 시간 정보에 대한 신호를 출력할 수 있다.
카메라부(135)는 CMOS 센서 또는 CCD(charge coupled device)로 구성되며, 오브젝트를 찰영하여 영상 데이터를 취득할 수 있다.
제어부(137)는 센서부(133)에서 출력된 신호를 수신하여 카메라의 움직임 정보 및 방향 정보를 생성하고, 카메라의 움직임 정보 및 방향 정보를 통신부(131)를 통해 서버로 전송할 수 있다.
제어부(137)는 카메라의 움직임 정보 및 방향 정보를 부가 데이터의 형태로로 영상 데이터에 포함시킬 수 있다.
제어부(137)는 영상 데이터와 카메라의 움직임 정보 및 방향 정보를 동기화 시킬 수 있다. 예를 들면 제어부(137)는 하나의 화면을 구성하기 위한 하나의 프레임에 대한 영상 데이터를 생성하면서 센서부(133)에서 출력된 신호에 기초하여 카메라의 움직임 정보 및 방향 정보를 생성할 수 있다.
제어부(137)는 카메라의 ID 정보를 서버로 전송할 수 있다. 카메라의 ID 정보는 부가 데이터의 형태로 영상 데이터에 포함되거나 또는 별도의 채널로 서버로 전송될 수 있다.
도 4는 본 개시의 예시적 실시예에 따른 서버의 블록도이다.
도 4를 참조하면 서버는 통신부(301), 저장부(303) 및 제어부(305)를 포함할 수 있다.
통신부(301)는 복수의 카메라에서 전송된 영상 데이터 및 부가 데이터를 수신할 수 있다. 부가 데이터의 예는 도 3에서 설명한 바와 동일하다.
저장부(303)는 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다.
저장부(303)는 카메라에서 전송된 영상 데이터를 흔들림 보정한 제 2 영상을 저장할 수 있다.
제어부(305)는 카메라에서 전송된 영상 데이터 및 부가 데이터에 포함된 카메라의 움직임 정보를 이용하여 흔들림 보정을 수행하고 제 2 영상을 생성할 수 있다.
제어부(305)는 카메라에서 전송된 IP 정보를 이용하여 카메라에 대응하는 UI 정보를 생성할 수 있다. 제어부(305)는 UI 정보를 전자장치로 전송한다.
도 5는 본 개시의 예시적 실시예에 따른 전자장치의 블록도이다.
도 5을 참조하면 전자장치(100)는 통신부(201), 디스플레이부(203), 입력부(205) 및 제어부(207)를 포함할 수 있다.
제어부(207)는 예를 들면, 운영 체제 또는 어플리케이션 프로그램을 구동하여 제어부(207)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 제어부(207)는, 예를 들면, SoC(system on chip)로 구현될 수 있다. 한 실시예에 따르면, 제어부(207)는 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서(image signal processor)를 더 포함할 수 있다. 제어부(207)는 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드(load)하여 처리하고, 다양한 데이터를 비휘발성 메모리에 저장(store)할 수 있다.
디스플레이부(203)는, 예를 들면, 액정 디스플레이(liquid crystal display(LCD)), 발광 다이오드(light-emitting diode(LED)) 디스플레이, 유기 발광 다이오드(organic light-emitting diode(OLED)) 디스플레이, 또는 마이크로 전자기계 시스템(microelectromechanical systems(MEMS)) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(105)는, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트(text), 이미지(image), 비디오(video), 아이콘(icon), 또는 심볼(symbol) 등)을 표시할 수 있다. 디스플레이(105)는, 터치 스크린(touch screen)을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치(touch), 제스처(gesture), 근접(proximity), 또는 호버링(hovering) 입력을 수신할 수 있다.
입력부(205) 예를 들면, 터치 패널(touch panel), (디지털) 펜 센서(pen sensor), 키(key), 또는 초음파(ultrasonic) 입력 장치를 포함할 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널은 제어 회로를 더 포함할 수도 있다. 터치 패널은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다.
(디지털) 펜 센서는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트(sheet)를 포함할 수 있다. 키는, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드(keypad)를 포함할 수 있다. 초음파 입력 장치는 마이크(예: 마이크)를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수도 있다.
도 6은 본 개시의 예시적 실시 예에 따른 전자장치에서 사용자 입력에 따라 화면에 제 1 영상 또는 제 2 영상을 표시하는 과정에 대한 흐름도이다.
도 7은 본 개시의 예시적 실시 예에 따른 전자장치의 디스플레이부에 복수의 객체를 촬영한 제 1 영상이 표시된 예를 도시한다.
도 8은 본 개시의 예시적 실시 예에 따른 전자장치의 디스플레이부에 복수의 객체를 촬영한 제 1 영상, 객체가 촬영한 제 2 영상 및 UI가 표시된 예를 도시한다.
이하 도 6 내지 도 8을 참조하여 전자장치가 제 1 영상 또는 제 2 영상을 표시하는 과정을 설명한다.
전자장치는 동작 S601에서 카메라를 장착한 복수의 객체를 촬영한 제 1 영상을 디스플레이부에 표시한다.
도 7을 참조하면 전자장치의 디스플레이부에 제 1 영상(701)이 표시되어 있다. 제 1 영상(701)은 복수의 객체(703, 705, 707)를 촬영한 화면일 수 있다. 예를 들면 제 1 영상(701)은 경기장 전체를 촬영한 화면일 수 있다. 제 1 영상(701)에 포함된 객체(703, 705, 707)는 예를 들면 경기에 참여하는 선수 또는 선수의 옷이나 신체에 장착된 카메라일 수 있다. 제 1 영상(701)은 공중파 방송 영상일 수 있다. 전자장치에 제 1 영상(701)이 표시된 상태에서 객체(703)가 선택되면 객체(703)의 시점 영상(제 2 영상)이 제 1 영상(701)에 중첩되어 표시될 수 있다.
도 8을 참조하면 전자장치의 디스플레이부에 제 1 영상 701), 제 2 영상(721) 및 복수의 UI(741)가 표시되어 있다. 제 1 영상(701)은 예컨대 공중파 영상 일 수 있으며, 튜너 또는 통신 네트웍을 통해 수신될 수 있다. 제 2 영상(721) 및 복수의 UI(741)는 제 1 영상(701)에 중첩되어 표시될 수 있다.
UI(741)는 서버로부터 전송된 UI 정보에 기초하여 디스플레이부에 표시될 수 있다. UI(741)는 경기장 전체에 대응하는 그래픽 이미지일 수 있다. 예를 들면 UI(741)는 축구 경기장의 맵 이미지일 수 있다.
UI(743)는 제 1 영상(701)에 포함된 객체(703) 또는 객체(703)에 장착된 카메라에 대응하는 아이콘일 수 있다. 예를 들면 UI는 경기장 전체에 대한 그래픽 이미지(741)위에 경기에 참여하는 선수들에게 대응하는 아이콘(743)을 중첩하여 표시한 것일 수 있다. 즉 제 1 영상(701)에 포함된 선수들에 대응하는 아이콘이 화면에 표시될 수 있다.
전자장치는 동작 S603에서 디스플레이부에 표시된 복수의 객체 중 적어도 하나의 객체를 선택하는 사용자 입력을 수신한다.
도 8에서 제 1 영상(701)에 표시된 선수(703)는 객체에 해당되며 객체에 대응하는 UI(741, 743)가 제 1 영상(701)에 중첩되어 표시될 수 있다.
전자장치는 동작 S605에서 사용자 입력에 기초하여 선택된 객체가 촬영한 제 2 영상을 디스플레이부의 일부 또는 전체영역에 표시한다.
도 8을 참조하면 전자장치는 디스플레이에 표시된 UI(741, 743)를 통해 사용자 입력을 수신할 수 있다. 예를 들면 사용자가 디스플레이에 표시된 UI(741, 743)중에서 하나의 UI(743)를 선택하면 선택된 UI(743)에 대응하는 제 2 영상(721)이 디스플레이부의 일부 영역에 표시될 수 있다. 실시 형태에 따라 제 2 영상(721)은 디스플레이부의 전체 영역에 표시될 수도 있다. 제 2 영상(721)은 객체(703)에서 촬영한 영상일 수 있다.
UI(743)은 제 2 영상(721)의 URL 정보를 포함할 수 있다. 즉 UI(743)은 객체(703)이 촬영한 영상에 연결될 수 있는 URL 정보를 포함할 수 있으며, 사용자가 UI(743)을 선택하는 경우 전자장치는 해당 URL로 접속할 수 있다.
또한 UI(743)은 객체(703)에 장착된 카메라의 ID 정보를 포함할 수 있다. 전자장치는 객체(703)에 장착된 카메라에서 전송된 ID 정보를 서버를 통해 수신할 수 있으며, 이에 대응하는 UI를 디스플레이부에 표시할 수 있다. 예를 들면 전자장치는 카메라의 ID 정보를 텍스트로 표시하거나 또는 이에 대응하는 아이콘을 디스플레이부에 표시할 수 있다.
한편 제 2 영상(721)은 객체(703)에서 장착된 카메라에서 전송된 영상 데이터를 카메라의 센서부에서 출력된 움직임 정보를 이용하여 흔들림 보정된 것일 수 있다. 센서부는 카메라의 움직임에 대응하여 데이터를 출력할 수 있으며, 서버는 상기 데이터를 수신하여 카메라의 움직임 정보를 생성하고, 상기 움직임 정보를 이용하여 영상 데이터의 흔들림을 보정한 제 2 영상을 생성할 수 있다. 서버는 제 2 영상을 전자장치로 전송한다.
실시 형태에 따라 카메라는 자신의 위치정보를 서버로 전송할 수 있다. 서버는 상기 위치정보를 이용하여 전자장치에 표시되는 UI의 표시위치를 결정할 수 있다. 전자장치는 UI의 표시위치에 대한 정보를 서버로부터 수신하고 이에 기초하여 디스플레이부에 UI를 표시할 수 있다. 카메라의 위치정보가 변경되는 경우, 이에 따라 디스플레이부에 표시되는 UI의 위치도 변경될 수 있다.
설명의 편의를 위해 객체(703) 및 이에 대응하는 UI(743)을 예로 설명하였으나 이에 한정되지 않으며 제 1 영상에 포함된 모든 객체 및 UI에 대해서도 동일한 설명이 적용된다.
도 9 내지 도 12는 본 개시의 예시적 실시 예에 따른 제 1 영상, 제 2 영상및 UI를 복수의 전자장치를 이용하여 표시하는 다양한 예를 도시한다. 설명의 편의를 위해 제 1 전자장치 및 제 2 전자장치로 명명하여 설명한다. 제 1 전자장치는 예컨대 TV 일 수 있으며, 제 2 전자장치는 스마트폰 일 수 있다.
도 9를 참조하면 제 1 전자장치(200) 및 제 2 전자장치(290)이 도시되어 있다. 제 1 전자장치(200)에는 제 1 영상(901) 및 복수의 UI(미도시)가 표시될 수 있다. 사용자가 복수의 UI중에서 하나의 UI를 선택하면 선택된 UI에 대응하는 제 2 영상(902)이 제 2 전자장치(290)에 표시될 수 있다. 이 상태에서 사용자가 제 2 영상(902)을 제 1 전자장치(200)로 미러링(mirroring) 하면 제 2 영상(902)이 제 1 영상(901)의 PIP(Picture in Picture)화면에 표시(903)될 수 있다.
도 10을 참조하면 제 1 전자장치(200) 및 제 2 전자장치(290)이 도시되어 있다. 제 1 전자장치(200)에는 제 1 영상(미도시) 및 복수의 UI(미도시)가 표시될 수 있다. 사용자가 복수의 UI중에서 하나의 UI를 선택하면 선택된 UI에 대응하는 제 2 영상(1003)이 제 2 전자장치(290)에 표시될 수 있다. 이 상태에서 사용자가 제 2 영상(1003)을 제 1 전자장치(200)로 미러링 하면 제 2 영상(1003)이 제 1 전자장치(200)의 전체 화면에 표시(1001)될 수 있다.
도 11을 참조하면 제 1 전자장치(200) 및 제 2 전자장치(290)이 도시되어 있다. 제 1 전자장치(200)에는 제 1 영상(1101)이 표시될 수 있다. 제 2 전자장치(290)에는 복수의 UI(1102)가 표시될 수 있다. 제 1 영상(1101)은 복수의 객체를 촬영한 영상일 수 있다.
실시 형태에 따라 제 1 영상(1101)은 튜너부를 통해 수신된 공중파 방송 영상이거나 또는 통신망을 통해 서버로부터 수신된 방송 영상일 수 있다.
사용자가 제 2 전자장치(290)에서 복수의 UI(1102)중 하나의 UI(1104)를 선택하면, 서버는 선택된 UI(1104)에 대응하는 제 2 영상(1103)을 제 1 전자장치(200)로 전송하고, 제 1 전자장치(200)는 제 2 영상(1103)을 제 1 영상(1101)의 PIP(Picture In Picture) 화면에 표시될 수 있다.
예를 들면 제 1 전자장치(200)는 서버로부터 복수의 객체를 촬영한 제 1 영상(1101) 및 선택된 UI(1104)에 대응하는 제 2 영상(1103)을 수신하고, 제 1 영상(1101)의 PIP 화면에 제 2 영상(1103)을 표시할 수 있다.
또한 제 1 전자장치(200)는 서버로부터 방송 영상인 제 1 영상(1101) 및 선택된 UI(1104)에 대응하는 제 2 영상(1103)을 수신하고, 제 1 영상(1101)의 PIP 화면에 제 2 영상(1103)을 표시할 수 있다.
또한 제 1 전자장치(200)는 튜너로부터 제 1 영상(방송 영상)(1101)을 수신하고, 서버로부터 선택된 UI(1104)에 대응하는 제 2 영상(1103)을 수신하고, 제 1 영상(1101)의 PIP 화면에 제 2 영상(1103)을 표시할 수 있다.
도 12를 참조하면 제 1 전자장치(200) 및 제 2 전자장치(290)이 도시되어 있다. 제 1 전자장치(200)에는 제 1 영상(1201) 및 복수의 UI(미도시)가 표시될 수 있다. 사용자가 복수의 UI중에서 하나의 UI를 선택하면 선택된 UI에 대응하는 제 2 영상(1202)이 제 2 전자장치(290)에 표시될 수 있다.
도 13은 본 개시의 예시적 실시예에 따른 서버가 UI 정보를 생성하여 전자장치로 전송하는 과정에 대한 흐름도이다.
도 14 및 도 15는 서버가 수신하는 영상 데이터 및 센서 데이터를 도시한다. 센서 데이터는 카메라의 움직임 정보를 포함할 수 있다.
도 13을 참조하면 서버는 동작 S301에서 복수의 객체에 장착된 카메라로부터 영상 데이터, 상기 카메라들의 움직임에 기초하여 생성된 움직임 정보 및 상기 카메라들의 ID 정보를 수신한다. 카메라의 움직임 정보는 영상 데이터에 동기화 되어 전송될 수 있다.
도 14를 참조하면 카메라가 전송하는 영상 데이터 및 센서 데이터가 도시되어 있다. 센서 데이터는 카메라의 움직임에 따라 발생될 수 있다. 즉 센서 데이터는 움직임 정보일 수 있다.
카메라의 제어부(미도시)는 영상 데이터 프레임(1401)을 전송하면서 이에 동기 시켜 센서 데이터(1403)를 전송할 수 있다. 예를 들면 카메라의 제어부는 하나의 영상 데이터 프레임(1411)을 전송하면서 동시에 하나의 센서 데이터(1412)를 전송할 수 있다. 또는 카메라의 제어부는 영상 데이터 프레임(1411)을 전송하면서 복수 개의 센서 데이터(1413, 1414)를 전송할 수 있다. 즉 카메라의 제어부는 영상 데이터 프레임을 전송하는 시점에 센서 데이터를 샘플링하여 전송할 수 있다. 카메라의 제어부는 센서 데이터 전송 간격을 영상 데이터 프레임의 간격의 약수로 일정하게 유지할 수 있다.
도 15를 참조하면 카메라가 전송하는 영상 데이터가 지연 또는 손실되는 예가 도시되어 있다.
센서 데이터는 초당 수백 바이트 수준으로 크기가 매우 작으므로 예컨대 TCP로 전송될 수 있다.
전송 과정에서 영상 데이터 프레임(1501)이 지연되거나 또는 손실 되는 경우 서버는 이에 대응하는 센서 데이터를 처리하지 않고 무시할 수 있다.
예를 들면 영상 데이터 프레임(1501)이 전송되는 도중에 4번 프레임(1503)이지연 또는 손실되는 경우 서버는 이에 대응하는 센서 데이터(1505)중에서 네번째 센서 데이터(1507)를 처리하지 않고 무시할 수 있다.
서버는 동작 S303에서 상기 움직임 정보에 기초하여 상기 영상 데이터를 흔들림 보정하고, 제 2 영상을 생성한다.
서버는 카메라에서 전송된 센서 데이터로부터 움직임 정보를 생성하고 움직임 정보를 이용하여 영상 데이터를 흔들림 보정하여 제 2 영상을 생성할 수 있다. 실시 형태에 따라 센서 데이터는 영상 데이터의 부가 데이터 형태로 영상 데이터에 포함될 수 있다.
도 15를 참조하여 예를 들면 서버는 영상 데이터 프레임(1509)를 센서 데이터(1511)를 이용하여 흔들림 보정할 수 있다.
서버는 동작 S305에서 상기 ID 정보에 기초하여 상기 제 2 영상을 선택할 수 있는 UI 정보를 생성한다.
ID 정보는 네트웍 상에서 카메라를 식별할 수 있는 IP 어드레스일 수 있다.
ID 정보는 예를 들면 IP 어드레스, 맥 어드레스, 카메라 고유 명칭 및 일련번호중 적어도 하나를 포함할 수 있다. IP 어드레스는 네트웍상에서 카메라를 식별할 수 있는 정보일 수 있다. 맥 어드레스는 카메라 고유의 식별정보 일 수 있다. 카메라 고유 명칭 및 일련번호는 카메라 제조시 제조업체에서 부여하는 정보일 수 있다.
서버는 ID 정보를 이용하여 UI 정보를 생성한다. 예를 들면 카메라의 IP 어드레스가 포함된 UI 정보를 생성하거나 또는 카메라에서 전송된 영상 데이터를 선택할 수 있는 URL이 포함된 UI 정보를 생성할 수 있다. UI 정보는 문자 또는 그래픽 이미지 형태로 전자장치에서 표시될 수 있다. 실시 형태에 따라 UI 정보는 전자장치의 디스플레이부에 표시될 위치 정보를 포함할 수도 있다.
서버는 동작 S307에서 상기 UI 정보를 전자장치로 전송한다.
서버는 전자장치가 디스플레이부에 표시할 UI를 생성할 수 있는 UI 정보를 전자장치로 전송한다.
서버는 동작 S309에서 상기 전자장치로부터 복수의 UI중 하나를 선택하는 사용자 입력을 수신한다.
전자장치는 서버로부터 수신한 UI 정보를 이용하여 전자장치의 디스플레이부에 UI를 표시하고, UI를 통해 사용자 입력을 수신할 수 있다. 도 2를 참조하여 예를 들면 사용자가 전자장치(200)의 디스플레이부에 표시된 UI(167, 177, 187)에서 UI(187)을 선택하면, 서버는 UI(187)이 선택되었다는 사용자 입력을 전자장치로부터 수신할 수 있다.
서버는 동작 S311에서 상기 수신된 사용자 입력에 기초하여 상기 선택된 UI에 대응하는 제 2 영상을 상기 전자장치에게 전송한다.
서버는 전자장치에서 UI(187)이 선택되었다는 사용자 입력을 수신하면 선택된 UI(187)에 대응하는 제 2 영상(176)을 전자장치(200)로 전송할 수 있다.
도 16은 본 개시의 실시예에 따른 전자장치에서 시점 영상을 표시하는 과정을 도시한다. 설명의 편의를 위해 스포츠 경기를 예로 설명하나 이에 한정되지 않는다.
도 16을 참조하면 전자장치(200)는 디스플레이부에 표시된 로그인 화면(1601)을 통해 서버(300)에 접속할 수 있다(S1621). 서버(300)는 전자장치(200)에서 입력한 사용자 ID 및 패스워드를 수신하여 사용자를 인증하고, 전체 경기 리스트(1603)에 대한 정보를 전자장치(200)로 전송한다(S1623).
전자장치(200)는 화면에 표시된 경기 리스트에서 하나의 경기를 선택하는 사용자 입력을 수신하고(S1624), 경기 선택 정보를 서버로 전송한다(S1625).
서버(300)는 경기 선택 정보를 이용하여 경기별 UI 레이아웃(1605, 1607)을 생성하여(S1626), 해당되는 경기에 대응하는 UI(1605, 1607)를 전자장치(200)로 전송한다(S1627). 즉, 서버는 스포츠 경기에 따라서 미리 결정된 경기자 지도 위에 관련되는 UI를 전자장치(200)로 제공할 수 있다.
예를 들면 사용자가 축구 경기를 선택한 경우 서버(300)는 축구장과 관련된 UI(1605)를 전자장치(200)로 전송할 수 있다. 사용자가 야구 경기를 선택한 경우, 서버(300)는 야구장과 관련된 UI(1607)를 전송할 수 있다.
전자장치(200)는 서버(300)로부터 수신한 경기에 특화된 UI를 화면에 표시하고(S1628), UI에 포함된 특정 선수 아이콘을 선택함으로써 특정 선수의 시점을 선택할 수 있다.
서버(300)는 전자장치(200)로부터 시점 선택 정보를 수신하고(S1629), 해당 선수의 영상을 선택하여(S1630), 전자장치로 선택된 영상(1609)을 전송한다(S1631). 또한 서버는 UI(1611)를 전자장치(200)로 전송할 수 있다.전자장치(200)는 서버가 전송한 영상을 수신하여 해당 영상을 화면에 표시할 수 있다(S1632).
한편 서버(300)는 경기 도중 선수 교체 및 포메이션(formation) 변화가 있는 것으로 판단되는 경우(S1641), 선수 교체 정보를 푸쉬(push) 하거나(S1642), 경기 상황을 푸시하거나(S1643) 또는 자동으로 교체된 선수의 영상(1613)으로 전환할 수 있다(S1644).
전자장치(200)는 서버에서 푸쉬된 정보를 이용하여 선수 정보 및 포메이션을 업데이트 할 수 있다(S1645).
도 17 및 도 18은 본 개시의 실시예에 따른 서버가 전자장치의 형태에 따라 다른 UI를 제공하는 예를 도시한다.
도 17을 참조하면 야구장 UI(1701) 및 야구장 UI(1701)에 포함되는 구성 요소(1703)이 도시되어 있다.
야구장 UI(1701)에는 야구 경기에 참여하는 선수들의 위치에 복수의 아이콘(1703)이 포함될 수 있다. 복수의 아이콘(1703)에는 경기에 참여하는 선수들의 사진 및 이름이 포함될 수 있다.
서버는 전자장치로부터 사용자가 선택한 경기에 대한 정보를 수신하고, 사용자가 선택한 경기가 야구인 경우, 야구에 특화된 UI(1701)를 전자장치로 전송할 수 있다.
도 18을 참조하면 축구장 UI(1801) 및 축구장 UI(1801)에 포함되는 구성 요소(1803)이 도시되어 있다.
축구장 UI(1801)에는 축구 경기에 참여하는 선수들의 위치에 복수의 아이콘(1703)이 포함될 수 있다. 복수의 아이콘(1803)에는 경기에 참여하는 선수들의 사진 및 이름이 포함될 수 있다.
서버는 전자장치로부터 사용자가 선택한 경기에 대한 정보를 수신하고, 사용자가 선택한 경기가 축구인 경우, 축구에 특화된 UI(1801)를 전자장치로 전송할 수 있다.
즉, 서버는 다양한 경기에 대한 UI를 저장부에 미리 저장하고, 사용자가 선택한 경기 정보를 전자장치로부터 수신한후, 경기 정보에 기초하여 관련된 UI를 결정하여 전자장치로 전송할 수 있다.
도 19 및 도 20은 본 개시의 실시예에 따른 서버가 전자장치의 폼팩터에 따라 각각 다른 형태의 UI를 제공하는 예를 도시한다.
예를 들면 서버는 전자장치가 태블렛(tablet)인 경우에는 태블렛에 적합한 UI를 전자장치에게 제공하고, 전자장치가 스마트폰인 경우에는 스마트폰에 적합한 UI를 제공할 수 있다.
서버는 전자장치로부터 전자장치의 폼팩터(form factor)에 대한 정보를 수신하고, 수신한 폼팩터 정보에 기초하여 UI를 결정할 수 있다.
도 19를 참조하면, 서버는 전자장치로부터 폼팩터 정보를 수신하여 전자장치가 태블렛인 것으로 결정할 수 있다.
서버는 태블렛에 적합한 UI(1904)를 전자장치로 전송하고, 전자장치는 UI(1904)를 디스플레이부의 우측 또는 좌측의 일부 영역에 표시할 수 있다.
예를 들면 전자장치가 태블릿인 경우 사용자가 UI(1904)에서 선택한 객체의 시점에서 촬영된 영상이 디스플레이부의 좌측 영역에 표시되고, UI(1904)는 우측 영역에 표시될 수 있다. 또 그 반대로 디스플레이 되는 것도 가능하다.
도 20을 참조하면, 서버는 전자장치로부터 폼팩터 정보를 수신하여 전자장치가 스마트폰인 것으로 결정할 수 있다.
서버는 스마트폰에 적합한 UI(2004)를 전자장치로 전송하고, 전자장치는 UI(2004)를 디스플레이부의 하단 영역에 표시할 수 있다.
예를 들면 전자장치가 스마트폰인 경우 사용자가 UI(2004)에서 선택한 객체의 시점에서 촬영된 영상이 디스플레이부의 상단 영역에 표시되고, UI(2004)는 디스플레이부의 하단 영역에 표시될 수 있다. 또한 그 반대로 디스플레이 되는 것도 가능하다.
도 21은 본 개시의 전자장치에서 제 1 영상 및 제 2 영상을 표시하는 다른 예를 도시한다.
도 21을 참조하면 전자장치의 화면이 좌우로 분할되고, 좌측 영역에는 제 1 영상(2103)이 표시되고, 화면의 우측 영역에는 제 2 영상(2105)이 표시된다.
전자장치는 예컨대 스마트폰일 수 있다. 제 1 영상(2103)은 복수의 객체를 촬영한 영상이고, 제 2 영상(2105)는 복수의 객체 중 하나의 객체의 시점 영상일 수 있다.
전자장치는 화면에 복수의 객체를 촬영한 제 1 영상을 표시하던 중에 사용자로부터 특정 객체가 촬영한 시점의 영상 재생을 요청 받으면, 화면을 좌우로 분할하고 분할된 영역의 한쪽에는 복수의 객체가 촬영된 제 1 영상(2103)을 표시하고, 다른 쪽에는 사용자가 선택한 객체의 시점 영상인 제 2 영상(2105)을 표시할 수 있다.
도 22는 본 개시의 다른 실시예를 도시한다.
도 22를 참조하면 복수의 객체 A(2211), B(2213), C(2215) 모두를 촬영하는 카메라(2200), 객체 A(2211)를 주로 촬영하는 카메라(2201), 객체 B(2213)를 주로 촬영하는 카메라(2203), 객체 C(2205)를 주로 촬영하는 카메라, 서버(300) 및 전자장치(200)가 도시되어 있다.
카메라(2200)는 객체 A, 객체 B, 객체 C 모두 및 주위의 배경을 촬영할 수 있으며, 광각 촬영이 가능하다. 카메라(2200)는 고정된 위치에 장착되거나 또는 이동이 가능할 수도 있다. 카메라(2200)는 촬영한 영상을 서버(300)로 전송할 수 있다.
객체 A(2211), 객체 B(2213) 및 객체(2215)는 예컨대 공연에 참여하는 가수일 수 있다.
카메라(2201)는 객체 A(2211)를 주로 촬영하고 객체 A(2211)를 자동으로 추적하여 촬영하며, 객체 A(2211)의 움직임에 따라 카메라(2201)도 이동할 수 있다. 또는 카메라(2201)는 사람에 의해 객체 A(2211)를 추적하면서 촬영할 수 있다. 카메라(2201)는 객체 A(2211)를 촬영한 영상을 서버(300)로 전송할 수 있다.
카메라(2203)는 객체 B(2213)를 주로 촬영하고 객체 B(2213)를 자동으로 추적하여 촬영하며, 객체 B(2213)의 움직임에 따라 카메라(2203)도 이동할 수 있다. 또는 카메라(2203)는 사람에 의해 객체 B(2213)를 추적하면서 촬영할 수 있다. 카메라(2203)는 객체 B(2213)를 촬영한 영상을 서버(300)로 전송할 수 있다.
카메라(2205)는 객체 C(2215)를 주로 촬영하고 객체 C(2215)를 자동으로 추적하여 촬영하며, 객체 C(2215)의 움직임에 따라 카메라(2205)도 이동할 수 있다. 또는 카메라(2205)는 사람에 의해 객체 C(2213)를 추적하면서 촬영할 수 있다. 카메라(2205)는 객체 C(2215)를 촬영한 영상을 서버(300)로 전송할 수 있다.
서버(300)는 카메라(2200, 2201, 2203, 2205)로부터 수신한 영상을 흔들림 보정한 후 전자장치(200)로 전송할 수 있다.
설명의 편의상 카메라(2200)가 촬영한 영상을 제 1 영상으로 칭한다. 제 1 영상에는 복수의 객체가 포함되며, 제 1 영상은 서버를 통해 전자장치로 전송되거나 또는 공중파 방송망을 통해 전자장치(200)로 전송될 수 있다.
카메라(2200, 2201, 2203,2205)는 서버(300)로 ID 정보를 전송할 수 있다.
서버(300)는 카메라(2200, 2201, 2203, 2205)로부터 수신된 ID 정보를 이용하여 UI를 생성할 수 있으며, 생성된 UI를 전자장치로 전송할 수 있다. 서버(300)가 UI를 생성하는 과정에 대한 설명은 도 16을 이용하여 상술하였으므로 상세한 설명은 생략한다.
전자장치(200)는 서버로부터 수신한 제 1 영상 및 UI를 화면에 표시할 수 있다. 예를 들면 전자장치(200)는 화면의 상단 영역에는 복수의 객체(2211, 2213, 2215)가 포함된 제 1 영상이 표시되고 화면의 하단 영역에는 UI(2225)가 표시될 수 있다. UI(2225)는 객체 A(2211)에 대한 아이콘(2211a), 객체 B(2213)에 대한 아이콘(2215a) 및 객체 C(2225)에 대한 아이콘(2215a)이 포함될 수 있다.
아이콘(2211a)는 카메라(2201)에서 전송한 ID 정보에 기초하여 생성된 텍스트 정보(예컨대 사람 이름) 및 그래픽 이미지(예컨대 객체 A를 촬영한 썸네일 이미지)가 포함될 수 있다. 또한 아이콘(2211a)는 서버가 생성한 이미지일 수도 있다.
아이콘(2213a)는 카메라(2203)에서 전송한 ID 정보에 기초하여 생성된 텍스트 정보(예컨대 사람 이름) 및 그래픽 이미지(예컨대 객체 B를 촬영한 썸네일 이미지)가 포함될 수 있다. 또한 아이콘(2213a)는 서버가 생성한 이미지일 수도 있다.
아이콘(2215a)는 카메라(2205)에서 전송한 ID 정보에 기초하여 생성된 텍스트 정보(예컨대 사람 이름) 및 그래픽 이미지(예컨대 객체 C를 촬영한 썸네일 이미지)가 포함될 수 있다. 또한 아이콘(2215a)는 서버가 생성한 이미지일 수도 있다.
전자장치(200)의 화면(2221)에 제 1 영상(2223) 및 UI(2225)가 표시된 상태에서 사용자가 UI(2225)에 포함된 복수의 아이콘 중 하나를 선택하면 선택된 아이콘에 대응하는 영상이 화면(2221)에 표시될 수 있다. 예를 들면 사용자가 아이콘(2213a)를 선택하는 경우, 화면(2221)에는 객체 B(2213)를 촬영한 제 2 영상(2233)이 화면 상단 부분에 표시될 수 있다. 화면 하단 부분에는 UI(2225)가 표시될 수 있다.
도 23 은 본 개시의 전자장치에서 경기에 참여하는 특정 선수의 3인칭 영상을 획득하는 예를 도시한다. 설명의 편의상 축구를 예로 들었지만 스포츠 경기 및 공연 영상에도 동일한 기술이 적용될 수 있다.
도 23 을 참조하면 카메라(2301, 2303, 2305, 2307), 선수A(2321), 선수B(2323), 서버(300) 및 전자장치(200)가 도시되어 있다.
카메라(2301)은 전체 경기장을 촬영할 수 있으며 전체 경기장을 조망할 수 있는 화각을 가질 수 있다. 카메라(2301)은 예컨대 특정 위치에 고정될 수 있으며, 전체 경기장을 조망하는 영상을 서버로 제공할 수 있다. 카메라(2301)가 제공하는 영상에는 카메라(2303, 2305, 2307), 선수A(2321) 및 선수B(2323)가 포함될 수 있다.
카메라(2301)는 GPS 수신기 및 센서모듈(예컨대 지자기센서, 자이로 센서 및 가속도 센서 등)을 포함할 수 있다. 카메라(2301)는 GPS 수신기를 통해 자신의 위치 정보를 취득할 수 있다. 카메라(2301)는 수신되는 전파(예컨대 WiFi 신호)의 강도의 차를 이용한 삼각 측량법을 이용하여 자신의 위치 정보를 취득할 수 있다. 전파의 강도의 차를 이용한 삼각 측량법은 GPS 신호가 수신되지 않는 실내에서 사용될 수 있다. 카메라(2301)는 센서모듈을 통해 카메라(2301)가 촬영하는 방향 정보를 취득할 수있다. 또한 카메라(2301)는 촬영할 수 있는 화각 정보를 가질 수 있다. 카메라(2301)는 카메라 ID와 함께 카메라(2301)의 위치정보, 촬영 방향 정보 및 화각 정보를 서버(300)로 전송할 수 있으며, 서버(300)는 카메라(2301)의 위치정보, 촬영 방향 정보 및 화각 정보를 수신하여 현재 카메라(2301)가 촬영하고 있는 촬영 범위에 대한 정보(2311)을 취득할 수 있다.
카메라(2303)는 GPS 수신기 및 센서모듈(예컨대 지자기센서, 자이로 센서 및 가속도 센서 등)을 포함할 수 있다. 카메라(2303)는 GPS 수신기를 통해 자신의 위치 정보를 취득할 수 있다. 카메라(2303)는 수신되는 전파(예컨대 WiFi 신호)의 강도의 차를 이용한 삼각 측량법을 이용하여 자신의 위치 정보를 취득할 수 있다. 전파의 강도의 차를 이용한 삼각 측량법은 GPS 신호가 수신되지 않는 실내에서 사용될 수 있다. 카메라(2303)는 센서모듈을 통해 카메라(2303)가 촬영하는 방향 정보를 취득할 수있다. 또한 카메라(2303)는 촬영할 수 있는 화각 정보를 가질 수 있다. 카메라(2303)는 카메라 ID와 함께 카메라(2303)의 위치정보, 촬영 방향 정보 및 화각 정보를 서버(300)로 전송할 수 있으며, 서버(300)는 카메라(2303)의 위치정보, 촬영 방향 정보 및 화각 정보를 수신하여 현재 카메라(2303)가 촬영하고 있는 촬영 범위에 대한 정보(2313)을 취득할 수 있다.
카메라(2305)는 GPS 수신기 및 센서모듈(예컨데 지자기센서, 자이로 센서 및 가속도 센서 등)을 포함할 수 있다. 카메라(2305)는 GPS 수신기를 통해 자신의 위치 정보를 취득할 수 있다. 카메라(2305)는 수신되는 전파(예컨대 WiFi 신호)의 강도의 차를 이용한 삼각 측량법을 이용하여 자신의 위치 정보를 취득할 수 있다. 전파의 강도의 차를 이용한 삼각 측량법은 GPS 신호가 수신되지 않는 실내에서 사용될 수 있다. 카메라(2305)는 센서모듈을 통해 카메라(2305)가 촬영하는 방향 정보를 취득할 수있다. 또한 카메라(2305)는 촬영할 수 있는 화각 정보를 가질 수 있다. 카메라(2305)는 카메라 ID와 함께 카메라(2305)의 위치정보, 촬영 방향 정보 및 화각 정보를 서버(300)로 전송할 수 있으며, 서버(300)는 카메라(2305)의 위치정보, 촬영 방향 정보 및 화각 정보를 수신하여 현재 카메라(2305)가 촬영하고 있는 촬영 범위에 대한 정보(2315)를 취득할 수 있다.
카메라(2307)는 GPS 수신기 및 센서모듈(예컨데 지자기센서, 자이로 센서 및 가속도 센서 등)을 포함할 수 있다. 카메라(2307)는 GPS 수신기를 통해 자신의 위치 정보를 취득할 수 있다. 카메라(2307)는 수신되는 전파(예컨대 WiFi 신호)의 강도의 차를 이용한 삼각 측량법을 이용하여 자신의 위치 정보를 취득할 수 있다. 전파의 강도의 차를 이용한 삼각 측량법은 GPS 신호가 수신되지 않는 실내에서 사용될 수 있다. 카메라(2307)는 센서모듈을 통해 카메라(2307)가 촬영하는 방향 정보를 취득할 수있다. 또한 카메라(2307)는 촬영할 수 있는 화각 정보를 가질 수 있다. 카메라(2307)는 카메라 ID와 함께 카메라(2307)의 위치정보, 촬영 방향 정보 및 화각 정보를 서버(300)로 전송할 수 있으며, 서버(300)는 카메라(2307)의 위치정보, 촬영 방향 정보 및 화각 정보를 수신하여 현재 카메라(2307)가 촬영하고 있는 촬영 범위에 대한 정보(2317)를 취득할 수 있다.
서버(300)는 카메라(2301, 2303, 2305, 2307)에서 수신한 카메라(2301, 2303, 2305, 2307)의 위치정보, 촬영방향 정보 및 화각 정보를 수신하여 카메라의 촬영맵을 생성할 수 있다. 카메라의 찰영맵은 전체 경기장을 촬영한 화면에 카메라의 위치가 표시되며, UI 정보 형태로 전자장치(200)로 제공될 수 있다.
선수 A(2321) 및 선수 B(2323)는 GPS 수신기 및 센서모듈을 장착 할 수 있다. 예를 들면 선수 A(2321) 및 선수 B(2323)의 의복에는 GPS 수신기 및 센서모듈이 부착 될 수 있다. 또는 선수 A(2321) 및 선수 B(2323)는 스마트 워치 형태의 GPS 수신기 및 센서모듈을 착용할 수 있다. 선수 A(2321) 및 선수 B(2323)가 가지고 있는 GPS 수신기 및 센서모듈을 통해 서버로 자신의 위치 정보를 전송할 수 있다.
서버(300)는 선수 A(2321) 및 선수 B(2323)가 제공하는 위치 정보에 기초하여 선수 맵을 생성할 수 있다. 선수 맵은 전체 경기장을 촬영한 화면에 선수 A(2321) 및 선수 B(2323)의 위치가 표시되며 UI 정보 형태로 전자장치(200)로 제공될 수 있다.
전자장치의 화면에는 카메라의 촬영맵 및 선수 맵이 표시될 수 있으며 사용자는 화면에 표시된 선수맵을 참조하여 원하는 선수를 촬영한 영상을 선택할 수 있으며, 서버(300)는 카메라에서 전송된 카메라의 위치정보, 촬영방향 정보, 화각 정보 및 선수들한테서 전송된 선수들의 위치정보에 기초하여 특정 선수에 대한 3인칭 영상을 선택하여 전자장치(200)로 전송할 수 있다.
즉, 전자장치(200)는 사용자가 특정 선수를 선택하는 신호를 수신하고, 이에 따른 정보를 서버(300)로 전송하며, 서버(300)는 전자장치로부터 수신한 선수 선택 정보에 기초하여 해당 선수에 대한 3인칭 영상을 전자장치(200)로 제공할 수 있다.
예를 들면 사용자가 전자장치(200)에서 선수 A(2321)를 선택하면 선수 A(2321)에 대한 선택정보가 서버(300)로 전송되고, 서버(300)는 선수 A(2321)에 대한 선택정보에 기초하여 선수 A(2321)의 위치정보를 취득하고, 선수 A(2321)의 위치정보를 이용하여 선수 A(2321)의 위치와 가장 가까운 카메라가 카메라(2307) 인 것으로 결정할 수 있다. 또한 서버(300)는 카메라(2307)의 촬영방향 정보 및 화각 정보를 이용하여 선수 A(2321)가 카메라(2307)의 촬영범위에 있는 것으로 결정할 수 있다. 서버(300)는 카메라(2307)에서 촬영한 영상을 전자장치(200)로 전송 할 수 있다.
다른 예로 사용자가 전자장치(200)에서 선수 B(2323)를 선택하면 선수 B(2323)에 대한 선택정보가 서버(300)로 전송되고, 서버(300)는 선수 B(2323)에 대한 선택정보에 기초하여 선수 B(2323)의 위치정보를 취득하고, 선수 B(2323)의 위치정보를 이용하여 선수 B(2323)의 위치와 가장 가까운 카메라가 카메라(2307) 및 카메라(2305) 인 것으로 결정할 수 있다. 서버(300)는 카메라(2307)의 촬영방향 정보 및 화각 정보를 이용하여 선수 B(2323)가 카메라(2307)의 촬영범위 밖에 있는 것으로 결정할 수 있다.
서버(300)는 카메라(2305)의 촬영방향 정보 및 화각 정보를 이용하여 선수 B(2323)가 카메라(2305)의 촬영범위에 있는 것으로 결정하고, 카메라(2305)가 촬영한 영상을 전자장치(200)로 전송 할 수 있다.
다른 실시 예로 서버(300)는 각각의 카메라에서 촬영한 영상을 영상 처리하여 사용자가 선택한 선수가 촬영한 영상에 존재하는 지를 판단할 수 있다. 구체적으로 사용자가 전자장치(200)에서 특정 선수를 선택하면 전자장치(200)는 특정 선수에 대한 선택 정보를 서버(300)로 전송할 수 있다. 이 경우 특정 선수에 대한 선택 정보는 선수에 대한 얼굴 이미지이거나 또는 특정 선수를 식별할 수 있는 정보를 포함할 수 있다. 서버(300)는 특정 선수에 대한 선택 정보에 기초하여 선택된 선수의 얼굴 이미지를 획득할 수 있다. 서버는 선택된 선수의 얼굴 이미지를 이용하여 카메라에서 촬영한 영상을 검색하여, 특정 선수에 대한 영상을 제공하는 카메라를 결정할 수 있다.
일 실시예에 따른 본 개시의 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 비일시적 기록매체(non-transitory computer readable media)에 저장된 명령어로 구현될 수 있다. 명령어가 프로세서에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다.
여기서, 프로그램은 컴퓨터가 읽을 수 있는 비일시적 기록매체에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 개시의 실시 예를 구현할 수 있다.
여기서 비일시적 기록매체란, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미할 뿐만 아니라 레지스터, 캐쉬, 버퍼 등 계산 또는 전송을 위하여 임시적으로 데이터를 저장하는 휘발성 또는 비휘발성 메모리를 포함할 수 있다.
반면에, 신호(signal), 전류(current) 등과 같은 일시적인 전송 매개체는 비일시적 기록매체에 해당되지 않는다.
구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 내장 메모리, 메모리 카드, ROM 또는 RAM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.
또한, 상술한 프로그램들은 서버의 메모리에 저장되어 서버와 네트워크로 연결된 단말(예로, 본 개시의 장치)로 판매를 위하여 전송되거나 또는 프로그램의 제공자(예로, 프로그램 개발자 또는 프로그램의 제조사)에 의하여 서버에 양도 또는 등록될 수도 있다. 또한, 상술한 프로그램들이 서버에서 단말로 판매되는 경우, 프로그램들의 적어도 일부가 전송을 위하여 서버의 버퍼에 임시적으로 생성될 수 있다. 이 경우, 서버의 버퍼가 본 개시의 비일시적 기록매체가 될 수 있다.
일 실시예에 따르면, 컴퓨터로 판독 가능한 비일시적 기록매체는, 스트리밍 콘텐트를 구성하는 복수의 데이터들 각각이 프록시 모듈을 통해 스트리밍 어플리케이션으로 제공되는 시간의 간격인 데이터 제공 시간 간격을 결정하는 동작, 스트리밍 콘텐트의 부분인 제1 데이터를 외부 장치로부터 다운로드하여 저장하는 동작, 및 스트리밍 어플리케이션이 제1 데이터를 요청하는 경우, 결정된 데이터 제공 시간 간격에 기초하여, 저장된 제1 데이터를 프록시 모듈을 통해 스트리밍 어플리케이션으로 제공하는 동작을 본 개시의 전자 장치가 수행하도록 하는 프로그램을 저장할 수 있다.
이상과 같이 본 개시의 실시 예에 따른 전자장치 및 서버가 한정된 실시 예와 도면을 통해 설명되었으나, 전자장치는 상기의 실시 예에 한정되는 것은 아니며, 실시 예에 따른 전자장치가 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 개시에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 개시에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 개시의 범위는, 본 개시의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.

Claims (20)

  1. 카메라를 장착한 복수의 객체를 촬영한 제 1 영상을 디스플레이부에 표시하는 단계;
    상기 디스플레이부에 표시된 복수의 객체 중 적어도 하나의 객체를 선택하는 사용자 입력을 수신하는 단계; 및
    상기 사용자 입력에 기초하여 상기 선택된 객체에서 촬영된 제 2 영상을 상기 디스플레이부의 일부 또는 전체영역에 표시하는 단계;를 포함하는 전자장치의 영상 표시 방법.
  2. 제 1 항에 있어서,
    상기 방법은,
    상기 객체 및 상기 객체에 장착된 카메라에 대응하는 UI를 상기 디스플레이부에 표시하는 단계;를 더 포함하며,
    상기 사용자 입력을 수신하는 단계는, 상기 UI를 통해 상기 사용자 입력을 수신하는 단계인 것을 특징으로 하는 전자장치의 영상 표시 방법.
  3. 제 2 항에 있어서,
    상기 UI는,
    서버로부터 전송된 UI 정보에 기초하여 상기 디스플레이에 표시되는 것을 특징으로 하는 전자장치의 영상 표시 방법.
  4. 제 2 항에 있어서,
    상기 UI는,
    상기 제 2 영상의 URL 정보 및 상기 객체에 장착된 카메라의 ID 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 전자장치의 영상 표시 방법.
  5. 제 1 항에 있어서,
    상기 제 2 영상은,
    상기 객체에 장착된 카메라에서 전송된 영상 데이터를 상기 카메라의 센서부에서 출력된 움직임 정보를 이용하여 흔들림 보정된 영상인 것을 특징으로 하는 전자장치의 영상 표시 방법.
  6. 제 2 항에 있어서,
    상기 UI는,
    상기 객체에 장착된 카메라의 위치정보에 기초하여 상기 디스플레이부의 표시 위치가 결정되는 것을 특징으로 하는 전자장치의 영상 표시 방법.
  7. 제 1 항에 있어서,
    상기 방법은,
    상기 사용자 입력에 기초하여, 상기 선택된 객체에 장착된 카메라의 위치정보 및 상기 객체 주변에 위치한 다른 객체들에 장착된 카메라의 위치정보에 기초하여 검색된, 상기 선택된 객체가 포함된 제 3 영상을 상기 디스플레이부의 일부 또는 전체영역에 표시하는 단계;를 더 포함하는 것을 특징으로 하는 전자장치의 영상 표시 방법.
  8. 복수의 객체에 장착된 카메라로부터 영상 데이터, 상기 카메라들의 움직임에 기초하여 생성된 움직임 정보 및 상기 카메라들의 ID 정보를 수신하는 단계;
    상기 움직임 정보에 기초하여 상기 영상 데이터를 흔들림 보정하고, 제 2 영상을 생성하는 단계;
    상기 ID 정보에 기초하여 상기 제 2 영상을 선택할 수 있는 UI 정보를 생성하는 단계; 및
    상기 UI 정보를 전자장치로 전송하는 단계;를 포함하는 서버의 영상 데이터 처리 방법.
  9. 제 8 항에 있어서,
    상기 방법은,
    상기 전자장치로부터 복수의 UI중 하나를 선택하는 사용자 선택 정보를 수신하는 단계; 및
    상기 수신된 사용자 선택 정보에 기초하여 상기 선택된 UI에 대응하는 제 2 영상을 상기 전자장치에게 전송하는 단계;를 더 포함하는 서버의 영상 데이터 처리 방법.
  10. 제 9 항에 있어서,
    상기 방법은,
    상기 복수의 카메라의 위치정보 및 방향정보에 기초하여 상기 복수의 객체 중 특정 객체가 포함된 상기 제 2 영상을 검색하는 단계;를 더 포함하는 것을 특징으로 하는 서버의 영상 데이터 처리 방법.
  11. 서버로부터 데이터를 수신하는 통신부;
    카메라를 장착한 복수의 객체를 촬영한 제 1 영상을 표시하는 디스플레이부;
    사용자 입력을 수신하는 입력부; 및
    상기 디스플레이부에 상기 제 1 영상이 표시되는 동안에 상기 입력부를 통해 상기제 1 영상에 포함된 복수의 객체 중 적어도 하나의 객체를 선택하는 사용자 입력을 수신하고, 상기 사용자 입력에 기초하여 상기 선택된 객체가 촬영한 제 2 영상을 상기 디스플레이부의 일부 또는 전체영역에 표시하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 전자장치.
  12. 제 11 항에 있어서,
    상기 제어부는,
    상기 객체 또는 상기 객체에 장착된 카메라에 대응하는 UI를 상기 디스플레이부에 표시하도록 상기 디스플레이부를 제어하고,
    상기 입력부는,
    상기 UI를 통해 상기 사용자 입력을 수신하는 것을 특징으로 하는 전자장치.
  13. 제 12 항에 있어서,
    상기 UI는,
    서버로부터 전송된 UI 정보에 기초하여 상기 디스플레이에 표시되는 것을 특징으로 하는 전자장치.
  14. 제 12 항에 있어서,
    상기 UI는,
    상기 제 2 영상의 URL 정보 및 상기 객체에 장착된 카메라의 ID 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 전자장치.
  15. 제 11 항에 있어서,
    상기 제 2 영상은,
    상기 객체에 장착된 카메라에서 전송된 영상 데이터를 상기 카메라의 센서부에서 출력된 움직임 정보를 이용하여 흔들림 보정된 것을 특징으로 하는 전자장치.
  16. 제 12 항에 있어서,
    상기 UI는,
    상기 객체에 장착된 카메라의 위치정보에 기초하여 상기 디스플레이부의 표시 위치가 결정되는 것을 특징으로 하는 전자장치.
  17. 제 11 항에 있어서,
    상기 제어부는,
    상기 사용자 입력에 기초하여, 상기 선택된 객체에 장착된 카메라의 위치정보 및 상기 객체 주변에 위치한 다른 객체들에 장착된 카메라의 위치정보를 이용하여 검색된, 상기 선택된 객체가 포함된 제 3 영상을 상기 디스플레이부의 일부 또는 전체영역에 표시하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 전자장치.
  18. 복수의 객체에 장착된 카메라로부터 영상 데이터, 상기 카메라들의 움직임에 기초하여 생성된 움직임 정보 및 상기 카메라들의 ID 정보를 수신하는 통신부; 및
    상기 움직임 정보에 기초하여 상기 영상 데이터를 흔들림 보정하고, 제 2 영상을 생성하고, 상기 ID 정보에 기초하여 상기 제 2 영상을 선택할 수 있는 UI 정보를 생성하고, 상기 UI 정보를 전자장치로 전송하는 제어부;를 포함하는 서버.
  19. 제 18 항에 있어서,
    상기 제어부는,
    상기 통신부를 통해, 상기 전자장치로부터 상기 UI 정보에 기초하여 상기 전자장치의 디스플레이부에 표시된 복수의 UI중 하나를 선택하는 사용자 입력을 수신하고, 상기 수신된 사용자 입력에 기초하여 상기 선택된 UI에 대응하는 제 2 영상을 상기 전자장치에게 전송하는 것을 특징으로 하는 서버.
  20. 제 19 항에 있어서,
    상기 제 2 영상은, 상기 복수의 객체 중 특정 객체가 포함된 영상이며,
    상기 제어부는, 상기 복수의 카메라의 위치정보 및 방향정보에 기초하여 상기 복수의 객체 중 특정 객체가 포함된 영상을 검색하여, 상기 전자장치에게 전송하는 것을 특징으로 하는 서버.
KR1020160166213A 2016-10-20 2016-12-07 영상 표시 방법 및 그 전자장치 KR102501713B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780066853.7A CN109891904B (zh) 2016-10-20 2017-09-29 图像显示方法及其电子装置
US16/340,816 US11223853B2 (en) 2016-10-20 2017-09-29 Image display method and electronic device therefor
PCT/KR2017/011023 WO2018074768A1 (ko) 2016-10-20 2017-09-29 영상 표시 방법 및 그 전자장치
EP17863189.1A EP3509315A4 (en) 2016-10-20 2017-09-29 IMAGE DISPLAY METHOD AND ASSOCIATED ELECTRONIC DEVICE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160136574 2016-10-20
KR20160136574 2016-10-20

Publications (2)

Publication Number Publication Date
KR20180043712A true KR20180043712A (ko) 2018-04-30
KR102501713B1 KR102501713B1 (ko) 2023-02-21

Family

ID=62080927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160166213A KR102501713B1 (ko) 2016-10-20 2016-12-07 영상 표시 방법 및 그 전자장치

Country Status (2)

Country Link
EP (1) EP3509315A4 (ko)
KR (1) KR102501713B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020251250A1 (ko) * 2019-06-14 2020-12-17 삼성전자 주식회사 영상 스트리밍 방법 및 이를 지원하는 전자 장치
WO2022215910A1 (ko) * 2021-04-06 2022-10-13 삼성전자 주식회사 화면 공유 방법 및 그 전자 장치
KR20230068852A (ko) * 2021-11-11 2023-05-18 주식회사 엠비씨플러스 세로 모드 스트리밍 방법, 및 이동형 세로 모드 스트리밍 시스템
WO2023121250A1 (en) * 2021-12-22 2023-06-29 Tving Co., Ltd. Method and apparatus for providing multi view service

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100026809A1 (en) * 2008-07-29 2010-02-04 Gerald Curry Camera-based tracking and position determination for sporting events
US20150172605A1 (en) * 2013-12-13 2015-06-18 FieldCast, LLC Point of View Multimedia Platform
US9364747B2 (en) * 2011-02-25 2016-06-14 Moti Sports, Inc. 3D sports playbook

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
WO2010080639A2 (en) * 2008-12-18 2010-07-15 Band Crashers, Llc Media systems and methods for providing synchronized multiple streaming camera signals of an event
US10622020B2 (en) * 2014-10-03 2020-04-14 FieldCast, LLC Point of view video processing and curation platform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100026809A1 (en) * 2008-07-29 2010-02-04 Gerald Curry Camera-based tracking and position determination for sporting events
US9364747B2 (en) * 2011-02-25 2016-06-14 Moti Sports, Inc. 3D sports playbook
US20150172605A1 (en) * 2013-12-13 2015-06-18 FieldCast, LLC Point of View Multimedia Platform

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020251250A1 (ko) * 2019-06-14 2020-12-17 삼성전자 주식회사 영상 스트리밍 방법 및 이를 지원하는 전자 장치
WO2022215910A1 (ko) * 2021-04-06 2022-10-13 삼성전자 주식회사 화면 공유 방법 및 그 전자 장치
KR20230068852A (ko) * 2021-11-11 2023-05-18 주식회사 엠비씨플러스 세로 모드 스트리밍 방법, 및 이동형 세로 모드 스트리밍 시스템
WO2023121250A1 (en) * 2021-12-22 2023-06-29 Tving Co., Ltd. Method and apparatus for providing multi view service
KR20230095297A (ko) * 2021-12-22 2023-06-29 주식회사 티빙 멀티뷰 서비스 제공 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
EP3509315A1 (en) 2019-07-10
EP3509315A4 (en) 2019-09-04
KR102501713B1 (ko) 2023-02-21

Similar Documents

Publication Publication Date Title
CN109891904B (zh) 图像显示方法及其电子装置
US9788065B2 (en) Methods and devices for providing a video
US9344644B2 (en) Method and apparatus for image processing
US9973677B2 (en) Refocusable images
US11094110B2 (en) Method, apparatus and electronic device for processing image
US9794495B1 (en) Multiple streaming camera navigation interface system
KR102501713B1 (ko) 영상 표시 방법 및 그 전자장치
CN109922356B (zh) 视频推荐方法、装置和计算机可读存储介质
CN111026992B (zh) 多媒体资源预览方法、装置、终端、服务器及存储介质
WO2023000677A1 (zh) 内容项显示方法及装置
CN103377488A (zh) 用于显示增强现实图像的方法及其电子装置
US9215003B2 (en) Communication apparatus, communication method, and computer readable recording medium
CN110601959A (zh) 会话消息显示方法、装置、终端及存储介质
CN110086998B (zh) 一种拍摄方法及终端
CN112511889B (zh) 视频播放方法、装置、终端及存储介质
CN112052355A (zh) 视频的展示方法、装置、终端、服务器、系统及存储介质
US20160154824A1 (en) Image display apparatus and information providing method thereof
WO2023029237A1 (zh) 视频预览方法及终端
CN111522483B (zh) 多媒体数据分享方法、装置、电子设备及存储介质
KR102372181B1 (ko) 전자 장치 및 그의 제어 방법
US11604919B2 (en) Method and apparatus for rendering lyrics
KR102620363B1 (ko) 모바일 장치 및 모바일 장치의 제어 방법
US20170289490A1 (en) Tv energy efficiency control method and electronic equipment
CN114390205B (zh) 拍摄方法、装置和电子设备
CN110662113B (zh) 视频播放方法、装置和计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant