KR101782582B1 - 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템 - Google Patents

아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR101782582B1
KR101782582B1 KR1020160004485A KR20160004485A KR101782582B1 KR 101782582 B1 KR101782582 B1 KR 101782582B1 KR 1020160004485 A KR1020160004485 A KR 1020160004485A KR 20160004485 A KR20160004485 A KR 20160004485A KR 101782582 B1 KR101782582 B1 KR 101782582B1
Authority
KR
South Korea
Prior art keywords
image
user
cameras
composite image
camera
Prior art date
Application number
KR1020160004485A
Other languages
English (en)
Other versions
KR20170066187A (ko
Inventor
이재석
Original Assignee
카페24 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 카페24 주식회사 filed Critical 카페24 주식회사
Priority to PCT/KR2016/004212 priority Critical patent/WO2017094979A1/ko
Priority to CN201680017410.4A priority patent/CN107409239B/zh
Priority to US15/552,495 priority patent/US20180338093A1/en
Publication of KR20170066187A publication Critical patent/KR20170066187A/ko
Application granted granted Critical
Publication of KR101782582B1 publication Critical patent/KR101782582B1/ko

Links

Images

Classifications

    • H04N13/0484—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H04N13/0278—
    • H04N13/0468—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템이 개시되어 있다. 아이 트랙킹을 기반으로 하는 영상 전송 방법은, 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하고, 다수 개의 영상을 기반으로 합성 영상을 생성하고, 합성 영상을 화면에 표시하고, 사용자의 시선을 실시간으로 감지하고, 합성 영상에서 사용자가 응시하는 영역에 대응되는 영상을 선택하고, 그 선택된 영상을 전송할 수 있다. 따라서, 사용자의 시선에 따라 역동적으로 변화하는 영상을 방송을 통하여 제공할 수 있다.

Description

아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템 {Method, Apparatus and System for Transmitting Video Based on Eye Tracking}
본 발명은 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템에 관한 것으로서, 다수 개의 영상을 기반으로 넓은 영역의 합성 영상을 생성하고, 사용자의 시선의 움직임에 따라 전송 영역을 선택하여 전송하는 아이 트랙킹을 기반이 영상 전송 방법, 장치 및 시스템에 관한 것이다.
최근 들어, 라이브 스트리밍 기술의 발전에 따라 인터넷을 기반으로 하는 개인 방송의 사용자 층이 급속도로 증가하고 있다. 게다가 최근에는 인터넷 개인 방송이 다양하고 전문적인 콘텐트를 제공하면서 공중파 예능 프로그램의 한 포맷으로까지 발전하게 되었다.
개인이 운영하는 1인 방송은 공중파 방송과 여러 가지 면에서 비교될 수 있는데, 그 중 하나가 카메라의 운용 대수이다. 즉 여기서 카메라의 운용 대수라는 것은 방송 프로그램의 촬영을 위하여 몇 대의 카메라를 운용하는가 이다.
1인 개인 방송은 통상, 방송을 주도하는 한 명이 방송을 하여야 하고 카메라맨도 별도로 없기 때문에 주로 모니터에 고정되는 하나 또는 소수의 웹 카메라만 사용할 수 밖에 없다. 따라서 웹 카메라가 촬영하는 영역도 고정되므로 사용자가 보여주고 싶은 장면이나 상황을 역동적으로 전달하는 데는 한계가 있는 것이 사실이다.
한국특허공개 제20090026617호
본 발명은 이러한 문제점을 해결하기 위한 것으로서, 다수 개의 영상을 기반으로 넓은 영역의 합성 영상을 생성하고, 사용자의 시선의 움직임에 따라 합성 영역에서 전송 영역을 선택하여 전송할 수 있는 아이 트랙킹 기반의 영상 전송 방법, 장치 및 시스템을 제공하는데 그 목적이 있다.
이러한 목적을 달성하기 위하여 본 발명은 일 측면(Aspect)에서 아이 트랙킹을 기반으로 하는 영상 전송 방법을 제공한다. 상기 아이 트랙킹을 기반으로 하는 영상 전송 방법은, 영상 전송 장치에 의하여 수행되는 영상 전송 방법에 있어서, 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하는 단계; 상기 다수 개의 영상을 기반으로 합성 영상을 생성하는 단계; 상기 합성 영상을 화면에 표시하는 단계; 사용자의 시선을 실시간으로 감지하는 단계; 상기 합성 영상에서 상기 사용자가 응시하는 영역에 대응되는 영상을 선택하는 단계; 및 상기 선택된 영상을 전송하는 단계를 포함한다.
상기 합성 영상을 생성하는 단계는, 다수 개의 상기 카메라로부터 취득한 상기 다수 개의 영상을 더하여, 상기 다수 개의 영상을 포함하는 단일 영상을 생성하는 단계를 포함할 수 있다.
상기 영상을 선택하는 단계는, 상기 합성 영상을 다수 개의 영역으로 구분하는 단계; 상기 감지된 시선이 상기 다수 개의 영역 중 어느 영역을 응시하는 지를 판별하는 단계; 상기 판별하는 단계를 기반으로 하여, 사용자가 응시하는 영역에 대응하는 영상을 선택하는 단계를 포함할 수 있다. 상기 다수 개의 영역은 상기 다수 개의 카메라로부터 취득된 다수 개의 영상에 대응될 수 있다.
상기 영상을 선택하는 단계는, 상기 사용자가 화면 이외의 영역을 응시하고 있는 것으로 감지되면, 미리 정해진 영역에 대응하는 영상을 선택하는 단계를 포함할 수 있다.
상기 선택된 영상은 단일 카메라로부터 취득되는 영상의 사이즈 및 해상도와 동일할 수 있다. 상기 다수 개의 카메라는 메인 카메라 및 적어도 하나의 서브 카메라를 포함할 수 있다.
한편, 상술한 본 발명의 목적을 달성하기 위하여 본 발명은 다른 측면에서 아이 트랙킹을 기반으로 하는 영상 전송 장치를 제공한다. 상기 아이 트랙킹을 기반으로 하는 영상 전송 장치는, 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하는 영상 수신부; 상기 다수 개의 영상을 기반으로 합성 영상을 생성하는 합성 영상 생성부; 상기 합성 영상을 화면에 표시하는 표시부; 사용자의 시선을 실시간으로 감지하는 아이 트랙킹부; 상기 합성 영상에서 상기 사용자가 응시하는 영역에 대응되는 영상을 선택하는 영상 선택부; 및 상기 선택된 영상을 전송하는 영상 전송부를 포함할 수 있다.
상기 합성 영상 생성부는, 다수 개의 상기 카메라로부터 취득한 상기 다수 개의 영상을 더하여, 상기 다수 개의 영상을 포함하는 단일 영상을 생성할 수 있다.
상기 영상 선택부는, 상기 합성 영상을 다수 개의 영역으로 구분하고, 상기 감지된 시선이 상기 다수 개의 영역 중 어느 영역을 응시하는 지를 판별하고, 그 판별을 기반으로 하여, 사용자가 응시하는 영역에 대응하는 영상을 선택할 수 있다.
상기 다수 개의 영역은 상기 다수 개의 카메라로부터 취득된 다수 개의 영상에 대응될 수 있다. 상기 영상 선택부는, 상기 사용자가 화면 이외의 영역을 응시하고 있는 것으로 감지되면, 미리 정해진 영역에 대응하는 영상을 선택할 수도 있다.
상기 선택된 영상은 단일 카메라로부터 취득되는 영상의 사이즈 및 해상도와 동일할 수도 있다. 상기 다수 개의 카메라는 메인 카메라 및 적어도 하나의 서브 카메라를 포함할 수도 있다.
한편, 상술한 본 발명의 목적을 달성하기 위하여 본 발명은 또 다른 측면에서 아이 트랙킹을 기반으로 하는 영상 전송 시스템을 제공한다. 상기 아이 트랙킹을 기반으로 하는 영상 전송 시스템은, 다수 개의 카메라; 및 상기 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하고, 상기 다수 개의 영상을 기반으로 합성 영상을 생성하고, 상기 합성 영상을 화면에 표시하고, 사용자의 시선을 실시간으로 감지하고, 상기 합성 영상에서 상기 사용자가 응시하는 영역에 대응되는 영상을 선택하고, 상기 선택된 영상을 전송하는 영상 전송 장치를 포함할 수 있다.
상기 영상 전송 장치는, 다수 개의 상기 카메라로부터 취득한 상기 다수 개의 영상을 더하여, 상기 다수 개의 영상을 포함하는 단일 영상을 생성할 수 있다.
상기 영상 전송 장치는, 상기 합성 영상을 다수 개의 영역으로 구분하고, 상기 감지된 시선이 상기 다수 개의 영역 중 어느 영역을 응시하는 지를 판별하고, 그 판별을 기반으로 하여, 사용자가 응시하는 영역에 대응하는 영상을 선택할 수 있다.
상기 다수 개의 영역은 상기 다수 개의 카메라로부터 취득된 다수 개의 영상에 대응될 수 있다. 상기 영상 전송 장치는, 상기 사용자가 화면 이외의 영역을 응시하고 있는 것으로 감지되면, 미리 정해진 영역에 대응하는 영상을 선택할 수 있다.
상기 선택된 영상은 단일 카메라로부터 취득되는 영상의 사이즈 및 해상도와 동일할 수 있다. 상기 다수 개의 카메라는 메인 카메라 및 적어도 하나의 서브 카메라를 포함할 수도 있다.
한편, 상술한 본 발명의 목적을 달성하기 위하여 본 발명은 또 다른 측면에서 영상 전송 시스템을 제공한다. 상기 영상 전송 시스템은, 다수 개의 카메라; 및 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하고, 상기 다수 개의 영상을 기반으로 합성 영상을 생성하고, 상기 합성 영상을 화면에 표시하고, 사용자의 시선을 실시간 트랙킹하여 상기 사용자가 응시하고 있는 영역의 변동에 따라 상기 합성 영상에서 전송할 영역을 변동시키는 영상 전송 장치를 포함할 수 있다.
한편, 상술한 본 발명의 목적을 달성하기 위하여 본 발명은 또 다른 측면에서 영상 전송 장치를 제공한다. 상기 영상 전송 장치는 카메라로부터 취득되는 다수 개의 영상을 수신하는 수신부; 상기 다수 개의 영상을 기반으로 합성 영상을 생성하는 합성 영상 생성부; 상기 합성 영상을 화면에 표시하는 표시부; 사용자의 시선을 실시간 트랙킹하는 아이 트랙킹부; 및 상기 아이 트랙킹부에 의한 트랙킹을 기반으로 하여, 상기 사용자가 응시하고 있는 영역의 변동에 따라 상기 합성 영상에서 전송할 영역을 변동시키는 영상 선택부를 포함할 수 있다.
한편, 상술한 본 발명의 목적을 달성하기 위하여 본 발명은 또 다른 측면에서 영상 전송 방법을 제공한다. 상기 영상 전송 방법은, 영상 전송 장치에 의하여 수행되며, 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하는 단계; 상기 다수 개의 영상을 기반으로 합성 영상을 생성하는 단계; 상기 합성 영상을 화면에 표시하는 단계; 사용자의 시선을 실시간 트랙킹하는 단계; 상기 트랙킹하는 단계를 기반으로 하여, 상기 사용자가 응시하고 있는 영역의 변동에 따라 상기 합성 영상에서 전송할 영역을 변동시키는 단계를 포함할 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면 다수 개의 카메라를 기반으로 다수 개의 영상을 취득하여 합성 영상을 생성하여 표시하고, 방송을 진행하는 사용자의 시선이 따라 전송 영상이 자동으로 실시간으로 전환될 수 있다. 따라서 고가의 카메라 장비나 전송 시스템을 구비하기 어려운 개인 방송에서 보다 역동적인 방송이 가능해진다.
도 1은 본 발명의 바람직한 실시예에 따른 아이 트랙킹을 기반으로 하는 영상 전송 방법을 실현하기 위한 시스템의 구성을 도시하는 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 다수 개의 카메라의 장착 위치를 나타내는 예시도이다.
도 3은 도 1에 도시되어 있는 영상 전송 장치의 구성을 도시하는 블록도이다.
도 4는 도 3에 도시되어 있는 영상 전송 장치의 동작 흐름을 설명하기 위한 흐름도로서, 본 발명의 바람직한 실시예에 따른 영상 전송 방법의 흐름을 나타내고 있다.
도 5는 다수 개의 카메라로부터 취득한 다수 개의 영상을 예시적으로 도시하는 예시도이다.
도 6은 도 5에 도시된 다수 개의 영상을 기반으로 하여 생성된 합성 영상을 예시적으로 나타내는 예시도이다.
도 7은 합성 영상에 포함되는 다수 개의 영역을 예시적으로 나타내는 예시도이다.
도 8 및 도 9는 사용자의 시선에 따라 실시간으로 이동하는 방송 콘텐츠를 설명하기 위한 예시도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함하다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 바람직한 실시예에 따른 아이 트랙킹을 기반으로 하는 영상 전송 방법을 실현하기 위한 시스템의 구성을 도시하는 블록도이다.
도 1에 도시된 바와 같이, 도 1은 본 발명의 바람직한 실시예에 따른 다수 개의 카메라를 이용한 영상 전송 방법을 실현하기 위한 시스템의 구성을 도시하는 블록도이다.
도 1에 도시된 바와 같이, 시스템(1)의 영상 전송 장치(10)는 다수 개의 카메라(C1~Cn)와 유선 또는 무선으로 연동할 수 있다. 상기 영상 전송 장치(10)는 인터넷 등과 같은 통신망과 연동하고, 다수 개의 카메라(C1~Cn)로부터 취득되는 영상을 기반으로 하는 방송 서비스를 시청 디바이스(2)로 제공할 수 있다. 상기 영상 전송 장치(10)와 상기 시청 디바이스(20) 사이에는 방송 서비스 서버가 포함될 수도 있다.
상기 영상 전송 장치(10)는 n개(n은 2보다 큰 정수)의 카메라(C1~Cn)와 연동할 수 있다. 예컨대, 본 발명의 바람직한 실시예에서 영상 전송 장치(10)는 9개의 카메라와 연동할 수 있다. 즉, 본 실시예의 설명에서는 n이 9인 경우를 가정하여 설명한다. 이 경우 상기 9개의 카메라는 하나의 메인 카메라와 8개의 서브 카메라를 포함할 수 있다. 그러나 이러한 실시예는 한정은 아니며 카메라의 개수 및 역할은 다양하게 변경 실시될 수 있음은 물론이다. 각각의 카메라는 영상을 취득하고 취득된 영상을 유선 또는 무선을 통하여 영상 전송 장치(10)로 전송할 수 있다.
도 2는 본 발명의 바람직한 실시예에 따른 다수 개의 카메라의 장착 위치를 나타내는 예시도이다.
도 2에 도시된 바와 같이, 본 실시예의 설명에서는 9개의 카메라가 구비되는 것으로 가정하여 설명한다. 예를 들면, 영상 전송 장치(10)은 하나의 메인 카메라(CM)와 8개의 서브 카메라(CS1~CS8)와 연동할 수 있다.
상기 메인 카메라(CM)는 모니터(15)의 일측, 예컨대 상측 중심(즉 중상단)에 구비될 수 있다. 서브 카메라(CS1~CS8)는 모니터 또는 스튜디오의 지정된 위치에 구비된다. 예를 들면, 서브 카메라 1(CS1)은 스튜디오 전방의 좌상단에 구비될 수 있다. 서브 카메라 2(CS2)는 스튜디오의 전방의 중상단에 구비될 수 있다. 서브 카메라 3(CS3)은 스튜디오의 전방의 우상단에 구비될 수 있다. 서브 카메라 4(CS4)는 스튜디오 전방의 우중단에 구비될 수 있다. 서브 카메라 5(CS5)는 스튜디오 전방의 우하단에 구비될 수 있다. 서브 카메라 6(CS6)은 스튜디오 전방의 중하단 또는 모니터의 중하단에 구비될 수 있다. 서브 카메라 7(CS7)은 스튜디오 전방의 좌하단에 구비될 수 있다. 서브 카메라 8(CS8)은 스튜디오 좌중단에 구비될 수 있다.
이와 같이, 8개의 서브 카메라(CS1~CS8)가 스튜디오의 곳곳에 설치됨에 따라 영상 전송 장치(10)는 하나의 메인 카메라(CM)만 구비된 경우보다 훨씬 더 넓은 범위의 영상을 취득할 수 있게 된다.
다수 개의 카메라의 위치는 다양하게 변경될 수 있다. 예를 들어, 차량에 적용되는 어라운드 뷰의 경우처럼 모니터의 테이블 주위에 다수 개의 카메라가 설치되어 마치 어라운드 뷰 영상을 얻기 위한 다수 개의 영상들을 취득할 수도 있고, 또는 스튜디오의 벽면을 따라 360도 파노라마 영상을 얻기 위한 카메라들을 다수 개 배치하는 것도 가능하다.
도 3은 도 1에 도시되어 있는 영상 전송 장치(10)의 구성을 도시하는 블록도이다. 도 4는 도 3에 도시되어 있는 영상 전송 장치(10)의 동작 흐름을 설명하기 위한 흐름도로서, 본 발명의 바람직한 실시예에 따른 영상 전송 방법의 흐름을 나타내고 있다.
도 5에 도시된 바와 같이, 영상 전송 장치(10)는 영상 수신부(101), 합성 영상 생성부(102), 아이 트랙킹부(103), 영상 선택부(104), 영상 전송부(105), 표시부(106), 모니터(15) 등을 포함할 수 있다.
상기 영상 전송 장치(10)는 다수 개의 카메라(CM, CS1~CS8), 예컨대 메인 카메라(CM) 및 8개의 서브 카메라(CS1~CS8)와 연동할 수 있다. 다른 한편으로, 영상 전송 장치(10)는 통신망을 통하여 다수 개의 카메라(CM, CS1~CS8), 예컨대 메인 카메라(CM) 및 8개의 서브 카메라(CS1~CS8)로부터 촬영된 영상을 이용한 방송 서비스를 제공할 수 있다.
도 3 내지 도 4를 참조하면, 영상 전송 장치(10)의 영상 수신부(101)는 다수 개의 카메라(CM, CS1~CS8)를 이용하여 다수 개의 영상을 취득할 수 있다(단계:S1). 예를 들면, 영상 수신부(101)는 메인 카메라(CM), 서브 카메라 1(CS1), 서브 카메라 2(CS2), 서브 카메라 3(CS3), 서브 카메라 4(CS4), 서브 카메라 5(CS5), 서브 카메라 6(CS6), 서브 카메라 7(CS7) 및 서브 카메라 8(CS8)로부터, 메인 영상, 서브 영상 1, 서브 영상 2, 서브 영상 3, 서브 영상 4, 서브 영상 5, 서브 영상 6, 서브 영상 7, 서브 영상 8를 각각 취득할 수 있다.
합성 영상 생성부(102)는 다수 개의 카메라들(CM, CS1~CS8)로부터 취득된 다수 개의 영상을 기반으로 합성 영상을 생성할 수 있다(단계:S2). 여기서 합성 영상은 다수 개의 영상을 더한 영상으로, 각각의 상기 영상을 적어도 일부분 포함하는 단일 영상일 수 있다.
도 5는 다수 개의 카메라(CM, CS1~CS8)로부터 취득한 다수 개의 영상을 예시적으로 도시하는 예시도이다.
도 5에 도시된 바와 같이, 메인 카메라(CM)는 방송을 수행하는 사용자의 정면 영상을 메인 영상(PM1)으로서 취득할 수 있으며, 나머지 서브 카메라들(CS1~CS8)은 스튜디오에서 메인 카메라(CM)가 취득할 수 없는 부분들의 영상을 취득할 수 있다.
따라서, 영상 전송 장치(10)는 메인 카메라(CM), 서브 카메라 1(CS1), 서브 카메라 2(CS2), 서브 카메라 3(CS3), 서브 카메라 4(CS4), 서브 카메라 5(CS5), 서브 카메라 6(CS6), 서브 카메라 7(CS7) 및 서브 카메라 8(CS8)로부터, 각각 메인 영상(PM), 서브 영상 1(PS1), 서브 영상 2(PS2), 서브 영상 3(PS3), 서브 영상 4(PS4), 서브 영상 5(PS5), 서브 영상 6(PS6), 서브 영상 7(PS7), 서브 영상 8(PS8)를 수신함으로써, 스튜디오의 구석 구석까지 다양한 영상을 얻을 수 있다.
도 6은 도 5에 도시된 다수 개의 영상(PM, PS1~PS8)을 기반으로 하여 생성된 합성 영상을 예시적으로 나타내는 예시도이다.
도 6에 도시된 바와 같이, 도 5에 도시되어 있는 취득된 9개의 영상(PM, PS1~PS8)을 합성하면 스튜디오 전체를 커버할만한 매우 넓은 범위의 영상, 즉 합성 영상을 얻을 수 있다.
한편, 다수 개의 카메라의 배치에 따라 합성을 통하여 얻을 수 있는 영상은 다양하다. 예를 들어, 모니터의 테이블 주위에 다수 개의 카메라가 설치되는 경우 합성을 통하여 마치 차량의 어라운드 뷰의 영상과 같은 합성 영상이 생성될 수 있다. 또는, 스튜디오의 벽면을 따라 360도 파노라마 영상을 얻기 위한 배치로 카메라들을 배치할 경우 합성을 통하여 360도 파노라마 영상과 같은 형태의 영상이 얻어질 수 있다.
합성 영상이 생성되면, 표시부(106)는 모니터(15)의 화면의 적어도 일부분에 상기 생성된 합성 영상을 표시할 수 있다(단계:S3). 예를 들면, 표시부(106)는 도 6에 도시된 바와 같은 합성 영상을 화면 전체에 표시할 수 있다. 한편, 실시 환경에 따라서는, 상기 표시부(106)는 화면의 일부분에 미리 정해진 크기의 서브 스크린을 생성하고 그 생성된 서브 스크린을 사용하여 합성 영상을 표시할 수도 있다.
다음으로, 아이 트랙킹부(103)는 합성 영상이 모니터(15)의 화면에 표시된 상태에서 사용자의 시선을 실시간으로 감지할 수 있다(단계:S4). 즉 사용자가 응시하는 영역을 지속적으로 감지하는 것이다. 상기 아이 트랙킹부(103)는 예컨대 모니터(15)의 일측에 구비되는 아이 트랙킹 센서(미도시)를 포함할 수 있다. 아이 트랙킹 센서의 위치는 실시 환경에 따라 다양하게 배치 가능하다. 예컨대, 전용 감지 센서가 구비될 수도 있고, 메인 카메라(CM) 또는 서브 카메라(CS1~CS8) 중 적어도 어느 하나가 아이 트랙킹 센서의 기능을 겸할 수도 있다.
다음으로, 영상 선택부(104)는 아이 트랙킹부(103)에 의한 시선 감지를 기반으로 하여, 사용자가 현재 응시하고 있는 영역에 대응되는 영상을 선택할 수 있다(단계:S5).
상기 합성 영상은 다수 개의 영역으로 나뉠 수 있다. 영상 선택부(104)는 합성 영상이 생성되면, 상기 합성 영상을 논리적인 다수 개의 영역으로 구분할 수 있다. 상기 영역의 구분은 합성 영상이 표시될 때 화면에 표시되지는 않아 사용자는 인지할 수 없다. 예를 들어, 상기 다수 개의 영역은 다수 개의 카메라(CM, CS1~CS8)로부터 취득된 다수 개의 영상(PM, PS1~PS8)에 대응될 수 있다. 그러나 이는 한정이 아니며 실시 환경에 따라서는 다수 개의 영역은 임의로 설정될 수도 있다.
도 7은 합성 영상에 포함되는 다수 개의 영역을 예시적으로 나타내는 예시도이다.
도 7에 도시된 바와 같이, 상기 합성 영상은 9개의 영역(AM, AS1~AS8)), 예컨대, 메인 영역(AM), 서브 영역 1(AS1), 서브 영역 2(AS2), 서브 영역 3(AS3), 서브 영역 4(AS4), 서브 영역 5(AS5), 서브 영역 6(AS6), 서브 영역 7(AS7), 서브 영역 8(AS8)으로 구분될 수 있다.
여기서, 상기 메인 영역(AM)은 메인 카메라(CM)로부터 취득된 메인 영상(PM)에, 서브 영역1(AS1)는 서브 영상 1(PS1)에, 서브 영역 2(AS2)는 서브 영상 2(PS2)에, 서브 영역 3(AS3)는 서브 영상 3(PS3)에, 서브 영역 4(AS4)는 서브 영상4(PS4)에, 서브 영역 5(AS5)는 서브 영역 5(PS5)에, 서브 영역 6(AS6)는 서브 영상 6(PS6)에, 서브 영역 7(AS7)은 서버 영상 7(PS7)에, 서브 영역 8(AS8)은 서브 영상 8(PS8)에 각각 대응될 수도 있다.
이 경우, 영상 선택부(104)는 합성 영상에서 구분된 다수 개의 영역(AM, AS1~AS8) 중 사용자가 어느 영역을 응시하는지를 판별하고, 그 판별을 기반으로 다수 개의 영상(PM, PS1~PS8) 중 사용자가 응시하는 영역에 대응하는 영상을 선택할 수 있다.
상기 선택되는 영상은 단일 카메라에 의하여 촬영된 영상과 사이즈 및 해상도가 동일할 수 있다. 예를 들어, 사용자가 합성 영상에서 메인 영역1(AM)을 응시하고 있을 경우 메인 영상(PM)을 선택하고, 사용자가 합성 영상에서 서브 영역 1(AS1)을 응시하는 경우 서브 영상(PS1)을 선택할 수 있다.
그러나, 앞서도 언급했듯이, 실시 환경에 따라서는 합성 영상의 영역 구분이 카메라의 영상에 대응되지 않을 수도 있다. 예를 들어, 상기 합성 영역의 구분 영역은 카메라의 영상보다 작을 수도 있고, 더 클 수도 있다. 이 경우 영상 선택부는 사용자가 응시하는 영역에 대응하는 영상을 합성 영상으로부터 분할함에 의하여 영상을 선택할 수도 있다.
한편, 아이 트랙킹부(103)가 사용자가 합성 영상 이외의 영역, 예컨대 모니터(15)의 바깥, 후방 등을 응시하고 있는 것을 감지하거나, 시선 감지가 불가능한 경우, 영상 선택부(104)는 상기 다수 개의 영상 중 미리 정해진 영상을 선택할 수 있다.
예를 들어, 디폴트 영상으로 메인 영상(PM)이 설정되어 있고 사용자가 모니터(15) 이외의 다른 곳을 응시하거나 옆을 보거나 뒤를 볼 경우, 영상 선택부(104)는 메인 영상(PM)을 선택할 수 있다. 영상 선택부(104)는 사전에 상기 디폴트 영상을 설정할 수 있는 사용자 인터페이스를 표시하고, 그 사용자 인터페이스를 통하여 선택되는 신호에 응답하여 디폴트 영상을 설정할 수 있다.
전송부(105)는 상기 아이 트랙킹부(103)에 의하여 선택된 영상을 통신망을 통하여 방송할 수 있다. 따라서 영상 전송 장치(10)에서 서비스되는 영상을 수신하여 재생하는 시청 디바이스는 합성 영상에서 사용자가 현재 응시하는 영역에 대응되는 영상을 재생하므로, 영상이 넓은 범위에서 실시간으로 변화되는 것이 가능하다. 따라서 시청자는 단일 카메라로 취득되는 협소하고 단조로운 영상에서 벗어나 넓은 범위를 역동적으로 이동하는 영상을 시청할 수 있다.
도 8 및 도 9는 사용자의 시선에 따라 실시간으로 이동하는 방송 콘텐츠를 설명하기 위한 예시도이다.
도 8에 도시된 바와 같이, 방송을 진행하는 사용자의 모니터(15)의 화면에는 합성 영상이 표시되고 있으며, 사용자의 시선이 합성 영상에서 메인 영역(AM)을 응시하고 있다. 이 경우, 영상 전송 장치(10)는 메인 영역(AM)에 대응하는 메인 영상(PM), 즉 메인 카메라(CM)로부터 취득된 영상을 전송할 수 있다. 따라서 시청자는 현재 메인 영상(PM)을 시청한다.
이어서, 도 9에 도시된 바와 같이, 사용자의 시선이 응시하는 곳이 합성 영상에서 메인 영역(AM)으로부터 서브 영역 1(AS1)로 이동하였다면, 영상 전송 장치(10)는 메인 영상(PM)의 전송을 중단하고, 서브 영역 1(AS1)에 대응하는 서브 영상 1(PM1)을 선택하여 전송할 수 있다. 따라서 시청자는 메인 영상(PM)으로부터 서브 영상 1(PS1)로 실시간 이동한 영상을 시청가게 된다.
이상 설명한 바와 같이, 본 발명에 따르면 다수 개의 카메라를 기반으로 다수 개의 영상을 취득하여 합성 영상을 생성하여 표시하고, 방송을 진행하는 사용자의 시선에 따라 전송 영상이 자동으로 실시간으로 전환될 수 있다. 따라서 고가의 카메라 장비나 전송 시스템을 구비하기 어려운 개인 방송에서 보다 역동적인 방송이 가능해진다.
이상 본 발명에 대하여 그 바람직한 실시예를 예시하여 설명하였지만 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 기술적 사항 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.
10 : 영상 전송 장치
15 : 모니터
101 : 영상 수신부
102 : 합성 영상 생성부
103 : 아이 트랙킹부
104 : 영상 선택부
105 : 영상 전송부
106 : 표시부
CM : 메인 카메라
CS1~CS8 : 서브 카메라 1 ~ 서브 카메라 8

Claims (24)

  1. 영상 전송 장치에 의하여 수행되는 영상 전송 방법에 있어서,
    다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하는 단계;
    상기 다수 개의 카메라로부터 취득되는 다수 개의 영상에 대응되는 다수 개의 영역을 포함하는 합성 영상을 생성하는 단계;
    생성된 상기 합성 영상의 전체를 화면에 표시하는 단계;
    사용자의 시선을 실시간으로 감지하는 단계;
    상기 합성 영상에서 상기 사용자가 응시하는 영역에 대응되는 영상을 선택하는 단계; 및
    상기 선택된 영상을 전송하는 단계를 포함하고,
    상기 화면에 표시된 전체의 합성 영상을 상기 사용자가 보면서, 상기 사용자가 전송을 의도하는 카메라의 영상에 대응되는 영역을 상기 사용자가 응시함으로써 전송 영상을 선택할 수 있는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 방법.
  2. 제 1 항에 있어서, 상기 합성 영상을 생성하는 단계는,
    다수 개의 상기 카메라로부터 취득한 다수 개의 영상을 더하여, 상기 다수 개의 영상을 포함하는 단일 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 방법.
  3. 제 1 항에 있어서, 상기 영상을 선택하는 단계는,
    상기 합성 영상을 다수 개의 영역으로 구분하는 단계;
    상기 감지된 시선이 상기 다수 개의 영역 중 어느 영역을 응시하는 지를 판별하는 단계;
    상기 판별하는 단계를 기반으로 하여, 사용자가 응시하는 영역에 대응하는 영상을 선택하는 단계를 포함하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 방법.
  4. 삭제
  5. 제 1 항에 있어서, 상기 영상을 선택하는 단계는,
    상기 사용자가 화면 이외의 영역을 응시하고 있는 것으로 감지되면, 미리 정해진 영역에 대응하는 영상을 선택하는 단계를 포함하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 방법.
  6. 제 1 항에 있어서, 상기 선택된 영상은 단일 카메라로부터 취득되는 영상의 사이즈 및 해상도와 동일한 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 방법.
  7. 제 1 항에 있어서, 상기 다수 개의 카메라는 메인 카메라 및 적어도 하나의 서브 카메라를 포함하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 방법.
  8. 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하는 영상 수신부;
    상기 다수 개의 카메라로부터 취득되는 다수 개의 영상에 대응되는 다수 개의 영상을 포함하는 합성 영상을 생성하는 합성 영상 생성부;
    상기 합성 영상의 전체를 화면에 표시하는 표시부;
    사용자의 시선을 실시간으로 감지하는 아이 트랙킹부;
    상기 합성 영상에서 상기 사용자가 응시하는 영역에 대응되는 영상을 선택하는 영상 선택부; 및
    상기 선택된 영상을 전송하는 영상 전송부를 포함하고,
    상기 화면에 표시된 전체의 합성 영상을 상기 사용자가 보면서, 상기 사용자가 전송을 의도하는 카메라의 영상에 대응되는 영역을 상기 사용자가 응시함으로써 전송 영상을 선택할 수 있는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 장치.
  9. 제 8 항에 있어서, 상기 합성 영상 생성부는,
    다수 개의 상기 카메라로부터 취득한 상기 다수 개의 영상을 더하여, 상기 다수 개의 영상을 포함하는 단일 영상을 생성하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 장치.
  10. 제 8 항에 있어서, 상기 영상 선택부는,
    상기 합성 영상을 다수 개의 영역으로 구분하고, 상기 감지된 시선이 상기 다수 개의 영역 중 어느 영역을 응시하는 지를 판별하고, 그 판별을 기반으로 하여, 사용자가 응시하는 영역에 대응하는 영상을 선택하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 장치.
  11. 삭제
  12. 제 8 항에 있어서, 상기 영상 선택부는,
    상기 사용자가 화면 이외의 영역을 응시하고 있는 것으로 감지되면, 미리 정해진 영역에 대응하는 영상을 선택하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 장치.
  13. 제 8 항에 있어서, 상기 선택된 영상은 단일 카메라로부터 취득되는 영상의 사이즈 및 해상도와 동일한 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 장치.
  14. 제 8 항에 있어서, 상기 다수 개의 카메라는 메인 카메라 및 적어도 하나의 서브 카메라를 포함하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 장치.
  15. 다수 개의 카메라; 및
    상기 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하고, 상기 다수 개의 카메라로부터 취득되는 다수 개의 영상에 대응되는 다수 개의 영역을 포함하는 합성 영상을 생성하고, 상기 합성 영상의 전체를 화면에 표시하고, 사용자의 시선을 실시간으로 감지하고, 상기 합성 영상에서 상기 사용자가 응시하는 영역에 대응되는 영상을 선택하고, 상기 선택된 영상을 전송하는 영상 전송 장치하고,
    상기 화면에 표시된 전체의 합성 영상을 상기 사용자가 보면서, 상기 사용자가 전송을 의도하는 카메라의 영상에 대응되는 영역을 상기 사용자가 응시함으로써 전송 영상을 선택하도록 하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 시스템.
  16. 제 15 항에 있어서, 상기 영상 전송 장치는,
    다수 개의 상기 카메라로부터 취득한 상기 다수 개의 영상을 더하여, 상기 다수 개의 영상을 포함하는 단일 영상을 생성하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 시스템.
  17. 제 15 항에 있어서, 상기 영상 전송 장치는,
    상기 합성 영상을 다수 개의 영역으로 구분하고, 상기 감지된 시선이 상기 다수 개의 영역 중 어느 영역을 응시하는 지를 판별하고, 그 판별을 기반으로 하여, 사용자가 응시하는 영역에 대응하는 영상을 선택하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 시스템.
  18. 삭제
  19. 제 15 항에 있어서, 상기 영상 전송 장치는,
    상기 사용자가 화면 이외의 영역을 응시하고 있는 것으로 감지되면, 미리 정해진 영역에 대응하는 영상을 선택하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 시스템.
  20. 제 15 항에 있어서, 상기 선택된 영상은 단일 카메라로부터 취득되는 영상의 사이즈 및 해상도와 동일한 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 시스템.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
KR1020160004485A 2015-12-04 2016-01-14 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템 KR101782582B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2016/004212 WO2017094979A1 (ko) 2015-12-04 2016-04-22 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템
CN201680017410.4A CN107409239B (zh) 2015-12-04 2016-04-22 基于眼睛追踪的图像传输方法、图像传输设备及图像传输系统
US15/552,495 US20180338093A1 (en) 2015-12-04 2016-04-22 Eye-tracking-based image transmission method, device and system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150172168 2015-12-04
KR1020150172168 2015-12-04

Publications (2)

Publication Number Publication Date
KR20170066187A KR20170066187A (ko) 2017-06-14
KR101782582B1 true KR101782582B1 (ko) 2017-09-28

Family

ID=59218257

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160004485A KR101782582B1 (ko) 2015-12-04 2016-01-14 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템

Country Status (3)

Country Link
US (1) US20180338093A1 (ko)
KR (1) KR101782582B1 (ko)
CN (1) CN107409239B (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3466540B1 (en) 2017-05-29 2022-04-06 LG Chem, Ltd. Catalyst composition for hydroformylation reaction and method for preparing aldehyde using same
JP6953247B2 (ja) * 2017-09-08 2021-10-27 ラピスセミコンダクタ株式会社 ゴーグル型表示装置、視線検出方法及び視線検出システム
CN108419090A (zh) * 2017-12-27 2018-08-17 广东鸿威国际会展集团有限公司 三维直播流展示系统和方法
US10582181B2 (en) * 2018-03-27 2020-03-03 Honeywell International Inc. Panoramic vision system with parallax mitigation
CN110324648B (zh) * 2019-07-17 2021-08-06 咪咕文化科技有限公司 直播展现方法和系统
WO2022032589A1 (zh) * 2020-08-13 2022-02-17 深圳市大疆创新科技有限公司 全景回放的方法、装置和系统、拍摄设备、可移动平台

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005027166A (ja) * 2003-07-04 2005-01-27 Japan Science & Technology Agency リモート観測装置、そのプログラムおよび記録媒体

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259470B1 (en) * 1997-12-18 2001-07-10 Intel Corporation Image capture system having virtual camera
JP2004048644A (ja) * 2002-05-21 2004-02-12 Sony Corp 情報処理装置、情報処理システム、及び対話者表示方法
KR100457302B1 (ko) * 2002-10-31 2004-11-16 전자부품연구원 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법
US7570803B2 (en) * 2003-10-08 2009-08-04 Microsoft Corporation Virtual camera translation
US9467647B2 (en) * 2007-07-17 2016-10-11 Carnegie Mellon University Multiple resolution video network with context based control
US8531394B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglasses transceiver
US8736660B2 (en) * 2011-03-14 2014-05-27 Polycom, Inc. Methods and system for simulated 3D videoconferencing
US8184069B1 (en) * 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
US8994780B2 (en) * 2012-10-04 2015-03-31 Mcci Corporation Video conferencing enhanced with 3-D perspective control
CN102905136B (zh) * 2012-10-29 2016-08-24 安科智慧城市技术（中国）有限公司 一种视频编解码方法、系统
KR101954192B1 (ko) * 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
CN103049175B (zh) * 2013-01-22 2016-08-10 华为终端有限公司 预览画面呈现方法、装置及终端
KR20140139840A (ko) * 2013-05-28 2014-12-08 삼성전자주식회사 디스플레이 장치 및 그 제어방법
KR102129798B1 (ko) * 2014-05-08 2020-07-03 엘지전자 주식회사 비히클 및 그 제어 방법
US10001837B2 (en) * 2014-12-23 2018-06-19 Intel Corporation Technologies for interacting with computing devices using haptic manipulation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005027166A (ja) * 2003-07-04 2005-01-27 Japan Science & Technology Agency リモート観測装置、そのプログラムおよび記録媒体

Also Published As

Publication number Publication date
US20180338093A1 (en) 2018-11-22
KR20170066187A (ko) 2017-06-14
CN107409239A (zh) 2017-11-28
CN107409239B (zh) 2020-08-07

Similar Documents

Publication Publication Date Title
KR101782582B1 (ko) 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템
US10432910B2 (en) Methods and apparatus for controlling a viewing position
US9955147B2 (en) Zoom related methods and apparatus
US11350080B2 (en) Methods and apparatus for displaying images
US9706264B2 (en) Multiple field-of-view video streaming
US20100251171A1 (en) Graphical user interface which adapts to viewing distance
KR102069930B1 (ko) 이머전 통신 클라이언트, 서버 및 컨텐츠 뷰를 획득하는 방법
WO2005099270A3 (en) Closed circuit tv security system
KR20040071945A (ko) 부화면 조정이 가능한 영상표시기기 및 그 방법
GB2467898A (en) Display with automatic screen parameter adjustment based on the position of a detected viewer
US20070022455A1 (en) Image display device, image display method and image display system
US20180249189A1 (en) Methods and apparatus for use in a system or device where switching between cameras may occur
JP2021136683A (ja) 全景リアリティシミュレーションシステム及びその使用方法
KR101408719B1 (ko) 3차원 영상의 스케일 변환 장치 및 그 방법
KR101807159B1 (ko) 다수 개의 카메라를 기반으로 하는 영상 전송 방법, 장치 및 시스템
JP2012173683A (ja) 表示制御装置、情報表示装置、及び表示制御方法
CN113015014A (zh) 缩放显示方法、显示终端及存储介质
JP6930880B2 (ja) 映像表示装置および映像制作支援方法
KR20130011041A (ko) 영상표시장치 및 그 동작방법
CN106997234B (zh) 虚拟现实模式处理方法、设备和系统
KR20180013264A (ko) 중요도에 따라 썸네일 배치를 달리하는 영상 표시 장치
JP2013009127A (ja) 画像表示装置及び画像表示方法
WO2022220066A1 (ja) 画像配信装置、表示装置、撮像装置、制御方法、プログラム
WO2023171120A1 (ja) 情報処理装置、情報処理方法、およびプログラム
EP4221240A1 (en) Image display apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant