WO2017094979A1 - 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템 - Google Patents

아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템 Download PDF

Info

Publication number
WO2017094979A1
WO2017094979A1 PCT/KR2016/004212 KR2016004212W WO2017094979A1 WO 2017094979 A1 WO2017094979 A1 WO 2017094979A1 KR 2016004212 W KR2016004212 W KR 2016004212W WO 2017094979 A1 WO2017094979 A1 WO 2017094979A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
cameras
area
images
Prior art date
Application number
PCT/KR2016/004212
Other languages
English (en)
French (fr)
Inventor
이재석
Original Assignee
심플렉스 인터넷 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020160004485A external-priority patent/KR101782582B1/ko
Application filed by 심플렉스 인터넷 주식회사 filed Critical 심플렉스 인터넷 주식회사
Priority to US15/552,495 priority Critical patent/US20180338093A1/en
Priority to CN201680017410.4A priority patent/CN107409239B/zh
Publication of WO2017094979A1 publication Critical patent/WO2017094979A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템이 개시되어 있다. 아이 트랙킹을 기반으로 하는 영상 전송 방법은, 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하고, 다수 개의 영상을 기반으로 합성 영상을 생성하고, 합성 영상을 화면에 표시하고, 사용자의 시선을 실시간으로 감지하고, 합성 영상에서 사용자가 응시하는 영역에 대응되는 영상을 선택하고, 그 선택된 영상을 전송할 수 있다. 따라서, 사용자의 시선에 따라 역동적으로 변화하는 영상을 방송을 통하여 제공할 수 있다.

Description

아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템
본 발명은 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템에 관한 것으로서, 다수 개의 영상을 기반으로 넓은 영역의 합성 영상을 생성하고, 사용자의 시선의 움직임에 따라 전송 영역을 선택하여 전송하는 아이 트랙킹을 기반이 영상 전송 방법, 장치 및 시스템에 관한 것이다.
최근 들어, 라이브 스트리밍 기술의 발전에 따라 인터넷을 기반으로 하는 개인 방송의 사용자 층이 급속도로 증가하고 있다. 게다가 최근에는 인터넷 개인 방송이 다양하고 전문적인 콘텐트를 제공하면서 공중파 예능 프로그램의 한 포맷으로까지 발전하게 되었다.
개인이 운영하는 1인 방송은 공중파 방송과 여러 가지 면에서 비교될 수 있는데, 그 중 하나가 카메라의 운용 대수이다. 즉 여기서 카메라의 운용 대수라는 것은 방송 프로그램의 촬영을 위하여 몇 대의 카메라를 운용하는가 이다.
1인 개인 방송은 통상, 방송을 주도하는 한 명이 방송을 하여야 하고 카메라맨도 별도로 없기 때문에 주로 모니터에 고정되는 하나 또는 소수의 웹 카메라만 사용할 수 밖에 없다. 따라서 웹 카메라가 촬영하는 영역도 고정되므로 사용자가 보여주고 싶은 장면이나 상황을 역동적으로 전달하는 데는 한계가 있는 것이 사실이다.
본 발명은 이러한 문제점을 해결하기 위한 것으로서, 다수 개의 영상을 기반으로 넓은 영역의 합성 영상을 생성하고, 사용자의 시선의 움직임에 따라 합성 영역에서 전송 영역을 선택하여 전송할 수 있는 아이 트랙킹 기반의 영상 전송 방법, 장치 및 시스템을 제공하는데 그 목적이 있다.
이러한 목적을 달성하기 위하여 본 발명은 일 측면(Aspect)에서 아이 트랙킹을 기반으로 하는 영상 전송 방법을 제공한다. 상기 아이 트랙킹을 기반으로 하는 영상 전송 방법은, 영상 전송 장치에 의하여 수행되는 영상 전송 방법에 있어서, 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하는 단계; 상기 다수 개의 영상을 기반으로 합성 영상을 생성하는 단계; 상기 합성 영상을 화면에 표시하는 단계; 사용자의 시선을 실시간으로 감지하는 단계; 상기 합성 영상에서 상기 사용자가 응시하는 영역에 대응되는 영상을 선택하는 단계; 및 상기 선택된 영상을 전송하는 단계를 포함한다.
상기 합성 영상을 생성하는 단계는, 다수 개의 상기 카메라로부터 취득한 상기 다수 개의 영상을 더하여, 상기 다수 개의 영상을 포함하는 단일 영상을 생성하는 단계를 포함할 수 있다.
상기 영상을 선택하는 단계는, 상기 합성 영상을 다수 개의 영역으로 구분하는 단계; 상기 감지된 시선이 상기 다수 개의 영역 중 어느 영역을 응시하는 지를 판별하는 단계; 상기 판별하는 단계를 기반으로 하여, 사용자가 응시하는 영역에 대응하는 영상을 선택하는 단계를 포함할 수 있다. 상기 다수 개의 영역은 상기 다수 개의 카메라로부터 취득된 다수 개의 영상에 대응될 수 있다.
상기 영상을 선택하는 단계는, 상기 사용자가 화면 이외의 영역을 응시하고 있는 것으로 감지되면, 미리 정해진 영역에 대응하는 영상을 선택하는 단계를 포함할 수 있다.
상기 선택된 영상은 단일 카메라로부터 취득되는 영상의 사이즈 및 해상도와 동일할 수 있다. 상기 다수 개의 카메라는 메인 카메라 및 적어도 하나의 서브 카메라를 포함할 수 있다.
한편, 상술한 본 발명의 목적을 달성하기 위하여 본 발명은 다른 측면에서 아이 트랙킹을 기반으로 하는 영상 전송 장치를 제공한다. 상기 아이 트랙킹을 기반으로 하는 영상 전송 장치는, 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하는 영상 수신부; 상기 다수 개의 영상을 기반으로 합성 영상을 생성하는 합성 영상 생성부; 상기 합성 영상을 화면에 표시하는 표시부; 사용자의 시선을 실시간으로 감지하는 아이 트랙킹부; 상기 합성 영상에서 상기 사용자가 응시하는 영역에 대응되는 영상을 선택하는 영상 선택부; 및 상기 선택된 영상을 전송하는 영상 전송부를 포함할 수 있다.
상기 합성 영상 생성부는, 다수 개의 상기 카메라로부터 취득한 상기 다수 개의 영상을 더하여, 상기 다수 개의 영상을 포함하는 단일 영상을 생성할 수 있다.
상기 영상 선택부는, 상기 합성 영상을 다수 개의 영역으로 구분하고, 상기 감지된 시선이 상기 다수 개의 영역 중 어느 영역을 응시하는 지를 판별하고, 그 판별을 기반으로 하여, 사용자가 응시하는 영역에 대응하는 영상을 선택할 수 있다.
상기 다수 개의 영역은 상기 다수 개의 카메라로부터 취득된 다수 개의 영상에 대응될 수 있다. 상기 영상 선택부는, 상기 사용자가 화면 이외의 영역을 응시하고 있는 것으로 감지되면, 미리 정해진 영역에 대응하는 영상을 선택할 수도 있다.
상기 선택된 영상은 단일 카메라로부터 취득되는 영상의 사이즈 및 해상도와 동일할 수도 있다. 상기 다수 개의 카메라는 메인 카메라 및 적어도 하나의 서브 카메라를 포함할 수도 있다.
한편, 상술한 본 발명의 목적을 달성하기 위하여 본 발명은 또 다른 측면에서 아이 트랙킹을 기반으로 하는 영상 전송 시스템을 제공한다. 상기 아이 트랙킹을 기반으로 하는 영상 전송 시스템은, 다수 개의 카메라; 및 상기 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하고, 상기 다수 개의 영상을 기반으로 합성 영상을 생성하고, 상기 합성 영상을 화면에 표시하고, 사용자의 시선을 실시간으로 감지하고, 상기 합성 영상에서 상기 사용자가 응시하는 영역에 대응되는 영상을 선택하고, 상기 선택된 영상을 전송하는 영상 전송 장치를 포함할 수 있다.
상기 영상 전송 장치는, 다수 개의 상기 카메라로부터 취득한 상기 다수 개의 영상을 더하여, 상기 다수 개의 영상을 포함하는 단일 영상을 생성할 수 있다.
상기 영상 전송 장치는, 상기 합성 영상을 다수 개의 영역으로 구분하고, 상기 감지된 시선이 상기 다수 개의 영역 중 어느 영역을 응시하는 지를 판별하고, 그 판별을 기반으로 하여, 사용자가 응시하는 영역에 대응하는 영상을 선택할 수 있다.
상기 다수 개의 영역은 상기 다수 개의 카메라로부터 취득된 다수 개의 영상에 대응될 수 있다. 상기 영상 전송 장치는, 상기 사용자가 화면 이외의 영역을 응시하고 있는 것으로 감지되면, 미리 정해진 영역에 대응하는 영상을 선택할 수 있다.
상기 선택된 영상은 단일 카메라로부터 취득되는 영상의 사이즈 및 해상도와 동일할 수 있다. 상기 다수 개의 카메라는 메인 카메라 및 적어도 하나의 서브 카메라를 포함할 수도 있다.
한편, 상술한 본 발명의 목적을 달성하기 위하여 본 발명은 또 다른 측면에서 영상 전송 시스템을 제공한다. 상기 영상 전송 시스템은, 다수 개의 카메라; 및 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하고, 상기 다수 개의 영상을 기반으로 합성 영상을 생성하고, 상기 합성 영상을 화면에 표시하고, 사용자의 시선을 실시간 트랙킹하여 상기 사용자가 응시하고 있는 영역의 변동에 따라 상기 합성 영상에서 전송할 영역을 변동시키는 영상 전송 장치를 포함할 수 있다.
한편, 상술한 본 발명의 목적을 달성하기 위하여 본 발명은 또 다른 측면에서 영상 전송 장치를 제공한다. 상기 영상 전송 장치는 카메라로부터 취득되는 다수 개의 영상을 수신하는 수신부; 상기 다수 개의 영상을 기반으로 합성 영상을 생성하는 합성 영상 생성부; 상기 합성 영상을 화면에 표시하는 표시부; 사용자의 시선을 실시간 트랙킹하는 아이 트랙킹부; 및 상기 아이 트랙킹부에 의한 트랙킹을 기반으로 하여, 상기 사용자가 응시하고 있는 영역의 변동에 따라 상기 합성 영상에서 전송할 영역을 변동시키는 영상 선택부를 포함할 수 있다.
한편, 상술한 본 발명의 목적을 달성하기 위하여 본 발명은 또 다른 측면에서 영상 전송 방법을 제공한다. 상기 영상 전송 방법은, 영상 전송 장치에 의하여 수행되며, 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하는 단계; 상기 다수 개의 영상을 기반으로 합성 영상을 생성하는 단계; 상기 합성 영상을 화면에 표시하는 단계; 사용자의 시선을 실시간 트랙킹하는 단계; 상기 트랙킹하는 단계를 기반으로 하여, 상기 사용자가 응시하고 있는 영역의 변동에 따라 상기 합성 영상에서 전송할 영역을 변동시키는 단계를 포함할 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면 다수 개의 카메라를 기반으로 다수 개의 영상을 취득하여 합성 영상을 생성하여 표시하고, 방송을 진행하는 사용자의 시선이 따라 전송 영상이 자동으로 실시간으로 전환될 수 있다. 따라서 고가의 카메라 장비나 전송 시스템을 구비하기 어려운 개인 방송에서 보다 역동적인 방송이 가능해진다.
도 1은 본 발명의 바람직한 실시예에 따른 아이 트랙킹을 기반으로 하는 영상 전송 방법을 실현하기 위한 시스템의 구성을 도시하는 블록도이다.
도 2는 본 발명의 바람직한 실시예에 따른 다수 개의 카메라의 장착 위치를 나타내는 예시도이다.
도 3은 도 1에 도시되어 있는 영상 전송 장치의 구성을 도시하는 블록도이다.
도 4는 도 3에 도시되어 있는 영상 전송 장치의 동작 흐름을 설명하기 위한 흐름도로서, 본 발명의 바람직한 실시예에 따른 영상 전송 방법의 흐름을 나타내고 있다.
도 5는 다수 개의 카메라로부터 취득한 다수 개의 영상을 예시적으로 도시하는 예시도이다.
도 6은 도 5에 도시된 다수 개의 영상을 기반으로 하여 생성된 합성 영상을 예시적으로 나타내는 예시도이다.
도 7은 합성 영상에 포함되는 다수 개의 영역을 예시적으로 나타내는 예시도이다.
도 8 및 도 9는 사용자의 시선에 따라 실시간으로 이동하는 방송 콘텐츠를 설명하기 위한 예시도이다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 바람직한 실시예에 따른 아이 트랙킹을 기반으로 하는 영상 전송 방법을 실현하기 위한 시스템의 구성을 도시하는 블록도이다.
도 1에 도시된 바와 같이, 도 1은 본 발명의 바람직한 실시예에 따른 다수 개의 카메라를 이용한 영상 전송 방법을 실현하기 위한 시스템의 구성을 도시하는 블록도이다.
도 1에 도시된 바와 같이, 시스템(1)의 영상 전송 장치(10)는 다수 개의 카메라(C1~Cn)와 유선 또는 무선으로 연동할 수 있다. 상기 영상 전송 장치(10)는 인터넷 등과 같은 통신망과 연동하고, 다수 개의 카메라(C1~Cn)로부터 취득되는 영상을 기반으로 하는 방송 서비스를 시청 디바이스(2)로 제공할 수 있다. 상기 영상 전송 장치(10)와 상기 시청 디바이스(20) 사이에는 방송 서비스 서버가 포함될 수도 있다.
상기 영상 전송 장치(10)는 n개(n은 2보다 큰 정수)의 카메라(C1~Cn)와 연동할 수 있다. 예컨대, 본 발명의 바람직한 실시예에서 영상 전송 장치(10)는 9개의 카메라와 연동할 수 있다. 즉, 본 실시예의 설명에서는 n이 9인 경우를 가정하여 설명한다. 이 경우 상기 9개의 카메라는 하나의 메인 카메라와 8개의 서브 카메라를 포함할 수 있다. 그러나 이러한 실시예는 한정은 아니며 카메라의 개수 및 역할은 다양하게 변경 실시될 수 있음은 물론이다. 각각의 카메라는 영상을 취득하고 취득된 영상을 유선 또는 무선을 통하여 영상 전송 장치(10)로 전송할 수 있다.
도 2는 본 발명의 바람직한 실시예에 따른 다수 개의 카메라의 장착 위치를 나타내는 예시도이다.
도 2에 도시된 바와 같이, 본 실시예의 설명에서는 9개의 카메라가 구비되는 것으로 가정하여 설명한다. 예를 들면, 영상 전송 장치(10)은 하나의 메인 카메라(CM)와 8개의 서브 카메라(CS1~CS8)와 연동할 수 있다.
상기 메인 카메라(CM)는 모니터(15)의 일측, 예컨대 상측 중심(즉 중상단)에 구비될 수 있다. 서브 카메라(CS1~CS8)는 모니터 또는 스튜디오의 지정된 위치에 구비된다. 예를 들면, 서브 카메라 1(CS1)은 스튜디오 전방의 좌상단에 구비될 수 있다. 서브 카메라 2(CS2)는 스튜디오의 전방의 중상단에 구비될 수 있다. 서브 카메라 3(CS3)은 스튜디오의 전방의 우상단에 구비될 수 있다. 서브 카메라 4(CS4)는 스튜디오 전방의 우중단에 구비될 수 있다. 서브 카메라 5(CS5)는 스튜디오 전방의 우하단에 구비될 수 있다. 서브 카메라 6(CS6)은 스튜디오 전방의 중하단 또는 모니터의 중하단에 구비될 수 있다. 서브 카메라 7(CS7)은 스튜디오 전방의 좌하단에 구비될 수 있다. 서브 카메라 8(CS8)은 스튜디오 좌중단에 구비될 수 있다.
이와 같이, 8개의 서브 카메라(CS1~CS8)가 스튜디오의 곳곳에 설치됨에 따라 영상 전송 장치(10)는 하나의 메인 카메라(CM)만 구비된 경우보다 훨씬 더 넓은 범위의 영상을 취득할 수 있게 된다.
다수 개의 카메라의 위치는 다양하게 변경될 수 있다. 예를 들어, 차량에 적용되는 어라운드 뷰의 경우처럼 모니터의 테이블 주위에 다수 개의 카메라가 설치되어 마치 어라운드 뷰 영상을 얻기 위한 다수 개의 영상들을 취득할 수도 있고, 또는 스튜디오의 벽면을 따라 360도 파노라마 영상을 얻기 위한 카메라들을 다수 개 배치하는 것도 가능하다.
도 3은 도 1에 도시되어 있는 영상 전송 장치(10)의 구성을 도시하는 블록도이다. 도 4는 도 3에 도시되어 있는 영상 전송 장치(10)의 동작 흐름을 설명하기 위한 흐름도로서, 본 발명의 바람직한 실시예에 따른 영상 전송 방법의 흐름을 나타내고 있다.
도 5에 도시된 바와 같이, 영상 전송 장치(10)는 영상 수신부(101), 합성 영상 생성부(102), 아이 트랙킹부(103), 영상 선택부(104), 영상 전송부(105), 표시부(106), 모니터(15) 등을 포함할 수 있다.
상기 영상 전송 장치(10)는 다수 개의 카메라(CM, CS1~CS8), 예컨대 메인 카메라(CM) 및 8개의 서브 카메라(CS1~CS8)와 연동할 수 있다. 다른 한편으로, 영상 전송 장치(10)는 통신망을 통하여 다수 개의 카메라(CM, CS1~CS8), 예컨대 메인 카메라(CM) 및 8개의 서브 카메라(CS1~CS8)로부터 촬영된 영상을 이용한 방송 서비스를 제공할 수 있다.
도 3 내지 도 4를 참조하면, 영상 전송 장치(10)의 영상 수신부(101)는 다수 개의 카메라(CM, CS1~CS8)를 이용하여 다수 개의 영상을 취득할 수 있다(단계:S1). 예를 들면, 영상 수신부(101)는 메인 카메라(CM), 서브 카메라 1(CS1), 서브 카메라 2(CS2), 서브 카메라 3(CS3), 서브 카메라 4(CS4), 서브 카메라 5(CS5), 서브 카메라 6(CS6), 서브 카메라 7(CS7) 및 서브 카메라 8(CS8)로부터, 메인 영상, 서브 영상 1, 서브 영상 2, 서브 영상 3, 서브 영상 4, 서브 영상 5, 서브 영상 6, 서브 영상 7, 서브 영상 8를 각각 취득할 수 있다.
합성 영상 생성부(102)는 다수 개의 카메라들(CM, CS1~CS8)로부터 취득된 다수 개의 영상을 기반으로 합성 영상을 생성할 수 있다(단계:S2). 여기서 합성 영상은 다수 개의 영상을 더한 영상으로, 각각의 상기 영상을 적어도 일부분 포함하는 단일 영상일 수 있다.
도 5는 다수 개의 카메라(CM, CS1~CS8)로부터 취득한 다수 개의 영상을 예시적으로 도시하는 예시도이다.
도 5에 도시된 바와 같이, 메인 카메라(CM)는 방송을 수행하는 사용자의 정면 영상을 메인 영상(PM)으로서 취득할 수 있으며, 나머지 서브 카메라들(CS1~CS8)은 스튜디오에서 메인 카메라(CM)가 취득할 수 없는 부분들의 영상을 취득할 수 있다.
따라서, 영상 전송 장치(10)는 메인 카메라(CM), 서브 카메라 1(CS1), 서브 카메라 2(CS2), 서브 카메라 3(CS3), 서브 카메라 4(CS4), 서브 카메라 5(CS5), 서브 카메라 6(CS6), 서브 카메라 7(CS7) 및 서브 카메라 8(CS8)로부터, 각각 메인 영상(PM), 서브 영상 1(PS1), 서브 영상 2(PS2), 서브 영상 3(PS3), 서브 영상 4(PS4), 서브 영상 5(PS5), 서브 영상 6(PS6), 서브 영상 7(PS7), 서브 영상 8(PS8)를 수신함으로써, 스튜디오의 구석 구석까지 다양한 영상을 얻을 수 있다.
도 6은 도 5에 도시된 다수 개의 영상(PM, PS1~PS8)을 기반으로 하여 생성된 합성 영상을 예시적으로 나타내는 예시도이다.
도 6에 도시된 바와 같이, 도 5에 도시되어 있는 취득된 9개의 영상(PM, PS1~PS8)을 합성하면 스튜디오 전체를 커버할만한 매우 넓은 범위의 영상, 즉 합성 영상을 얻을 수 있다.
한편, 다수 개의 카메라의 배치에 따라 합성을 통하여 얻을 수 있는 영상은 다양하다. 예를 들어, 모니터의 테이블 주위에 다수 개의 카메라가 설치되는 경우 합성을 통하여 마치 차량의 어라운드 뷰의 영상과 같은 합성 영상이 생성될 수 있다. 또는, 스튜디오의 벽면을 따라 360도 파노라마 영상을 얻기 위한 배치로 카메라들을 배치할 경우 합성을 통하여 360도 파노라마 영상과 같은 형태의 영상이 얻어질 수 있다.
합성 영상 생성부(102)는 다수 개의 영상의 합성 시에 취득된 적어도 어느 하나의 영상의 일부분을 다른 영상과 중첩시키거나, 취득된 적어도 어느 하나의 영상을 일부분을 잘라낼 수도 있다. 예를 들어, 메인 영상(PM)의 윗부분과 서브 영상 2(PS2)의 아랫부분은 동일한 영상이 취득될 가능성이 있을 수 있다. 이 경우 합성 영상 생성부(102)는 영상의 합성 시에, 메인 영상(PM)의 윗부분 또는 서브 영상 2(PS2)의 아랫부분 중 적어도 어느 하나를 잘라 내거나, 또는 메인 영상(PM)의 윗부분과 서브 영상 2(PS2)의 아랫부분을 중첩시킬 수 있다.
합성 영상이 생성되면, 표시부(106)는 모니터(15)의 화면의 적어도 일부분에 상기 생성된 합성 영상을 표시할 수 있다(단계:S3). 예를 들면, 표시부(106)는 도 6에 도시된 바와 같은 합성 영상을 화면 전체에 표시할 수 있다. 한편, 실시 환경에 따라서는, 상기 표시부(106)는 화면의 일부분에 미리 정해진 크기의 서브 스크린을 생성하고 그 생성된 서브 스크린을 사용하여 합성 영상을 표시할 수도 있다.
다음으로, 아이 트랙킹부(103)는 합성 영상이 모니터(15)의 화면에 표시된 상태에서 사용자의 시선을 실시간으로 감지할 수 있다(단계:S4). 즉 사용자가 응시하는 영역을 지속적으로 감지하는 것이다. 상기 아이 트랙킹부(103)는 예컨대 모니터(15)의 일측에 구비되는 아이 트랙킹 센서(미도시)를 포함할 수 있다. 아이 트랙킹 센서의 위치는 실시 환경에 따라 다양하게 배치 가능하다. 예컨대, 전용 감지 센서가 구비될 수도 있고, 메인 카메라(CM) 또는 서브 카메라(CS1~CS8) 중 적어도 어느 하나가 아이 트랙킹 센서의 기능을 겸할 수도 있다.
다음으로, 영상 선택부(104)는 아이 트랙킹부(103)에 의한 시선 감지를 기반으로 하여, 사용자가 현재 응시하고 있는 영역에 대응되는 영상을 선택할 수 있다(단계:S5).
상기 합성 영상은 다수 개의 영역으로 나뉠 수 있다. 영상 선택부(104)는 합성 영상이 생성되면, 상기 합성 영상을 논리적인 다수 개의 영역으로 구분할 수 있다. 상기 영역의 구분은 합성 영상이 표시될 때 화면에 표시되지는 않아 사용자는 인지할 수 없다. 예를 들어, 상기 다수 개의 영역은 다수 개의 카메라(CM, CS1~CS8)로부터 취득된 다수 개의 영상(PM, PS1~PS8)에 대응될 수 있다. 그러나 이는 한정이 아니며 실시 환경에 따라서는 다수 개의 영역은 임의로 설정될 수도 있다.
도 7은 합성 영상에 포함되는 다수 개의 영역을 예시적으로 나타내는 예시도이다.
도 7에 도시된 바와 같이, 상기 합성 영상은 9개의 영역(AM, AS1~AS8)), 예컨대, 메인 영역(AM), 서브 영역 1(AS1), 서브 영역 2(AS2), 서브 영역 3(AS3), 서브 영역 4(AS4), 서브 영역 5(AS5), 서브 영역 6(AS6), 서브 영역 7(AS7), 서브 영역 8(AS8)으로 구분될 수 있다.
여기서, 상기 메인 영역(AM)은 메인 카메라(CM)로부터 취득된 메인 영상(PM)에, 서브 영역1(AS1)는 서브 영상 1(PS1)에, 서브 영역 2(AS2)는 서브 영상 2(PS2)에, 서브 영역 3(AS3)는 서브 영상 3(PS3)에, 서브 영역 4(AS4)는 서브 영상4(PS4)에, 서브 영역 5(AS5)는 서브 영역 5(PS5)에, 서브 영역 6(AS6)는 서브 영상 6(PS6)에, 서브 영역 7(AS7)은 서버 영상 7(PS7)에, 서브 영역 8(AS8)은 서브 영상 8(PS8)에 각각 대응될 수도 있다.
이 경우, 영상 선택부(104)는 합성 영상에서 구분된 다수 개의 영역(AM, AS1~AS8) 중 사용자가 어느 영역을 응시하는지를 판별하고, 그 판별을 기반으로 다수 개의 영상(PM, PS1~PS8) 중 사용자가 응시하는 영역에 대응하는 영상을 선택할 수 있다.
상기 선택되는 영상은 단일 카메라에 의하여 촬영된 영상과 사이즈 및 해상도가 동일할 수 있다. 예를 들어, 사용자가 합성 영상에서 메인 영역1(AM)을 응시하고 있을 경우 메인 영상(PM)을 선택하고, 사용자가 합성 영상에서 서브 영역 1(AS1)을 응시하는 경우 서브 영상(PS1)을 선택할 수 있다.
그러나, 앞서도 언급했듯이, 실시 환경에 따라서는 합성 영상의 영역 구분이 카메라의 영상에 대응되지 않을 수도 있다. 예를 들어, 상기 합성 영역의 구분 영역은 카메라의 영상보다 작을 수도 있고, 더 클 수도 있다. 이 경우 영상 선택부는 사용자가 응시하는 영역에 대응하는 영상을 합성 영상으로부터 분할함에 의하여 영상을 선택할 수도 있다.
한편, 아이 트랙킹부(103)가 사용자가 합성 영상 이외의 영역, 예컨대 모니터(15)의 바깥, 후방 등을 응시하고 있는 것을 감지하거나, 시선 감지가 불가능한 경우, 영상 선택부(104)는 상기 다수 개의 영상 중 미리 정해진 영상을 선택할 수 있다.
예를 들어, 디폴트 영상으로 메인 영상(PM)이 설정되어 있고 사용자가 모니터(15) 이외의 다른 곳을 응시하거나 옆을 보거나 뒤를 볼 경우, 영상 선택부(104)는 메인 영상(PM)을 선택할 수 있다. 영상 선택부(104)는 사전에 상기 디폴트 영상을 설정할 수 있는 사용자 인터페이스를 표시하고, 그 사용자 인터페이스를 통하여 선택되는 신호에 응답하여 디폴트 영상을 설정할 수 있다.
전송부(105)는 상기 아이 트랙킹부(103)에 의하여 선택된 영상을 통신망을 통하여 방송할 수 있다. 따라서 영상 전송 장치(10)에서 서비스되는 영상을 수신하여 재생하는 시청 디바이스는 합성 영상에서 사용자가 현재 응시하는 영역에 대응되는 영상을 재생하므로, 영상이 넓은 범위에서 실시간으로 변화되는 것이 가능하다. 따라서 시청자는 단일 카메라로 취득되는 협소하고 단조로운 영상에서 벗어나 넓은 범위를 역동적으로 이동하는 영상을 시청할 수 있다.
도 8 및 도 9는 사용자의 시선에 따라 실시간으로 이동하는 방송 콘텐츠를 설명하기 위한 예시도이다.
도 8에 도시된 바와 같이, 방송을 진행하는 사용자의 모니터(15)의 화면에는 합성 영상이 표시되고 있으며, 사용자의 시선이 합성 영상에서 메인 영역(AM)을 응시하고 있다. 이 경우, 영상 전송 장치(10)는 메인 영역(AM)에 대응하는 메인 영상(PM), 즉 메인 카메라(CM)로부터 취득된 영상을 전송할 수 있다. 따라서 시청자는 현재 메인 영상(PM)을 시청한다.
이어서, 도 9에 도시된 바와 같이, 사용자의 시선이 응시하는 곳이 합성 영상에서 메인 영역(AM)으로부터 서브 영역 1(AS1)로 이동하였다면, 영상 전송 장치(10)는 메인 영상(PM)의 전송을 중단하고, 서브 영역 1(AS1)에 대응하는 서브 영상 1(PM1)을 선택하여 전송할 수 있다. 따라서 시청자는 메인 영상(PM)으로부터 서브 영상 1(PS1)로 실시간 이동한 영상을 시청가게 된다.
이상 설명한 바와 같이, 본 발명에 따르면 다수 개의 카메라를 기반으로 다수 개의 영상을 취득하여 합성 영상을 생성하여 표시하고, 방송을 진행하는 사용자의 시선에 따라 전송 영상이 자동으로 실시간으로 전환될 수 있다. 따라서 고가의 카메라 장비나 전송 시스템을 구비하기 어려운 개인 방송에서 보다 역동적인 방송이 가능해진다.
이상 본 발명에 대하여 그 바람직한 실시예를 예시하여 설명하였지만 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구 범위에 기재된 본 발명의 기술적 사항 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.

Claims (20)

  1. 영상 전송 장치에 의하여 수행되는 영상 전송 방법에 있어서,
    다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하는 단계;
    상기 다수 개의 영상을 기반으로 합성 영상을 생성하는 단계;
    상기 합성 영상을 화면에 표시하는 단계;
    사용자의 시선을 실시간으로 감지하는 단계;
    상기 합성 영상에서 상기 사용자가 응시하는 영역에 대응되는 영상을 선택하는 단계; 및
    상기 선택된 영상을 전송하는 단계를 포함하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 방법.
  2. 제 1 항에 있어서, 상기 합성 영상을 생성하는 단계는,
    다수 개의 상기 카메라로부터 취득한 상기 다수 개의 영상을 더하여, 상기 다수 개의 영상을 포함하는 단일 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 방법.
  3. 제 1 항에 있어서, 상기 영상을 선택하는 단계는,
    상기 합성 영상을 다수 개의 영역으로 구분하는 단계;
    상기 감지된 시선이 상기 다수 개의 영역 중 어느 영역을 응시하는 지를 판별하는 단계;
    상기 판별하는 단계를 기반으로 하여, 사용자가 응시하는 영역에 대응하는 영상을 선택하는 단계를 포함하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 방법.
  4. 제 3 항에 있어서, 상기 다수 개의 영역은 상기 다수 개의 카메라로부터 취득된 다수 개의 영상에 대응되는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 방법.
  5. 제 1 항에 있어서, 상기 영상을 선택하는 단계는,
    상기 사용자가 화면 이외의 영역을 응시하고 있는 것으로 감지되면, 미리 정해진 영역에 대응하는 영상을 선택하는 단계를 포함하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 방법.
  6. 제 1 항에 있어서, 상기 선택된 영상은 단일 카메라로부터 취득되는 영상의 사이즈 및 해상도와 동일한 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 방법.
  7. 제 1 항에 있어서, 상기 다수 개의 카메라는 메인 카메라 및 적어도 하나의 서브 카메라를 포함하는 것을 특징으로 하는 영상 전송 방법.
  8. 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하는 영상 수신부;
    상기 다수 개의 영상을 기반으로 합성 영상을 생성하는 합성 영상 생성부;
    상기 합성 영상을 화면에 표시하는 표시부;
    사용자의 시선을 실시간으로 감지하는 아이 트랙킹부;
    상기 합성 영상에서 상기 사용자가 응시하는 영역에 대응되는 영상을 선택하는 영상 선택부; 및
    상기 선택된 영상을 전송하는 영상 전송부를 포함하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 장치.
  9. 제 8 항에 있어서, 상기 합성 영상 생성부는,
    다수 개의 상기 카메라로부터 취득한 상기 다수 개의 영상을 더하여, 상기 다수 개의 영상을 포함하는 단일 영상을 생성하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 장치.
  10. 제 8 항에 있어서, 상기 영상 선택부는,
    상기 합성 영상을 다수 개의 영역으로 구분하고, 상기 감지된 시선이 상기 다수 개의 영역 중 어느 영역을 응시하는 지를 판별하고, 그 판별을 기반으로 하여, 사용자가 응시하는 영역에 대응하는 영상을 선택하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 장치.
  11. 제 10 항에 있어서, 상기 다수 개의 영역은 상기 다수 개의 카메라로부터 취득된 다수 개의 영상에 대응되는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 장치.
  12. 제 8 항에 있어서, 상기 영상 선택부는,
    상기 사용자가 화면 이외의 영역을 응시하고 있는 것으로 감지되면, 미리 정해진 영역에 대응하는 영상을 선택하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 장치.
  13. 제 8 항에 있어서, 상기 선택된 영상은 단일 카메라로부터 취득되는 영상의 사이즈 및 해상도와 동일한 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 장치.
  14. 제 8 항에 있어서, 상기 다수 개의 카메라는 메인 카메라 및 적어도 하나의 서브 카메라를 포함하는 것을 특징으로 하는 영상 전송 장치.
  15. 다수 개의 카메라; 및
    상기 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하고, 상기 다수 개의 영상을 기반으로 합성 영상을 생성하고, 상기 합성 영상을 화면에 표시하고, 사용자의 시선을 실시간으로 감지하고, 상기 합성 영상에서 상기 사용자가 응시하는 영역에 대응되는 영상을 선택하고, 상기 선택된 영상을 전송하는 영상 전송 장치를 포함하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 시스템.
  16. 제 15 항에 있어서, 상기 영상 전송 장치는,
    다수 개의 상기 카메라로부터 취득한 상기 다수 개의 영상을 더하여, 상기 다수 개의 영상을 포함하는 단일 영상을 생성하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 시스템.
  17. 제 15 항에 있어서, 상기 영상 전송 장치는,
    상기 합성 영상을 다수 개의 영역으로 구분하고, 상기 감지된 시선이 상기 다수 개의 영역 중 어느 영역을 응시하는 지를 판별하고, 그 판별을 기반으로 하여, 사용자가 응시하는 영역에 대응하는 영상을 선택하는 것을 특징으로 하는 아이 트랙킹을 기반으로 하는 영상 전송 시스템.
  18. 다수 개의 카메라; 및
    다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하고, 상기 다수 개의 영상을 기반으로 합성 영상을 생성하고, 상기 합성 영상을 화면에 표시하고, 사용자의 시선을 실시간 트랙킹하여 상기 사용자가 응시하고 있는 영역의 변동에 따라 상기 합성 영상에서 전송할 영역을 변동시키는 영상 전송 장치를 포함하는 것을 특징으로 하는 영상 전송 시스템.
  19. 다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하는 수신부;
    상기 다수 개의 영상을 기반으로 합성 영상을 생성하는 합성 영상 생성부;
    상기 합성 영상을 화면에 표시하는 표시부;
    사용자의 시선을 실시간 트랙킹하는 아이 트랙킹부; 및
    상기 아이 트랙킹부에 의한 트랙킹을 기반으로 하여, 상기 사용자가 응시하고 있는 영역의 변동에 따라 상기 합성 영상에서 전송할 영역을 변동시키는 영상 선택부를 포함하는 것을 특징으로 하는 영상 전송 장치.
  20. 영상 전송 장치에 의하여 수행되며,
    다수 개의 카메라로부터 취득되는 다수 개의 영상을 수신하는 단계;
    상기 다수 개의 영상을 기반으로 합성 영상을 생성하는 단계;
    상기 합성 영상을 화면에 표시하는 단계;
    사용자의 시선을 실시간 트랙킹하는 단계;
    상기 트랙킹하는 단계를 기반으로 하여, 상기 사용자가 응시하고 있는 영역의 변동에 따라 상기 합성 영상에서 전송할 영역을 변동시키는 단계를 포함하는 것을 특징으로 하는 영상 전송 방법.
PCT/KR2016/004212 2015-12-04 2016-04-22 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템 WO2017094979A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/552,495 US20180338093A1 (en) 2015-12-04 2016-04-22 Eye-tracking-based image transmission method, device and system
CN201680017410.4A CN107409239B (zh) 2015-12-04 2016-04-22 基于眼睛追踪的图像传输方法、图像传输设备及图像传输系统

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2015-0172168 2015-12-04
KR20150172168 2015-12-04
KR1020160004485A KR101782582B1 (ko) 2015-12-04 2016-01-14 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템
KR10-2016-0004485 2016-01-14

Publications (1)

Publication Number Publication Date
WO2017094979A1 true WO2017094979A1 (ko) 2017-06-08

Family

ID=58797059

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/004212 WO2017094979A1 (ko) 2015-12-04 2016-04-22 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템

Country Status (1)

Country Link
WO (1) WO2017094979A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025301A (ko) * 2000-09-28 2002-04-04 오길록 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
KR20040039080A (ko) * 2002-10-31 2004-05-10 전자부품연구원 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법
JP2005027166A (ja) * 2003-07-04 2005-01-27 Japan Science & Technology Agency リモート観測装置、そのプログラムおよび記録媒体
KR20140061860A (ko) * 2012-11-14 2014-05-22 한국전자통신연구원 시선 기반의 제어 장치 및 그것의 기기 제어 방법
KR20140139840A (ko) * 2013-05-28 2014-12-08 삼성전자주식회사 디스플레이 장치 및 그 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020025301A (ko) * 2000-09-28 2002-04-04 오길록 다중 사용자를 지원하는 파노라믹 이미지를 이용한증강현실 영상의 제공 장치 및 그 방법
KR20040039080A (ko) * 2002-10-31 2004-05-10 전자부품연구원 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법
JP2005027166A (ja) * 2003-07-04 2005-01-27 Japan Science & Technology Agency リモート観測装置、そのプログラムおよび記録媒体
KR20140061860A (ko) * 2012-11-14 2014-05-22 한국전자통신연구원 시선 기반의 제어 장치 및 그것의 기기 제어 방법
KR20140139840A (ko) * 2013-05-28 2014-12-08 삼성전자주식회사 디스플레이 장치 및 그 제어방법

Similar Documents

Publication Publication Date Title
CN107409239B (zh) 基于眼睛追踪的图像传输方法、图像传输设备及图像传输系统
US9330589B2 (en) Systems for facilitating virtual presence
WO2017196026A2 (ko) Ptz 카메라의 촬영영상 설정방법 및 그를 위한 장치
EP3507646A1 (en) Display apparatus and control method thereof
WO2018088730A1 (en) Display apparatus and control method thereof
WO2015012596A1 (en) Broadcasting providing apparatus, broadcasting providing system, and method of providing broadcasting thereof
EP2938038A1 (en) Immersion communication client and server, and method for obtaining content view
WO2017052008A1 (ko) 관람위치 변경이 가능한 가상현실안경을 포함하는 가상현실 시스템
CN107431846B (zh) 基于多个摄像机的图像传输方法、设备和系统
JP2010213249A (ja) ビデオカメラ撮像装置
WO2017094979A1 (ko) 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템
WO2020116740A1 (ko) 실시간 방송 편집 시스템 및 편집 방법
WO2012165718A1 (ko) 아이 트래킹을 이용한 컨버전스 자동 조절 장치 및 그 방법
WO2017142364A1 (ko) 가상 현실 시스템에서 이미지 처리 방법 및 장치
JP2007047563A (ja) 表示装置及び表示方法
WO2015009112A9 (en) Method and apparatus for displaying images in portable terminal
EP1595392A1 (en) Camera having panning and/or tilting functionality
WO2017094978A1 (ko) 다수 개의 카메라를 기반으로 하는 영상 전송 방법, 장치 및 시스템
WO2020138541A1 (ko) 모바일 단말을 이용한 다채널 영상 생성 방법 및 장치
JPH1198342A (ja) パノラマ画像表示方法及びその装置
JP6921204B2 (ja) 情報処理装置および画像出力方法
WO2023085493A1 (ko) 콘텐츠 편집을 지원하는 전자 장치 및 이의 운용 방법
JP2024007471A (ja) 没入型ストリーミング画像のキャプチャ及び結像の装置と方法
JP2000152205A (ja) 撮像・表示装置
CN116471490B (zh) 变光照十亿像素光场智能成像系统、方法与装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16870876

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15552495

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16870876

Country of ref document: EP

Kind code of ref document: A1