KR102372323B1

KR102372323B1 - 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 프로그램

Info

Publication number: KR102372323B1
Application number: KR1020210123860A
Authority: KR
Inventors: 임국찬; 신승민
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2019-10-17
Filing date: 2021-09-16
Publication date: 2022-03-08
Also published as: KR20210045877A; KR102315899B1; KR20210118025A

Abstract

다양한 실시 예에 따르면, 영상을 처리하기 위한 방법에 있어서, 제1 표시 영역과 상기 제1 표시 영역의 일부에 대응되는 제2 표시 영역을 구비한 표시부에서의, 상기 제2 표시 영역의 상기 제1 표시 영역 상의 위치 정보를 수신하는 동작; 상기 표시부의 상기 제1 표시 영역에 제1 영상을 제공하고, 상기 제2 표시 영역에 제2 영상을 제공하는 동작; 사용자의 시선에 대응하는 영역을 확인하는 동작을 포함하고, 상기 사용자의 시선에 대응하는 영역이 상기 제2 표시 영역을 포함하는 것에 기초하여, 상기 제1 영상의 프레임 레이트를 조절한다.

Description

영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 프로그램{ELECTRONIC DEVICE, METHOD, COMPUTER PROGRAM FOR PROCESSING IMAGE}

본 발명은 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체에 저장되어 있는 컴퓨터 프로그램에 관한 것이다.

최근 5세대 이동 통신(5G; 5th generation mobile telecommunication)이 상용화되면서, 몰입감 높은 미디어 응용 서비스로 360도 카메라와 가상 현실(VR; virtual reality) 기술이 접목된 실시간 라이브 중계 서비스 및 고품질의 주문형 비디오 시스템(VOD; video on demand)의 콘텐츠를 제공하기 위한 기술 개발이 이루어지고 있다.

종래에는 가상 현실 기술을 적용하여 게임 대회 또는 스포츠 경기 등을 실시간으로 중계하는 서비스가 제공되고 있다. 예를 들어, 상기 서비스는, 사용자가 게임 대회 또는 스포츠 경기가 이루어지는 현장의 분위기를 느끼면서 동시에 중요한 장면을 정확하게 볼 수 있도록, PIP 영상 표시 기술을 적용하여, 360도 카메라를 통해 획득된 현장 전체 영상인 360도 영상에 중요한 장면 영상인 PIP(picture in picture) 영상을 오버레이(overlay)시킨 영상을 제공하고 있다.

본 발명의 실시 예는, PIP 영상 표시 기술을 이용하여 복수의 영상들을 제공할 때, 영상들간의 이질감을 최소화하여 시각적으로 자연스러운 영상이 제공되도록 하는 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램을 제공할 수 있다. 예를 들어, 본 발명의 실시 예에 따르면, 360도 카메라를 통해 획득된 360도 영상에 PIP 영상을 오버레이시킬 때, 두 영상들 간의 이질감을 최소화하여 자연스러운 영상이 제공되도록 할 수 있다.

본 발명의 실시 예는, 새로운 PIP 영상 표시 기술을 제공하여, 복수의 영상들 중 중요 영상에 대해서는 고화질의 영상이 제공되도록 하는 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체에 저장되어 있는 컴퓨터 프로그램을 제공할 수 있다. 예를 들어, 본 발명의 실시 예에 따르면, 스트리밍 방식으로 360도 카메라를 통해 획득된 360도 영상 및 PIP 영상을 제공받을 때, 상기 PIP 영상이 고화질의 영상으로 제공되도록 할 수 있다.

일 실시 예에 따르면, 영상을 처리하기 위한 방법에 있어서, 제1 표시 영역과 상기 제1 표시 영역의 일부에 대응되는 제2 표시 영역을 구비한 표시부에서의, 상기 제2 표시 영역의 상기 제1 표시 영역 상의 위치 정보를 수신하는 동작; 상기 표시부의 상기 제1 표시 영역에 제1 영상을 제공하고, 상기 제2 표시 영역에 제2 영상을 제공하는 동작; 및 사용자의 시선에 대응하는 영역을 확인하는 동작을 포함하고, 상기 사용자의 시선에 대응하는 영역이 상기 제2 표시 영역을 포함하는 것에 기초하여, 상기 제1 영상의 프레임 레이트를 조절한다.

다른 실시 예에 따르면, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 상기 영상을 처리하기 위한 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함한다.

또 다른 실시 예에 따르면, 영상을 처리하기 위한 전자 장치에 있어서, 통신 모듈; 제1 표시 영역과 상기 제1 표시 영역의 일부에 대응되는 제2 표시 영역을 구비한 표시부; 및 상기 통신 모듈을 이용하여, 상기 제2 표시 영역의 상기 제1 표시 영역 상의 위치 정보를 수신하며, 상기 제1 표시 영역에 상기 제1 영상을 제공하고, 상기 제2 표시 영역에 상기 제2 영상을 제공하도록 상기 표시부를 제어하는 제어부를 포함하고, 상기 제어부는 사용자의 시선에 대응하는 영역 정보와 상기 사용자의 시선에 대응하는 영역이 상기 제2 표시 영역을 포함하는 것에 기초하여, 상기 제1 영상의 프레임 레이트를 조절한다.

본 발명의 실시 예에 따른 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체에 저장되어 있는 컴퓨터 프로그램은, PIP 영상 표시 기술을 이용하여 복수의 영상들을 제공할 때, 영상들간의 이질감을 최소화하여 시각적으로 자연스러운 영상이 제공되도록 할 수 있다. 예를 들어, 본 발명의 실시 예에 따르면, 360도 카메라를 통해 획득된 360도 영상에 PIP 영상을 오버레이시킬 때, 두 영상들 간의 이질감을 최소화하여 자연스러운 영상이 제공되도록 할 수 있다.

본 발명의 실시 예에 따른 영상을 처리하기 위한 전자 장치, 방법, 컴퓨터 판독 가능한 기록 매체에 저장되어 있는 컴퓨터 프로그램은, 새로운 PIP 영상 표시 기술을 제공하여, 복수의 영상들 중 중요 영상에 대해서는 고화질의 영상이 제공되도록 할 수 있다. 예를 들어, 본 발명의 실시 예에 따르면, 스트리밍 방식으로 360도 카메라를 통해 획득된 360도 영상 및 PIP 영상을 제공받을 때, 상기 PIP 영상이 고화질의 영상으로 제공되도록 할 수 있다.

도 1a 내지 도 1c는 본 발명의 일 실시 예에 따른 영상을 처리하기 위한 시스템의 블록도이다.
도 2는 본 발명의 일 실시 예에 따른 영상 처리 동작의 흐름도이다.
도 3은 본 발명의 일 실시 예에 따른 영상 처리 동작의 흐름도이다.
도 4는 종래 기술을 이용한 PIP 영상의 제공 화면과 본 발명의 실시 예에 따른 PIP 영상의 제공 화면의 예를 나타낸 도면이다.
도 5는 본 발명의 일 실시 예에 따른 영상 처리 동작을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 영상 처리 동작의 흐름도이다.
도 7은 본 발명의 일 실시 예에 따른 영상 처리 동작의 흐름도이다.

먼저, 본 발명의 장점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되는 실시 예들을 참조하면 명확해질 것이다. 여기에서, 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 발명의 범주를 명확하게 이해할 수 있도록 하기 위해 예시적으로 제공되는 것이므로, 본 발명의 기술적 범위는 청구항들에 의해 정의되어야 할 것이다.

아울러, 아래의 본 발명을 설명함에 있어서 공지 기능 또는 구성 등에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들인 것으로, 이는 사용자, 운용자 등의 의도 또는 관례 등에 따라 달라질 수 있음은 물론이다. 그러므로, 그 정의는 본 명세서의 전반에 걸쳐 기술되는 기술사상을 토대로 이루어져야 할 것이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세하게 설명한다.

도 1a 내지 도 1c는 본 발명의 일 실시 예에 따른 영상을 처리하기 위한 시스템의 블록도이다.

도 1a를 참조하면, 시스템은, 카메라 장치(110), 스티칭(stitching) 장치(120), 제1 장치(130), 컨텐트 서버(150)(OVP(online video platform) 서버), 제2 장치(170) 및/또는 비디오 서버(190)를 포함할 수 있다.

카메라 장치(110)는 정지 영상 및/또는 동영상을 촬영(획득)할 수 있다. 예를 들어, 카메라 장치(110)는 하나 이상의 이미지 센서 및 하나 이상의 렌즈를 포함할 수 있다. 상기 렌즈는 광각 렌즈 또는 망원 렌즈일 수 있다. 예를 들어, 카메라 장치(110)는 360도 카메라일 수 있다. 상기 360도 카메라는, 복수 개의 렌즈를 포함하여, 복수 개의 상이한 방향에 대한 영상을 촬영(영상 데이터를 획득)할 수 있다.

스티칭 장치(120)는, 상기 카메라 장치(110)로부터 획득한 복수 개의 상이한 방향에 대한 영상 각각의 경계면을 확인하고, 상기 인접한 경계면을 상호 연결(스티칭)하여, 360도 영상(360도 영상 데이터)인 제1 영상을 생성할 수 있다.

도 1a를 참조하면, 제1 장치(130)는, 제어부(131), 통신 모듈(133) 및 메모리(135)를 포함할 수 있다.

제어부(131)(프로세서, 제어 장치 또는 제어 회로라고도 함)는 연결된 제1 장치(130)의 적어도 하나의 다른 구성 요소(예: 하드웨어 구성 요소(예: 통신 모듈(133) 및 메모리(135)) 또는 소프트웨어 구성 요소)를 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다.

통신 모듈(133)은 제1 장치(130)와 외부 장치, 예를 들어, 스티칭 장치(120), 컨텐트 서버(150), 제2 장치(170) 및/또는 비디오 서버(190)와의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.

메모리(135)는 제1 장치(130)의 적어도 하나의 구성요소(제어부(131), 통신 모듈(133) 및 메모리(135))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(135)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.

일 실시 예에 따르면, 제어부(131)는, 통신 모듈(133)을 통해 상기 제1 영상을 수신할 수 있다.

일 실시 예에 따르면, 제어부(131)는, 통신 모듈(133)을 통해 비디오 서버(190)로부터 영상(영상 데이터)를 수신할 수 있으며, 상기 수신된 영상의 크기를 지정된 크기로 조정하여 제2 영상을 생성할 수 있다.

일 실시 예에 따르면, 메모리(135)는, 상기 제1 영상과 상기 제2 영상과 관련된 제어 데이터(제어 정보)를 저장할 수 있으며, 제어부(131)는, 상기 제어 데이터에 기초하여, 상기 제1 영상과 상기 제2 영상의 영상 처리를 할 수 있다.

예를 들어, 상기 제어 데이터는, 상기 제1 영상에 상기 제2 영상이 오버레이될 상기 제1 영상의 영역 정보(예: 영역 위치 정보, 영역 좌표 정보) 및/또는 상기 타임 스탬프 정보를 포함할 수 있다. 예를 들어, 상기 제어 데이터는, 상기 제2 영상의 지정된 왜곡 효과(distortion effect) 관련 정보를 더 포함할 수 있다. 예를 들어, 상기 지정된 왜곡 효과 관련 정보는, 상기 제2 영상의 보정에 이용될 수 있으며, 미리 생성되어 저장된 왜곡 맵(distortion map)을 포함할 수 있다. 예를 들어, 상기 제2 영상을 360도 영상인 제1 영상의 일부 영역에 오버레이할 경우, 상기 제2 영상의 중앙에서 가장자리로 갈수록 왜곡이 발생할 수 있으며, 이를 해결하기 위해 상기 왜곡 맵이 왜곡 보정에 이용될 수 있다.

예를 들어, 제어부(131)는, 상기 제어 데이터에 기초하여, 상기 제1 영상의 지정된 영역에 상기 제2 영상이 오버레이되도록 상기 제1 영상과 상기 제2 영상을 결합(상기 제1 영상에 상기 제2 영상을 삽입)할 수 있다.

도 1b를 참조하면, 제1 장치(130)의 제어부(131)는, 타임 스탬프 생성기(time stamp generator; 1311)를 포함할 수 있고, 제1 장치(130)의 통신 모듈(133)은 제1 인코더(1313) 및 제2 인코더(1315)를 포함할 수 있다.

타임 스탬프 생성기(1311)는, 상기 제1 영상 및 상기 제2 영상의 타임 스탬프 정보(예: PTS; presentation time stamp)를 생성할 수 있다.

예를 들어, 상기 타임 스탬프 정보는, 상기 제1 영상 및 상기 제2 영상이 촬영(획득)될 때마다 생성될 수 있다.

예를 들어, 상기 제1 영상과 상기 제2 영상은 스트리밍 방식으로 제공되는 영상(또는 동영상)일 수 있으며, 상기 타임 스탬프 정보는, 상기 제1 영상과 상기 제2 영상의 동기화 시간 정보(재생 시의 동기화를 위한 시간 정보)일 수 있다. 예를 들어, 상기 타임 스탬프 정보는 상기 제1 영상과 상기 제2 영상을 재생할 시간을 지정하는 정보를 포함할 수 있다. 예를 들어, 상기 정보는, 시스템에서 사용하는 기준 시간 정보인 프로그램 클록 기준(PCR; program clock reference)과의 차이값일 수 있다.

제1 인코더(1313)는, 상기 제1 영상을 인코딩할 수 있다. 예를 들어, 제1 인코더(1313)는, 컨텐트 서버(150) 또는 제2 장치(170)로 상기 제1 영상을 전송하기 위해 인코딩을 실행할 수 있다.

제2 인코더(1315)는, 상기 제2 영상을 인코딩할 수 있다. 예를 들어, 제2 인코더(1315)는, 컨텐트 서버(150) 또는 제2 장치(170)로 상기 제2 영상을 전송하기 위해 인코딩을 실행할 수 있다.

도 1a를 참조하면, 컨텐트 서버(150)는 제어부(151), 통신 모듈(153) 및/또는 메모리(155)를 포함할 수 있다.

제어부(151)(프로세서, 제어 장치 또는 제어 회로라고도 함)는 연결된 제1 장치(150)의 적어도 하나의 다른 구성 요소(예: 하드웨어 구성 요소(예: 통신 모듈(153) 및 메모리(155)) 또는 소프트웨어 구성 요소)를 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다.

통신 모듈(153)은 컨텐트 서버(150)와 외부 장치, 예를 들어, 제1 장치(130) 및/또는 제2 장치(170)와의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다.

메모리(155)는 컨텐트 서버(150)의 적어도 하나의 구성요소(제어부(151), 통신 모듈(153) 및 메모리(155))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(155)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.

일 실시 예에 따르면, 제어부(151)는, 통신 모듈(153)을 통해 상기 제1 장치(130)로부터, 상기 인코딩된 제1 영상을 수신할 수 있다. 제어부(151)는, 통신 모듈(153)을 통해 상기 제1 장치(130)로부터 상기 인코딩된 제2 영상을 수신할 수 있다. 제어부(151)는 통신 모듈(153)을 통해 상기 제1 장치(130)로부터, 상기 인코딩된 제1 영상 및 상기 인코딩된 제2 영상과 관련된 제어 데이터(제어 정보)를 수신할 수 있다. 예를 들어, 상기 제어 데이터는, 상기 제1 영상에 상기 제2 영상이 오버레이될 상기 제1 영상의 영역 정보(예: 영역 위치 정보, 영역 좌표 정보) 및/또는 상기 타임 스탬프 정보를 포함할 수 있다. 예를 들어, 상기 제어 데이터는, 상기 제2 영상의 지정된 왜곡 효과(distortion effect) 관련 정보를 더 포함할 수 있다. 예를 들어, 상기 지정된 왜곡 효과 관련 정보는, 상기 제2 영상의 보정에 이용될 수 있으며, 미리 생성되어 저장된 왜곡 맵(distortion map)을 포함할 수 있다. 예를 들어, 상기 제2 영상을 360도 영상인 제1 영상의 일부 영역에 오버레이할 경우, 상기 제2 영상의 중앙에서 가장자리로 갈수록 왜곡이 발생할 수 있으며, 이를 해결하기 위해 상기 왜곡 맵이 왜곡 보정에 이용될 수 있다.

도 1c를 참조하면, 컨텐트 서버(150)의 통신 모듈(153)은 제1 디코더(1511) 및 제2 디코더(1513)를 포함할 수 있으며, 컨텐트 서버(150)의 제어부(151)는 영상 조정기(1515)를 포함할 수 있다.

제1 디코더(1511)는 상기 제1 장치(130)로부터 수신된, 상기 인코딩된 제1 영상을 디코딩할 수 있다.

제2 디코더(1513)는 상기 제1 장치(130)로부터 수신된, 상기 인코딩된 제2 영상을 디코딩할 수 있다.

영상 조정기(1515)는 상기 제1 장치(130)로부터 수신된 제어 데이터를 기초로 상기 디코딩된 제1 영상과 상기 디코딩된 제2 영상의 영상 처리를 실행할 수 있다. 예를 들어, 영상 조정기(1515)는, 상기 제어 데이터를 기초로, 상기 디코딩된 제1 영상의 지정된 영역에 상기 디코딩된 제2 영상이 오버레이되도록, 상기 디코딩된 제1 영상과 상기 디코딩된 제2 영상을 결합(삽입) 할 수 있다.

도 1a를 참조하면, 제2 장치(170)는, 제어부(171), 통신 모듈(173), 표시부(175) 및/또는 메모리(177)를 포함할 수 있다.

제어부(171)(프로세서, 제어 장치 또는 제어 회로라고도 함)는 연결된 제2 장치(170)의 적어도 하나의 다른 구성 요소(예: 하드웨어 구성 요소(예: 통신 모듈(173), 표시부(175) 및 메모리(177)) 또는 소프트웨어 구성 요소)를 제어할 수 있고, 다양한 데이터 처리 및 연산을 수행할 수 있다.

통신 모듈(173)은 제2 장치(170)와 외부 장치, 예를 들어, 제1 장치(130) 및/또는 컨텐트 서버(150)와의 유선 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 예를 들어, 통신 모듈(173)은 무선 통신 모듈 (예: 셀룰러 통신 모듈, 와이파이 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 및/또는 유선 통신 모듈 (예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함하고, 그 중 해당하는 통신 모듈을 이용하여 제1 네트워크(미도시)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(미도시)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 장치, 예를 들어, 제1 장치(130) 및/또는 컨텐트 서버(150)와 통신할 수 있다.

표시부(175)는 제2 장치(170)의 사용자에게 정보를 시각적으로 제공하기 위한 장치로서, 예를 들면, 디스플레이(또는 터치스크린), 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다.

메모리(177)는 제2 장치(170)의 적어도 하나의 구성요소(제어부(171), 통신 모듈(173), 표시부(175) 및 메모리(177))에 의해 사용되는 다양한 데이터, 예를 들어, 소프트웨어(예: 프로그램) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 저장할 수 있다. 메모리(177)는, 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.

일 실시 예에 따르면, 제어부(171)는, 통신 모듈(173)을 통해 상기 제1 장치(130) 또는 컨텐트 서버(150)로부터, 상기 인코딩된 제1 영상을 수신할 수 있다. 제어부(171)는, 통신 모듈(173)을 통해 상기 제1 장치(130) 또는 컨텐트 서버(150)로부터, 상기 인코딩된 제2 영상을 수신할 수 있다. 제어부(171)는 통신 모듈(173)을 통해 상기 제1 장치(130) 또는 컨텐트 서버(150)로부터 상기 인코딩된 제1 영상 및 상기 인코딩된 제2 영상과 관련된 제어 데이터(제어 정보)를 수신할 수 있다.

도 1c를 참조하면, 제2 장치(170)의 통신 모듈(173)은 제1 디코더(1711) 및 제2 디코더(1713)를 포함할 수 있으며, 제2 장치(170)의 제어부(171)는 영상 조정기(1715)를 포함할 수 있다.

제1 디코더(1711)는 상기 제1 장치(130) 또는 상기 컨텐트 서버(150)로부터 수신된, 상기 인코딩된 제1 영상을 디코딩할 수 있다.

제2 디코더(1713)는 상기 제1 장치(130) 또는 상기 컨텐트 서버(150)로부터 수신된, 상기 인코딩된 제2 영상을 디코딩할 수 있다.

영상 조정기(1715)는 상기 제어 데이터를 기초로 상기 디코딩된 제1 영상과 상기 디코딩된 제2 영상의 영상 처리를 실행할 수 있다. 예를 들어, 영상 조정기(1715)는, 상기 제어 데이터를 기초로, 상기 디코딩된 제1 영상의 지정된 영역에 상기 디코딩된 제2 영상이 오버레이되도록, 상기 디코딩된 제1 영상과 상기 디코딩된 제2 영상을 결합(상기 디코딩된 제1 영상에 상기 디코딩된 제2 영상을 삽입) 할 수 있다.

일 실시 예에 따르면, 제어부(171)는, 표시부(175)를 제어하여, 상기 디코딩된 제1 영상의 지정된 영역에 상기 디코딩된 제2 영상이 오버레이되도록 상기 제1 영상 및 상기 제2 영상을 상기 표시부(175)상에 디스플레이할 수 있다. 예를 들어, 제어부(171)는, 표시부(175)를 제어하여, 상기 결합된 제1 영상과 제2 영상을 디스플레이할 수 있다.

일 실시 예에 따르면, 제어부(171)는, 상기 통신 모듈(173)을 이용하여, 제1 대역폭을 통해 제1 영상을 수신하고 제2 대역폭을 통해 제2 영상을 수신하며, 상기 표시부(175)의 제1 영역(제1 표시 영역이라고 함)에 상기 제1 영상을 제공하고, 상기 제1 영역의 적어도 일부 영역에 오버레이(overlay)된 제2 영역(제2 표시 영역이라고도 함)에 상기 제2 영상을 제공하도록 상기 표시부(175)를 제어할 수 있다.

예를 들어, 상기 제어부(171)는, 상기 통신 모듈(173)을 이용하여, 상기 제2 영역의 위치 정보를 수신하며, 상기 위치 정보에 기초하여 상기 제2 영역의 위치를 결정할 수 있다.

예를 들어, 상기 제2 영상은 상기 제1 영상에 비해 고화질의 영상일 수 있다.

예를 들어, 상기 제어부(171)는, 사용자의 시선에 대응하는 영역을 확인하며, 상기 통신 모듈(173)을 이용하여, 상기 사용자의 시선에 대응하는 영역의 정보를, 상기 제1 영상 및 상기 제2 영상을 전송한 장치, 예를 들어, 제1 장치(130) 또는 컨텐트 서버(150)로, 전송할 수 있다.

예를 들어, 상기 제1 대역폭 및 상기 제2 대역폭은, 상기 사용자의 시선에 대응하는 영역의 정보에 기초하여 결정된 것일 수 있다.

예를 들어, 상기 사용자의 시선에 대응하는 영역은, 상기 제2 영역을 포함할 수 있다. 상기 제1 대역폭 및 상기 제2 대역폭은, 상기 사용자의 시선에 대응하는 영역이 상기 제2 영역을 포함하는 것에 기초하여, 기 설정된 대역폭들이 각각 변경되어 결정된 것일 수 있다.

상술한 도 1a의 실시 예에 따르면, 상기 카메라 장치(110), 상기 스티칭 장치(120), 상기 제1 장치(130) 및 상기 비디오 서버(190)가 각각의 장치로 구성(구현)된 것으로 설명하였으나, 다른 실시 예에 따르면, 상기 카메라 장치(110), 상기 스티칭 장치(120), 상기 제1 장치(130) 및 상기 비디오 서버(190) 중 적어도 두 개는 하나의 장치로 통합되어, 구성될 수도 있다. 예를 들어, 상기 제1 장치(130)는, 상기 카메라 장치(110), 상기 스티칭 장치(120) 및 상기 비디오 서버(190)를 포함할 수 있다.

또한, 상술한 도 1a의 실시 예에서는, 제1 영상이 360도 영상인 것으로 설명하였으나, 다른 실시 예에 따르면, 상기 제1 영상은 2차원 영상일 수도 있다. 예를 들어, 상기 제1 영상은, 상기 카메라 장치(110)를 통해 획득된 2차원 영상일 수도 있다.

또한, 상술한 도 1b의 실시 예에서는 제1 장치(130)의 제어부(131)가 구성부, 즉, 타임 스탬프 생성기(1311)를 포함하고, 통신 모듈(133)이 구성부들, 즉, 제1 인코더(1313) 및 제2 인코더(1315)를 포함하는 것으로 설명하였으나, 다른 실시 예에 따르면, 제어부(131)가 타임 스탬프 생성기(1311)에 의해 수행되는 기능을 동일 또는 유사하게 수행하고, 통신 모듈(133)이 제1 인코더(1313) 및 제2 인코더(1315) 각각에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 또 다른 실시 예에 따르면, 상기 구성부들, 즉, 타임 스탬프 생성기(1311), 제1 인코더(1313) 및 제2 인코더(1315) 각각 또는 상기 구성부들 중 적어도 두 개는 하나의 개체로 통합되어, 상기 제어부(131) 및 상기 통신 모듈(133)과는 별도의 모듈(하드웨어)로 구성될 수도 있다.

또한, 상술한 도 1c의 실시 예에서는 컨텐트 서버(150)의 통신 모듈(153)이 구성부들, 즉, 제1 디코더(1511) 및 제2 디코더(1513)를 포함하고, 제어부(151)가 구성부, 즉, 영상 조정기(1515)를 포함하는 것으로 설명하였으나, 다른 실시 예에 따르면, 통신 모듈(153)이 제1 디코더(1511) 및 제2 디코더(1513) 각각에 의해 수행되는 기능을 동일 또는 유사하게 수행하고, 제어부(151)가 영상 조정기(1515)에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 또 다른 실시 예에 따르면, 상기 구성부들, 즉, 제1 디코더(1511), 제2 디코더(1513) 및 영상 조정기(1515) 각각 또는 상기 구성부들 중 적어도 두 개는 하나의 개체로 통합되어, 상기 통신 모듈(153) 및 상기 제어부(151)와는 별도의 모듈(하드웨어)로 구성될 수도 있다.

또한, 상술한 도 1c의 실시 예에서는, 상기 제1 디코더(1511), 상기 제2 디코더(1513), 및 상기 영상 조정기(1515)가 상기 OVP 장치(150)에 포함된 것으로 설명하였으나, 다른 실시 예에 따르면, 상기 제1 디코더(1511), 상기 제2 디코더(1513), 및 상기 영상 조정기(1515)를 포함하는 별도의 장치가 상기 제2 장치(150)와 통신 연결될 수도 있다.

도 2는 본 발명의 일 실시 예에 따른 영상 처리 동작의 흐름도이다.

도 2를 참조하면, 제1 장치(130)는 복수의 영상들, 예를 들어, 제1 영상 및 제2 영상 각각을 개별적으로(분리하여) 컨텐트 서버(150) 또는 제2 장치(170)로 제공할 수 있다. 상기 제1 영상 및 제2 영상을 수신한 상기 컨텐트 서버(150) 또는 상기 제2 장치(170)는, 상기 제1 영상 및 상기 제2 영상을 결합할 수 있다.

예를 들어, 상기 제1 영상 및 상기 제2 영상은 스트리밍 방식으로 제공되는 영상(또는 동영상)일 수 있다.

예를 들어, 상기 제1 영상 및 상기 제2 영상은, 360도 카메라와 가상 현실(VR; virtual reality) 기술이 접목된 실시간 라이브 중계 서비스를 사용자에게 제공하기 위해 이용되는 영상들일 수 있다. 예를 들어, 상기 제1 영상은 배경 영상인 360도 영상일 수 있으며, 상기 제2 영상은 상기 배경 영상의 지정된 영역에 오버레이되어 제공되는 중요 영상인 PIP 영상일 수 있다. 제1 장치(130)는 상기 360도 영상 및 상기 PIP 영상 각각을 스트리밍 방식으로 컨텐트 서버(150) 또는 제2 장치(170)로 제공할 수 있으며, 상기 컨텐트 서버(150) 또는 상기 제2 장치(170)는 상기 360도 영상의 지정된 영역에 상기 PIP 영상이 오버레이되도록 상기 360도 영상을 상기 PIP 영상과 결합할 수 있다.

201 동작에서 제1 장치(130)(또는 제1 장치(130)의 제어부(131))는, 제1 영상을 전송할 수 있다.

일 실시 예에 따르면, 제1 장치(130)는 통신 모듈(예: 통신 모듈(133))을 통해 상기 제1 영상을 전송할 수 있다. 예를 들어, 제1 장치(130)는 지정된 제1 대역폭(제1 전송 대역폭)에 대응하는 제1 채널을 통해 상기 제1 영상을 전송할 수 있다.

203 동작에서 컨텐트 서버(150)(또는 컨텐트 서버(150)의 제어부(151)) 또는 제2 장치(170)(또는 제2 장치(170)의 제어부(171))는 상기 제1 영상을 확인할 수 있다.

일 실시 예에 따르면, 컨텐트 서버(150) 또는 제2 장치(170)는 통신 모듈(예: 통신 모듈(153) 또는 통신 모듈(173))을 통해 상기 제1 영상을 수신하여, 상기 제1 영상을 확인할 수 있다. 예를 들어, 컨텐트 서버(150) 또는 제2 장치(170)는 상기 제1 채널을 통해 상기 제1 영상을 수신할 수 있다.

205 동작에서 제1 장치(130)는 제2 영상을 전송할 수 있다.

일 실시 예에 따르면, 제1 장치(130)는 상기 통신 모듈을 통해 상기 제2 영상을 전송할 수 있다. 예를 들어, 제1 장치(130)는 지정된 제2 대역폭(제2 전송 대역폭)에 대응하는 제2 채널을 통해 상기 제2 영상을 전송할 수 있다.

207 동작에서 컨텐트 서버(150) 또는 제2 장치(170)는 상기 제2 영상을 확인할 수 있다.

일 실시 예에 따르면, 컨텐트 서버(150) 또는 제2 장치(170)는 상기 통신 모듈을 통해 상기 제2 영상을 수신하여, 상기 제2 영상을 확인할 수 있다. 예를 들어, 상기 컨텐트 서버(150) 또는 제2 장치(170)는 상기 제2 채널을 통해 상기 제2 영상을 수신할 수 있다.

209 동작에서 제1 장치(130)는 제어 데이터를 전송할 수 있다.

일 실시 예에 따르면, 상기 제어 데이터는, 상기 제1 영상 및 상기 제2 영상과 관련된 제어 데이터(제어 정보)로, 상기 제1 영상에 상기 제2 영상이 오버레이될 상기 제1 영상의 영역 정보(예: 영역 위치 정보, 영역 좌표 정보) 및/또는 상기 타임 스탬프 정보를 포함할 수 있다.

일 실시 예에 따르면, 제1 장치(130)는 상기 통신 모듈을 통해 상기 제어 데이터를 전송할 수 있다. 예를 들어, 상기 컨텐트 서버(150) 또는 제2 장치(170)는 상기 제1 채널, 상기 제2 채널 또는 제3 채널을 통해 상기 제어 데이터를 전송할 수 있다.

211 동작에서 컨텐트 서버(150) 또는 제2 장치(170)는 상기 제어 데이터를 확인할 수 있다.

일 실시 예에 따르면, 컨텐트 서버(150) 또는 제2 장치(170)는 상기 통신 모듈을 통해 상기 제어 데이터를 수신하여, 상기 제어 데이터를 확인할 수 있다. 예를 들어, 상기 컨텐트 서버(150) 또는 제2 장치(170)는 상기 제1 채널, 상기 제2 채널 또는 제3 채널을 통해 상기 제어 데이터를 수신할 수 있다.

213 동작에서 컨텐트 서버(150) 또는 제2 장치(170)는 상기 제어 데이터에 기초하여 상기 제1 영상 및 상기 제2 영상을 결합할 수 있다.

일 실시 예에 따르면, 컨텐트 서버(150) 또는 제2 장치(170)는 상기 제1 영상의 지정된 영역에 상기 제2 영상이 오버레이되도록 상기 제1 영상 및 상기 제2 영상을 결합할 수 있다. 예를 들어, 컨텐트 서버(150) 또는 제2 장치(170)는, 상기 제1 영상에 상기 제2 영상이 오버레이될 영역의 정보에 기초하여, 상기 제1 영상의 지정된 영역에 상기 제2 영상이 삽입되도록 할 수 있다. 예를 들어 상기 제1 영상과 상기 제2 영상의 타임 스탬프 정보는 서로 대응될 수 있다.

도 3은 본 발명의 일 실시 예에 따른 영상 처리 동작의 흐름도이다.

301 동작에서, 제2 장치(170)(또는 제2 장치(170)의 제어부(171))는, 통신 상태 정보를 확인할 수 있다.

일 실시 예에 따르면, 상기 통신 상태 정보는, 상기 제2 장치(170)의 신호의 수신 전계 세기(강도)를 포함할 수 있다. 예를 들어, 상기 신호의 수신 전계 세기는 강전계 또는 약전계를 포함할 수 있다.

303 동작에서, 제2 장치(170)는, 상기 통신 상태 정보를 전송할 수 있다.

일 실시 예에 따르면, 제2 장치(170)는 통신 모듈(예: 통신 모듈(173))을 이용하여 상기 통신 상태 정보를 전송할 수 있다.

305 동작에서, 제1 장치(130)(또는 제1 장치(130)의 제어부(131)) 또는 컨텐트 서버(150)(또는 컨텐트 서버(150)의 제어부(151))는, 상기 통신 상태 정보에 기초하여, 제1 영상 및 제2 영상을 전송하기 위한 대역폭인 전송 대역폭을 각각 제1 대역폭 및 제2 대역폭으로 결정할 수 있다.

일 실시 예에 따르면, 통신 상태 정보 별 대응하는 대역폭 정보가 지정되어 있을 수 있다. 제1 장치(130) 또는 컨텐트 서버(150)는 상기 지정된 통신 상태 정보 별 대응하는 대역폭 정보에 기초하여, 제1 영상의 대역폭을 제1 대역폭으로 결정하고 제2 영상의 대역폭을 제2 대역폭으로 결정할 수 있다.

예를 들어, 제1 장치(130) 또는 컨텐트 서버(150)는 상기 통신 상태 정보 별 대응하는 대역폭 정보를 저장할 수 있다. 제1 장치(130) 또는 컨텐트 서버(150)는 상기 저장된 통신 상태 정보 별 대응하는 대역폭 정보에 기초하여 제1 영상의 대역폭을 제1 대역폭으로 결정하고 제2 영상의 대역폭을 제2 대역폭으로 결정할 수 있다.

예를 들어, 상기 통신 상태 정보 별 대응하는 대역폭 정보는, 외부 장치의 신호의 수신 전계 세기(강도) 별 대응하는 대역폭 정보를 포함할 수 있다.

307 동작에서, 제1 장치(130) 또는 컨텐트 서버(150)는 상기 제1 대역폭에 기초하여 제1 영상을 전송할 수 있다.

일 실시 예에 따르면, 제1 장치(130) 또는 컨텐트 서버(150)는 통신 모듈(예: 통신 모듈(133) 또는 통신 모듈(153))을 이용하여 상기 제1 대역폭에 기초하여 상기 제1 영상을 전송할 수 있다. 예를 들어, 제1 장치(130) 또는 컨텐트 서버(150)는 상기 제1 대역폭에 대응하는 제1 채널을 통해 상기 제1 영상을 전송할 수 있다.

일 실시 예에 따르면, 상기 제1 영상은 스트리밍 방식으로 제공되는 영상(또는 동영상)일 수 있다. 예를 들어, 상기 제1 영상을 360도 영상일 수 있다.

309 동작에서, 제2 장치(170)는 상기 제1 영상을 확인할 수 있다.

일 실시 예에 따르면, 제2 장치(170)는 통신 모듈을 이용하여 상기 제1 영상을 수신할 수 있으며, 상기 수신된 제1 영상을 확인할 수 있다.

311 동작에서, 제1 장치(130) 또는 컨텐트 서버(150)는 상기 제2 대역폭에 기초하여 제2 영상을 전송할 수 있다.

일 실시 예에 따르면, 제1 장치(130) 또는 컨텐트 서버(150)는 통신 모듈을 이용하여 상기 제2 대역폭에 기초하여 상기 제2 영상을 전송할 수 있다. 예를 들어, 제1 장치(130) 또는 컨텐트 서버(150)는 상기 제2 대역폭에 대응하는 제2 채널을 통해 상기 제2 영상을 전송할 수 있다.

일 실시 예에 따르면, 상기 제2 영상은 스트리밍 방식으로 제공되는 영상(또는 동영상)일 수 있다. 예를 들어, 상기 제2 영상은 PIP 영상일 수 있다.

313 동작에서, 제2 장치(170)는 상기 제2 영상을 확인할 수 있다.

일 실시 예에 따르면, 제2 장치(170)는 통신 모듈을 이용하여 상기 제2 영상을 수신할 수 있으며, 상기 수신된 제2 영상을 확인할 수 있다.

315 동작에서, 제1 장치(130) 또는 컨텐트 서버(150)는 제어 데이터를 전송할 수 있다.

일 실시 예에 따르면, 제1 장치(130) 또는 컨텐트 서버(150)는 통신 모듈을 이용하여 상기 제어 데이터를 전송할 수 있다.

예를 들어, 상기 제어 데이터는, 상기 제1 영상 및 상기 제2 영상과 관련된 제어 데이터(제어 정보)로, 상기 제1 영상에 상기 제2 영상이 오버레이될 상기 제1 영상의 영역 정보(예: 영역 위치 정보, 영역 좌표 정보) 및/또는 상기 타임 스탬프 정보를 포함할 수 있다.

317 동작에서, 제2 장치(170)는 상기 제어 데이터를 확인할 수 있다.

일 실시 예에 따르면, 제2 장치(170)는 통신 모듈을 이용하여 상기 제어 데이터를 수신할 수 있으며, 상기 수신된 제어 데이터를 확인할 수 있다.

319 동작에서, 제2 장치(170)는 상기 제어 데이터에 기초하여 상기 제1 영상과 상기 제2 영상을 제공(디스플레이)할 수 있다.

일 실시 예에 따르면, 제2 장치(170)는 상기 제1 영상의 지정된 영역에 상기 제2 영상이 오버레이되도록 상기 제1 영상 및 상기 제2 영상을 사용자에게 제공 할 수 있다. 예를 들어, 제2 장치(170)는 상기 제1 영상의 지정된 영역에 상기 제2 영상이 오버레이되도록 상기 제1 영상 및 상기 제2 영상을 결합할 수 있으며, 상기 결합된 제1 영상 및 제2 영상을 제공할 수 있다.

상술한 도 3의 실시 예를 360도 카메라와 가상 현실 기술이 접목된 실시간 라이브 중계 서비스를 제공하기 위해, 상기 제1 영상을 배경 영상인 360도 영상으로, 상기 제2 영상은 상기 배경 영상의 지정된 영역에 오버레이되어 제공되는 중요 영상인 PIP 영상으로 이용할 경우, 종래의 사용자에게 제공되는 PIP 영상의 화질 열화 문제를 해결 할 수 있다.

도 4는 종래 기술을 이용한 PIP 영상의 제공 화면과 본 발명의 실시 예에 따른 PIP 영상의 제공 화면의 예를 나타낸 도면이다.

종래에는, 컨텐트 서버(150)와 제2 장치(170) 간에는 네트워크 트래픽에 따라 다양한 대역폭(bandwidth)으로 상기 360도 영상 및 상기 PIP 영상을 제공하여 사용자가 360도 가상 현실 콘텐츠를 이용할 수 있었다. 그러나, 종래에는, 컨텐트 서버(150)가 상기 제2 장치(170)로 상기 360도 영상과 상기 PIP 영상을 하나의 채널을 통해 스트리밍 방식으로 전송하였으며, 이 때문에, 제2 장치(170)는 낮은 비트 레이트(bit rate)로 상기 PIP 영상을 수신하고 상기 PIP 영상의 디코딩 시, PIP 영상의 화질 열화가 심화되는 문제가 발생해 왔다.

예를 들어, 종래에는, 컨텐트 서버(150)가 8Mbps로 상기 360도 영상 및 상기 PIP 영상을 제2 장치(170)로 전송할 경우, 도 4의 (a)를 참조하면, 제2 장치(170)에서 상기 PIP 영상이 디스플레이될 PIP 영역(403)이 상기 360도 영상이 디스플레이될 전체 디스플레이 영역(401) 면적의 1/8일 때, 상기 PIP 영상의 데이터 전송량은 평균적으로 1Mbps가 된다.

반면, 상술한 도 3의 실시 예에 따르면, 컨텐트 서버(150)가 8Mbps로 상기 360도 영상 및 상기 PIP 영상을 각각 제2 장치(170)로 전송할 경우, 도 4의 (b)를 참조하면, 제2 장치(170)에서 상기 PIP 영상이 디스플레이될 PIP 영역(403)이 전체 디스플레이 영역(401) 면적의 1/8이라도, 상기 PIP 영상은 3Mbps로, 상기 360도 영상은 5Mbps의 전송량으로 전송되도록 할 수 있다. 예를 들어, 상술한 도 3의 실시 예에 따르면, 상기 PIP 영역(403)과 같이, 사용자의 관심이 집중되는 중요 영역의 경우, 상기 전체 디스플레이 영역(401)과 같은 배경 영역보다 대역폭을 증가시켜 고화질(고해상도)로 구현되도록 할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 영상 처리 동작을 설명하기 위한 도면이다.

도 5를 참조하면, 제2 장치(170)는 사용자의 시선 및/또는 사용자의 머리의 움직임을 추적하여, 제1 장치(130) 또는 컨텐트 서버(150)로 상기 추적과 관련된 정보를 제공함으로써, 제1 장치(130) 또는 컨텐트 서버(150)가, 제2 장치(170)로 제공할 영상들 각각에 대한 대역폭을 가변적으로 설정하도록 할 수 있다. 이에 따라, 제2 장치(170)는, 제1 장치(130) 또는 컨텐트 서버(150)가 각기 다른 대역폭으로 전송하는 영상들을, 각각 수신할 수 있다. 예를 들어, 제2 장치(170)는 각기 다른 대역폭을 통해 영상들 각각을 수신할 수 있다.

일 실시 예에 따르면, 제2 장치(170)는 머리 착용 디스플레이(HMD; head mounted display) 형태의 장치일 수 있으며, 사용자의 머리에 착용될 수 있다. 제2 장치(170)는, 복수의 영상들, 예를 들어, 제1 영상 및 제2 영상을 수신하여 표시부(예: 표시부(175))에 디스플레이할 수 있으며, 상기 제1 영상 및 상기 제2 영상에 기초하여 3차원 좌표 공간(가상 공간)을 생성하여 제공할 수 있다. 예를 들어, 상기 제1 영상은 3차원 좌표 공간상에서의 배경 영역인 제1 영역(501)(제1 표시 영역이라고도 함)에 제공될 수 있으며, 상기 제2 영상은 3차원 좌표 공간상에서의 관심 영역(중요 영역)인 제2 영역(503)(제2 표시 영역이라고도 함)에 제공될 수 있다. 예를 들어, 상기 제2 영역(503)은 상기 제1 영역(501)에 오버레이될 수 있다. 예를 들어, 상기 제1 영상은 360도 영상일 수 있으며, 상기 제2 영상은 2차원 영상일 수 있다. 예를 들어, 상기 제1 영상 및 상기 제2 영상은 스트리밍 방식으로 제공되는 영상들일 수 있다.

일 실시 예에 따르면, 제2 장치(170)는, 시선 추적 기술(eye tracking) 및/또는 머리 추적(head tracking) 기술을 이용하여, 사용자의 시선 및/또는 사용자의 머리의 움직임을 추적할 수 있다. 예를 들어, 제2 장치(170)는 상기 시선 추적 기술을 이용하여 사용자의 시선의 위치 및/또는 움직임을 추적할 수 있다. 예를 들어, 제2 장치(170)는, 상기 머리 추적 기술을 이용하여, 사용자의 머리 중심을 3차원 좌표계의 원점에 두고, 사용자의 머리의 전, 후, 좌, 우, 상, 또는 하의 움직임을 추적할 수 있다.

일 실시 예에 따르면, 제2 장치(170)는, 상기 사용자의 시선 및/또는 사용자의 머리의 움직임의 추적에 기초하여, 3차원 좌표 공간 상에서 사용자의 시선이 향하는 3차원 좌표 영역을 확인할 수 있다. 예를 들어, 상기 사용자의 시선이 향하는 3차원 좌표 영역은, 사용자가 관심 있게 보는 영역이라고 할 수 있으며, 이에 따라 상기 사용자의 시선이 향하는 3차원 좌표 영역에 제공되는 영상의 경우 고화질의 영상으로 제공되도록 요구 될 수 있다. 상기 3차원 좌표 공간 상에서 상기 사용자의 시선이 향하는 3차원 좌표 영역 이외의 3차원 좌표 영역에 제공되는 영상의 경우에는, 고화질의 영상으로 제공되도록 할 수 있지만, 고화질의 영상으로 제공되지 않아도 무관할 수 있다.

일 실시 예에 따르면, 상기 사용자의 시선이 향하는 3차원 좌표 영역에 제공되는 영상이 고화질의 영상으로 제공되도록 하기 위해, 제2 장치(170)는, 상기 확인한 3차원 좌표 영역에 대응하는 영역 정보를, 상기 제1 영상 및 상기 제2 영상을 제공하는 장치, 예를 들어, 제1 장치(130) 또는 컨텐트 서버(150)로 전송할 수 있다. 상기 3차원 좌표 영역에 대응하는 영역 정보를 수신한 제1 장치(130) 또는 컨텐트 서버(150)는, 상기 확인한 3차원 좌표 영역에 제공될 영상에 대해서는 고화질의 영상이 제공될 수 있도록 대역폭을 설정(또는 재설정) 및/또는 상기 확인한 3차원 좌표 영역 이외의 영역에 제공될 영상에 대해서는 일반 화질 또는 저화질의 영상이 제공될 수 있도록 대역폭을 설정(또는 재설정)할 수 있다. 예를 들어, 상기 대역폭의 설정(또는 재설정)을 위해, 상기 3차원 좌표 영역에 대응하는 영역 정보를 수신한 제1 장치(130) 또는 컨텐트 서버(150)는, 상기 확인한 3차원 좌표 영역에 제공될 영상의 프레임 레이트 및/또는 상기 확인한 3차원 좌표 영역 이외의 영역에 제공될 영상의 프레임 레이트를 변경함으로써, 상기 확인한 3차원 좌표 영역에 제공될 영상 및 상기 확인한 3차원 좌표 영역 이외의 영역에 제공될 영상의 비트 레이트가 변경되도록 할 수 있다.

예를 들어, 3차원 좌표 공간 상에서 상기 사용자의 시선이 향하는 3차원 좌표 영역이, 상기 제2 영역(503)을 포함할 경우, 제2 장치(170)는 3차원 좌표 공간 상에서 상기 사용자의 시선이 향하는 3차원 좌표 영역이, 제2 영역(503)을 포함한다는 정보를, 상기 제1 영상 및 상기 제2 영상을 제공하는 장치, 예를 들어, 제1 장치(130) 또는 컨텐트 서버(150)로 전송할 수 있다. 상기 3차원 좌표 공간 상에서 상기 사용자의 시선이 향하는 3차원 좌표 영역이, 제2 영역(503)을 포함한다는 정보를 수신한, 제1 장치(130) 또는 컨텐트 서버(150)는, 상기 제2 영역(503)에 제공될 영상의 프레임 레이트를 유지하고, 제1 영역(501)에 제공될 영상의 프레임 레이트를 가변적으로 떨어뜨려서, 제1 영역에 제공될 영상(영상 데이터)의 전송량을 줄여 제한된 통신 네트워크 상황에서 중요 영상인 제2 영상에 대해서는 고화질 영상을 구현할 수 있다. 예를 들어, 상기 3차원 좌표 공간 상에서 상기 사용자의 시선이 향하는 3차원 좌표 영역이, 제2 영역(503)을 포함한다는 정보를 수신한, 제1 장치(130) 또는 컨텐트 서버(150)는, 상기 제1 영역(501)에 제공될 영상의 프레임 레이트를 다음의 수학식 1을 이용하여 설정(결정)할 수 있다.

[수학식 1]

제1 영역에 제공될 영상의 프레임 레이트 = 계수(coefficient) * 제2 영역에 제공될 영상의 프레임 레이트

예를 들어, 3차원 좌표 공간 상에서 상기 사용자의 시선이 향하는 3차원 좌표 영역이, 제2 영역(503)을 포함하지 않는 제1 영역(501)의 일부를 포함할 경우, 제2 장치(170)는 3차원 좌표 공간 상에서 상기 사용자의 시선이 향하는 3차원 좌표 영역이, 제2 영역(503)을 포함하지 않는 제1 영역(501)의 일부를 포함한다는 정보를, 상기 제1 영상 및 상기 제2 영상을 제공하는 장치, 예를 들어, 제1 장치(130) 또는 컨텐트 서버(150)로 전송할 수 있다. 상기 3차원 좌표 공간 상에서 상기 사용자의 시선이 향하는 3차원 좌표 영역이, 제2 영역(503)을 포함하지 않는 제1 영역(601)의 일부를 포함한다는 정보를 수신한, 제1 장치(130) 또는 컨텐트 서버(150)는, 상기 제1 영역(501)에 제공될 영상의 프레임 레이트를 유지시킬 수 있다.

예를 들어, 제1 영역(501)에 제공될 제1 영상의 프레임 레이트는 10Hz 내지 60Hz일 수 있으며, 기 지정된 프레임 레이트는 60Hz일 수 있다. 예를 들어, 제2 영역(503)에 제공될 제2 영상의 프레임 레이트는 30Hz 내지 60Hz일 수 있으며, 기 지정된 프레임 레이트는 60Hz일 수 있다. 예를 들어, 상기 3차원 좌표 공간 상에서 상기 사용자의 시선이 향하는 3차원 좌표 영역이, 제2 영역(503)을 포함한다는 정보를 수신한, 제1 장치(130) 또는 컨텐트 서버(150)는, 상기 제2 영역(503)에 디스플레이될 제2 영상의 프레임 레이트를 60Hz로 유지할 수 있으며, 제1 영역(501)에 디스플레이될 제1 영상의 프레임 레이트를 10Hz 내지 30Hz로 가변적으로 떨어뜨릴 수 있다. 예를 들어, 3차원 좌표 공간 상에서 상기 사용자의 시선이 향하는 3차원 좌표 영역이, 제2 영역(503)을 포함하지 않는 제1 영역(501)의 일부를 포함한다는 정보를 수신한, 제1 장치(130) 또는 컨텐트 서버(150)는, 제1 영역(501)의 프레임 레이트를 60Hz로 유지할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 영상 처리 동작의 흐름도이다.

601 동작에서 제2 장치(170)(또는 제2 장치(170)의 제어부(171))는 3차원 좌표 공간 상에서 사용자의 시선 추적 또는 머리 추적을 할 수 있다.

일 실시 예에 따르면, 제2 장치(170)는 머리 착용 디스플레이 형태의 장치일 수 있으며, 사용자의 머리에 착용될 수 있다.

일 실시 예에 따르면, 제2 장치(170)는, 복수의 영상들, 예를 들어, 제1 영상 및 제2 영상을 수신하여, 상기 수신된 제1 영상 및 제2 영상을 3차원 좌표 공간 상에 제공되도록 할 수 있다. 예를 들어, 상기 제1 영상의 적어도 일부 및/또는 상기 제2 영상의 적어도 일부가 제2 장치(170)의 표시부에 디스플레이될 수 있다. 예를 들어, 제2 장치(170)는, 종래의 3차원 좌표 공간 생성 기술을 이용하여, 상기 제1 영상 및 제2 영상을 기초로 입체 공간 모델을 생성함으로써, 상기 3차원 좌표 공간을 생성할 수 있다.

일 실시 예에 따르면, 제2 장치(170)는, 시선 추적 기술을 이용하여, 상기 3차원 좌표 공간 상에서 사용자의 시선을 추적할 수 있다.

일 실시 예에 따르면, 제2 장치(170)는, 머리 추적(head tracking) 기술을 이용하여, 상기 3차원 좌표 공간 상에서 사용자의 머리의 움직임을 추적할 수 있으며, 상기 사용자의 머리의 움직임에 기초하여, 상기 3차원 좌표 공간 상에서 상기 사용자의 시선이 향하는 방향을 결정(추정)할 수 있다.

603 동작에서 제2 장치(170)는 상기 시선 추적 또는 상기 머리 추적에 기초하여, 상기 3차원 좌표 공간 상에서 상기 사용자의 시선에 대응하는 영역을 확인할 수 있다.

일 실시 예에 따르면, 제2 장치(170)는, 상기 시선 추적 또는 상기 머리 추적에 기초하여, 상기 3차원 좌표 공간 상에서 사용자의 시선에 대응하는 영역인, 사용자의 시선이 향하는 방향의 영역(사용자가 바라보는 영역)을 확인할 수 있다.

예를 들어, 상기 3차원 좌표 공간은 복수 개의 3차원 좌표 영역, 예를 들어, 도 5의 제1 영역(501) 및 제2 영역(503)으로 구분될 수 있다.

예를 들어, 제2 장치(170)는, 상기 시선 추적 또는 상기 머리 추적에 기초하여, 상기 3차원 좌표 공간 상의 복수 개의 3차원 좌표 영역 중, 상기 사용자가 바라보는 영역의 적어도 일부가 포함된 3차원 좌표 영역을 확인할 수 있다. 예를 들어, 제2 장치(170)는 상기 사용자가 바라보는 영역이 상기 제1 영역(501)을 포함하는 영역인지, 상기 제1 영역(501)을 포함하지 않는 제2 영역(503)의 일부 영역을 포함하는 영역인지를 확인할 수 있다.

605 동작에서, 제2 장치(170)는, 상기 확인된 영역의 영역 정보를 전송할 수 있다.

일 실시 예에 따르면, 제2 장치(170)는 통신 모듈(예: 통신 모듈(173))을 이용하여 상기 확인된 영역의 영역 정보를 전송할 수 있다.

예를 들어, 상기 확인된 영역의 영역 정보는, 상기 3차원 좌표 공간 상에서의 영역의 위치 정보(좌표 정보) 및 크기 정보를 포함할 수 있다.

예를 들어, 상기 확인된 영역의 영역 정보는, 지정된 관심 영역(중요 영역)이라는 정보 또는 상기 지정된 관심 영역 이외의 영역이라는 정보를 포함할 수 있다. 예를 들어, 상기 지정된 관심 영역은, 도 5의 제1 영역(501)이라는 정보를 포함할 수 있다. 예를 들어, 상기 지정된 관심 영역 이외의 영역이라는 정보는, 도 5의 제2 영역(503)을 포함하지 않는 제1 영역(501)의 일부라는 정보를 포함할 수 있다.

607 동작에서 제1 장치(130) 또는 컨텐트 서버(150)는 상기 영역 정보에 기초하여, 제1 영상의 기 지정된 대역폭 및 제2 영상의 기 지정된 대역폭을 변경 또는 유지할 수 있다.

일 실시 예에 따르면, 상기 영역 정보가 상기 지정된 관심 영역이라는 정보를 포함하는 경우, 상기 지정된 관심 영역에 전송될 영상의 대역폭을 넓히고, 상기 지정된 관심 영역 이외의 영역에 전송될 영상의 대역폭을 축소시킬 수 있다.

도 5를 참조하면, 예를 들어, 상기 제1 영상은 지정된 관심 영역 이외의 영역인 제1 영역(503)에 제공될 수 있으며, 상기 제2 영상은 상기 지정된 관심 영역인 제2 영역(503)에 제공될 수 있다.

예를 들어, 제1 장치(130) 또는 컨텐트 서버(150)는 상기 영역 정보가 지정된 관심 영역인 상기 제2 영역(503)이라는 정보를 포함하는 경우, 상기 제2 영역(503)에 제공될 제2 영상의 비트 레이트를 높이기 위해, 상기 제1 영역(501)에 제공될 제1 영상의 프레임 레이트를 지정된 기준에 따라 낮게 변경할 수 있다.

일 실시 예에 따르면, 상기 영역 정보가 상기 지정된 관심 영역 이외의 영역이라는 정보를 포함하는 경우, 제1 영상의 대역폭 및 제2 영상의 대역폭은 기 지정된 대역폭을 유지시킬 수 있다.

도 5를 참조하면, 예를 들어, 제1 장치(130) 또는 컨텐트 서버(150)는 상기 영역 정보가 상기 제1 영역(501)이라는 정보를 포함하는 경우, 상기 제1 영역(501) 및 상기 제2 영역(503)에 제공될 제1 영상 및 제2 영상의 비트 레이트를 유지시킬 수 있다.

609 동작에서 제1 장치(130) 또는 컨텐트 서버(150)는 상기 변경 또는 유지된 제1 영상의 대역폭에 기초하여 상기 제1 영상을 전송할 수 있다.

일 실시 예에 따르면, 제1 장치(130) 또는 컨텐트 서버(150)는 통신 모듈(예: 통신 모듈(133) 또는 통신 모듈(153))을 이용하여, 상기 변경 또는 유지된 제1 영상의 대역폭에 기초하여 상기 제1 영상을 전송할 수 있다.

예를 들어, 상기 제1 영상은 스트리밍 방식으로 제공되는 영상(또는 동영상)일 수 있다. 예를 들어, 상기 제1 영상을 360도 영상일 수 있다.

611 동작에서, 제2 장치(170)는 상기 제1 영상을 확인할 수 있다.

613 동작에서, 제1 장치(130) 또는 컨텐트 서버(150)는 상기 변경 또는 유지된 대역폭에 기초하여 제2 영상을 전송할 수 있다.

일 실시 예에 따르면, 제1 장치(130) 또는 컨텐트 서버(150)는 통신 모듈을 이용하여 상기 변경 또는 유지된 대역폭에 기초하여 상기 제2 영상을 전송할 수 있다.

예를 들어, 상기 제2 영상은 스트리밍 방식으로 제공되는 영상(또는 동영상)일 수 있다. 예를 들어, 상기 제2 영상은 PIP 영상일 수 있다.

615 동작에서, 제2 장치(170)는 상기 제2 영상을 확인할 수 있다.

617 동작에서, 제2 장치(170)는 상기 제1 영상 및 상기 제2 영상을 제공할 수 있다.

일 실시 예에 따르면, 상기 제1 영상의 적어도 일부 및/또는 상기 제2 영상의 적어도 일부가 제2 장치(170)의 표시부에 디스플레이될 수 있다.

도 7은 본 발명의 일 실시 예에 따른 영상 처리 동작의 흐름도이다.

710 동작에서 제2 장치(170)(전자 장치라고도 함)는, 제1 대역폭을 통해 제1 영상을 수신할 수 있다.

720 동작에서 제2 장치(170)는, 제2 대역폭을 통해 제2 영상을 수신할 수 있다.

730 동작에서 제2 장치(170)는 표시부의 제1 영역(제1 표시 영역이라고도 함)에 상기 제1 영상을 제공하고, 상기 제1 영역의 적어도 일부 영역에 오버레이(overlay)된 제2 영역(제2 표시 영역이라고도 함)에 상기 제2 영상을 제공할 수 있다.

예를 들어, 상기 제2 장치(170)는, 상기 제2 영역의 위치 정보를 수신하며, 상기 위치 정보에 기초하여 상기 제2 영역의 위치를 결정할 수 있다.

예를 들어, 상기 제2 장치(170)는, 사용자의 시선에 대응하는 영역을 확인하며, 상기 사용자의 시선에 대응하는 영역의 정보를, 상기 제1 영상 및 상기 제2 영상을 전송한 장치, 예를 들어, 제1 장치(130) 또는 컨텐트 서버(150)로, 전송할 수 있다.

예를 들어, 상기 사용자의 시선에 대응하는 영역은, 상기 제2 영역을 포함할 수 있다. 상기 제1 대역폭 및 상기 제2 대역폭은, 상기 제2 장치(170)의 제어에 의해, 상기 사용자의 시선에 대응하는 영역이 상기 제2 영역을 포함하는 것에 기초하여, 기 설정된 대역폭들을 각각 변경되어 결정된 것일 수 있다.

상술한 도1a 내지 도 7의 실시 예에서의 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)(예: 메모리(113)(내장 메모리 또는 외장 메모리))에 저장된 명령어를 포함하는 소프트웨어(예: 프로그램)로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(100))를 포함할 수 있다. 상기 명령이 제어부(예: 제어부(101))(또는 프로세서)에 의해 실행될 경우, 제어부가 직접, 또는 상기 제어부의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다.

일 실시 예에 따르면, 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서, 제1 대역폭을 통해 제1 영상을 수신하는 동작, 제2 대역폭을 통해 제2 영상을 수신하는 동작, 제1 표시 영역과 상기 제1 표시 영역의 일부에 대응되는 제2 표시 영역을 구비한 표시부에서의, 상기 제2 표시 영역의 상기 제1 표시 영역 상의 위치 정보를 수신하는 동작, 및 상기 표시부의 제1 표시 영역에 상기 제1 영상을 제공하고, 상기 제2 표시 영역에 상기 제2 영상을 제공하여, 상기 제2 영상이 상기 제1 영상 위에 오버레이되도록 하는 동작을 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.

일 실시 예에 따르면, 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서, 제1 대역폭을 통해 제1 영상을 수신하는 동작, 제2 대역폭을 통해 제2 영상을 수신하는 동작, 제1 표시 영역과 상기 제1 표시 영역의 일부에 대응되는 제2 표시 영역을 구비한 표시부에서의, 상기 제2 표시 영역의 상기 제1 표시 영역 상의 위치 정보를 수신하는 동작, 및 상기 표시부의 제1 표시 영역에 상기 제1 영상을 제공하고, 상기 제2 표시 영역에 상기 제2 영상을 제공하여, 상기 제2 영상이 상기 제1 영상 위에 오버레이되도록 하는 동작을 포함하는 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.

이상의 설명은 본 발명의 기술사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경 등이 가능함을 쉽게 알 수 있을 것이다. 즉, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것으로서, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.

따라서, 본 발명의 보호 범위는 후술되는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명의 실시 예에 따르면, 가상 현실 기술을 이용하여 콘텐츠를 제공할 때, 가상 공간 상에 영상이 제공되도록 할 수 있으며, 이에 따라, 사용자는 가상 공간 상에서 상기 영상을 시청하는 체험하도록 하는 기술에 이용할 수 있다.

Claims

영상을 처리하기 위한 방법에 있어서,
제1 표시 영역과 상기 제1 표시 영역의 일부에 대응되는 제2 표시 영역을 구비한 표시부에서의, 상기 제2 표시 영역의 상기 제1 표시 영역 상의 위치 정보를 수신하는 동작;
상기 표시부의 상기 제1 표시 영역에 제1 영상을 제공하고, 상기 제2 표시 영역에 제2 영상을 제공하는 동작; 및
사용자의 시선에 대응하는 영역을 확인하는 동작을 포함하고,
상기 사용자의 시선에 대응하는 영역이 상기 제2 표시 영역을 포함하는 것에 기초하여, 상기 제1 영상의 프레임 레이트를 조절하는
영상을 처리하기 위한 방법.
제 1항에 있어서, 상기 제2 영상은 상기 제1 영상에 비해 고화질의 영상인, 영상을 처리하기 위한 방법.
제 1항에 있어서,
상기 사용자의 시선에 대응하는 영역의 정보에 기초하여 상기 제1 영상을 수신할 제1 대역폭 및 상기 제2 영상을 수신할 제2 대역폭을 결정하는 동작을 더 포함하는
영상을 처리하기 위한 방법.
제 3항에 있어서,
상기 사용자의 시선에 대응하는 영역은, 상기 제2 표시 영역을 포함하며,
상기 제1 대역폭 및 상기 제2 대역폭은,
상기 사용자의 시선에 대응하는 영역이 상기 제2 표시 영역을 포함하는 것에 기초하여, 기 설정된 대역폭들을 각각 변경하여 결정하는, 영상을 처리하기 위한 방법.
컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은,
제 1항 내지 제 4항 중 어느 한 항에 따른 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램.
영상을 처리하기 위한 전자 장치에 있어서,
통신 모듈;
제1 표시 영역과 상기 제1 표시 영역의 일부에 대응되는 제2 표시 영역을 구비한 표시부; 및
상기 통신 모듈을 이용하여, 상기 제2 표시 영역의 상기 제1 표시 영역 상의 위치 정보를 수신하며,
상기 제1 표시 영역에 상기 제1 영상을 제공하고, 상기 제2 표시 영역에 상기 제2 영상을 제공하도록 상기 표시부를 제어하는 제어부를 포함하고,
상기 제어부는
사용자의 시선에 대응하는 영역 정보와 상기 사용자의 시선에 대응하는 영역이 상기 제2 표시 영역을 포함하는 것에 기초하여, 상기 제1 영상의 프레임 레이트를 조절하는
영상을 처리하기 위한 전자 장치.