KR102337699B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102337699B1
KR102337699B1 KR1020210027748A KR20210027748A KR102337699B1 KR 102337699 B1 KR102337699 B1 KR 102337699B1 KR 1020210027748 A KR1020210027748 A KR 1020210027748A KR 20210027748 A KR20210027748 A KR 20210027748A KR 102337699 B1 KR102337699 B1 KR 102337699B1
Authority
KR
South Korea
Prior art keywords
image
specific content
image data
image processing
degree
Prior art date
Application number
KR1020210027748A
Other languages
English (en)
Other versions
KR20210039343A (ko
Inventor
임국찬
신승민
신승호
유연걸
장병준
한진용
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190121694A external-priority patent/KR102241240B1/ko
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020210027748A priority Critical patent/KR102337699B1/ko
Publication of KR20210039343A publication Critical patent/KR20210039343A/ko
Application granted granted Critical
Publication of KR102337699B1 publication Critical patent/KR102337699B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

실시예에 따른 영상 처리 장치의 영상 처리 방법은, 대상을 촬영한 영상 데이터와 이 영상 데이터의 촬영 환경 정보를 획득하는 단계와, 촬영 환경 정보에 기초한 시각 효과를 반영하여, 영상 데이터의 표시 영상에 PIP(Picture In Picture) 형태로 표시될 수 있도록 특정 콘텐츠를 삽입하는 단계를 포함한다.

Description

영상 처리 장치 및 방법{METHOD AND APPARATUS FOR IMAGE PROCESSING}
본 발명은 영상 처리 장치 및 방법에 관한 것으로서, 더욱 상세하게는 PIP(Picture In Picture) 형태를 포함하는 영상을 처리하는 장치 및 방법에 관한 것이다.
최근 5세대 이동 통신(5G; 5th generation mobile telecommunication)에 기반하여 다양한 응용 서비스에 대한 연구 개발이 이루어지고 있다. 이러한 응용 서비스의 예로서, 360도 카메라와 가상 현실(VR; virtual reality) 기술이 접목된 실시간 라이브 중계 서비스와 고품질의 주문형 비디오(VOD; video on demand) 서비스 등이 있다.
일반적으로 360도 카메라는 광각의 렌즈(예컨대, 어안 렌즈(fisheye lens))와 이미지 센서를 포함하여 광시야각을 가지는 복수의 카메라를 연결하여 다양한 각도의 영상을 촬영하고, 이를 상호 연결(스티칭)하여 하나의 영상으로 만들어냄으로써, 카메라를 중심으로 360도 전체 영역에 대응하는 영상을 제공할 수 있다. 이러한 360도 카메라에 의해 촬영된 360도 영상이나 동영상(이하, '영상'이라 함)은 일반 디스플레이에서 방향을 회전하며 보거나 또는 HMD(Head Mounted Display) 기기를 통해 시선의 방향을 돌림으로써, 촬영 공간에 있는 것과 같은 효과를 느낄 수 있도록 하고 있다. 아울러, 360도 영상을 가상 현실 기술에 접목시키면 몰입감이 더 향상된 가상 현실 서비스를 제공할 수 있고, 이러한 360도 가상 현실 영상을 중계하는 서비스를 360VR 영상 중계 서비스라 한다.
한국등록특허 제10-2013450호 (등록일: 2019년 08월 16일)
영상 표시 기술 중, PIP 영상 표시법은 본 영상내의 소정 영역에 부가적으로 작은 영상을 삽입하여 함께 표시함으로써, 다양한 정보를 한 눈에 전달하거나 파악할 수 있도록 한다. 이러한 PIP 영상 표시법은 360도 영상이 접목된 가상 현실 서비스에 이용될 수 있다. 예를 들어, 360도 영상을 이용하여 가상 현실 환경을 구현함에 있어서 본 영상인 가상 현실 영상의 일부 영역에 부가 영상을 PIP 형태로 삽입하여 함께 표시할 수 있다.
실시예에 따르면, PIP 영상 표시법을 가상 현실 기술에 접목하여, 가상 현실용 영상 내의 일부 영역에 PIP 영상이 함께 표시되도록 할 때에 PIP 영상에 의하여 가상 현실 영상의 현실감 및 몰입도가 저하되지 않도록 하는 영상 처리 장치 및 방법을 제공한다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
제 1 관점에 따른 영상 처리 장치의 영상 처리 방법은, 대상을 촬영한 영상 데이터와 상기 영상 데이터의 촬영 환경 정보를 획득하는 단계와, 상기 촬영 환경 정보에 기초한 시각 효과를 결정하는 단계와, 상기 영상 데이터의 표시 영상에 PIP(Picture In Picture) 형태로 표시될 수 있도록 특정 콘텐츠를 삽입하는 단계와, 상기 특정 콘텐츠에 결정된 상기 시각효과를 반영하는 단계를 포함할 수 있다.
제 2 관점에 따른 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체는, 상기 영상 처리 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.
제 3 관점에 따른 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램은 상기 영상 처리 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함할 수 있다.
본 발명의 실시예에 의하면, PIP 영상 표시법을 가상 현실 기술에 접목하여, 가상 현실용 영상 내의 일부 영역에 PIP 영상이 함께 표시되도록 할 때에 PIP 영상에 의하여 가상 현실 영상의 현실감 및 몰입도가 저하되지 않도록 하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 포함하는 360도 영상 중계 서비스 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치에서 수행되는 영상 처리 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치에서 360도 영상의 특정 영역에 PIP 형태로 특정 콘텐츠를 삽입하는 과정을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치에서 360도 영상의 지정 영역에 PIP 형태로 특정 콘텐츠를 삽입하는 과정을 설명하기 위한 흐름도이다.
도 5는 도 3의 과정에 의하여 특정 콘텐츠가 삽입된 360도 영상의 예시도이다.
도 6은 도 4의 과정에 의하여 특정 콘텐츠가 삽입된 360도 영상의 예시도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 영상 처리 장치를 포함하는 360도 영상 중계 서비스 시스템의 구성도이다.
도 1에 나타낸 바와 같이 360도 영상 중계 서비스 시스템(100)은 360도 카메라(110), 영상 가공부(120), 영상 처리 장치(130), 영상 전송부(140) 및 CDN(Contents Delivery Network) 서버(150)를 포함할 수 있다. 영상 처리 장치(130)는 영상 획득부(131), 제어부(132), 출력부(133) 및 저장부(134)를 포함할 수 있다. 여기서, 제어부(132)는 마이크로프로세서(microprocess) 등과 같은 컴퓨팅 연산수단을 포함할 수 있다.
360도 카메라(110)는 광각의 렌즈(예컨대, 어안 렌즈(fisheye lens))와 이미지 센서를 포함하여 광시야각을 가지는 복수의 카메라를 포함할 수 있고, 자신을 중심으로 360도의 대상을 촬영하여 획득한 복수의 영상 데이터를 영상 가공부(120)에 제공한다.
영상 가공부(120)는 360도 카메라(110)로부터 제공되는 복수의 영상 데이터에 대하여 각각 카메라의 경계면을 추출하고, 서로 인접한 경계면을 상호 연결(스티칭)하여 하나의 360도 영상 데이터를 생성한다.
영상 처리 장치(130)는 영상 가공부(120)에 의해 생성된 360도 영상 데이터와 360도 카메라(110)의 촬영 환경 정보를 획득하고, 촬영 환경 정보에 기초한 시각 효과를 반영하여, 360도 영상 데이터의 표시 영상에 PIP(Picture In Picture) 형태로 표시될 수 있도록 특정 콘텐츠를 삽입할 수 있다. 이러한 영상 처리 장치(130)의 세부 구성요소에 대해서는 아래에서 다시 설명하기로 한다.
영상 전송부(140)는 영상 처리 장치(130)로부터 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 제공받고, 제공받은 360도 영상 데이터를 기 설정된 압축방식, 비트레이트(bitrate) 및 전송 프로토콜(protocol) 등에 맞추어 변환한 후 스트리밍(streaming) 등의 전송방식을 이용하여 CDN 서버(150)로 전송한다.
CDN 서버(150)는 영상 전송부(140)로부터 전송받는 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터에 대한 딜리버리(delivery) 서비스를 제공한다. 예를 들어, CDN 서버(150)는 서비스 네트워크에 접속된 이동통신 단말이나 HMD(Head Mounted Display) 기기 등을 포함하는 클라이언트 단말의 요청에 따라 360도 영상 데이터를 스트리밍 등의 전송방식을 이용하여 제공할 수 있다.
이상에서 설명한 바와 같은 도 1의 360도 영상 중계 서비스 시스템(100)에서, 영상 가공부(120)에 제공되는 복수의 영상 데이터가 가상 현실 서비스를 제공하기 위한 360도 가상 현실 영상일 경우, 360VR 영상 중계 서비스를 제공할 수 있는 360VR 영상 중계 서비스 시스템이라 할 수 있다.
영상 처리 장치(130)의 세부 구성요소에 대하여 좀 더 자세히 살펴보기로 한다.
영상 획득부(131)는 대상을 촬영한 영상 데이터를 획득한다. 예를 들어, 영상 획득부(131)는 영상 가공부(120)로부터 360도 영상 데이터를 제공받을 수 있다. 도 1에는 영상 획득부(131)가 360도 카메라(110) 및 영상 가공부(120)와 분리된 실시예를 나타내었으나, 영상 획득부(131)가 360도 카메라(110)와 영상 가공부(120) 중 하나 이상을 포함하여 일체로 구현될 수도 있다.
제어부(132)는 영상 데이터와 이 영상 데이터에 PIP 형태로 삽입하고자 하는 특정 콘텐츠를 비교한 결과에 기초하여 영상 데이터의 표시 영상내의 PIP 영역을 선정할 수 있다.
그리고, 제어부(132)는 영상 획득부(131)에 의하여 획득된 영상 데이터로부터 영상 데이터의 촬영 환경 정보를 획득할 수 있다. 예를 들어, 제어부(132)는 360도 카메라(110)의 촬영 환경 정보를 획득할 수 있다. 이러한 제어부(132)는 영상 데이터와 이 영상 데이터에 PIP 형태로 삽입하고자 하는 특정 콘텐츠를 비교한 결과에 기초하여 촬영 환경 정보를 획득할 수 있다. 이 경우에, 촬영 환경 정보는 촬영의 대상에 영향을 주는 조명의 색상값 또는 휘도값을 포함할 수 있다. 또는, 제어부(132)는 영상 데이터의 컬러 히스토그램(color histogram)을 분석한 결과에 기초하여 촬영 환경 정보를 획득할 수 있다. 이 경우에, 촬영 환경 정보는 영상 데이터의 영역별 평균 주파수를 포함할 수 있다.
아울러, 제어부(132)는 영상 데이터의 촬영 환경 정보에 기초하여 특정 콘텐츠에 대한 시각 효과를 결정할 수 있다. 예를 들어, 촬영 환경 정보에 촬영의 대상에 영향을 주는 조명의 색상값 또는 휘도값이 포함될 경우에 특정 콘텐츠에 대한 시각 효과는 특정 콘텐츠를 표시할 때의 색상값 조정 또는 휘도값 조정이 될 수 있다. 또는, 촬영 환경 정보에 영상 데이터의 영역별 평균 주파수가 포함될 경우에 특정 콘텐츠에 대한 시각 효과는 특정 콘텐츠를 표시할 때의 영역별 평균 주파수 조정이 될 수 있다.
또한, 제어부(132)는 촬영 환경 정보에 기초한 시각 효과를 반영하여, 영상 데이터의 표시 영상내의 선정된 PIP 영역 또는 임의의 PIP 영역에 PIP 형태로 표시될 수 있도록 특정 콘텐츠를 삽입할 수 있다. 예를 들어, 제어부(132)는 특정 콘텐츠를 영상 데이터에 삽입할 때에 촬영 환경 정보에 포함된 조명의 색상값 또는 휘도값에 대응하는 시각 효과를 반영할 수 있다. 또는, 제어부(132)는 특정 콘텐츠를 영상 데이터에 삽입할 때에 촬영 환경 정보에 포함된 영역별 평균 주파수에 대응하는 시각 효과를 반영할 수 있다.
출력부(133)는 제어부(132)의 제어에 따라, 특정 콘텐츠가 PIP 형태로 삽입된 영상 데이터를 출력한다. 예를 들어, 출력부(133)는 특정 콘텐츠가 PIP 형태로 삽입된 영상 데이터를 영상 전송부(140)에 제공할 수 있다.
저장부(134)에는 영상 데이터에 PIP 형태로 삽입될 수 있는 특정 콘텐츠가 저장될 수 있다. 예를 들어, 제어부(132)는 저장부(134)에 저장된 특정 콘텐츠를 읽어 들여 영상 데이터에 PIP 형태로 삽입시킬 수 있다. 이러한 저장부(134)는 제어부(132)의 내장 메모리로 구현할 수도 있다. 또는, 특정 콘텐츠는 제어부(132)의 입력 인터페이스(도시 생략됨)를 통하여 외부로부터 제공될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 영상 처리 장치(130)에서 수행되는 영상 처리 방법을 설명하기 위한 흐름도이다.
도 2에 나타낸 바와 같이 일 실시예에 따른 영상 처리 방법은, 대상을 촬영한 영상 데이터와 이 영상 데이터의 촬영 환경 정보를 획득하는 단계(S210)를 포함한다. 예를 들어, 단계 S210에서는 360도 카메라로 촬영된 복수의 영상 데이터가 서로 인접한 경계면이 상호 연결(스티칭)되어 하나로 생성된 360도 영상 데이터를 획득할 수 있다.
그리고, 일 실시예에 따른 영상 처리 방법은, 영상 데이터의 촬영 환경 정보에 기초하여 특정 콘텐츠에 반영할 시각 효과를 결정하는 단계(S220)를 더 포함한다. 예를 들어, 단계 S220에서는 단계 S210에서 획득된 촬영 환경 정보에 기초하여 시각 효과를 결정할 수 있다. 예컨대, 특정 콘텐츠에 대한 시각 효과는 특정 콘텐츠를 표시할 때의 색상값 조정 또는 휘도값 조정, 또는 특정 콘텐츠를 표시할 때의 영역별 평균 주파수 조정이 될 수 있다.
아울러, 일 실시예에 따른 영상 처리 방법은, 영상 데이터의 촬영 환경 정보에 기초한 시각 효과를 반영하여, 영상 데이터의 표시 영상에 PIP 형태로 표시될 수 있도록 특정 콘텐츠를 삽입하는 단계(S220)를 더 포함할 수 있다. 예를 들어, 단계 S230에서는 특정 콘텐츠에 결정된 시각 효과를 반영한 후 영상 데이터의 표시 영상내의 PIP 영역에 삽입할 수 있다.
이처럼, 도 2에 나타낸 바와 같은 영상 처리 장치(130)에서 수행되는 영상 처리 방법에 의하면 영상 데이터의 특정 영역 내 또는 지정 영역 내에 특정 콘텐츠를 PIP 형태로 삽입할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 장치에서 360도 영상의 특정 영역에 PIP 형태로 특정 콘텐츠를 삽입하는 과정을 설명하기 위한 흐름도이고, 도 5는 도 3의 과정에 의하여 특정 콘텐츠가 삽입된 360도 영상의 예시도이다.
도 5의 360도 영상은 본 영상(501)의 특정 영역에 PIP 형태로 특정 콘텐츠(502)가 삽입되어 표시되는 예를 나타낸 것이다. 여기서, 특정 콘텐츠(502)가 삽입되는 특정 영역은 360도 카메라(110)에 의하여 촬영되는 대상 공간에 디스플레이 장치가 설치된 위치이고, 촬영 대상 공간에 설치된 디스플레이 장치에는 특정 콘텐츠가 재생되는 환경을 가정한다.
도 3 및 도 5를 참조하여 본 발명의 일 실시예에 따라 영상의 특정 영역에 PIP 형태로 특정 콘텐츠가 삽입되는 과정에 대해서 살펴보기로 한다. 도 3 및 도 5의 영상 처리 방법은 영상 데이터의 표시 영상 내에서 특정 영역을 PIP 영역으로 선정한 후 선정된 PIP 영역에 특정 콘텐츠를 삽입하는 실시예를 나타낸 것이다.
먼저, 360도 카메라(110)는 자신을 중심으로 360도의 대상을 촬영하여 획득한 복수의 영상 데이터를 영상 가공부(120)에 제공하고, 영상 가공부(120)는 360도 카메라(110)로부터 제공되는 복수의 영상 데이터에 대하여 각각 카메라의 경계면을 추출하며, 서로 인접한 경계면을 상호 연결(스티칭)하여 하나의 360도 영상 데이터를 생성한 후 영상 처리 장치(130)에 제공한다. 여기서, 영상 처리 장치(130)에 제공되는 360도 영상 데이터 내에는 촬영 대상 공간에 설치된 디스플레이 장치를 촬영한 데이터가 포함되어 있다.
여기서, 영상 가공부(120)에 의해 생성된 360도 영상 데이터가 그대로 영상 전송부(140)을 통해 CDN 서버(150)로 제공되고, 이러한 360도 영상 데이터를 CDN 서버(150)로부터 전송받은 클라이언트 단말에서 재생한다고 가정한다. 그러면, 360도 영상 데이터 내에는 촬영 대상 공간에 설치된 디스플레이 장치를 촬영한 데이터가 포함되어 있는데, 디스플레이 장치의 화면을 촬영한 것이기에 해상도 차이 등으로 인하여 디스플레이 장치를 촬영한 데이터를 클라이언트 단말에서 그대로 재생하면 주변의 다른 영역에 비하여 선명도가 낮을 수밖에 없다. 이러한 선명도 차이를 극복하기 위하여 영상 처리 장치(130)가 필요하고, 촬영 대상 공간의 디스플레이 장치에 재생될 특정 콘텐츠가 영상 처리 장치(130)의 저장부(134)에 미리 저장된다.
영상 가공부(120)에 의하여 영상 처리 장치(130)에 360도 영상 데이터가 제공되면, 영상 획득부(131)가 영상 가공부(120)에 의해 생성된 360도 영상 데이터를 획득하게 되며, 획득된 360도 영상 데이터를 제어부(132)에 제공한다. 여기서, 제어부(132)에 제공되는 360도 영상 데이터에는 영상 데이터의 촬영 환경 정보, 즉 360도 카메라(110)의 촬영 환경 정보가 포함되어 있다. 예를 들어, 360도 카메라(110)의 주변이 있는 조명은 촬영 대상에 영향을 주게 되고, 이러한 촬영 환경에서 360도 카메라(110)에 의해 촬영된 360도 영상 데이터에 조명의 색상값 또는 휘도값 등이 반영되는 것이다(S310).
제어부(132)는 영상 획득부(131)에 의해 제공되는 360도 영상 데이터와 저장부(134)에 저장되어 있는 특정 콘텐츠를 비교하여 360도 영상 데이터의 표시영상 내의 PIP 영역을 선정한다. 예를 들어, 제어부(132)는 360도 영상과 특정 콘텐츠의 시간축을 동기화하고, 특정 콘텐츠와 360도 영상의 부분 영역들을 비교하여 유사한 부분 영역을 촬영 대상 공간에 설치된 디스플레이 장치의 위치로 인식하여 해당 부분 영역을 PIP 영역으로 선정할 수 있다.
이어서, 제어부(132)는 영상 획득부(131)에 의해 제공되는 360도 영상 데이터와 저장부(134)에 저장되어 있는 특정 콘텐츠를 비교한 결과에 기초하여 360도 영상 데이터의 촬영 환경 정보를 획득한다. 예를 들어, 앞서 PIP 영역을 선정할 때와 같이 제어부(132)는 360도 영상과 특정 콘텐츠의 시간축을 동기화하고, 360도 영상의 평균 밝기와 특정 콘텐츠의 평균 밝기를 비교함으로써, 촬영 대상에 영향을 주는 조명의 색상값 또는 휘도값을 유추할 수 있다(S320).
그리고, 제어부(132)는 360도 영상 데이터의 촬영 환경 정보에 기초하여 특정 콘텐츠에 반영할 시각 효과를 결정할 수 있다. 여기서, 시각 효과는 360도 카메라(110)의 촬영 환경이 영상 가공부(120)에 의해 생성되는 360도 영상 데이터에 영향을 주는 만큼, 특정 콘텐츠에도 그 만큼 영향을 줄 수 있는 변화 정도를 의미할 수 있다. 예를 들어, 촬영 환경 정보에 촬영의 대상에 영향을 주는 조명의 색상값 또는 휘도값이 포함될 경우에 특정 콘텐츠에 대한 시각 효과는 특정 콘텐츠를 표시할 때의 색상값 조정 또는 휘도값 조정이 될 수 있다(S330).
아울러, 제어부(132)는 360도 영상 데이터의 표시 영상에 PIP 형태로 표시될 수 있도록 앞서 단계 S320에서 선정된 PIP 영역에 특정 콘텐츠를 삽입하는데, 단계 S330에서 결정된 시각 효과를 특정 콘텐츠에 반영한 후에 360도 영상 데이터의 PIP 영역에 삽입할 수 있다. 이러한 제어부(132)를 포함하는 영상 처리 장치(130)의 주 기능은 360도 영상 데이터의 표시영상 내에서 촬영 대상 공간에 설치된 디스플레이 장치의 표시영역을 PIP 영역으로 선정하고, 선정된 PIP 영역에 특정 콘텐츠를 PIP 형태로 삽입함으로써, 도 5의 예시와 같이 본 영상(501)과 특정 콘텐츠(502)의 선명도 차이가 최소화되도록 하는 것이다. 그런데, 본 영상(501)은 촬영 대상 환경의 조명 등의 영향이 반영되어 변화되지만 특정 콘텐츠(502)에는 촬영 대상 환경의 영향이 반영되어 있지 않기 때문에 이질감을 느끼게 된다. 예를 들어, 360도 영상이 가상 현실 영상일 경우라면 본 영상(501)과 특정 콘텐츠(502)의 이질감에 따라 가상 현실 영상의 현실감 및 몰입도가 저하되는 부작용을 초래한다. 이러한 부작용을 방지하려면 PIP 형태로 삽입되는 특정 콘텐츠(502)에 촬영 대상 환경의 영향을 반영할 필요가 있고, 제어부(132)는 단계 S330에서 결정된 시각 효과를 특정 콘텐츠에 반영함으로써, 본 영상(501)과 특정 콘텐츠(502)의 이질감이 발생하지 않도록 하는 것이다(S340).
다음으로, 출력부(133)는 제어부(132)의 제어에 따라, 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 출력한다. 예를 들어, 출력부(133)는 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 영상 전송부(140)에 제공할 수 있다.
그러면, 영상 전송부(140)는 영상 처리 장치(130)로부터 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 제공받고, 제공받은 360도 영상 데이터를 기 설정된 압축방식, 비트레이트 및 전송 프로토콜 등에 맞추어 변환한 후 스트리밍 등의 전송방식을 이용하여 CDN 서버(150)로 전송할 수 있다.
그리고, CDN 서버(150)는 영상 전송부(140)로부터 전송받는 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터에 대한 딜리버리 서비스를 제공한다. 예를 들어, CDN 서버(150)는 서비스 네트워크에 접속된 이동통신 단말이나 HMD 기기 등을 포함하는 클라이언트 단말의 요청에 따라 360도 영상 데이터를 스트리밍 등의 전송방식을 이용하여 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치에서 360도 영상의 지정 영역에 PIP 형태로 특정 콘텐츠를 삽입하는 과정을 설명하기 위한 흐름도이고, 도 6은 도 3의 과정에 의하여 특정 콘텐츠가 삽입된 360도 영상의 예시도이다.
도 6의 360도 영상은 본 영상(601)의 지정 영역에 PIP 형태로 특정 콘텐츠(602)가 삽입되어 표시되는 예를 나타낸 것이다. 여기서, 특정 콘텐츠(602)가 삽입되는 영역은 사용자에 의하여 미리 지정될 수 있다. 예를 들어, 본 영상(601)을 표시하여 제공할 때에 다양한 부가 정보를 제공하기 위하여 보조 영상이 필요할 수 있고, 필요한 보조 영상에 대응하는 특정 콘텐츠(602)를 PIP 형태로 본 영상(601)에 삽입할 수 있다. 이를 위해, 사용자는 본 영상(601)의 전체 영역 중 주요 활동(activity)이 발생하지 않는 영역을 PIP 영역으로 미리 지정할 수 있고, PIP 영역에 대한 정보를 제어부(132)에 미리 설정하여 둘 수 있다. 아울러, PIP 형태로 삽입할 특정 콘텐츠(602)는 저장부(134)에 미리 저장될 수 있다.
도 4 및 도 6을 참조하여 본 발명의 일 실시예에 따라 영상의 지정 영역에 PIP 형태로 특정 콘텐츠가 삽입되는 과정에 대해서 살펴보기로 한다.
먼저, 360도 카메라(110)는 자신을 중심으로 360도의 대상을 촬영하여 획득한 복수의 영상 데이터를 영상 가공부(120)에 제공하고, 영상 가공부(120)는 360도 카메라(110)로부터 제공되는 복수의 영상 데이터에 대하여 각각 카메라의 경계면을 추출하며, 서로 인접한 경계면을 상호 연결(스티칭)하여 하나의 360도 영상 데이터를 생성한 후 영상 처리 장치(130)에 제공한다. 여기서, 영상 처리 장치(130)에 제공되는 360도 영상 데이터 내에는 촬영 대상 공간에 설치된 디스플레이 장치를 촬영한 데이터가 포함되어 있다.
영상 가공부(120)에 의하여 영상 처리 장치(130)에 360도 영상 데이터가 제공되면, 영상 획득부(131)가 영상 가공부(120)에 의해 생성된 360도 영상 데이터를 획득하게 되며, 획득된 360도 영상 데이터를 제어부(132)에 제공한다. 여기서, 제어부(132)에 제공되는 360도 영상 데이터에는 영상 데이터의 촬영 환경 정보, 즉 360도 카메라(110)의 촬영 환경 정보가 포함되어 있다. 예를 들어, 360도 카메라(110)의 주변이 있는 조명은 촬영 대상에 영향을 주게 되고, 이러한 촬영 환경에서 360도 카메라(110)에 의해 촬영된 360도 영상 데이터에 조명의 영향이 반영되는 것이다(S410).
이어서, 제어부(132)는 영상 획득부(131)에 의해 제공되는 360도 영상 데이터를 분석하여 360도 영상 데이터의 촬영 환경 정보를 획득한다. 예를 들어, 제어부(132)는 360도 영상 데이터의 컬러 히스토그램(color histogram)을 분석한 결과에 기초하여 360도 영상 데이터의 영역별 평균 주파수를 파악하여 360도 영상 데이터의 촬영 환경 정보로서 획득할 수 있다(S420).
그리고, 제어부(132)는 360도 영상 데이터의 촬영 환경 정보에 기초하여 특정 콘텐츠에 반영할 시각 효과를 결정할 수 있다. 도 6에 예시한 바와 같이 본 영상(601)의 지정 영역에 PIP 형태로 특정 콘텐츠(602)가 삽입되는데, 본 영상(601)에는 360도 영상 데이터의 촬영 환경의 영향이 반영되어 변화되지만 저장부(134)에 저장된 상태에서 재생 및 표시되는 특정 콘텐츠(602)에는 360도 영상 데이터의 촬영 환경 영향이 반영되어 있지 않기 때문에 이질감을 느끼게 된다. 이러한 이질감이 발생하지 않도록 하기 위한 것이 시각 효과라 할 수 있다(S430).
아울러, 제어부(132)는 360도 영상 데이터의 표시 영상에 PIP 형태로 표시될 수 있도록 미리 지정되어 있는 PIP 영역에 특정 콘텐츠를 삽입하는데, 단계 S430에서 결정된 시각 효과를 특정 콘텐츠에 반영한 후에 360도 영상 데이터의 PIP 영역에 삽입할 수 있다. 여기서, 특정 콘텐츠에 단계 S430에서 결정된 시각 효과를 반영하면, 도 6의 예시와 같이 본 영상(601)과 특정 콘텐츠(602)가 함께 표시될 때에 본 영상(601)과 특정 콘텐츠(602)의 선명도 차이가 최소화되게 하고, 본 영상(601)과 특정 콘텐츠(602)의 이질감이 발생하지 않는다(S440).
다음으로, 출력부(133)는 제어부(132)의 제어에 따라, 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 출력한다. 예를 들어, 출력부(133)는 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 영상 전송부(140)에 제공할 수 있다.
그러면, 영상 전송부(140)는 영상 처리 장치(130)로부터 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터를 제공받고, 제공받은 360도 영상 데이터를 기 설정된 압축방식, 비트레이트 및 전송 프로토콜 등에 맞추어 변환한 후 스트리밍 등의 전송방식을 이용하여 CDN 서버(150)로 전송할 수 있다.
그리고, CDN 서버(150)는 영상 전송부(140)로부터 전송받는 특정 콘텐츠가 PIP 형태로 삽입된 360도 영상 데이터에 대한 딜리버리 서비스를 제공한다. 예를 들어, CDN 서버(150)는 서비스 네트워크에 접속된 이동통신 단말이나 HMD 기기 등을 포함하는 클라이언트 단말의 요청에 따라 360도 영상 데이터를 스트리밍 등의 전송방식을 이용하여 제공할 수 있다.
지금까지 설명한 바와 같이, 본 발명의 실시예에 의하면, PIP 영상 표시법을 가상 현실 기술에 접목하여, 가상 현실용 영상 내의 일부 영역에 PIP 영상이 함께 표시되도록 할 때에 PIP 영상에 의하여 가상 현실 영상의 현실감 및 몰입도가 저하되지 않도록 한다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명의 실시예에 의하면, 360도 영상 데이터의 표시영상 내의 특정 영역 또는 임의 영역에 PIP 형태로 특정 콘텐츠를 삽입할 때에 특정 콘텐츠에 시각 효과를 반영함으로써, 360도 영상 데이터의 본 영상과 특정 콘텐츠가 함께 표시될 때에 이질감이 발생하지 않도록 한다. 이러한 PIP 영상 표시법을 가상 현실 기술에 접목하여, 가상 현실용 영상 내의 일부 영역에 PIP 영상이 함께 표시되도록 할 때에 PIP 영상에 의하여 가상 현실 영상의 현실감 및 몰입도가 저하되지 않도록 한다. 이처럼, 본 발명의 실시예는 360VR 영상 중계 서비스 등의 360도 영상 중계 서비스에 관련된 기술분야에 이용할 수 있다.
100: 360도 영상 중계 서비스 시스템
130: 영상 처리 장치
131: 영상 획득부
132: 제어부
133: 출력부
134: 저장부

Claims (7)

  1. 영상 처리 장치의 영상 처리 방법으로서,
    대상을 촬영한 영상 데이터와 상기 영상 데이터의 촬영 환경 정보를 획득하는 단계와,
    상기 촬영 환경 정보에 기초한 시각 효과를 결정하는 단계와,
    상기 영상 데이터의 표시 영상에 PIP(Picture In Picture) 형태로 표시될 수 있도록 특정 콘텐츠를 삽입하는 단계와,
    상기 특정 콘텐츠에 결정된 상기 시각효과를 반영하는 단계를 포함하는
    영상 처리 방법.
  2. 제 1 항에 있어서,
    상기 영상 데이터와 상기 특정 콘텐츠를 비교한 결과에 기초하여 상기 표시 영상내의 PIP 영역을 선정하는 단계를 더 포함하고,
    상기 삽입하는 단계는, 상기 선정된 PIP 영역에 상기 특정 콘텐츠를 삽입하는
    영상 처리 방법.
  3. 제 1 항에 있어서,
    상기 촬영 환경 정보는, 상기 대상에 영향을 주는 조명의 색상값 또는 휘도값을 포함하고,
    상기 시각효과는 상기 특정 콘텐츠를 표시할 때의 상기 특정 콘텐츠에 대한 색상값 조정 또는 휘도값 조정을 포함하는
    영상 처리 방법.
  4. 제 1 항에 있어서,
    상기 영상 데이터의 컬러 히스토그램(color histogram)을 분석한 결과에 기초하여 상기 촬영 환경 정보를 획득하는
    영상 처리 방법.
  5. 제 1 항에 있어서,
    상기 촬영 환경 정보는, 상기 영상 데이터의 영역별 평균 주파수를 포함하고,
    상기 시각 효과는, 상기 특정 콘텐츠를 표시할 때의 상기 특정 콘텐츠 내의 영역별 평균 주파수조정을 포함하는
    영상 처리 방법.
  6. 컴퓨터 프로그램을 저장하고 있는 컴퓨터 판독 가능 기록매체로서,
    제 1 항 내지 제 5 항 중 어느 한 항의 영상 처리 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 판독 가능한 기록매체.
  7. 컴퓨터 판독 가능한 기록매체에 저장되어 있는 컴퓨터 프로그램으로서,
    제 1 항 내지 제 5 항 중 어느 한 항의 영상 처리 방법을 프로세서가 수행하도록 하기 위한 명령어를 포함하는
    컴퓨터 프로그램.

KR1020210027748A 2019-10-01 2021-03-02 영상 처리 장치 및 방법 KR102337699B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210027748A KR102337699B1 (ko) 2019-10-01 2021-03-02 영상 처리 장치 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190121694A KR102241240B1 (ko) 2019-10-01 2019-10-01 영상 처리 장치 및 방법
KR1020210027748A KR102337699B1 (ko) 2019-10-01 2021-03-02 영상 처리 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190121694A Division KR102241240B1 (ko) 2019-10-01 2019-10-01 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210039343A KR20210039343A (ko) 2021-04-09
KR102337699B1 true KR102337699B1 (ko) 2021-12-09

Family

ID=78866192

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210027748A KR102337699B1 (ko) 2019-10-01 2021-03-02 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102337699B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5662738B2 (ja) * 2010-08-23 2015-02-04 ミツミ電機株式会社 輝度制御装置及び輝度制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140106221A (ko) * 2013-02-26 2014-09-03 삼성전자주식회사 다수 이미지 센서를 이용한 촬영방법 및 장치
KR20190027165A (ko) * 2017-09-06 2019-03-14 단국대학교 산학협력단 복수 이미지의 특징을 통일하는 이미지 조정 시스템 및 방법
KR102013450B1 (ko) 2019-02-27 2019-08-22 주식회사 테크노블러드코리아 다수개의 화면을 이용한 중계 콘텐츠 제공 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5662738B2 (ja) * 2010-08-23 2015-02-04 ミツミ電機株式会社 輝度制御装置及び輝度制御方法

Also Published As

Publication number Publication date
KR20210039343A (ko) 2021-04-09

Similar Documents

Publication Publication Date Title
US9774896B2 (en) Network synchronized camera settings
US20170180680A1 (en) Object following view presentation method and system
US11694303B2 (en) Method and apparatus for providing 360 stitching workflow and parameter
US20080253685A1 (en) Image and video stitching and viewing method and system
CN113064684B (zh) 一种虚拟现实设备及vr场景截屏方法
WO2020013077A1 (ja) 装置、制御方法、及びプログラム
CN112738534A (zh) 数据处理方法及系统、服务器和存储介质
CN112738495B (zh) 虚拟视点图像生成方法、系统、电子设备及存储介质
US20180338093A1 (en) Eye-tracking-based image transmission method, device and system
WO2018148076A1 (en) System and method for automated positioning of augmented reality content
JP2016532386A (ja) ビデオを表示する方法及びビデオを表示する装置
CN111542862A (zh) 用于处理和分发直播虚拟现实内容的方法和设备
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
KR102337699B1 (ko) 영상 처리 장치 및 방법
KR102241240B1 (ko) 영상 처리 장치 및 방법
CN113784084A (zh) 一种处理方法及装置
US11825191B2 (en) Method for assisting the acquisition of media content at a scene
JP5962692B2 (ja) 端末装置、及びプログラム
KR20180092411A (ko) 다원 방송 송출 방법 및 장치
WO2020066008A1 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
CN112738009A (zh) 数据同步方法、设备、同步系统、介质和服务器
CN112738646A (zh) 数据处理方法、设备、系统、可读存储介质及服务器
KR20140045636A (ko) 레이어드 파노라마 영상 생성 장치
US20240015264A1 (en) System for broadcasting volumetric videoconferences in 3d animated virtual environment with audio information, and procedure for operating said device
US20240155095A1 (en) Systems and methods for processing volumetric images

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant