KR102227506B1 - 실감형 콘텐츠 제공 장치 및 방법 - Google Patents

실감형 콘텐츠 제공 장치 및 방법 Download PDF

Info

Publication number
KR102227506B1
KR102227506B1 KR1020210003853A KR20210003853A KR102227506B1 KR 102227506 B1 KR102227506 B1 KR 102227506B1 KR 1020210003853 A KR1020210003853 A KR 1020210003853A KR 20210003853 A KR20210003853 A KR 20210003853A KR 102227506 B1 KR102227506 B1 KR 102227506B1
Authority
KR
South Korea
Prior art keywords
image
technique
interest
user
region
Prior art date
Application number
KR1020210003853A
Other languages
English (en)
Other versions
KR20210008889A (ko
Inventor
김녹원
Original Assignee
주식회사 딥엑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥엑스 filed Critical 주식회사 딥엑스
Publication of KR20210008889A publication Critical patent/KR20210008889A/ko
Application granted granted Critical
Publication of KR102227506B1 publication Critical patent/KR102227506B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치는, 영상을 수신하도록 구성되고, 상기 영상 중 관심 영역의 이미지를 전처리하기 위한 학습된 인공신경망을 활용하여 Demosaicing 기법, WDR(Wide Dynamic Range), HDR(High Dynamic Range) 기법, Deblur 기법, Denoise 기법, Color Tone mapping기법, White Balance 기법 및 Decompression 기법 중 적어도 하나를 통해서 상기 관심 영역의 영상 개선 처리를 수행하도록 구성된 영상 개선 모듈; 및상기 개선 처리된 영상을 실시간으로 출력하도록 구성된 디스플레이를 포함한다.

Description

실감형 콘텐츠 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING REALISTIC CONTENTS}
본 개시는 실감형 콘텐츠 제공 장치 및 방법에 관한 것으로, 보다 상세하게는, 감지된 사용자의 움직임 정보에 기초하여 실감형 콘텐츠의 관심 영역을 결정하고, 결정된 관심 영역에 대한 영상 개선 처리를 수행할 수 있는 실감형 콘텐츠를 제공하는 장치 및 방법에 관한 것이다.
2D 디스플레이 기반의 3차원 세계와는 다르게, 사용자를 중심으로 360도 상하좌우의 전방향의 영상이 생성되어 디스플레이로 제공된다. 사용자의 전방향에 대해 영상을 제공하기 때문에 디스플레이의 해상도나 영상의 해상도가 낮으면 픽셀이 마치 모기장처럼 보이는 "스크린 도어 이펙트" 현상이 나타나 몰입감이 현저히 떨어질 수 있다. 따라서, 사실적인 입체감과 원근감을 가진 가상현실을 구현하기 위해서는 저해상도의 이미지로부터 고해상도의 이미지로 복원하는 초해상도 기술(예를 들어, FHD로부터 4K 또는 8K 영상 변환)의 중요도가 더욱 높아지고 있다.
또한, 가상현실 및 증강현실은 양쪽 눈의 시차를 활용하여 입체감과 원근감을 표현하기 때문에 영상의 반응 속도가 낮은 경우, 사용자의 시각과 영상의 오차로 인해, 어지러움을 느낄 수 있다. 따라서, 실시간으로 변화하는 사용자의 시각에 따라 영상 또한, 잔상없이 매끄럽게 움직이도록 구현하는 기술도 요구된다.
본 명세서에서 개시되는 실시예들은, 움직임 감지기를 이용하여 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지하고, 감지된 움직임 및 시선 중 적어도 하나에 기초하여 실감형 콘텐츠에서 사용자의 관심 영역을 결정하고, 결정된 관심 영역에 대응되는 목적 영상에 대한 영상 개선 처리를 수행할 수 있는, 실감형 콘텐츠 제공 장치 및 방법에 관한 것이다.
본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치는, 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지하도록 구성된 움직임 감지기, 영상을 수신하고, 움직임 감지기로부터 감지된 움직임 및 시선 중 적어도 하나에 기초하여 영상으로부터 장치의 디스플레이에 투사될 관심 영역(Region of Interest)을 결정하도록 구성된 ROI 영상 추출 모듈, 결정된 관심 영역에 대응되는 목적 영상에 대한 영상 개선 처리를 수행하도록 구성된 영상 개선 모듈 및 영상 개선 처리가 수행된 목적 영상을 포함한 영상을 출력하도록 구성된 디스플레이 장치를 포함할 수 있다.
본 개시의 다른 실시예에 따른 머리 착용 디스플레이(Head Mounted Display) 장치에 의해, 실감형 콘텐츠를 제공하는 방법은, 가상 현실 영상(video)을 수신하는 단계, 머리 착용 디스플레이를 착용한 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지하는 단계, 감지된 움직임 및 시선 중 적어도 하나에 기초하여 관심 영역을 결정하는 단계, 결정된 관심 영역에 대응되는 수신된 가상 현실 영상의 부분에 대한 영상 개선 처리를 수행하는 단계 및 영상 개선 처리가 수행된 가상 현실 영상의 부분을 포함한 영상을 머리 착용 디스플레이 장치의 디스플레이에 출력하는 단계를 포함할 수 있다.
본 개시의 다양한 실시예들에 따르면, 사용자의 움직임 정보에 기초하여 실감형 콘텐츠의 관심 영역을 결정할 수 있고, 결정된 관심영역의 화질을 개선함으로써, 사용자에게 고화질 영상을 제공할 수 있다. 이와 같이 개선된 영상이 사용자에게 제공되면서도 이에 필요한 연산량은 최소화될 수 있다.
또한, 영상처리에 필요한 연산량이 최소화됨으로써, 실감형 콘텐츠를 처리하는 연산 속도가 높아질 수 있고, 나아가 영상의 반응 속도가 높아질 수 있다. 이에 따라, 잔상 없는 매끄럽고 자연스러운 영상이 사용자에게 제공됨으로써 사용자의 실감형 미디어에 대한 몰입감은 극대화될 수 있다.
본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조 번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치에 의해 수신된 영상에 대해 실시간으로 영상 처리 및 출력을 수행하는 환경을 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치의 상세 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 머리 착용 디스플레이 장치가 실감형 콘텐츠 제공 장치로서 제공되는 예시도이다.
도 4는 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치에 의해 제공되는 실감형 콘텐츠가 입체적 공간으로 표시되었을 때의 예시도이다.
도 5는 본 개시의 일 실시예에 따른 사용자가 바라보는 시야의 각도에 기초하여 정의될 수 있는 관심 영역의 범위를 나타낸 예시도이다.
도 6은 본 개시의 일 실시예에 따른 움직임 감지기로부터 감지된 사용자의 시선에 기초하여 결정된 관심 영역을 영상 개선 처리하는 과정을 나타낸 예시도이다.
도 7은 본 개시의 다른 실시예에 따른 움직임 감지기로부터 감지된 사용자의
시선에 기초하여 결정된 관심 영역을 영상 개선 처리하는 과정을 나타낸 예시도이다.
도 8은 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치의 움직임 감지기로부터 감지된 사용자의 시선에 기초하여 결정된 관심 영역에 증강현실 영상을 합성함으로써, 증강 현실 환경을 제공하는 과정을 나타낸 예시도이다.
도 9는 본 개시의 일 실시예에 따른 머리 착용 디스플레이 장치에 의해 실감형 콘텐츠를 제공하는 방법을 나타낸 순서도이다.
이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.
첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응되는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.
개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 명세서에서 사용되는 "부" 또는 "모듈"이라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, "부" 또는 "모듈"은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 "모듈"들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 "모듈"들로 결합되거나 추가적인 구성요소들과 "부" 또는 "모듈"들로 더 분리될 수 있다.
본 개시의 일 실시예에 따르면 "부" 또는 "모듈"은 프로세서 및 메모리로 구현될 수 있다. 용어 "프로세서" 는 범용 프로세서, 중앙 처리 장치 (CPU), 마이크로프로세서, 디지털 신호 프로세서 (DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서는, "프로세서" 는 주문형 반도체 (ASIC), 프로그램가능 로직 디바이스 (PLD), 필드 프로그램가능 게이트 어레이 (FPGA) 등을 지칭할 수도 있다. 용어 "프로세서" 는, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다.
또한, 본 명세서에서, 용어 "서버" 또는 "클라이언트"는 "서버 장치" 또는 "클라이언트 장치"를 각각 포함할 수 있다.
또한, 용어 "메모리" 는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. 용어 메모리는 임의 액세스 메모리 (RAM), 판독-전용 메모리 (ROM), 비-휘발성 임의 액세스 메모리 (NVRAM), 프로그램가능 판독-전용 메모리 (PROM), 소거-프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능 PROM (EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.
또한, 용어 "실시간(real time)"은 전자 교환 시스템이나 공통 제어시스템에서 계속하여 입력되는 정보를 중단시킴 없이 계속하여 처리해야 하며 입력처리를 감당하지 못할 경우에도 입력이 대기 또는 지연될 수 없다는 것을 포함할 수 있다. 또한, "실시간"은 컴퓨터에 의한 정보 처리 방식으로 데이터가 발생한 시점에서 필요한 계산 처리를 즉시 수행하여 그 결과를 데이터가 발생한 곳 또는 데이터가 필요한 곳에 되돌려 보내는 방식을 포함할 수 있다. 또한, "실시간"은, 물리적인 과정이 진행되는 실제의 시간으로 자료 발생과 동시에 그 자료를 처리하고 필요한 결과를 얻어내기까지 소요되는 시간을 의미하며 컴퓨터를 이용하는 형태의 하나로 사용자가 요구하는 자료를 처리하여 결과를 즉시 알려주는 방식을 포함할 수 있고, 데이터가 입력되는 즉시 처리하는 컴퓨터작업 처리 방식을 포함할 수 있다. 예를 들어, 수신된 영상에 대한 영상 개선 처리하여 디스플레이에 실시간으로 제공하는 방식은, 수신된 영상에 대한 즉시 영상 개선 처리하여 디스플레이에 제공함으로써 잔상이 없으며 매끄럽고 자연스러운 영상이 사용자에게 제공되는 방식을 포함할 수 있다.
본 개시의 실감형 콘텐츠 제공 장치는 이미지 센서 및/또는 통신 모듈을 구비한 임의의 장치일 수 있다. 실감형 콘텐츠 제공 장치는 통신 모듈을 구비하여 네트워크 연결이 가능하고, 실감형 콘텐츠를 위한 영상에 대한 영상 처리를 수행할 수 있는 전자기기를 포함할 수 있다. 예를 들어, 실감형 콘텐츠 제공 장치는 AR 기기 및/또는 VR 기기일 수 있으나, 이에 한정되지 않으며, 실감형 콘텐츠(예를 들어, 가상현실(VR) 영상, 증강현실(AR) 영상 등)에 대한 영상 개선 처리를 수행할 수 있으며 실시간으로 출력 장치에 출력할 수 있는 임의의 적절한 장치를 포함할 수 있다.
도 1은 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치(120)에 의해 수신된 영상에 대해 실시간으로 영상 처리 및 출력을 수행하는 환경을 나타내는 도면이다.
일 실시예에서, 외부 장치(110_1 내지 110_n; 여기서, n은 1 이상의 정수)는 다른 장치와 통신 가능하도록 통신 모듈을 구비하고 있으며, 하나 이상의 영상 및 이미지 중 적어도 하나를 저장하는 것이 가능한 임의의 장치일 수 있다. 예를 들어, 외부 장치(110_1 내지 110_n; 여기서, n은 1 이상의 정수)는 서버 장치, 스마트폰, 태블릿 PC, 노트북, PDA(Personal Digital Assistants) 또는 이동통신 단말기 등일 수 있다. 복수의 외부 장치(110_1 내지 110_n)의 각각은 저장된 하나 이상의 영상들을 통신 네트워크(130)를 통해 실감형 콘텐츠 제공 장치(120)로 전송할 수 있다. 여기서, 하나 이상의 영상은 360도 영상을 포함할 수 있으며, 증강현실(augmented reality; 이하 'AR') 및/또는 가상현실(virtual reality; 이하 'VR') 환경을 지원할 수 있는 영상을 포함할 수 있다. 예를 들어, 360도 영상은, 사용자의 머리 움직임 및/또는 시선에 따라 사용자가 볼 수 있는 각도 및 방향에 해당되는 영상을 포함할 수 있다.
실감형 콘텐츠 제공 장치(120)는 통신 네트워크(130)를 통해 복수 개의 외부 장치(110_1 내지 110_n) 중 적어도 하나로부터 하나 이상의 AR 영상 및/또는 VR 영상을 수신할 수 있다. 여기서, 실감형 콘텐츠 제공 장치(120)는 AR 영상 및 VR 영상 중 적어도 하나의 영상을 처리 또는 제공할 수 있으며 출력 장치(예시: 디스플레이 장치, 스피커 등)를 포함할 수 있다. 예를 들어, 실감형 콘텐츠 제공 장치(120)는 이러한 장치(120)를 착용한 사용자의 시각에 따른 영상을 실시간으로 출력하도록 구성될 수 있다. 일 실시예에 따르면, 수신된 하나 이상의 영상은 상용화된 압축 기술(예시: MPEG 등)로 압축된 AR 및/또는 VR 영상을 포함할 수 있다. 이에 더하여 또는 이와 달리, 수신된 하나 이상의 영상은 실감형 콘텐츠 제공 장치(120)의 디스플레이에서 지원하는 해상도(예를 들어, 4K 또는 8K)보다 저해상도(예시: full HD)를 가진 AR 및/또는 VR 영상을 포함할 수 있다.
일 실시예에 따르면, 실감형 콘텐츠 제공 장치(120)는 수신된 영상의 전부 또는 일부를 장치(120) 또는 이와 연관된 기기를 착용한 사용자의 움직임 정보(예를 들어, 사용자의 머리 움직임 및/또는 사용자의 시선 움직임)에 기초하여 영상 개선 처리를 수행할 수 있고, 영상 처리 연산이 수행된 영상을 디스플레이로 실시간으로 출력하여 사용자에게 제공할 수 있다. 일 실시예에서, 실감형 콘텐츠 제공 장치(120)는 사용자의 움직임 정보에 기초하여 사용자가 보는 영역, 즉, 디스플레이에 투사될 관심 영역(ROI: Region of Interest)을 결정하고, 관심 영역에 대한 영상 개선 처리를 수행할 수 있다.
일 실시예에 따르면, 수신된 영상이 저해상도 영상인 경우, 이러한 영상 처리는, 실감형 콘텐츠 제공 장치(120)의 고해상도 디스플레이에 출력되도록 초해상화 연산을 수행할 수 있다. 다른 실시예에 따르면, 수신된 영상이 압축 기술로 압축된 영상인 경우, 실감형 콘텐츠 제공 장치(120)에서 디스플레이될 때 압축 디코딩이 요구될 수 있다. 또 다른 실시예에 따르면, 실감형 콘텐츠 제공 장치(120)는 수신된 영상을 실감형 콘텐츠 제공 장치(120)의 디스플레이에 출력할 때, 영상화질 개선 연산을 수행할 수 있다. 여기서는, 초해상도 연산, 압축 디코딩, 영상 화질 개선 연산을 각기 상이한 실시예로 설명되었지만, 실감형 콘텐츠 제공 장치(120)는 수신된 영상에 따라 초해상도 연산, 압축 디코딩 연산 및 영상 화질 개선 연산 중 복수의 연산 처리를 수행할 수 있다. 이러한 영상 처리를 통해 사용자의 몰입감을 극대화하기 위한 체감 영상 화질이 개선되면서도 이에 필요한 연산량은 최소화될 수 있다. 실감형 콘텐츠 제공 장치(120)가 영상을 수신하고 영상 개선 처리를 수행하는 과정은 도 2를 참조하여 상세히 설명한다.
도 2는 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치(120)의 상세 구성을 나타내는 블록도이다. 도 2에 도시된 바와 같이, 실감형 콘텐츠 제공 장치(120)는, 통신 모듈(210), 영상 저장부(220), 움직임 감지기(230), 이미지 센서(240), 디스플레이 장치(250), 제어부(260)를 포함할 수 있다. 여기서, 제어부(260)는, 영상 생성 모듈(262), ROI 영상 추출 모듈(264) 및 영상 개선 모듈(266)을 포함할 수 있다.
실감형 콘텐츠 제공 장치(120)는 통신 모듈(210)을 통해 서버 또는 다른 사용자 단말 등과 같은 외부 장치와 통신할 수 있다. 통신 모듈(210)은 통신 네트워크를 통해 사용자 단말기이나 서버 등과 같은 외부 장치와 통신하도록 구성되어 외부 장치를 통해 촬영된 AR/VR 이미지 및/또는 영상이나, 외부 장치에 저장된 AR/VR 이미지 및/또는 영상을 수신할 수 있다.
일 실시예에 따르면, 통신 모듈(210)은 복수의 외부 장치의 적어도 하나와 통신하여 하나 이상의 영상(예를 들어, 가상현실(VR) 영상, 증강현실(AR) 영상 등)을 수신할 수 있고, 이러한 영상들은 제어부(260)로 제공될 수 있다. 이상에서 설명한 통신 모듈(210)은 설치환경에 따라 예를 들어, 이더넷(Ethernet), 유선 홈 네트워크(Power Line Communication), 전화선 통신 장치 및 RS-serial 통신 등의 유선 네트워크 또는 WLAN(Wireless LAN), Bluetooth 및 지그비(ZigBee) 등과 같은 무선 네트워크로 다양하게 선택되어 구성될 수 있다.
제어부(260)는 수신한 영상들을 영상 개선 처리를 수행하여 디스플레이 장치(250)에 출력해 사용자에게 제공할 수 있다. 일 실시예에서, 제어부(260)는 수신한 영상들을 영상 저장부(220)에 저장할 수도 있다. 영상 저장부(220)는 실감형 콘텐츠 제공 장치(120)의 다양한 기능을 지원하기 위한 영상 데이터를 저장하도록 구성된 임의의 저장 장치를 포함할 수 있다. 다른 실시예에 따르면, 실감형 콘텐츠 제공 장치(120)의 영상 저장부(220)는 통신 모듈(210)로부터 수신된 복수 개의 영상(예를 들어, 가상현실(VR) 영상, 증강현실(AR) 영상 등)을 저장할 수 있고, 제어부(260)는 영상 저장부(220)로부터 저장된 복수 개의 영상 중 적어도 하나의 영상을 읽어오거나 검색할 수 있다. 또한, 실감형 콘텐츠 제공 장치(120)는 접속단자를 구비하여 메모리 카드(예를 들어, 컴팩트 플래시 카드, SD 메모리 카드, USB 메모리 등)와 같이 실감형 콘텐츠를 저장할 수 있는 다양한 저장기기가 삽입될 수 있다. 실감형 콘텐츠 제공 장치(120)에 삽입가능한 저장기기는 이에 한정되지 않으며, 영상을 저장할 수 있는 임의의 저장기기를 포함할 수 있다. 제어부(260)는 저장기기로부터 적어도 하나의 영상을 읽어오거나 검색할 수 있으며, 해당 영상을 영상 저장부(220)에 저장할 수도 있다.
제어부(260)는 통신 모듈(210) 또는 영상 저장부(220)로부터 영상을 수신할 수 있으며, 이러한 수신된 영상을 기초로 가상현실(Virtual Reality) 또는 증강현실(Augmented Reality) 영상으로 생성하여 디스플레이 장치(250)로 출력해 사용자에게 제공할 수 있다. 디스플레이 장치(250)는 제어부(260)의 제어에 따라 실감형 콘텐츠와 관련된 이미지나, 영상을 출력하거나, 이미지 상에 영상을 오버레이(overlay)하여 재생할 수 있다. 디스플레이 장치(250)는 미리 설정된 인터페이스(예를 들어, 터치 디스플레이, 마이크로폰, 동작 인식 센서 등)를 통해 명령 신호(예를 들어, 실감형 콘텐츠 선택과 같은 동작에 관한 명령 신호)를 입력 받을 수 있다. 디스플레이 장치(250)는 수신된 가상현실 또는 증강현실 영상을 표시할 수 있는 디스플레이를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 장치(250)는 투명 글래스를 포함할 수 있으며, 영상 개선 처리가 수행된 증강 현실 영상을 투명 글래스 상의 관심 영역에 출력하도록 구성될 수 있다. 투명 글래스 상의 관심 영역을 출력하는 구성은 도 8을 참조하여 상세히 설명된다.
움직임 감지기(230)는 사용자의 움직임을 감지하도록 구성될 수 있으며, 감지된 사용자의 움직임을 제어부(260)로 전송할 수 있다. 일 실시예에 따르면, 움직임 감지기(230)는 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지하도록 구성될 수 있다. 여기서, 사용자의 움직임은 사용자의 시선 정보(예를 들어, 사용자의 동공의 위치), 사용자의 머리 방향 정보 및 머리 기울기 정보 중 적어도 하나를 포함할 수 있다. 도 2에서는 실감형 콘텐츠 제공 장치(120)가 움직임 감지기(230)에 포함된다고 개시되어 있으나, 이에 한정되지 않으며, 이러한 움직임 감지기(230)는 실감형 콘텐츠 제공 장치(120)와 별도로 설치되어, 감지된 움직임을 제어부(260)로 제공하도록 구성될 수 있다.
제어부(260)의 ROI 영상 추출 모듈(264)은 움직임 감지기(230)로부터 감지된 움직임 정보에 기초하여 사용자의 관심 영역(Region of Interest)을 결정할 수 있다. 일 실시예에서, ROI 영상 추출 모듈(264)은 움직임 감지기(230)로부터 제공된 사용자의 움직임 정보에 기초하여 사용자의 머리 방향 및 머리 기울기 중 적어도 하나를 결정할 수 있다. 결정된 사용자의 머리 방향 및 머리 기울기 중 적어도 하나에 기초하여 관심 영역을 결정할 수 있다. 다른 실시예에서, 움직임 감지기(230)는, 실감형 콘텐츠 제공 장치(120)를 착용한 사용자의 동공의 위치를 검출하여 검출된 동공의 위치정보를 움직임 정보로서 ROI 영상 추출 모듈(264)에 제공할 수 있다. 예를 들어, 움직임 감지기(230)는 디스플레이 장치(250)에 배치되어 사용자의 동공의 위치를 검출하도록 구성될 수 있다. ROI 영상 추출 모듈(264)은 동공의 위치정보에 기초하여 사용자가 바라보는 디스플레이 장치(250) 상에서 사용자의 시선의 위치를 결정할 수 있고, 결정된 사용자의 시선의 위치에 기초하여 사용자가 관심있는 영역을 결정할 수 있다. 또 다른 실시예에 따르면, ROI 영상 추출 모듈(264)은 움직임 감지기(230)로부터 감지된 사용자의 움직임 정보(머리 움직임 및/또는 시선 움직임)에 기초하여 투명 글래스로 구성된 디스플레이 장치 상에 표시될 관심 영역을 결정하도록 구성될 수 있다. 위에서 설명된 관심 영역은 움직임 감지기(230)으로 부터 제공받은 사용자의 움직임 정보에 따라 실시간으로 변경될 수 있다. 이러한 관심 영역은 영상 개선 모듈(266)로 제공될 수 있다.
영상 개선 모듈(266)은 ROI 영상 추출 모듈(264)로부터 사용자의 결정된 관심 영역을 수신하면, 관심 영역에 기초하여 수신된 영상에 대한 영상 처리를 수행할 수 있다. 일 실시예에 따르면, 영상 개선 모듈(266)은 수신된 관심 영역에 대응하는 목적 영상에 대한 영상 개선 처리를 수행하도록 구성될 수 있다. 다른 실시예에 따르면, 영상 개선 모듈(266)은 관심 영역에 표시될 증강 현실 영상을 수신하고, 수신된 증강 현실 영상에 대한 영상 개선 처리를 하도록 구성될 수 있다. 도 2에 도시된 바에 같이, 영상 개선 모듈(266)은 압축 디코딩 연산 처리 모듈(270), 영상 전처리 연산 모듈(272) 및 초해상화 연산 처리 모듈(274)을 포함하도록 구성될 수 있다.
일 실시예에서, 압축 디코딩 연산 처리 모듈(270)은 수신된 영상(예를 들어, 가상현실(VR) 영상)이 압축 기술로 인한 압축 영상인 경우, ROI 영상 추출 모듈(264)로부터 결정된 관심 영역에 해당되는 영상의 부분에 적용된 압축을 디코딩하여 디스플레이 장치(250)에 출력되도록 할 수 있다. 여기서, 압축 영상은 예를 들어, HEVC, H.265, MPEG 등의 상용화된 영상 압축 기술로 압축된 영상일 수 있다.
압축 디코딩 연산 처리 모듈(270)이 관심 영역에 대응되는 영상의 부분에 적용된 압축을 디코딩한다고 설명하였으나, 이에 한정되지 않으며, 수신된 영상(예를 들어, VR 영상, AR 영상 등)이 압축 영상인 경우, 화질개선 처리과정(예를 들어, 전처리 연산 처리 및 초해상화 연산 처리 등)을 적용하기에 앞서, 압축 디코딩 연산 처리 모듈(270)은 수신된 영상을 압축 디코딩 연산 처리할 수 있다. 예를 들어, 수신된 영상 전체를 디코딩 할 수 있다. 이와 달리, 수신된 영상이 압축되거나 인코딩되지 않은 영상인 경우에는 압축 디코딩 연산 처리 모듈(270)에 의해 디코딩 연산 처리과정이 적용될 필요가 없다.
영상 개선 모듈(266)은 ROI 영상 추출 모듈(264)로부터 결정된 관심 영역에 해당되는 영상을 처리하여 화질을 개선하도록 구성될 수 있다. 영상 개선 모듈(266)의 영상 전처리 연산 모듈(272)은 해당 관심 영역에 대응되는 영상의 퀄리티를 높이기 위해 영상(예를 들어, 가상 현실)의 대응되는 부분에 대해 전처리 연산을 수행하도록 구성될 수 있다. 예를 들어, 영상 전처리 연산 모듈(272)은 관심 영역에 해당되는 영상을 나타내는 임의의 이미지 파라미터를 조정할 수 있다. 여기서, 이미지 파라미터를 조정하는 기술은 영상을 전처리하는 기술을 포함할 수 있으며, Demosaicing 기법, WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range) 기법, Deblur 기법, Denoise 기법, Color Tone mapping 기법, White Balance 기법 및 Decompression 기법 중 적어도 하나의 기법을 포함할 수 있다.
영상을 전처리하는 기술은 현재 영상을 전처리하기 위한 영상 신호 처리 기술, 기계학습 방법을 이용하여 영상을 전처리하는 기술 및 딥러닝 학습 방법을 이용하여 영상을 전처리하는 기술 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 영상 전처리 연산 모듈(272)은 관심 영역에 대한 영상을 나타내는 복수의 이미지 파라미터를 영상 신호 처리하도록 구성될 수 있다. 예를 들어, 복수의 이미지 파라미터의 각각은 순차적으로 영상 신호 처리될 수 있다. 즉, 복수의 이미지 파라미터 중 하나의 파라미터가 전처리된 이후 처리된 파라미터를 가진 영상에 대해 다른 이미지 파라미터의 전처리가 진행되도록 구성될 수 있다.
다른 실시예에 따르면, 영상 전처리 연산 모듈(272)은 관심 영역에 대한 영상을 나타내는 복수의 이미지 파라미터를 전처리하기 위한 전처리 확률 모델을 포함하도록 구성될 수 있다. 여기서, 전처리 확률 모델은 다양한 참조 이미지 또는 영상을 이용하여 기계학습을 통해 학습될 수 있으며, 입력된 관심 영역에 대한 영상이 입력되면, 이러한 영상을 전처리한 영상을 출력하도록 구성될 수 있다. 또 다른 실시예에 따르면, 영상 전처리 연산 모듈(272)은 관심 영역에 대한 영상을 나타내는 복수의 이미지 파라미터를 전처리하기 위한 학습된 인공신경망(예를 들어, 딥 뉴럴 네트워크 등)을 포함할 수 있다. 여기서 인공신경망은 다양한 참조 이미지 또는 영상을 이용하여 학습될 수 있으며, 입력된 관심 영역에 대한 영상이 입력되면, 이러한 영상을 전처리한 영상을 출력하도록 구성될 수 있다.
영상 전처리 연산 모듈(272)이 관심 영역에 해당되는 영상의 부분을 전처리하여 화질을 개선한다고 설명하였으나, 이에 한정되지 않는다. 화질을 개선하여 시각적으로 선명한 화질을 구현하기 위해(예를 들어, 압축 영상인 경우, 압축으로 인해 손실된 부분을 원본 영상에 가깝도록 보정함 - Decompression 기법) 필요에 따라 수신된 영상에 대해 화질 개선처리 과정을 수행할 수도 있다. 일 실시예에 따르면, 영상 전처리 연산 모듈(272)은 수신된 영상의 전체 영역에 대해 전처리 연산을 수행할 수 있다.
영상 개선 모듈(266)은, ROI 영상 추출 모듈(264)로부터 결정된 관심 영역의 해상도를 높이도록 구성될 수 있다(즉, 초해상화). 여기서, 이러한 해상화는 기존의 보간법 또는 최근 소개되는 딥러닝 알고리즘을 통해 구현될 수 있다. 예를 들어, 사용자의 시선이 위치한 관심 영역의 해상도를 고품질(예를 들어, 4K 또는 8K)로 렌더링할 수 있고, 사용자의 시선이 벗어나면 보통 품질(예를 들어, Full HD)로 렌더링할 수 있다.
일 실시예에 따르면, 영상 개선 모듈(266)의 초해상화 연산 처리 모듈(274)은 관심 영역에 대응되는 수신된 가상 현실의 영상의 부분에 대한 초해상화 (Super Resolution) 연산 처리를 수행할 수 있다. 일 실시예에 따르면, 영상 전처리 연산 모듈(272)에 의해 관심 영역에 대응되는 영상의 부분에 전처리 연산이 수행되어 화질이 개선되고 나면, 초해상화 연산 처리 모듈(274)은 전처리가 수행된 관심 영역에 대응하는 영상의 부분의 해상도를 높이는 초해상화 (Super Resolution) 연산을 수행할 수 있다. 따라서, 디스플레이에 출력하고자 하는 영상이 고품질이 아니더라도(예를 들어, 저해상도의 영상), 사용자가 관심있는 영역만을 전처리 연산 및/또는 초해상화 연산을 처리하여 필요한 연산량을 최소화시킬 수 있으며, 영상 화질을 개선하여 사용자의 몰입감을 극대화할 수 있는 영상을 제공 가능하다. 또한, 앞서 설명한 바와 같이, 수신된 영상이 영상을 출력하는 디스플레이의 해상도(예를 들어, 4K, 8K 등)에 비해 저해상도(예: Full HD 등)를 가지더라도 초해상화 연산 처리를 통해 관심 영역을 고해상도로 출력 가능하다.
본 실시예에서는, 관심 영역에 대응하는 수신된 가상 현실의 영상의 부분에 대한 전처리 연산 및 초해상화 연산이 함께 처리되는 구성을 개시하였으나, 수신된 영상에 따라 관심 영역에 대응하는 수신된 가상 현실의 영상의 부분에 대한 압축 디코딩 연산, 전처리 연산 및 초해상도 연산의 임의의 조합의 연산이 처리될 수 있다. ROI 영상 추출 모듈(264)에 의해 관심 영역이 결정되고, 영상 개선 모듈(266)에 의해 실감형 콘텐츠를 포함하는 영상을 결정된 관심 영역에 기초하여 영상처리 연산을 수행하는 과정에 대해서는 이하 도 5 내지 도 8을 참조하여 상세히 설명한다. 이렇게 영상 개선 처리된 가상현실 영상 또는 증강현실 영상은 디스플레이 장치(250)에 제공될 수 있다.
이미지 센서(240)는 사용자에게 보여주고자 하는 실제 현실에 대한 이미지 및/또는 영상을 촬영하도록 구성될 수 있다. 예를 들어, 이미지 센서(240)는 사용자가 관심있는 영역(예를 들어, 사용자가 바라보는 방향 중 일부)을 촬영하여 이미지 또는 영상을 생성할 수 있다. 일 실시예에서, 이미지 센서(240)는 사용자의 움직임 정보에 따라 촬영되도록 구성될 수 있다. 이렇게 생성된 이미지 또는 영상은 제어부(260)의 영상 생성 모듈(262)에 제공될 수 있다. 영상 생성 모듈(262)은 이미지 센서(240)로부터 촬영된 이미지 또는 영상을 수신하여 실감형 콘텐츠(예를 들어, AR 영상)을 생성할 수 있다. 일 실시예에서, 영상 생성 모듈(262)은 이미지 센서로부터 촬영된 이미지 및/또는 영상을 수신하여 이미지 및/또는 영상에 포함된 이미지에 해당하는 영역 또는 그 일부 영역에 증강현실 콘텐츠(예를 들어, 증강현실 이미지 및/또는 증강현실 영상 등)를 합성시켜 증강현실 영상을 생성할 수 있다. 이러한 증강현실 콘텐츠는, 영상 개선 모듈(266)에 의해 영상 개선 처리된 목적 영상을 포함할 수 있다. 이러한 영상 개선 처리된 목적 영상은, 앞서 설명드린 바와 같이, 압축 디코딩 연산 처리 모듈(270), 영상 전처리 연산 모듈(272) 및 초해상화 연산 처리 모듈(274) 중 적어도 하나 이상의 처리 모듈에 의해 영상 처리된 영상을 포함할 수 있다. 영상 생성 모듈(262)을 통해 생성된 이미지 및/또는 영상은 영상 저장부(220)로 전송되어 저장되거나 사용자에게 제공하기 위하여 디스플레이 장치(250)로 제공될 수 있다.
실감형 콘텐츠 제공 장치(120)는, 사용자의 움직임 정보에 기초하여 관심 영역을 결정하고, 결정된 관심 영역에 기초하여 영상처리의 연산을 수행함으로써, 사용자에게 몰입감 있는 실감형 콘텐츠를 제공할 수 있다. 나아가, 관심 영역만을 고해상도로 연산 처리함으로써 필수 연산량이 최소화되어 디지털 렌더링에 대한 부하가 줄일 수 있다.
도 3은 본 개시의 일 실시예에 따른 머리 착용 디스플레이 장치((Head Mounted Display: HMD) 장치, 310)가 실감형 콘텐츠 제공 장치로서 제공되는 예시도이다. 본 실시예에서, 머리 착용 디스플레이 장치(310)는 실감형 콘텐츠 제공 장치(120)의 동일 또는 유사한 구성을 포함하도록 구성될 수 있다. 머리 착용 디스플레이 장치(310)는 AR 영상 및/또는 VR 영상을 지원하도록 구성될 수 있으며, 이러한 영상을 표시할 수 있는 디스플레이를 포함할 수 있다. 이에 따라, 이러한 머리 착용 디스플레이 장치(310)를 착용한 사용자는 머리 착용 디스플레이 장치(310)에서 제공하는 디스플레이를 이용하여 실감형 콘텐츠를 신청할 수 있다. 머리 착용 디스플레이 장치(310)는 미리 설정된 인터페이스(예를 들어, 터치 디스플레이, 마이크로폰, 동작 인식 센서 등)를 통해 명령 신호(예를 들어, 실감형 콘텐츠 선택과 같은 동작에 관한 명령 신호)를 수신할 수 있으며, 수신된 명령 신호에 따라 동작될 수 있다. 머리 착용 디스플레이 장치(310)는 실감형 콘텐츠 제공 장치의 예시로써, 이에 한정되지 않으며, 안경형, 헬멧형, 모자형 등과 같이, 인체의 두부에 착용할 수 있는 다양한 형태로 구성될 수 있다.
도 3에 도시된 바와 같이, 실감형 콘텐츠 제공 장치의 디스플레이는 사용자의 우안 및 좌안 중 적어도 하나에 대응하도록 배치되어 사용자의 눈 앞에서 영상이 직접 출력되도록 구성될 수 있다. 도 2를 참고하여 설명한 바와 같이, 머리 착용 디스플레이 장치(310)는 움직임 감지기를 포함하도록 구성되어 머리 착용 디스플레이 장치(310)를 착용한 사용자의 머리 움직임을 감지할 수 있다. 일 실시예에서, 머리 착용 디스플레이 장치(310)의 움직임 감지기는 사용자의 머리의 중심을 기준으로 x축, y 축 및 z축으로 움직이는 사용자의 머리 움직임을 감지할 수 있다. 여기서, 사용자의 머리 움직임은 머리 방향 및 머리 기울기 중 적어도 하나를 포함할 수 있다. 이렇게 측정된 머리 움직임을 기초로 사용자의 관심 영역이 결정될 수 있다.
도 4는 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치(410)에 의해 제공되는 실감형 콘텐츠가 입체적 공간으로 표시되었을 때의 예시도이다. 실감형 콘텐츠 제공 장치(410)는 복수의 외부 장치에서 제공하는 영상들(예를 들어, 가상현실(VR) 영상, 증강현실(AR) 영상 등)을 수신하거나, 실감형 콘텐츠 제공 장치의 영상 저장부에 저장된 영상들을 이용하여 사용자에게 실감형 콘텐츠를 제공할 수 있다. 도 4에 도시된 바와 같이, 사용자는 실감형 콘텐츠 제공 장치(410)(예를 들어, 머리 착용 디스플레이 장치(Head Mounted Display: HMD))를 착용하여 디스플레이 상에 제공된 영상을 시청할 수 있다. 본 실시예에서, 실감형 콘텐츠 제공 장치(410)는 실감형 콘텐츠 제공 장치(120)의 동일 또는 유사한 구성을 포함하도록 구성될 수 있다.
실감형 콘텐츠 제공 장치(410)에 의해 제공되는 실감형 콘텐츠는 가상현실(VR) 영상일 수 있다. 이러한 가상현실(VR) 영상은, 사용자에게 극대화된 생동감과 몰입감을 제공하기 위해 파노라마 이미지 및/또는 영상일 수 있다. 일 실시예에 따르면, VR 영상은 사용자를 중심축으로 하여 모든 방향(상하좌우 방향)의 시청을 지원하도록 하는 반구 형상의 파노라마 영상(420)일 수 있다. 예를 들어, 파노라마 영상(420)은 360도 뷰어를 지원하는 360도 영상일 수 있다. 360도 뷰어를 지원하는 360도 영상은, 실감형 콘텐츠 제공 장치(410)의 디스플레이 장치를 통해 사용자에게 출력될 수 있으며, 관심 영역(430)에 대응되는 목적 영상(440)을 포함할 수 있다. 여기서, 관심 영역(430)은 디스플레이 상에 출력되는 영상의 부분 영상인 목적 영상(440)에 대응될 수 있다. 예를 들어, 360도 영상은 도시된 바와 같이, 사용자의 움직임을 통해 결정된 관심 영역(430)에 대응되는 360도 영상의 부분 영상인 목적 영상(440)을 포함할 수 있다. 이러한 목적 영상(440)은 실감형 콘텐츠 제공 장치(410)의 영상 개선 모듈에 의해 영상 개선 처리된 영상을 포함할 수 있다. 또한, 실감형 콘텐츠 제공 장치(410)를 착용한 사람의 머리 움직임 및/또는 시선 정보에 기초하여 목적 영상(440)은 실시간으로 변경되어 표시될 수 있다. 이 때, 실감형 콘텐츠 제공 장치(410)의 영상 개선 모듈은 관심 영역(430)에 대응하는 부분 영상에 대한 영상 개선 처리를 실시간으로 수행하여, 디스플레이 장치에 제공할 수 있다. 이상에서 설명한 가상현실(VR) 영상은 장면 연출에 따라, 반구 형상, 구형상, 원통 형상 등과 같이 사용자가 가상현실 공간 안에 있는 느낌을 줄 수 있도록 구성될 수 있다.
도 5는 본 개시의 일 실시예에 따른 사용자가 바라보는 시야의 각도에 기초하여 정의될 수 있는 관심 영역(Region of Interest)의 범위(510)를 나타낸 예시도이다. 일 실시예에서, 관심 영역의 범위(510)는 사용자가 바라보는 시야의 각도, 즉 시야각에 기초하여 정의될 수 있다. 여기서, 관심 영역의 범위(510)는 움직임 감지기에 의해 검출된 머리의 위치(예를 들어, 머리 방향 및/또는 머리 기울기) 및/또는 시선의 위치(예를 들어, 동공의 위치)에 의해 정의될 수 있다. 도 5에 도시된 바와 같이, 영상을 시청하는 사용자는 일정 시야각을 가질 수 있다. 통상적으로, 시야각의 범위(520)는 양안의 위치에 따라 다를 수 있어 개개인 마다 시야각이 다르다. 따라서, 시야각의 범위(520)는 양안의 위치(예를 들어, 동공의 위치)에 기초하여 정의되도록 구성될 수 있다. 일 실시예에서, 시야각의 범위(520)는 사용자의 머리의 위치(예를 들어, 머리 방향, 머리 기울기) 및/또는 양안의 위치에 기초하여 정의될 수 있다. 일 예로서, 사람의 양안을 합친 시야각의 범위는 도시된 바와 같이 수평방향으로 180도, 수직방향으로 120도를 가질 수 있으나, 이에 한정되지 않으며, 다양한 각도로 정의될 수 있다.
관심 영역의 범위(510)는 움직임 감지기에 의해 검출된 머리의 위치 및/또는 양안의 위치를 통해 결정될 수 있으며, 시야각의 범위(520)와 같거나 더 작게 정의될 수 있다. 예를 들어, 관심 영역의 범위(510)는 시야각의 범위(520, 여기서, 수평 방향으로 180도, 수직 방향으로 120도)보다 작게 정의될 수 있다. 움직임 감지기는 머리의 위치 및/또는 동공의 위치를 검출할 수 있고, 검출한 머리의 위치 및/또는 동공의 위치를 통해 사용자의 시선의 위치 및 시선의 방향, 그리고 관심 영역의 범위(510)를 결정할 수 있다. 일 실시예에 따르면, 도 5에 도시된 바와 같이, 사용자의 머리(예를 들어, 두개골)의 위치를 검출하여 얼굴의 형상에 외접하는 사각형(530)을 생성할 수 있고, 사각형의 각 꼭지점의 위치(a, b, c, d)를 검출할 수 있다. 검출한 4개의 꼭지점(a, b, c, d)과 사용자의 후두부의 중심점(e)을 이은 선의 연장선과 디스플레이 상에서 만나는 위치(f, g, h, i)를 검출할 수 있다. 검출된 위치(f, g, h, i)에 기초하여 관심 영역의 범위(510)를 결정할 수 있다. 도시된 바와 같이, 디스플레이 상의 4개의 점(f, g, h, i)을 연결한 영역을 관심 영역의 범위(510)로 결정할 수 있다. 시야각의 범위(520) 및 관심 영역의 범위(510)를 정의하는 과정은 이상에서 설명한 예시에 한정되지 않으며, 다양한 방법으로서 정의 가능하다.
도 6은 본 개시의 일 실시예에 따른 움직임 감지기로부터 감지된 사용자의 시선에 기초하여 결정된 관심 영역을 영상 개선 처리하는 과정을 나타낸 예시도이다. 도 6에서, 실감형 콘텐츠 장치(120)는 사용자의 머리에 착용되어 있으나, 시선에 대한 설명을 위해 생략된다. ROI 영상 추출 모듈(264)은, 움직임 감지기(230)로부터 검출된 동공의 위치에 기초하여 디스플레이 장치 상에서 사용자의 시선의 위치를 결정할 수 있다.
일 실시예에서, ROI 영상 추출 모듈(264)은 좌안(610)의 동공의 위치(612)에서 좌안(610)의 시선 방향(630) 및 우안(620)의 동공의 위치(622)에서 우안(620)의 시선 방향(640)과 디스플레이 상에서 만나는 지점(j)을 검출하여 사용자의 시선의 위치점(j)으로 결정할 수 있다. 여기서, 좌안(610)의 시선 방향(630)은 좌안(610)이 응시하는 방향을 나타내고, 우안(620)의 시선 방향(640)은 우안(620)이 응시하는 방향을 나타낸다. ROI 영상 추출 모듈(264)은 미리 결정된 관심 영역(652)의 범위(650)의 중심점의 위치를 시선의 위치점(j)으로 지정하여 관심 영역(652)이 결정될 수 있다. 도 6a에 도시된 바와 같이, 사용자의 시선의 위치(j)에 기초하여 디스플레이에 투사될 관심 영역(652)을 결정할 수 있고, 영상 개선 모듈(266)은 결정된 관심 영역(652)에 대응되는 목적 영상에 대해 영상 개선 처리를 수행할 수 있다. 영상 개선 모듈(266)은 예를 들어, 관심 영역(652)의 해상도를 높일 수 있다. 도 6b를 참조하면, 도 6a에 도시된 관심 영역(652)에 비해 관심 영역(662)의 해상도가 높아진 것을 확인할 수 있다.
한편, 도 6c에 도시된 바와 같이, 사용자의 머리 및/또는 동공의 움직임으로부터 좌측 방향으로부터 우측 방향으로 이동되었다고 판단되는 경우(여기서, 사용자의 시선의 위치가 j지점에서 k지점으로 이동한 경우), 사용자의 움직임에 기초하여 관심 영역(682)을 새로이 결정할 수 있다. 이 경우에도, 도 6a에서 설명한 바와 같이, 좌안(610)의 시선 방향(660) 및 우안(620)의 시선 방향(670)에 기초하여 k지점이 사용자의 시선의 위치점으로 결정될 수 있고, 미리 결정된 관심 영역(682)의 범위(680)의 중심점의 위치(k)를 시선의 위치점(k)으로 지정하여 관심 영역(682)을 결정할 수 있다. 이와 달리, 관심 영역(682)의 범위는 미리 결정되어 있지 않고, 사용자의 시선에 따라 변경될 수 있다.
이상에서 설명한 바와 같이, 영상 개선 모듈(266)은 새로 결정된 관심 영역(682)에 대응되는 목적 영상에 대해 영상 개선 처리를 수행할 수 있다. 예를 들어, 관심 영역(682)에 해당되는 목적 영상에 대해 초해상화 연산 처리할 수 있다. 도 6d를 참조하면, 도 6c의 관심 영역(682)에 비해 초해상화 연산 처리된 관심 영역(692)의 해상도가 높아져 선명해진 것을 확인할 수 있다. 결정된 관심 영역의 화질 만을 개선하여 영상 처리에 필요한 연산량을 최소화할 수 있고, 이에 따라 사용자에게 제공되는 영상(예를 들어, 실감형 콘텐츠)의 반응 속도를 높일 수 있다. 따라서, 자연스러우면서도 몰입감 높은 실감형 콘텐츠를 사용자에게 제공할 수 있다.
이상에서, 영상 개선 모듈(266)이 관심 영역에 대응하는 목적 영상에 대해 해상도를 높이는 영상 개선 처리가 수행된다고 설명하였으나, 이에 한정되지 않으며, 앞서 설명한 압축 디코딩 연산, 전처리 연산 등 영상 개선과 관련된 다양한 연산이 처리될 수 있다. 일 실시예에 따르면, 영상 개선 모듈(266)은 관심 영역에 대응되는 목적 영상에 대해서만 영상 개선 처리하지 않으며, 전체 영상에 대해 영상 개선 처리를 수행하는 것과 같이, 필요에 따라 영상의 일부 또는 전부에 대해 영상 개선을 수행할 수 있다.
도 7은 본 개시의 다른 실시예에 따른 움직임 감지기(230)로부터 감지된 사용자의 시선에 기초하여 결정된 관심 영역을 영상 개선 처리하는 과정을 나타낸 예시도이다. 도 7에서, 실감형 콘텐츠 장치는 사용자의 머리에 착용되어 있으나, 시선에 대한 설명을 위해 생략된다.
일 실시예에서, 실감형 콘텐츠 장치는 움직임 감지기로부터 감지된 움직임과 시선 정보에 기초하여 관심 영역을 결정하여, 각 관심 영역에 따라 영상 개선 처리를 수행할 수 있다. 일 실시예에 따르면, ROI 영상 추출 모듈(264)은 움직임 감지기로부터 감지된 움직임에 기초하여 관심 영역을 결정할 수 있다. 도 5에서 설명한 바와 같이, ROI 영상 추출 모듈(264)은 머리 방향 및 머리 기울기 중 적어도 하나에 기초하여 사용자의 머리(예를 들어, 두개골)의 위치를 검출해 디스플레이 상에서의 관심 영역(752)의 범위(750)를 결정할 수 있다. 관심 영역(752)의 범위(750)에 기초하여 도 7a에 도시된 바와 같이, 머리 방향 및 머리 기울기에 기초한 관심 영역(752)을 결정할 수 있다.
또한, ROI 영상 추출 모듈(264)은 좌안(710)의 동공의 위치(712)에서 좌안(710)의 시선 방향(730) 및 우안(720)의 동공의 위치(722)에서 우안(720)의 시선 방향(740) 각각과 디스플레이 상에서 만나는 지점(l, m)을 검출하여 좌안(710) 및 우안(720) 각각의 관심 영역(760, 770)을 결정할 수 있다.
일 실시예에서, 영상 개선 모듈(266)은 각각의 관심 영역의 순위를 결정하고, 결정된 순위에 기초하여 각각의 관심 영역을 단계적으로 영상 개선 처리 연산(예를 들어, 초해상화 연산, 압축 디코딩 연산, 전처리 연산 등)을 할 수 있다. 예를 들어, 영상 개선 모듈(266)은 좌안 및 우안의 관심 영역이 겹치는 영역(780), 각각의 좌안 및 우안의 관심 영역(760, 770), 머리 방향 및 머리 기울기에 기초한 관심 영역(752)의 순서로 사용자의 관심 영역의 순위를 결정할 수 있다.
일 실시예에 따르면, 도 7b에 도시된 바와 같이, 결정된 순위에 기초하여, 영상 개선 모듈(266)은 좌안 및 우안의 관심 영역이 겹치는 영역(780)의 해상도를 가장 고품질(예를 들어, 8K)로, 각각의 좌안 및 우안의 관심 영역(760, 770)은 관심 영역이 겹치는 영역(780)의 해상도보다는 낮은 고품질(예를 들어, 4K)로, 머리 방향 및 머리 기울기에 기초한 관심 영역(752)의 해상도는 각각의 좌안 및 우안의 관심 영역(760, 770)의 해상도보다 더 낮은 고품질(예를 들어, 4K)로 렌더링할 수 있다. 각각의 관심 영역에 따라 영상 개선 처리연산을 수행하여 사용자에게 생동감과 몰입감이 극대화된 실감형 콘텐츠를 제공할 수 있다.
도 8은 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치(800)의 움직임 감지기로부터 감지된 사용자의 시선에 기초하여 결정된 관심 영역에 증강 현실 영상을 합성함으로써, 증강 현실 환경을 제공하는 과정을 나타낸 예시도이다. 본 실시예에서, 실감형 콘텐츠 제공 장치(800)는 실감형 콘텐츠 제공 장치(120)의 동일 또는 유사한 구성을 포함하도록 구성될 수 있다.
실감형 콘텐츠 제공 장치(800)의 ROI 영상 추출 모듈은 움직임 감지기가 감지한 사용자의 머리 움직임 및 시선 중 적어도 하나에 기초하여 수신된 영상으로부터 디스플레이 장치에 증강현실 이미지가 표시될 관심 영역(752)(Region of Interest)을 결정할 수 있다. 일 실시예에서, 사용자의 동공의 위치(812, 822)를 검출하여 좌안(810) 및 우안(820)의 시선 방향과 디스플레이 상에서 만나는 지점(l)을 검출할 수 있다. 도 8b에 도시된 바와 같이, 디스플레이 상에서 왼쪽 방향에 치우친 지점을 시선의 위치점(l)으로 결정할 수 있고, 해당 위치점(l)에 기초하여 관심 영역(852)을 결정할 수 있다. 도 8b에서는, 사용자의 시선에 기초하여 관심 영역에 결정하는 것으로 설명되었으나, 이에 한정되지 않으며, 사용자의 머리 움직임에 기초하거나, 머리 움직임 및 시선에 기초하여 관심 영역이 결정될 수도 있다.
일 실시예에서, 실감형 콘텐츠 제공 장치(800)는 사용자에게 보여주고자 하는 실제 현실에 대한 영상을 촬영하도록 구성된 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는, 도 8a에 도시된 바와 같이, 사람의 머리 움직임 및/또는 시선에 따라 사용자에게 보여주고자 하는 실제 현실이 변경될 수 있다. 또한, 실감형 콘텐츠 제공 장치(800)는 ROI 영상 추출 모듈로부터 수신된 관심 영역(852)에 대응하는 영역을 촬영된 영상으로부터 목적 영상으로서 추출할 수 있다. 실감형 콘텐츠 제공 장치(800)의 영상 생성 모듈은 목적 영상에 대응하는 증강 현실 영상(860)을 촬영된 실제 현실에 대한 영상에 합성시키고, 이렇게 합성된 영상을 도 8c에 도시된 바와 같이, 디스플레이 장치에 제공할 수 있다. 일 실시예에 따르면, 증강 현실 영상(860)을 촬영된 실제 현실에 대한 영상에 합성시키기 전에, 증강 현실 영상(860)은 실감형 콘텐츠 제공 장치의 영상 개선 모듈에 의해 영상 개선 처리될 수 있다.
다른 실시예에 따르면, 실감형 콘텐츠 제공 장치(800)는 사람의 눈을 통해 실제 현실을 보도록 구성된 투명 글래스를 포함하도록 구성될 수 있다. 여기서, 실감형 콘텐츠 제공 장치(800)의 디스플레이 장치는 투명 글래스 상에 구현될 수 있다. 즉, 사용자는 자신의 눈을 이용하여 투명 글래스를 통해 실제 현실을 볼 수 있을 뿐만 아니라, 투명 글래스 상의 디스플레이 장치에 의해 출력된 증강 현실 영상 또한 볼 수 있다. 본 실시예에서, 실감형 콘텐츠 제공 장치(800)의 ROI 영상 추출 모듈에 의해 결정된 관심 영역(852)은 투명 글래스 상에 표시될 영역을 포함할 수 있다. 실감형 콘텐츠 제공 장치(800)의 영상 생성 모듈은 증강 현실 영상(860)을 생성하고 디스플레이 장치를 통해 결정된 관심 영역에 생성된 증강 현실 영상(860)을 표시하여 일반 시야에 증강 현실 영상(860)을 오버랩시킬 수 있다. 일 예로, 이러한 증강 현실 영상(860)은 디스플레이 장치에 표시되기 전에 실감형 콘텐츠 제공 장치(800)의 영상 개선 모듈에 의해 영상 개선 처리될 수 있다.
도 9은 본 개시의 일 실시예에 따른 머리 착용 디스플레이 장치에 의해 실감형 콘텐츠를 제공하는 방법을 나타낸 순서도이다. 여기서, 머리 착용 디스플레이 장치는 실감형 콘텐츠 제공 장치(120)의 동일 또는 유사한 구성을 포함하도록 구성될 수 있다.
실감형 콘텐츠 제공 방법(900)은, 실감형 콘텐츠 제공 장치(120)는 가상 현실 영상(video)을 수신하는 단계(910)를 수행할 수 있다. 일 실시예에 따르면, 실감형 콘텐츠 제공 장치의 제어부는 실감형 콘텐츠 제공 요청에 기초하여 통신 모듈에 의해 외부 장치로부터 가상현실 영상을 수신할 수 있다. 다른 실시예에 따르면, 제어부는 영상 저장부로부터 저장된 가상현실 영상을 읽어올 수 있다. 여기서, 실감형 콘텐츠 제공 요청은, 사용자가 미리 설정된 인터페이스를 통해 시청하고자 하는 실감형 콘텐츠를 선택하는 동작일 수 있다.
가상 현실 영상을 수신하고 난 후, 머리 착용 디스플레이를 착용한 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지하는 단계(920)가 수행될 수 있다. 머리 착용 디스플레이에 구비된 움직임 감지기를 이용하여 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지할 수 있다.
그 후, 단계(930)에서는 감지된 움직임 및 시선 중 적어도 하나에 기초하여 관심 영역을 결정할 수 있다. 일 실시예에서, 움직임 감지기는 사용자의 머리 움직임을 감지하여 머리 움직임에 대한 정보를 ROI 영상 추출 모듈로 전송할 수 있다. ROI 영상 추출 모듈은 수신 받은 머리 움직임 정보에 기초하여 사용자의 머리 방향 및 머리 기울기 중 적어도 하나를 결정하고, 결정된 사용자의 머리 방향 및 머리 기울기 중 적어도 하나에 기초하여 관심 영역을 결정할 수 있다. 다른 실시예에 따르면, 움직임 감지기는 사용자의 동공 위치를 검출하도록 구성될 수 있으며, 검출된 동공의 위치에 기초하여 디스플레이 상에서 사용자의 시선의 위치를 결정할 수 있으며, 결정된 사용자의 시선 위치에 기초하여 관심 영역을 결정할 수 있다. 또 다른 실시예에 따르면, 움직임 감지기는 사용자의 머리 움직임 및 동공의 위치 모두를 고려하여 관심 영역을 결정하도록 구성될 수 있다.
관심 영역이 결정된 후, 실감형 콘텐츠 제공 장치(120)의 영상 개선 모듈은 수신된 가상 현실 영상에서 관심 영역에 대응되는 부분에 대한 영상 개선 처리하는 단계(940)를 수행할 수 있다. 일 실시예에 따르면, 영상 개선 모듈은 수신된 가상 현실 영상이 압축 영상일 경우, 결정된 관심 영역에 대응되는 가상 현실 영상의 부분에 대한 압축 디코딩 연산 처리를 수행할 수 있다. 다른 실시예에 따르면, 결정된 관심 영역에 대응되는 가상 현실 영상의 부분에 대한 전처리(예: Denoise, Deblur, High Dynamic Range, Color Tone Mapping, Defog, Brightness, Contrast, Auto White Balance, Back Light Compensation 등) 연산을 수행할 수 있다. 또 다른 실시예에 따르면, 관심 영역에 대응되는 수신된 가상 현실의 영상의 부분에 대한 초해상화 (Super Resolution) 연산 처리를 수행할 수 있다. 사용자가 관심있는 관심 영역만을 영상 개선 처리하여 사용자에게 고품질의 영상을 제공할 수 있다. 이와 달리, 영상 개선 모듈은 관심 영역에 대응되는 부분에 대한 압축 디코딩 연산 처리, 전처리 및 초해상화 연산 처리 중 복수의 연산 처리를 수행하도록 구성될 수 있다.
마지막으로, 제어부는 영상 개선 처리가 수행된 가상 현실 영상의 부분을 포함한 영상을 머리 착용 디스플레이 장치에 출력하여 실감형 콘텐츠를 사용자에게 제공하는 단계(950)를 수행할 수 있다.
상술한 실감형 콘텐츠 제공 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수도 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본원에 기술된 기법들은 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이러한 기법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 본원의 개시와 연계하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있음을 당업자들은 더 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능성의 관점에서 일반적으로 위에서 설명되었다. 그러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는 지의 여부는, 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자들은 각각의 특정 애플리케이션을 위해 다양한 방식들로 설명된 기능을 구현할 수도 있으나, 그러한 구현 결정들은 본 개시의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.
하드웨어 구현에서, 기법들을 수행하는 데 이용되는 프로세싱 유닛들은, 하나 이상의 ASIC들, DSP들, 디지털 신호 프로세싱 디바이스들 (digital signal processing devices; DSPD들), 프로그램가능 논리 디바이스들 (programmable logic devices; PLD들), 필드 프로그램가능 게이트 어레이들 (field programmable gate arrays; FPGA들), 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본원에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 컴퓨터, 또는 이들의 조합 내에서 구현될 수도 있다.
따라서, 본원의 개시와 연계하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, DSP, ASIC, FPGA나 다른 프로그램 가능 논리 디바이스, 이산 게이트나 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안에서, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성의 조합으로서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현에 있어서, 기법들은 랜덤 액세스 메모리 (random access memory; RAM), 판독 전용 메모리 (read-only memory; ROM), 불휘발성 RAM (non-volatile random access memory; NVRAM), PROM (programmable read-only memory), EPROM (erasable programmable read-only memory), EEPROM (electrically erasable PROM), 플래시 메모리, 컴팩트 디스크 (compact disc; CD), 자기 또는 광학 데이터 스토리지 디바이스 등과 같은 컴퓨터 판독가능 매체 상에 저장된 명령들로서 구현될 수도 있다. 명령들은 하나 이상의 프로세서들에 의해 실행가능할 수도 있고, 프로세서(들)로 하여금 본원에 설명된 기능의 특정 양태들을 수행하게 할 수도 있다.
소프트웨어로 구현되면, 상기 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독 가능한 매체 상에 저장되거나 또는 컴퓨터 판독 가능한 매체를 통해 전송될 수도 있다. 컴퓨터 판독가능 매체들은 한 장소에서 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하여 컴퓨터 저장 매체들 및 통신 매체들 양자를 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체들일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 소망의 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다.
예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 전송되면, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 본원에서 사용된 디스크 (disk) 와 디스크 (disc)는, CD, 레이저 디스크, 광 디스크, DVD (digital versatile disc), 플로피디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크들 (disks) 은 보통 자기적으로 데이터를 재생하고, 반면 디스크들 (discs) 은 레이저를 이용하여 광학적으로 데이터를 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 저장 매체 내에 상주할 수도 있다. 예시적인 저장 매체는, 프로세가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기록할 수 있도록, 프로세서에 커플링될 수 있다. 대안으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서와 저장 매체는 ASIC 내에 존재할 수도 있다. ASIC은 유저 단말 내에 존재할 수도 있다. 대안으로, 프로세서와 저장 매체는 유저 단말에서 개별 컴포넌트들로서 존재할 수도 있다.
본 개시의 앞선 설명은 당업자들이 본 개시를 행하거나 이용하는 것을 가능하게 하기 위해 제공된다. 본 개시의 다양한 수정예들이 당업자들에게 쉽게 자명할 것이고, 본원에 정의된 일반적인 원리들은 본 개시의 취지 또는 범위를 벗어나지 않으면서 다양한 변형예들에 적용될 수도 있다. 따라서, 본 개시는 본원에 설명된 예들에 제한되도록 의도된 것이 아니고, 본원에 개시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위가 부여되도록 의도된다.
비록 예시적인 구현예들이 하나 이상의 독립형 컴퓨터 시스템의 맥락에서 현재 개시된 주제의 양태들을 활용하는 것을 언급할 수도 있으나, 본 주제는 그렇게 제한되지 않고, 오히려 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 현재 개시된 주제의 양상들은 복수의 프로세싱 칩들이나 디바이스들에서 또는 그들에 걸쳐 구현될 수도 있고, 스토리지는 복수의 디바이스들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 디바이스들은 PC들, 네트워크 서버들, 및 핸드헬드 디바이스들을 포함할 수도 있다.
비록 본 주제가 구조적 특징들 및/또는 방법론적 작용들에 특정한 언어로 설명되었으나, 첨부된 청구항들에서 정의된 주제가 위에서 설명된 특정 특징들 또는 작용들로 반드시 제한되는 것은 아님이 이해될 것이다. 오히려, 위에서 설명된 특정 특징들 및 작용들은 청구항들을 구현하는 예시적인 형태로서 설명된다.
이 명세서에서 언급된 방법은 특정 실시예들을 통하여 설명되었지만, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀 질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.
110_1 내지 110_n: 외부 장치
120: 실감형 콘텐츠 제공 장치
130: 통신 네트워크
210: 통신 모듈
220: 영상 저장부
230: 움직임 감지기
240: 이미지 센서
250: 디스플레이 장치
260: 제어부
262: 영상 생성 모듈
264: ROI 영상 추출 모듈
266: 영상 개선 모듈
270: 압축 디코딩 연산 처리 모듈
272: 영상 전처리 연산 모듈
274: 초해상화 연산 처리 모듈

Claims (9)

  1. 영상을 수신하도록 구성되고, 상기 영상 중 관심 영역의 이미지를 전처리하기 위한 학습된 인공신경망을 활용하여 Demosaicing 기법, WDR(Wide Dynamic Range), HDR(High Dynamic Range) 기법, Deblur 기법, Denoise 기법, Color Tone mapping기법, White Balance 기법 및 Decompression 기법 중 적어도 하나를 통해서 상기 관심 영역의 영상 개선 처리를 수행하도록 구성된 영상 개선 모듈; 및상기 개선 처리된 영상을 실시간으로 출력하도록 구성된 디스플레이를 포함하는, 실감형 콘텐츠 제공장치.
  2. 영상을 수신하도록 구성된 통신 모듈; 및
    상기 영상 중 관심 영역의 이미지를 전처리하기 위한 학습된 인공신경망을 활용하여 Demosaicing 기법, WDR(Wide Dynamic Range), HDR(High Dynamic Range) 기법, Deblur 기법, Denoise 기법, Color Tone mapping기법, White Balance 기법 및 Decompression 기법 중 적어도 하나를 통해서 상기 관심 영역의 영상 개선 처리를 수행하도록 구성된 영상 개선 모듈;을 포함하는, 실감형 콘텐츠 제공장치.
  3. 제1항 또는 제2항에 있어서,
    상기 실감형 콘텐츠 제공장치는 머리 착용 장치인 것을 특징으로 하는, 실감형 콘텐츠 제공장치.
  4. 제1항 또는 제2항에 있어서,
    상기 실감형 콘텐츠 제공장치는 안경형, 헬멧형 또는 모자형인 것을 특징으로 하는, 실감형 콘텐츠 제공장치.
  5. 제1항 또는 제2항에 있어서,
    상기 영상은 가상 현실 영상 또는 증강 현실 영상인 것을 특징으로 하는, 실감형 콘텐츠 제공장치.
  6. 제1항 또는 제2항에 있어서,
    상기 영상은 파노라마 이미지 또는 360도 영상인 것을 특징으로 하는, 실감형 콘텐츠 제공장치.
  7. 제1항 또는 제2항에 있어서,
    상기 관심 영역의 범위는 사용자의 시야각의 범위를 고려하여 결정된, 실감형 콘텐츠 제공장치.
  8. 제1항에 있어서,
    상기 디스플레이는 사용자의 우안 및 좌안 중 적어도 하나에 대응되도록 배치된, 실감형 콘텐츠 제공장치.
  9. 제1항 또는 제2항에 있어서,
    압축 디코딩 연산 처리 모듈을 더 포함하고,
    상기 영상은 압축 영상이고, 상기 압축 디코딩 연산 처리 모듈에 의해서 상기 관심 영역에 해당되는 영상의 부분에 적용된 압축을 디코딩하도록 구성된, 실감형 콘텐츠 제공장치.
KR1020210003853A 2018-12-21 2021-01-12 실감형 콘텐츠 제공 장치 및 방법 KR102227506B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180167920 2018-12-21
KR20180167920 2018-12-21

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020190067579A Division KR102204212B1 (ko) 2018-12-21 2019-06-07 실감형 콘텐츠 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20210008889A KR20210008889A (ko) 2021-01-25
KR102227506B1 true KR102227506B1 (ko) 2021-03-12

Family

ID=71599566

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190067579A KR102204212B1 (ko) 2018-12-21 2019-06-07 실감형 콘텐츠 제공 장치 및 방법
KR1020210003853A KR102227506B1 (ko) 2018-12-21 2021-01-12 실감형 콘텐츠 제공 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020190067579A KR102204212B1 (ko) 2018-12-21 2019-06-07 실감형 콘텐츠 제공 장치 및 방법

Country Status (1)

Country Link
KR (2) KR102204212B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102511495B1 (ko) 2020-12-01 2023-03-17 서울과학기술대학교 산학협력단 실감형 콘텐츠 생성 방법
US20230319296A1 (en) * 2022-03-29 2023-10-05 Apple Inc. Energy efficient context relevant processing for content
CN115314658A (zh) * 2022-07-29 2022-11-08 京东方科技集团股份有限公司 基于三维显示的视频通信方法及系统
KR102559721B1 (ko) * 2022-11-16 2023-07-26 주식회사 지디에프랩 사용자의 시야 영역에 따라 영상을 선택적으로 복원하는 전자 장치의 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017146607A (ja) 2013-06-07 2017-08-24 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイでユーザーの動きに応答する画像レンダリング

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
KR102396794B1 (ko) * 2016-12-23 2022-05-13 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR102623391B1 (ko) * 2017-01-10 2024-01-11 삼성전자주식회사 영상 출력 방법 및 이를 지원하는 전자 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017146607A (ja) 2013-06-07 2017-08-24 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイでユーザーの動きに応答する画像レンダリング

Also Published As

Publication number Publication date
KR20200079162A (ko) 2020-07-02
KR102204212B1 (ko) 2021-01-19
KR20210008889A (ko) 2021-01-25

Similar Documents

Publication Publication Date Title
KR102227506B1 (ko) 실감형 콘텐츠 제공 장치 및 방법
US10859840B2 (en) Graphics rendering method and apparatus of virtual reality
US11900578B2 (en) Gaze direction-based adaptive pre-filtering of video data
CN110199267B (zh) 利用数据压缩进行实时图像转换的无缺失的高速缓存结构
US10643307B2 (en) Super-resolution based foveated rendering
KR102164723B1 (ko) 3-d 플레놉틱 비디오 이미지들을 생성하는 시스템 및 방법
CN108463765A (zh) 基于姿势信息在头戴式显示装置处编码图像数据
WO2017086263A1 (ja) 情報処理装置および画像生成方法
US9911214B2 (en) Display control method and display control apparatus
US9424767B2 (en) Local rendering of text in image
US10572764B1 (en) Adaptive stereo rendering to reduce motion sickness
JP6022709B1 (ja) プログラム、記録媒体、コンテンツ提供装置及び制御方法
US10083675B2 (en) Display control method and display control apparatus
JP2017097854A (ja) プログラム、記録媒体、コンテンツ提供装置及び制御方法
EP3330839A1 (en) Method and device for adapting an immersive content to the field of view of a user
US20190052868A1 (en) Wide viewing angle video processing system, wide viewing angle video transmitting and reproducing method, and computer program therefor
EP3996075A1 (en) Image rendering system and method
EP3961572A1 (en) Image rendering system and method
WO2022230253A1 (ja) 情報処理装置及び情報処理方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant