KR102204212B1 - Apparatus and method for providing realistic contents - Google Patents

Apparatus and method for providing realistic contents Download PDF

Info

Publication number
KR102204212B1
KR102204212B1 KR1020190067579A KR20190067579A KR102204212B1 KR 102204212 B1 KR102204212 B1 KR 102204212B1 KR 1020190067579 A KR1020190067579 A KR 1020190067579A KR 20190067579 A KR20190067579 A KR 20190067579A KR 102204212 B1 KR102204212 B1 KR 102204212B1
Authority
KR
South Korea
Prior art keywords
image
user
head
interest
region
Prior art date
Application number
KR1020190067579A
Other languages
Korean (ko)
Other versions
KR20200079162A (en
Inventor
김녹원
Original Assignee
주식회사 딥엑스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 딥엑스 filed Critical 주식회사 딥엑스
Publication of KR20200079162A publication Critical patent/KR20200079162A/en
Application granted granted Critical
Publication of KR102204212B1 publication Critical patent/KR102204212B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • H04N13/383Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치는, 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지하도록 구성된 움직임 감지기, 영상을 수신하고, 움직임 감지기로부터 감지된 움직임 및 시선 중 적어도 하나에 기초하여 영상으로부터 장치의 디스플레이에 투사될 관심 영역(Region of Interest)을 결정하도록 구성된 ROI 영상 추출 모듈, 결정된 관심 영역에 대응되는 목적 영상에 대한 영상 개선 처리를 수행하도록 구성된 영상 개선 모듈 및 영상 개선 처리가 수행된 목적 영상을 포함한 영상을 출력하도록 구성된 디스플레이 장치를 포함할 수 있다.A sensory content providing apparatus according to an embodiment of the present disclosure includes a motion detector configured to detect at least one of a movement of a user's head and a gaze, receiving an image, and based on at least one of a movement and gaze detected from the motion detector. An ROI image extraction module configured to determine a region of interest to be projected on the display of the device from an image, an image enhancement module configured to perform image enhancement processing on a target image corresponding to the determined region of interest, and image enhancement processing are performed. It may include a display device configured to output an image including the target image.

Description

실감형 콘텐츠 제공 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING REALISTIC CONTENTS}A device and method for providing immersive content {APPARATUS AND METHOD FOR PROVIDING REALISTIC CONTENTS}

본 개시는 실감형 콘텐츠 제공 장치 및 방법에 관한 것으로, 보다 상세하게는, 감지된 사용자의 움직임 정보에 기초하여 실감형 콘텐츠의 관심 영역을 결정하고, 결정된 관심 영역에 대한 영상 개선 처리를 수행할 수 있는 실감형 콘텐츠를 제공하는 장치 및 방법에 관한 것이다.The present disclosure relates to an apparatus and method for providing immersive content, and more particularly, to determine a region of interest of immersive content based on detected user motion information, and perform image improvement processing for the determined region of interest. It relates to an apparatus and method for providing immersive content.

최근, 소비자는 높은 해상도와 크기의 TV를 선호하며, 이에 초고해상도 디스플레이 패널이 계속해서 빠르게 시장에 출시되고 있다. 다만, 현재 영상 데이터 소스는 이전까지 생산된 촬영 장비를 이용하여 촬영된 영상이 대부분이기 때문에, 초고해상도 디스플레이 패널에서 지원하는 해상도보다 비교적 저해상도의 영상일 가능성이 높다. 즉, 고화질 영상의 콘텐츠가 많이 부족한 현실이다. 예를 들어, 현재 가정에 공급되는 케이블 영상 제공 서비스의 경우 UHD 채널이 1개라고 가정하면 FHD 채널은 200개 정도 된다. Recently, consumers prefer high-resolution and sized TVs, and thus, ultra-high resolution display panels are continuously being launched into the market rapidly. However, since most of the current image data sources are images captured using previously produced photographing equipment, there is a high possibility that the image has a relatively low resolution than the resolution supported by the ultra-high resolution display panel. In other words, it is a reality that a lot of content of high-definition video is insufficient. For example, in the case of a cable video service currently supplied to homes, assuming that there is one UHD channel, there are about 200 FHD channels.

한편, 미디어 환경은 방송통신의 융합과 디지털화로 인해 TV, 인터넷, 스마트폰을 넘어서 실감형 미디어로 진화하고 있다. 실감형 미디어는 산업 간의 융합을 기반으로 기존의 미디어와 융합을 통해 새로운 서비스 및 콘텐츠를 창출할 수 있다. 이러한, 실감형 미디어를 구현하기 위해서는 가상현실(Virtual Reality) 및/또는 증강현실(Augmented Reality) 기술이 필수적이다.Meanwhile, the media environment is evolving into immersive media beyond TV, the Internet, and smartphones due to the convergence and digitalization of broadcast communication. Realistic media can create new services and contents through convergence with existing media based on convergence between industries. Virtual Reality and/or Augmented Reality technologies are essential to realize such realistic media.

가상현실 및 증강현실 기술을 이용한 실감형 미디어를 구현하기 위해서는, 기존의 2D 디스플레이 기반의 3차원 세계와는 다르게, 사용자를 중심으로 360도 상하좌우의 전방향의 영상이 생성되어 디스플레이로 제공된다. 사용자의 전방향에 대해 영상을 제공하기 때문에 디스플레이의 해상도나 영상의 해상도가 낮으면 픽셀이 마치 모기장처럼 보이는 "스크린 도어 이펙트" 현상이 나타나 몰입감이 현저히 떨어질 수 있다. 따라서, 사실적인 입체감과 원근감을 가진 가상현실을 구현하기 위해서는 저해상도의 이미지로부터 고해상도의 이미지로 복원하는 초해상도 기술(예를 들어, FHD로부터 4K 또는 8K 영상 변환)의 중요도가 더욱 높아지고 있다.In order to implement immersive media using virtual reality and augmented reality technology, unlike a 3D world based on a conventional 2D display, 360-degree images in all directions of up, down, left, and right are created around a user and provided as a display. Since images are provided in all directions of the user, if the resolution of the display or the resolution of the image is low, a “screen door effect” phenomenon in which pixels look like mosquito nets may appear, resulting in a significant decrease in immersion. Therefore, in order to realize virtual reality with realistic three-dimensional effect and perspective, the importance of super-resolution technology (for example, 4K or 8K image conversion from FHD) that restores from low-resolution images to high-resolution images is increasing.

또한, 가상현실 및 증강현실은 양쪽 눈의 시차를 활용하여 입체감과 원근감을 표현하기 때문에 영상의 반응 속도가 낮은 경우, 사용자의 시각과 영상의 오차로 인해, 어지러움을 느낄 수 있다. 따라서, 실시간으로 변화하는 사용자의 시각에 따라 영상 또한, 잔상없이 매끄럽게 움직이도록 구현하는 기술도 요구된다.In addition, since virtual reality and augmented reality express a three-dimensional effect and perspective by utilizing the parallax of both eyes, when the reaction speed of an image is low, a user may feel dizzy due to an error between the user's vision and the image. Accordingly, there is a need for a technology that implements an image to move smoothly without an afterimage according to a user's perspective that changes in real time.

본 명세서에서 개시되는 실시예들은, 움직임 감지기를 이용하여 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지하고, 감지된 움직임 및 시선 중 적어도 하나에 기초하여 실감형 콘텐츠에서 사용자의 관심 영역을 결정하고, 결정된 관심 영역에 대응되는 목적 영상에 대한 영상 개선 처리를 수행할 수 있는, 실감형 콘텐츠 제공 장치 및 방법에 관한 것이다.The embodiments disclosed in the present specification detect at least one of the user's head movement and gaze using a motion detector, and determine a user's region of interest in immersive content based on at least one of the detected movement and gaze, The present invention relates to an apparatus and method for providing immersive content capable of performing image improvement processing on a target image corresponding to a determined region of interest.

본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치는, 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지하도록 구성된 움직임 감지기, 영상을 수신하고, 움직임 감지기로부터 감지된 움직임 및 시선 중 적어도 하나에 기초하여 영상으로부터 장치의 디스플레이에 투사될 관심 영역(Region of Interest)을 결정하도록 구성된 ROI 영상 추출 모듈, 결정된 관심 영역에 대응되는 목적 영상에 대한 영상 개선 처리를 수행하도록 구성된 영상 개선 모듈 및 영상 개선 처리가 수행된 목적 영상을 포함한 영상을 출력하도록 구성된 디스플레이 장치를 포함할 수 있다. A sensory content providing apparatus according to an embodiment of the present disclosure includes a motion detector configured to detect at least one of a movement of a user's head and a gaze, receiving an image, and based on at least one of a movement and gaze detected from the motion detector. An ROI image extraction module configured to determine a region of interest to be projected on the display of the device from an image, an image enhancement module configured to perform image enhancement processing on a target image corresponding to the determined region of interest, and image enhancement processing are performed. It may include a display device configured to output an image including the target image.

본 개시의 다른 실시예에 따른 머리 착용 디스플레이(Head Mounted Display) 장치에 의해, 실감형 콘텐츠를 제공하는 방법은, 가상 현실 영상(video)을 수신하는 단계, 머리 착용 디스플레이를 착용한 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지하는 단계, 감지된 움직임 및 시선 중 적어도 하나에 기초하여 관심 영역을 결정하는 단계, 결정된 관심 영역에 대응되는 수신된 가상 현실 영상의 부분에 대한 영상 개선 처리를 수행하는 단계 및 영상 개선 처리가 수행된 가상 현실 영상의 부분을 포함한 영상을 머리 착용 디스플레이 장치의 디스플레이에 출력하는 단계를 포함할 수 있다.A method of providing immersive content by a head mounted display device according to another exemplary embodiment of the present disclosure includes: receiving a virtual reality video, head movement of a user wearing a head mounted display And detecting at least one of the gaze, determining a region of interest based on at least one of the detected motion and the gaze, and performing image enhancement processing on a portion of the received virtual reality image corresponding to the determined region of interest. And outputting an image including a portion of the virtual reality image on which the image enhancement processing has been performed, on a display of the head worn display device.

본 개시의 다양한 실시예들에 따르면, 사용자의 움직임 정보에 기초하여 실감형 콘텐츠의 관심 영역을 결정할 수 있고, 결정된 관심영역의 화질을 개선함으로써, 사용자에게 고화질 영상을 제공할 수 있다. 이와 같이 개선된 영상이 사용자에게 제공되면서도 이에 필요한 연산량은 최소화될 수 있다.According to various embodiments of the present disclosure, a region of interest of sensory content may be determined based on motion information of a user, and quality of the determined region of interest may be improved, thereby providing a high quality image to a user. While the improved image is provided to the user, the amount of computation required for this can be minimized.

또한, 영상처리에 필요한 연산량이 최소화됨으로써, 실감형 콘텐츠를 처리하는 연산 속도가 높아질 수 있고, 나아가 영상의 반응 속도가 높아질 수 있다. 이에 따라, 잔상 없는 매끄럽고 자연스러운 영상이 사용자에게 제공됨으로써 사용자의 실감형 미디어에 대한 몰입감은 극대화될 수 있다. In addition, since the amount of computation required for image processing is minimized, the computational speed for processing immersive content can be increased, and further, the reaction speed of the image can be increased. Accordingly, a smooth and natural image without an afterimage is provided to the user, thereby maximizing the user's immersion in tangible media.

본 개시의 실시예들은, 이하 설명하는 첨부 도면들을 참조하여 설명될 것이며, 여기서 유사한 참조 번호는 유사한 요소들을 나타내지만, 이에 한정되지는 않는다.
도 1은 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치에 의해 수신된 영상에 대해 실시간으로 영상 처리 및 출력을 수행하는 환경을 나타내는 도면이다.
도 2는 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치의 상세 구성을 나타내는 블록도이다.
도 3은 본 개시의 일 실시예에 따른 머리 착용 디스플레이 장치가 실감형 콘텐츠 제공 장치로서 제공되는 예시도이다.
도 4는 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치에 의해 제공되는 실감형 콘텐츠가 입체적 공간으로 표시되었을 때의 예시도이다.
도 5는 본 개시의 일 실시예에 따른 사용자가 바라보는 시야의 각도에 기초하여 정의될 수 있는 관심 영역의 범위를 나타낸 예시도이다.
도 6은 본 개시의 일 실시예에 따른 움직임 감지기로부터 감지된 사용자의 시선에 기초하여 결정된 관심 영역을 영상 개선 처리하는 과정을 나타낸 예시도이다.
도 7은 본 개시의 다른 실시예에 따른 움직임 감지기로부터 감지된 사용자의
시선에 기초하여 결정된 관심 영역을 영상 개선 처리하는 과정을 나타낸 예시도이다.
도 8은 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치의 움직임 감지기로부터 감지된 사용자의 시선에 기초하여 결정된 관심 영역에 증강현실 영상을 합성함으로써, 증강 현실 환경을 제공하는 과정을 나타낸 예시도이다.
도 9는 본 개시의 일 실시예에 따른 머리 착용 디스플레이 장치에 의해 실감형 콘텐츠를 제공하는 방법을 나타낸 순서도이다.
Embodiments of the present disclosure will be described with reference to the accompanying drawings described below, in which like reference numerals denote like elements, but are not limited thereto.
1 is a diagram illustrating an environment in which image processing and output are performed in real time on an image received by a sensory content providing apparatus according to an exemplary embodiment of the present disclosure.
2 is a block diagram illustrating a detailed configuration of an apparatus for providing immersive content according to an embodiment of the present disclosure.
3 is an exemplary diagram in which a head-worn display device according to an embodiment of the present disclosure is provided as a sensory content providing device.
FIG. 4 is an exemplary diagram when a sensory content provided by a sensory content providing apparatus according to an embodiment of the present disclosure is displayed in a three-dimensional space.
5 is an exemplary diagram showing a range of an ROI that can be defined based on an angle of a field of view viewed by a user according to an embodiment of the present disclosure.
6 is an exemplary diagram illustrating a process of image enhancement processing an ROI determined based on a user's gaze detected by a motion detector according to an exemplary embodiment of the present disclosure.
7 is a view of a user detected from a motion detector according to another embodiment of the present disclosure.
It is an exemplary diagram showing a process of image enhancement processing an ROI determined based on a gaze.
8 is an exemplary view showing a process of providing an augmented reality environment by synthesizing an augmented reality image to a region of interest determined based on a user's gaze sensed from a motion sensor of a sensory content providing apparatus according to an embodiment of the present disclosure to be.
9 is a flowchart illustrating a method of providing immersive content by a head-worn display device according to an embodiment of the present disclosure.

이하, 본 개시의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 상세히 설명한다. 다만, 이하의 설명에서는 본 개시의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다. Hereinafter, with reference to the accompanying drawings, specific details for the implementation of the present disclosure will be described in detail. However, in the following description, when there is a concern that the subject matter of the present disclosure may be unnecessarily obscure, detailed descriptions of widely known functions or configurations will be omitted.

첨부된 도면에서, 동일하거나 대응하는 구성요소에는 동일한 참조부호가 부여되어 있다. 또한, 이하의 실시예들의 설명에 있어서, 동일하거나 대응되는 구성요소를 중복하여 기술하는 것이 생략될 수 있다. 그러나 구성요소에 관한 기술이 생략되어도, 그러한 구성요소가 어떤 실시예에 포함되지 않는 것으로 의도되지는 않는다.In the accompanying drawings, the same or corresponding elements are assigned the same reference numerals. In addition, in the description of the following embodiments, overlapping descriptions of the same or corresponding components may be omitted. However, even if description of a component is omitted, it is not intended that such component is not included in any embodiment.

개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시가 완전하도록 하고, 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.Advantages and features of the disclosed embodiments, and a method of achieving them will become apparent with reference to the embodiments described below together with the accompanying drawings. However, the present disclosure is not limited to the embodiments disclosed below, but may be implemented in a variety of different forms, and only these embodiments make the present disclosure complete, and those skilled in the art to which the present disclosure pertains. It is provided only to fully inform the person of the scope of the invention.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다. The terms used in the present specification will be briefly described, and the disclosed embodiments will be described in detail.

본 명세서에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present specification have selected general terms that are currently widely used as possible while considering functions in the present disclosure, but this may vary according to the intention or precedent of a technician engaged in a related field, the emergence of new technologies, and the like. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning of the terms will be described in detail in the description of the corresponding invention. Therefore, the terms used in the present disclosure should be defined based on the meaning of the term and the contents of the present disclosure, not the name of a simple term.

본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다. 또한 복수의 표현은 문맥상 명백하게 복수인 것으로 특정하지 않는 한, 단수의 표현을 포함한다.In this specification, expressions in the singular include plural expressions, unless the context clearly specifies that they are singular. In addition, plural expressions include expressions in the singular, unless the context clearly specifies that they are plural.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. When a part of the specification is said to "include" a certain component, it means that other components may be further included rather than excluding other components unless otherwise stated.

또한, 명세서에서 사용되는 "부" 또는 "모듈"이라는 용어는 소프트웨어 또는 하드웨어 구성요소를 의미하며, "부" 또는 "모듈"은 어떤 역할들을 수행한다. 그렇지만 "부" 또는 "모듈"은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부" 또는 "모듈"은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부" 또는 "모듈"은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부" 또는 "모듈"들은 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부" 또는 "모듈"들로 결합되거나 추가적인 구성요소들과 "부" 또는 "모듈"들로 더 분리될 수 있다.In addition, the terms "unit" or "module" used in the specification means software or hardware components, and "unit" or "module" performs certain roles. However, "unit" or "module" is not meant to be limited to software or hardware. The "unit" or "module" may be configured to be in an addressable storage medium or may be configured to reproduce one or more processors. Thus, as an example, "sub" or "module" refers to components such as software components, object-oriented software components, class components and task components, processes, functions, properties, It includes procedures, subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables. Components and the functions provided in "sub" or "module" may be combined into a smaller number of components and "sub" or "module" or into additional components and "sub" or "module" Can be further separated.

본 개시의 일 실시예에 따르면 "부" 또는 "모듈"은 프로세서 및 메모리로 구현될 수 있다. 용어 "프로세서" 는 범용 프로세서, 중앙 처리 장치 (CPU), 마이크로프로세서, 디지털 신호 프로세서 (DSP), 제어기, 마이크로제어기, 상태 머신 등을 포함하도록 넓게 해석되어야 한다. 몇몇 환경에서는, "프로세서" 는 주문형 반도체 (ASIC), 프로그램가능 로직 디바이스 (PLD), 필드 프로그램가능 게이트 어레이 (FPGA) 등을 지칭할 수도 있다. 용어 "프로세서" 는, 예를 들어, DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서들의 조합, DSP 코어와 결합한 하나 이상의 마이크로프로세서들의 조합, 또는 임의의 다른 그러한 구성들의 조합과 같은 처리 디바이스들의 조합을 지칭할 수도 있다.According to an embodiment of the present disclosure, a "unit" or a "module" may be implemented with a processor and a memory. The term “processor” is to be interpreted broadly to include general purpose processors, central processing units (CPUs), microprocessors, digital signal processors (DSPs), controllers, microcontrollers, state machines, and the like. In some circumstances, “processor” may refer to an application specific application (ASIC), programmable logic device (PLD), field programmable gate array (FPGA), and the like. The term “processor” refers to a combination of processing devices, such as, for example, a combination of a DSP and a microprocessor, a combination of a plurality of microprocessors, a combination of one or more microprocessors in combination with a DSP core, or any other such configuration. You can also refer to it.

또한, 본 명세서에서, 용어 "서버" 또는 "클라이언트"는 "서버 장치" 또는 "클라이언트 장치"를 각각 포함할 수 있다. In addition, in this specification, the terms "server" or "client" may include "server device" or "client device", respectively.

또한, 용어 "메모리" 는 전자 정보를 저장 가능한 임의의 전자 컴포넌트를 포함하도록 넓게 해석되어야 한다. 용어 메모리는 임의 액세스 메모리 (RAM), 판독-전용 메모리 (ROM), 비-휘발성 임의 액세스 메모리 (NVRAM), 프로그램가능 판독-전용 메모리 (PROM), 소거-프로그램가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능 PROM (EEPROM), 플래쉬 메모리, 자기 또는 광학 데이터 저장장치, 레지스터들 등과 같은 프로세서-판독가능 매체의 다양한 유형들을 지칭할 수도 있다. 프로세서가 메모리로부터 정보를 판독하고/하거나 메모리에 정보를 기록할 수 있다면 메모리는 프로세서와 전자 통신 상태에 있다고 불린다. 프로세서에 집적된 메모리는 프로세서와 전자 통신 상태에 있다.Also, the term "memory" should be interpreted broadly to include any electronic component capable of storing electronic information. The term memory refers to random access memory (RAM), read-only memory (ROM), non-volatile random access memory (NVRAM), programmable read-only memory (PROM), erase-programmable read-only memory (EPROM), electrical May refer to various types of processor-readable media such as erasable PROM (EEPROM), flash memory, magnetic or optical data storage, registers, and the like. The memory is said to be in electronic communication with the processor if it can read information from and/or write information to the memory. The memory integrated in the processor is in electronic communication with the processor.

또한, 용어 "실시간(real time)"은 전자 교환 시스템이나 공통 제어시스템에서 계속하여 입력되는 정보를 중단시킴 없이 계속하여 처리해야 하며 입력처리를 감당하지 못할 경우에도 입력이 대기 또는 지연될 수 없다는 것을 포함할 수 있다. 또한, "실시간"은 컴퓨터에 의한 정보 처리 방식으로 데이터가 발생한 시점에서 필요한 계산 처리를 즉시 수행하여 그 결과를 데이터가 발생한 곳 또는 데이터가 필요한 곳에 되돌려 보내는 방식을 포함할 수 있다. 또한, "실시간"은, 물리적인 과정이 진행되는 실제의 시간으로 자료 발생과 동시에 그 자료를 처리하고 필요한 결과를 얻어내기까지 소요되는 시간을 의미하며 컴퓨터를 이용하는 형태의 하나로 사용자가 요구하는 자료를 처리하여 결과를 즉시 알려주는 방식을 포함할 수 있고, 데이터가 입력되는 즉시 처리하는 컴퓨터작업 처리 방식을 포함할 수 있다. 예를 들어, 수신된 영상에 대한 영상 개선 처리하여 디스플레이에 실시간으로 제공하는 방식은, 수신된 영상에 대한 즉시 영상 개선 처리하여 디스플레이에 제공함으로써 잔상이 없으며 매끄럽고 자연스러운 영상이 사용자에게 제공되는 방식을 포함할 수 있다. In addition, the term "real time" indicates that the electronic switching system or common control system must continue to process information continuously without interruption, and that input cannot be waited or delayed even if the input processing cannot be handled. Can include. In addition, "real-time" may include a method of immediately performing necessary computational processing when data is generated in an information processing method by a computer and returning the result to a place where data is generated or where data is needed. In addition, "real-time" refers to the actual time that the physical process takes place, and means the time it takes to process the data and obtain the necessary results at the same time as the data is generated. It may include a method of processing and notifying the result immediately, and may include a method of processing a computer operation that processes data as soon as it is input. For example, the method of providing an image improvement process for a received image to the display in real time includes a method in which the received image is immediately image improved and provided to the display so that there is no afterimage and a smooth and natural image is provided to the user. can do.

본 개시의 실감형 콘텐츠 제공 장치는 이미지 센서 및/또는 통신 모듈을 구비한 임의의 장치일 수 있다. 실감형 콘텐츠 제공 장치는 통신 모듈을 구비하여 네트워크 연결이 가능하고, 실감형 콘텐츠를 위한 영상에 대한 영상 처리를 수행할 수 있는 전자기기를 포함할 수 있다. 예를 들어, 실감형 콘텐츠 제공 장치는 AR 기기 및/또는 VR 기기일 수 있으나, 이에 한정되지 않으며, 실감형 콘텐츠(예를 들어, 가상현실(VR) 영상, 증강현실(AR) 영상 등)에 대한 영상 개선 처리를 수행할 수 있으며 실시간으로 출력 장치에 출력할 수 있는 임의의 적절한 장치를 포함할 수 있다.The sensory content providing apparatus of the present disclosure may be any apparatus including an image sensor and/or a communication module. The sensory content providing device may include an electronic device capable of connecting to a network by having a communication module and performing image processing on an image for the sensory content. For example, the immersive content providing device may be an AR device and/or a VR device, but is not limited thereto, and the immersive content (for example, a virtual reality (VR) image, an augmented reality (AR) image, etc.) It may include any suitable device capable of performing image enhancement processing for and outputting to an output device in real time.

도 1은 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치(120)에 의해 수신된 영상에 대해 실시간으로 영상 처리 및 출력을 수행하는 환경을 나타내는 도면이다. FIG. 1 is a diagram illustrating an environment in which image processing and output are performed in real time on an image received by a sensory content providing apparatus 120 according to an exemplary embodiment of the present disclosure.

일 실시예에서, 외부 장치(110_1 내지 110_n; 여기서, n은 1 이상의 정수)는 다른 장치와 통신 가능하도록 통신 모듈을 구비하고 있으며, 하나 이상의 영상 및 이미지 중 적어도 하나를 저장하는 것이 가능한 임의의 장치일 수 있다. 예를 들어, 외부 장치(110_1 내지 110_n; 여기서, n은 1 이상의 정수)는 서버 장치, 스마트폰, 태블릿 PC, 노트북, PDA(Personal Digital Assistants) 또는 이동통신 단말기 등일 수 있다. 복수의 외부 장치(110_1 내지 110_n)의 각각은 저장된 하나 이상의 영상들을 통신 네트워크(130)를 통해 실감형 콘텐츠 제공 장치(120)로 전송할 수 있다. 여기서, 하나 이상의 영상은 360도 영상을 포함할 수 있으며, 증강현실(augmented reality; 이하 'AR') 및/또는 가상현실(virtual reality; 이하 'VR') 환경을 지원할 수 있는 영상을 포함할 수 있다. 예를 들어, 360도 영상은, 사용자의 머리 움직임 및/또는 시선에 따라 사용자가 볼 수 있는 각도 및 방향에 해당되는 영상을 포함할 수 있다. In one embodiment, the external devices 110_1 to 110_n; where n is an integer greater than or equal to 1) is provided with a communication module to enable communication with other devices, and any device capable of storing at least one of one or more images and images Can be For example, the external devices 110_1 to 110_n; where n is an integer greater than or equal to 1) may be a server device, a smart phone, a tablet PC, a notebook computer, personal digital assistants (PDAs), or a mobile communication terminal. Each of the plurality of external devices 110_1 to 110_n may transmit one or more stored images to the sensory content providing device 120 through the communication network 130. Here, the at least one image may include a 360-degree image, and may include an image capable of supporting an augmented reality (“AR”) and/or a virtual reality (“VR”) environment. have. For example, the 360-degree image may include an image corresponding to an angle and direction that the user can see according to the movement of the user's head and/or the line of sight.

실감형 콘텐츠 제공 장치(120)는 통신 네트워크(130)를 통해 복수 개의 외부 장치(110_1 내지 110_n) 중 적어도 하나로부터 하나 이상의 AR 영상 및/또는 VR 영상을 수신할 수 있다. 여기서, 실감형 콘텐츠 제공 장치(120)는 AR 영상 및 VR 영상 중 적어도 하나의 영상을 처리 또는 제공할 수 있으며 출력 장치(예시: 디스플레이 장치, 스피커 등)를 포함할 수 있다. 예를 들어, 실감형 콘텐츠 제공 장치(120)는 이러한 장치(120)를 착용한 사용자의 시각에 따른 영상을 실시간으로 출력하도록 구성될 수 있다. 일 실시예에 따르면, 수신된 하나 이상의 영상은 상용화된 압축 기술(예시: MPEG 등)로 압축된 AR 및/또는 VR 영상을 포함할 수 있다. 이에 더하여 또는 이와 달리, 수신된 하나 이상의 영상은 실감형 콘텐츠 제공 장치(120)의 디스플레이에서 지원하는 해상도(예를 들어, 4K 또는 8K)보다 저해상도(예시: full HD)를 가진 AR 및/또는 VR 영상을 포함할 수 있다. The sensory content providing device 120 may receive one or more AR images and/or VR images from at least one of the plurality of external devices 110_1 to 110_n through the communication network 130. Here, the sensory content providing device 120 may process or provide at least one of an AR image and a VR image, and may include an output device (eg, a display device, a speaker, etc.). For example, the sensory content providing device 120 may be configured to output an image according to the time of the user wearing the device 120 in real time. According to an embodiment, the received one or more images may include AR and/or VR images compressed with commercially available compression techniques (eg, MPEG, etc.). In addition or alternatively, the received one or more images are AR and/or VR having a lower resolution (e.g., full HD) than the resolution (e.g., 4K or 8K) supported by the display of the immersive content providing device 120 It may include an image.

일 실시예에 따르면, 실감형 콘텐츠 제공 장치(120)는 수신된 영상의 전부 또는 일부를 장치(120) 또는 이와 연관된 기기를 착용한 사용자의 움직임 정보(예를 들어, 사용자의 머리 움직임 및/또는 사용자의 시선 움직임)에 기초하여 영상 개선 처리를 수행할 수 있고, 영상 처리 연산이 수행된 영상을 디스플레이로 실시간으로 출력하여 사용자에게 제공할 수 있다. 일 실시예에서, 실감형 콘텐츠 제공 장치(120)는 사용자의 움직임 정보에 기초하여 사용자가 보는 영역, 즉, 디스플레이에 투사될 관심 영역(ROI: Region of Interest)을 결정하고, 관심 영역에 대한 영상 개선 처리를 수행할 수 있다. According to an embodiment, the immersive content providing device 120 transmits all or part of the received image to motion information of the user wearing the device 120 or a device associated therewith (eg, the user's head movement and/or An image enhancement process may be performed based on the user's gaze movement), and an image on which the image processing operation was performed may be output to a display in real time and provided to the user. In one embodiment, the sensory content providing device 120 determines a region viewed by the user, that is, a region of interest (ROI) to be projected on the display, based on the user's motion information, and determines an image for the region of interest. Improvement processing can be performed.

일 실시예에 따르면, 수신된 영상이 저해상도 영상인 경우, 이러한 영상 처리는, 실감형 콘텐츠 제공 장치(120)의 고해상도 디스플레이에 출력되도록 초해상화 연산을 수행할 수 있다. 다른 실시예에 따르면, 수신된 영상이 압축 기술로 압축된 영상인 경우, 실감형 콘텐츠 제공 장치(120)에서 디스플레이될 때 압축 디코딩이 요구될 수 있다. 또 다른 실시예에 따르면, 실감형 콘텐츠 제공 장치(120)는 수신된 영상을 실감형 콘텐츠 제공 장치(120)의 디스플레이에 출력할 때, 영상화질 개선 연산을 수행할 수 있다. 여기서는, 초해상도 연산, 압축 디코딩, 영상 화질 개선 연산을 각기 상이한 실시예로 설명되었지만, 실감형 콘텐츠 제공 장치(120)는 수신된 영상에 따라 초해상도 연산, 압축 디코딩 연산 및 영상 화질 개선 연산 중 복수의 연산 처리를 수행할 수 있다. 이러한 영상 처리를 통해 사용자의 몰입감을 극대화하기 위한 체감 영상 화질이 개선되면서도 이에 필요한 연산량은 최소화될 수 있다. 실감형 콘텐츠 제공 장치(120)가 영상을 수신하고 영상 개선 처리를 수행하는 과정은 도 2를 참조하여 상세히 설명한다.According to an embodiment, when the received image is a low-resolution image, such image processing may perform a super-resolution operation to be output on a high-resolution display of the immersive content providing apparatus 120. According to another embodiment, when the received image is an image compressed with a compression technique, compression decoding may be required when displayed in the immersive content providing apparatus 120. According to another embodiment, the sensory content providing device 120 may perform an image quality improvement operation when outputting the received image to the display of the sensory content providing device 120. Here, a super-resolution operation, compression decoding, and image quality improvement operation have been described in different embodiments, but the immersive content providing apparatus 120 includes a plurality of super-resolution operation, compression decoding operation, and image quality improvement operation according to the received image. Can perform the arithmetic processing of Through such image processing, while the haptic image quality for maximizing the user's immersion is improved, the amount of computation required for this may be minimized. A process in which the immersive content providing apparatus 120 receives an image and performs image enhancement processing will be described in detail with reference to FIG. 2.

도 2는 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치(120)의 상세 구성을 나타내는 블록도이다. 도 2에 도시된 바와 같이, 실감형 콘텐츠 제공 장치(120)는, 통신 모듈(210), 영상 저장부(220), 움직임 감지기(230), 이미지 센서(240), 디스플레이 장치(250), 제어부(260)를 포함할 수 있다. 여기서, 제어부(260)는, 영상 생성 모듈(262), ROI 영상 추출 모듈(264) 및 영상 개선 모듈(266)을 포함할 수 있다.2 is a block diagram showing a detailed configuration of a sensory content providing apparatus 120 according to an embodiment of the present disclosure. As shown in FIG. 2, the sensory content providing device 120 includes a communication module 210, an image storage unit 220, a motion detector 230, an image sensor 240, a display device 250, and a control unit. It may include 260. Here, the control unit 260 may include an image generation module 262, an ROI image extraction module 264, and an image enhancement module 266.

실감형 콘텐츠 제공 장치(120)는 통신 모듈(210)을 통해 서버 또는 다른 사용자 단말 등과 같은 외부 장치와 통신할 수 있다. 통신 모듈(210)은 통신 네트워크를 통해 사용자 단말기이나 서버 등과 같은 외부 장치와 통신하도록 구성되어 외부 장치를 통해 촬영된 AR/VR 이미지 및/또는 영상이나, 외부 장치에 저장된 AR/VR 이미지 및/또는 영상을 수신할 수 있다.The sensory content providing device 120 may communicate with an external device such as a server or another user terminal through the communication module 210. The communication module 210 is configured to communicate with an external device such as a user terminal or a server through a communication network, and an AR/VR image and/or image captured through an external device, or an AR/VR image and/or stored in an external device. You can receive video.

일 실시예에 따르면, 통신 모듈(210)은 복수의 외부 장치의 적어도 하나와 통신하여 하나 이상의 영상(예를 들어, 가상현실(VR) 영상, 증강현실(AR) 영상 등)을 수신할 수 있고, 이러한 영상들은 제어부(260)로 제공될 수 있다. 이상에서 설명한 통신 모듈(210)은 설치환경에 따라 예를 들어, 이더넷(Ethernet), 유선 홈 네트워크(Power Line Communication), 전화선 통신 장치 및 RS-serial 통신 등의 유선 네트워크 또는 WLAN(Wireless LAN), Bluetooth 및 지그비(ZigBee) 등과 같은 무선 네트워크로 다양하게 선택되어 구성될 수 있다.According to an embodiment, the communication module 210 may communicate with at least one of a plurality of external devices to receive one or more images (for example, a virtual reality (VR) image, an augmented reality (AR) image, etc.), and , These images may be provided to the controller 260. The communication module 210 described above is, for example, a wired network such as Ethernet, a wired home network (Power Line Communication), a telephone line communication device and RS-serial communication, or a wireless LAN (WLAN), depending on the installation environment. Wireless networks such as Bluetooth and ZigBee can be variously selected and configured.

제어부(260)는 수신한 영상들을 영상 개선 처리를 수행하여 디스플레이 장치(250)에 출력해 사용자에게 제공할 수 있다. 일 실시예에서, 제어부(260)는 수신한 영상들을 영상 저장부(220)에 저장할 수도 있다. 영상 저장부(220)는 실감형 콘텐츠 제공 장치(120)의 다양한 기능을 지원하기 위한 영상 데이터를 저장하도록 구성된 임의의 저장 장치를 포함할 수 있다. 다른 실시예에 따르면, 실감형 콘텐츠 제공 장치(120)의 영상 저장부(220)는 통신 모듈(210)로부터 수신된 복수 개의 영상(예를 들어, 가상현실(VR) 영상, 증강현실(AR) 영상 등)을 저장할 수 있고, 제어부(260)는 영상 저장부(220)로부터 저장된 복수 개의 영상 중 적어도 하나의 영상을 읽어오거나 검색할 수 있다. 또한, 실감형 콘텐츠 제공 장치(120)는 접속단자를 구비하여 메모리 카드(예를 들어, 컴팩트 플래시 카드, SD 메모리 카드, USB 메모리 등)와 같이 실감형 콘텐츠를 저장할 수 있는 다양한 저장기기가 삽입될 수 있다. 실감형 콘텐츠 제공 장치(120)에 삽입가능한 저장기기는 이에 한정되지 않으며, 영상을 저장할 수 있는 임의의 저장기기를 포함할 수 있다. 제어부(260)는 저장기기로부터 적어도 하나의 영상을 읽어오거나 검색할 수 있으며, 해당 영상을 영상 저장부(220)에 저장할 수도 있다. The controller 260 may output the received images to the display device 250 by performing image enhancement processing and provide the received images to the user. In an embodiment, the controller 260 may store the received images in the image storage unit 220. The image storage unit 220 may include any storage device configured to store image data for supporting various functions of the immersive content providing device 120. According to another embodiment, the image storage unit 220 of the immersive content providing device 120 includes a plurality of images (eg, a virtual reality (VR) image, an augmented reality (AR)) received from the communication module 210. Image, etc.), and the controller 260 may read or search at least one image from among a plurality of images stored from the image storage unit 220. In addition, the sensory content providing device 120 includes a connection terminal to insert a variety of storage devices capable of storing sensory content such as a memory card (eg, a compact flash card, an SD memory card, a USB memory, etc.). I can. The storage device insertable into the immersive content providing device 120 is not limited thereto, and may include any storage device capable of storing an image. The controller 260 may read or search at least one image from the storage device, and may store the corresponding image in the image storage unit 220.

제어부(260)는 통신 모듈(210) 또는 영상 저장부(220)로부터 영상을 수신할 수 있으며, 이러한 수신된 영상을 기초로 가상현실(Virtual Reality) 또는 증강현실(Augmented Reality) 영상으로 생성하여 디스플레이 장치(250)로 출력해 사용자에게 제공할 수 있다. 디스플레이 장치(250)는 제어부(260)의 제어에 따라 실감형 콘텐츠와 관련된 이미지나, 영상을 출력하거나, 이미지 상에 영상을 오버레이(overlay)하여 재생할 수 있다. 디스플레이 장치(250)는 미리 설정된 인터페이스(예를 들어, 터치 디스플레이, 마이크로폰, 동작 인식 센서 등)를 통해 명령 신호(예를 들어, 실감형 콘텐츠 선택과 같은 동작에 관한 명령 신호)를 입력 받을 수 있다. 디스플레이 장치(250)는 수신된 가상현실 또는 증강현실 영상을 표시할 수 있는 디스플레이를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 장치(250)는 투명 글래스를 포함할 수 있으며, 영상 개선 처리가 수행된 증강 현실 영상을 투명 글래스 상의 관심 영역에 출력하도록 구성될 수 있다. 투명 글래스 상의 관심 영역을 출력하는 구성은 도 8을 참조하여 상세히 설명된다. The control unit 260 may receive an image from the communication module 210 or the image storage unit 220, and generate and display a virtual reality or augmented reality image based on the received image. Output to the device 250 may be provided to the user. The display device 250 may output an image or an image related to immersive content according to the control of the controller 260, or may reproduce an image by overlaying an image on the image. The display device 250 may receive a command signal (eg, a command signal related to an operation such as immersive content selection) through a preset interface (eg, a touch display, a microphone, a motion recognition sensor, etc.). . The display device 250 may include a display capable of displaying the received virtual reality or augmented reality image. According to an embodiment, the display device 250 may include transparent glass, and may be configured to output an augmented reality image on which image enhancement processing has been performed to an ROI on the transparent glass. The configuration of outputting the region of interest on the transparent glass will be described in detail with reference to FIG. 8.

움직임 감지기(230)는 사용자의 움직임을 감지하도록 구성될 수 있으며, 감지된 사용자의 움직임을 제어부(260)로 전송할 수 있다. 일 실시예에 따르면, 움직임 감지기(230)는 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지하도록 구성될 수 있다. 여기서, 사용자의 움직임은 사용자의 시선 정보(예를 들어, 사용자의 동공의 위치), 사용자의 머리 방향 정보 및 머리 기울기 정보 중 적어도 하나를 포함할 수 있다. 도 2에서는 실감형 콘텐츠 제공 장치(120)가 움직임 감지기(230)에 포함된다고 개시되어 있으나, 이에 한정되지 않으며, 이러한 움직임 감지기(230)는 실감형 콘텐츠 제공 장치(120)와 별도로 설치되어, 감지된 움직임을 제어부(260)로 제공하도록 구성될 수 있다. The motion detector 230 may be configured to detect a user's motion, and may transmit the detected user's motion to the controller 260. According to an embodiment, the motion detector 230 may be configured to detect at least one of a movement of a user's head and a gaze. Here, the user's movement may include at least one of the user's gaze information (eg, the position of the user's pupil), the user's head direction information, and the head tilt information. In FIG. 2, it is disclosed that the sensory content providing device 120 is included in the motion detector 230, but is not limited thereto, and the motion sensor 230 is installed separately from the sensory content providing device 120 to detect It may be configured to provide the resulting movement to the controller 260.

제어부(260)의 ROI 영상 추출 모듈(264)은 움직임 감지기(230)로부터 감지된 움직임 정보에 기초하여 사용자의 관심 영역(Region of Interest)을 결정할 수 있다. 일 실시예에서, ROI 영상 추출 모듈(264)은 움직임 감지기(230)로부터 제공된 사용자의 움직임 정보에 기초하여 사용자의 머리 방향 및 머리 기울기 중 적어도 하나를 결정할 수 있다. 결정된 사용자의 머리 방향 및 머리 기울기 중 적어도 하나에 기초하여 관심 영역을 결정할 수 있다. 다른 실시예에서, 움직임 감지기(230)는, 실감형 콘텐츠 제공 장치(120)를 착용한 사용자의 동공의 위치를 검출하여 검출된 동공의 위치정보를 움직임 정보로서 ROI 영상 추출 모듈(264)에 제공할 수 있다. 예를 들어, 움직임 감지기(230)는 디스플레이 장치(250)에 배치되어 사용자의 동공의 위치를 검출하도록 구성될 수 있다. ROI 영상 추출 모듈(264)은 동공의 위치정보에 기초하여 사용자가 바라보는 디스플레이 장치(250) 상에서 사용자의 시선의 위치를 결정할 수 있고, 결정된 사용자의 시선의 위치에 기초하여 사용자가 관심있는 영역을 결정할 수 있다. 또 다른 실시예에 따르면, ROI 영상 추출 모듈(264)은 움직임 감지기(230)로부터 감지된 사용자의 움직임 정보(머리 움직임 및/또는 시선 움직임)에 기초하여 투명 글래스로 구성된 디스플레이 장치 상에 표시될 관심 영역을 결정하도록 구성될 수 있다. 위에서 설명된 관심 영역은 움직임 감지기(230)으로 부터 제공받은 사용자의 움직임 정보에 따라 실시간으로 변경될 수 있다. 이러한 관심 영역은 영상 개선 모듈(266)로 제공될 수 있다. The ROI image extraction module 264 of the controller 260 may determine a region of interest of the user based on motion information sensed from the motion detector 230. In an embodiment, the ROI image extraction module 264 may determine at least one of a user's head direction and a head tilt based on the user's motion information provided from the motion detector 230. The region of interest may be determined based on at least one of the determined user's head direction and head tilt. In another embodiment, the motion detector 230 detects the position of the pupil of the user wearing the sensory content providing device 120 and provides the detected pupil position information as motion information to the ROI image extraction module 264 can do. For example, the motion detector 230 may be disposed on the display device 250 and configured to detect the position of the user's pupil. The ROI image extraction module 264 may determine the location of the user's gaze on the display device 250 viewed by the user based on the location information of the pupil, and determine the area of interest to the user based on the determined location of the user's gaze. You can decide. According to another embodiment, the ROI image extraction module 264 is based on the user's movement information (head movement and/or gaze movement) detected from the motion detector 230, and the interest to be displayed on the display device made of transparent glass. It can be configured to determine the area. The region of interest described above may be changed in real time according to the user's motion information provided from the motion detector 230. This region of interest may be provided to the image enhancement module 266.

영상 개선 모듈(266)은 ROI 영상 추출 모듈(264)로부터 사용자의 결정된 관심 영역을 수신하면, 관심 영역에 기초하여 수신된 영상에 대한 영상 처리를 수행할 수 있다. 일 실시예에 따르면, 영상 개선 모듈(266)은 수신된 관심 영역에 대응하는 목적 영상에 대한 영상 개선 처리를 수행하도록 구성될 수 있다. 다른 실시예에 따르면, 영상 개선 모듈(266)은 관심 영역에 표시될 증강 현실 영상을 수신하고, 수신된 증강 현실 영상에 대한 영상 개선 처리를 하도록 구성될 수 있다. 도 2에 도시된 바에 같이, 영상 개선 모듈(266)은 압축 디코딩 연산 처리 모듈(270), 영상 전처리 연산 모듈(272) 및 초해상화 연산 처리 모듈(274)을 포함하도록 구성될 수 있다. When the image enhancement module 266 receives the user's determined region of interest from the ROI image extraction module 264, the image enhancement module 266 may perform image processing on the received image based on the region of interest. According to an embodiment, the image enhancement module 266 may be configured to perform image enhancement processing on a target image corresponding to the received ROI. According to another embodiment, the image enhancement module 266 may be configured to receive an augmented reality image to be displayed in an ROI and perform image enhancement processing on the received augmented reality image. As shown in FIG. 2, the image enhancement module 266 may be configured to include a compression decoding operation processing module 270, an image preprocessing operation module 272, and a super-resolution operation processing module 274.

일 실시예에서, 압축 디코딩 연산 처리 모듈(270)은 수신된 영상(예를 들어, 가상현실(VR) 영상)이 압축 기술로 인한 압축 영상인 경우, ROI 영상 추출 모듈(264)로부터 결정된 관심 영역에 해당되는 영상의 부분에 적용된 압축을 디코딩하여 디스플레이 장치(250)에 출력되도록 할 수 있다. 여기서, 압축 영상은 예를 들어, HEVC, H.265, MPEG 등의 상용화된 영상 압축 기술로 압축된 영상일 수 있다. In one embodiment, the compression decoding operation processing module 270 is a region of interest determined by the ROI image extraction module 264 when the received image (for example, a virtual reality (VR) image) is a compressed image due to compression technology. The compression applied to the portion of the image corresponding to is decoded to be output to the display device 250. Here, the compressed video may be a video compressed by commercially available video compression techniques such as HEVC, H.265, and MPEG.

압축 디코딩 연산 처리 모듈(270)이 관심 영역에 대응되는 영상의 부분에 적용된 압축을 디코딩한다고 설명하였으나, 이에 한정되지 않으며, 수신된 영상(예를 들어, VR 영상, AR 영상 등)이 압축 영상인 경우, 화질개선 처리과정(예를 들어, 전처리 연산 처리 및 초해상화 연산 처리 등)을 적용하기에 앞서, 압축 디코딩 연산 처리 모듈(270)은 수신된 영상을 압축 디코딩 연산 처리할 수 있다. 예를 들어, 수신된 영상 전체를 디코딩 할 수 있다. 이와 달리, 수신된 영상이 압축되거나 인코딩되지 않은 영상인 경우에는 압축 디코딩 연산 처리 모듈(270)에 의해 디코딩 연산 처리과정이 적용될 필요가 없다.It has been described that the compression decoding operation processing module 270 decodes the compression applied to the portion of the image corresponding to the region of interest, but the present invention is not limited thereto, and the received image (eg, VR image, AR image, etc.) is a compressed image. In this case, prior to applying the image quality improvement process (eg, preprocessing operation processing, super-resolution operation processing, etc.), the compression decoding operation processing module 270 may perform compression decoding operation on the received image. For example, the entire received video can be decoded. In contrast, when the received image is a compressed or unencoded image, the decoding operation processing process need not be applied by the compression decoding operation processing module 270.

영상 개선 모듈(266)은 ROI 영상 추출 모듈(264)로부터 결정된 관심 영역에 해당되는 영상을 처리하여 화질을 개선하도록 구성될 수 있다. 영상 개선 모듈(266)의 영상 전처리 연산 모듈(272)은 해당 관심 영역에 대응되는 영상의 퀄리티를 높이기 위해 영상(예를 들어, 가상 현실)의 대응되는 부분에 대해 전처리 연산을 수행하도록 구성될 수 있다. 예를 들어, 영상 전처리 연산 모듈(272)은 관심 영역에 해당되는 영상을 나타내는 임의의 이미지 파라미터를 조정할 수 있다. 여기서, 이미지 파라미터를 조정하는 기술은 영상을 전처리하는 기술을 포함할 수 있으며, Demosaicing 기법, WDR(Wide Dynamic Range) 또는 HDR(High Dynamic Range) 기법, Deblur 기법, Denoise 기법, Color Tone mapping 기법, White Balance 기법 및 Decompression 기법 중 적어도 하나의 기법을 포함할 수 있다. The image enhancement module 266 may be configured to improve image quality by processing an image corresponding to an ROI determined by the ROI image extraction module 264. The image preprocessing operation module 272 of the image enhancement module 266 may be configured to perform a preprocessing operation on a corresponding portion of an image (eg, virtual reality) in order to increase the quality of an image corresponding to a corresponding region of interest. have. For example, the image preprocessing module 272 may adjust an arbitrary image parameter representing an image corresponding to the region of interest. Here, the technology for adjusting the image parameter may include a technology for pre-processing the image, and the Demosaicing technique, WDR (Wide Dynamic Range) or HDR (High Dynamic Range) technique, Deblur technique, Denoise technique, Color Tone mapping technique, White It may include at least one of a balance technique and a decompression technique.

영상을 전처리하는 기술은 현재 영상을 전처리하기 위한 영상 신호 처리 기술, 기계학습 방법을 이용하여 영상을 전처리하는 기술 및 딥러닝 학습 방법을 이용하여 영상을 전처리하는 기술 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 영상 전처리 연산 모듈(272)은 관심 영역에 대한 영상을 나타내는 복수의 이미지 파라미터를 영상 신호 처리하도록 구성될 수 있다. 예를 들어, 복수의 이미지 파라미터의 각각은 순차적으로 영상 신호 처리될 수 있다. 즉, 복수의 이미지 파라미터 중 하나의 파라미터가 전처리된 이후 처리된 파라미터를 가진 영상에 대해 다른 이미지 파라미터의 전처리가 진행되도록 구성될 수 있다. The technology for preprocessing an image may include at least one of an image signal processing technology for preprocessing the current image, a technology for preprocessing an image using a machine learning method, and a technology for preprocessing an image using a deep learning learning method. According to an embodiment, the image preprocessing operation module 272 may be configured to process an image signal on a plurality of image parameters representing an image for an ROI. For example, each of the plurality of image parameters may be sequentially image signal processed. That is, after one of the plurality of image parameters is pre-processed, it may be configured to perform pre-processing of other image parameters for an image having the processed parameter.

다른 실시예에 따르면, 영상 전처리 연산 모듈(272)은 관심 영역에 대한 영상을 나타내는 복수의 이미지 파라미터를 전처리하기 위한 전처리 확률 모델을 포함하도록 구성될 수 있다. 여기서, 전처리 확률 모델은 다양한 참조 이미지 또는 영상을 이용하여 기계학습을 통해 학습될 수 있으며, 입력된 관심 영역에 대한 영상이 입력되면, 이러한 영상을 전처리한 영상을 출력하도록 구성될 수 있다. 또 다른 실시예에 따르면, 영상 전처리 연산 모듈(272)은 관심 영역에 대한 영상을 나타내는 복수의 이미지 파라미터를 전처리하기 위한 학습된 인공신경망(예를 들어, 딥 뉴럴 네트워크 등)을 포함할 수 있다. 여기서 인공신경망은 다양한 참조 이미지 또는 영상을 이용하여 학습될 수 있으며, 입력된 관심 영역에 대한 영상이 입력되면, 이러한 영상을 전처리한 영상을 출력하도록 구성될 수 있다.According to another embodiment, the image preprocessing operation module 272 may be configured to include a preprocessing probability model for preprocessing a plurality of image parameters representing an image for an ROI. Here, the preprocessing probability model may be learned through machine learning using various reference images or images, and may be configured to output an image obtained by preprocessing such an image when an input image for an ROI is input. According to another embodiment, the image preprocessing operation module 272 may include a learned artificial neural network (eg, a deep neural network) for preprocessing a plurality of image parameters representing an image for an ROI. Here, the artificial neural network may be trained using various reference images or images, and may be configured to output an image obtained by pre-processing such an image when an image of an input region of interest is input.

영상 전처리 연산 모듈(272)이 관심 영역에 해당되는 영상의 부분을 전처리하여 화질을 개선한다고 설명하였으나, 이에 한정되지 않는다. 화질을 개선하여 시각적으로 선명한 화질을 구현하기 위해(예를 들어, 압축 영상인 경우, 압축으로 인해 손실된 부분을 원본 영상에 가깝도록 보정함 - Decompression 기법) 필요에 따라 수신된 영상에 대해 화질 개선처리 과정을 수행할 수도 있다. 일 실시예에 따르면, 영상 전처리 연산 모듈(272)은 수신된 영상의 전체 영역에 대해 전처리 연산을 수행할 수 있다.Although it has been described that the image pre-processing operation module 272 improves the image quality by pre-processing a portion of the image corresponding to the region of interest, it is not limited thereto. In order to improve the image quality and realize a visually clear image quality (for example, in the case of a compressed image, the portion lost due to compression is corrected to be close to the original image-Decompression technique). It is also possible to perform processing. According to an embodiment, the image preprocessing operation module 272 may perform a preprocessing operation on the entire area of the received image.

영상 개선 모듈(266)은, ROI 영상 추출 모듈(264)로부터 결정된 관심 영역의 해상도를 높이도록 구성될 수 있다(즉, 초해상화). 여기서, 이러한 해상화는 기존의 보간법 또는 최근 소개되는 딥러닝 알고리즘을 통해 구현될 수 있다. 예를 들어, 사용자의 시선이 위치한 관심 영역의 해상도를 고품질(예를 들어, 4K 또는 8K)로 렌더링할 수 있고, 사용자의 시선이 벗어나면 보통 품질(예를 들어, Full HD)로 렌더링할 수 있다. The image enhancement module 266 may be configured to increase the resolution of the region of interest determined by the ROI image extraction module 264 (ie, super-resolution). Here, such resolution may be implemented through an existing interpolation method or a recently introduced deep learning algorithm. For example, the resolution of the region of interest where the user's gaze is located can be rendered in high quality (e.g., 4K or 8K), and if the user's gaze is out of sight, it can be rendered in normal quality (e.g., Full HD). have.

일 실시예에 따르면, 영상 개선 모듈(266)의 초해상화 연산 처리 모듈(274)은 관심 영역에 대응되는 수신된 가상 현실의 영상의 부분에 대한 초해상화 (Super Resolution) 연산 처리를 수행할 수 있다. 일 실시예에 따르면, 영상 전처리 연산 모듈(272)에 의해 관심 영역에 대응되는 영상의 부분에 전처리 연산이 수행되어 화질이 개선되고 나면, 초해상화 연산 처리 모듈(274)은 전처리가 수행된 관심 영역에 대응하는 영상의 부분의 해상도를 높이는 초해상화 (Super Resolution) 연산을 수행할 수 있다. 따라서, 디스플레이에 출력하고자 하는 영상이 고품질이 아니더라도(예를 들어, 저해상도의 영상), 사용자가 관심있는 영역만을 전처리 연산 및/또는 초해상화 연산을 처리하여 필요한 연산량을 최소화시킬 수 있으며, 영상 화질을 개선하여 사용자의 몰입감을 극대화할 수 있는 영상을 제공 가능하다. 또한, 앞서 설명한 바와 같이, 수신된 영상이 영상을 출력하는 디스플레이의 해상도(예를 들어, 4K, 8K 등)에 비해 저해상도(예: Full HD 등)를 가지더라도 초해상화 연산 처리를 통해 관심 영역을 고해상도로 출력 가능하다. According to an embodiment, the super-resolution operation processing module 274 of the image enhancement module 266 performs a super resolution operation on a portion of the image of the received virtual reality corresponding to the region of interest. I can. According to an embodiment, after the image quality is improved by performing a pre-processing operation on a portion of the image corresponding to the region of interest by the image pre-processing operation module 272, the super-resolution operation processing module 274 A super resolution operation may be performed to increase the resolution of a portion of an image corresponding to the region. Therefore, even if the image to be output to the display is not of high quality (for example, a low-resolution image), it is possible to minimize the amount of computation required by processing only the area of interest to the user by pre-processing and/or super-resolution operation. It is possible to provide an image that can maximize the user's immersion by improving it. In addition, as described above, even if the received image has a lower resolution (e.g., Full HD, etc.) than the resolution of the display that outputs the image (e.g., 4K, 8K, etc.), the region of interest Can be printed in high resolution.

본 실시예에서는, 관심 영역에 대응하는 수신된 가상 현실의 영상의 부분에 대한 전처리 연산 및 초해상화 연산이 함께 처리되는 구성을 개시하였으나, 수신된 영상에 따라 관심 영역에 대응하는 수신된 가상 현실의 영상의 부분에 대한 압축 디코딩 연산, 전처리 연산 및 초해상도 연산의 임의의 조합의 연산이 처리될 수 있다. ROI 영상 추출 모듈(264)에 의해 관심 영역이 결정되고, 영상 개선 모듈(266)에 의해 실감형 콘텐츠를 포함하는 영상을 결정된 관심 영역에 기초하여 영상처리 연산을 수행하는 과정에 대해서는 이하 도 5 내지 도 8을 참조하여 상세히 설명한다. 이렇게 영상 개선 처리된 가상현실 영상 또는 증강현실 영상은 디스플레이 장치(250)에 제공될 수 있다. In the present embodiment, a configuration in which a pre-processing operation and a super-resolution operation for a portion of an image of a received virtual reality corresponding to the region of interest are processed together is disclosed, but the received virtual reality corresponding to the region of interest according to the received image Any combination of a compression decoding operation, a preprocessing operation, and a super-resolution operation on the portion of the image of the image may be processed. The ROI image extraction module 264 determines a region of interest, and the image enhancement module 266 performs an image processing operation based on the determined region of interest. This will be described in detail with reference to FIG. 8. The virtual reality image or augmented reality image subjected to the image improvement processing may be provided to the display device 250.

이미지 센서(240)는 사용자에게 보여주고자 하는 실제 현실에 대한 이미지 및/또는 영상을 촬영하도록 구성될 수 있다. 예를 들어, 이미지 센서(240)는 사용자가 관심있는 영역(예를 들어, 사용자가 바라보는 방향 중 일부)을 촬영하여 이미지 또는 영상을 생성할 수 있다. 일 실시예에서, 이미지 센서(240)는 사용자의 움직임 정보에 따라 촬영되도록 구성될 수 있다. 이렇게 생성된 이미지 또는 영상은 제어부(260)의 영상 생성 모듈(262)에 제공될 수 있다. 영상 생성 모듈(262)은 이미지 센서(240)로부터 촬영된 이미지 또는 영상을 수신하여 실감형 콘텐츠(예를 들어, AR 영상)을 생성할 수 있다. 일 실시예에서, 영상 생성 모듈(262)은 이미지 센서로부터 촬영된 이미지 및/또는 영상을 수신하여 이미지 및/또는 영상에 포함된 이미지에 해당하는 영역 또는 그 일부 영역에 증강현실 콘텐츠(예를 들어, 증강현실 이미지 및/또는 증강현실 영상 등)를 합성시켜 증강현실 영상을 생성할 수 있다. 이러한 증강현실 콘텐츠는, 영상 개선 모듈(266)에 의해 영상 개선 처리된 목적 영상을 포함할 수 있다. 이러한 영상 개선 처리된 목적 영상은, 앞서 설명드린 바와 같이, 압축 디코딩 연산 처리 모듈(270), 영상 전처리 연산 모듈(272) 및 초해상화 연산 처리 모듈(274) 중 적어도 하나 이상의 처리 모듈에 의해 영상 처리된 영상을 포함할 수 있다. 영상 생성 모듈(262)을 통해 생성된 이미지 및/또는 영상은 영상 저장부(220)로 전송되어 저장되거나 사용자에게 제공하기 위하여 디스플레이 장치(250)로 제공될 수 있다.The image sensor 240 may be configured to capture an image and/or an image of an actual reality to be displayed to the user. For example, the image sensor 240 may generate an image or an image by capturing an area of interest to the user (eg, part of a direction the user is looking at). In an embodiment, the image sensor 240 may be configured to be photographed according to motion information of the user. The image or image generated in this way may be provided to the image generating module 262 of the controller 260. The image generation module 262 may receive an image or an image captured from the image sensor 240 to generate immersive content (eg, an AR image). In one embodiment, the image generation module 262 receives an image and/or an image captured from an image sensor, and the augmented reality content (for example, in an area corresponding to an image and/or an image included in the image , An augmented reality image and/or augmented reality image, etc.) may be synthesized to generate an augmented reality image. Such augmented reality content may include a target image processed by the image enhancement module 266 to improve the image. As described above, the image-improved target image is an image by at least one of the compression decoding operation processing module 270, the image preprocessing operation module 272, and the super-resolution operation processing module 274. It may include processed images. The image and/or image generated through the image generation module 262 may be transmitted to the image storage unit 220 and stored, or may be provided to the display device 250 to provide to a user.

실감형 콘텐츠 제공 장치(120)는, 사용자의 움직임 정보에 기초하여 관심 영역을 결정하고, 결정된 관심 영역에 기초하여 영상처리의 연산을 수행함으로써, 사용자에게 몰입감 있는 실감형 콘텐츠를 제공할 수 있다. 나아가, 관심 영역만을 고해상도로 연산 처리함으로써 필수 연산량이 최소화되어 디지털 렌더링에 대한 부하가 줄일 수 있다. The sensory content providing apparatus 120 may provide immersive sensory content to a user by determining an ROI based on motion information of the user and performing an image processing operation based on the determined ROI. Furthermore, by processing only the region of interest in high resolution, the required amount of computation is minimized, thereby reducing the load on digital rendering.

도 3은 본 개시의 일 실시예에 따른 머리 착용 디스플레이 장치((Head Mounted Display: HMD) 장치, 310)가 실감형 콘텐츠 제공 장치로서 제공되는 예시도이다. 본 실시예에서, 머리 착용 디스플레이 장치(310)는 실감형 콘텐츠 제공 장치(120)의 동일 또는 유사한 구성을 포함하도록 구성될 수 있다. 머리 착용 디스플레이 장치(310)는 AR 영상 및/또는 VR 영상을 지원하도록 구성될 수 있으며, 이러한 영상을 표시할 수 있는 디스플레이를 포함할 수 있다. 이에 따라, 이러한 머리 착용 디스플레이 장치(310)를 착용한 사용자는 머리 착용 디스플레이 장치(310)에서 제공하는 디스플레이를 이용하여 실감형 콘텐츠를 신청할 수 있다. 머리 착용 디스플레이 장치(310)는 미리 설정된 인터페이스(예를 들어, 터치 디스플레이, 마이크로폰, 동작 인식 센서 등)를 통해 명령 신호(예를 들어, 실감형 콘텐츠 선택과 같은 동작에 관한 명령 신호)를 수신할 수 있으며, 수신된 명령 신호에 따라 동작될 수 있다. 머리 착용 디스플레이 장치(310)는 실감형 콘텐츠 제공 장치의 예시로써, 이에 한정되지 않으며, 안경형, 헬멧형, 모자형 등과 같이, 인체의 두부에 착용할 수 있는 다양한 형태로 구성될 수 있다.3 is an exemplary view in which a head mounted display (HMD) device 310 according to an embodiment of the present disclosure is provided as a sensory content providing device. In this embodiment, the head-worn display device 310 may be configured to include the same or similar configuration of the sensory content providing device 120. The head-worn display device 310 may be configured to support an AR image and/or a VR image, and may include a display capable of displaying such an image. Accordingly, a user wearing such a head-worn display device 310 can apply for immersive content using a display provided by the head-worn display device 310. The head-worn display device 310 may receive a command signal (eg, a command signal related to an operation such as immersive content selection) through a preset interface (eg, a touch display, a microphone, a motion recognition sensor, etc.). And can be operated according to the received command signal. The head-worn display device 310 is an example of a sensory content providing device, and is not limited thereto, and may be configured in various forms that can be worn on the head of a human body, such as a glasses type, a helmet type, and a hat type.

도 3에 도시된 바와 같이, 실감형 콘텐츠 제공 장치의 디스플레이는 사용자의 우안 및 좌안 중 적어도 하나에 대응하도록 배치되어 사용자의 눈 앞에서 영상이 직접 출력되도록 구성될 수 있다. 도 2를 참고하여 설명한 바와 같이, 머리 착용 디스플레이 장치(310)는 움직임 감지기를 포함하도록 구성되어 머리 착용 디스플레이 장치(310)를 착용한 사용자의 머리 움직임을 감지할 수 있다. 일 실시예에서, 머리 착용 디스플레이 장치(310)의 움직임 감지기는 사용자의 머리의 중심을 기준으로 x축, y 축 및 z축으로 움직이는 사용자의 머리 움직임을 감지할 수 있다. 여기서, 사용자의 머리 움직임은 머리 방향 및 머리 기울기 중 적어도 하나를 포함할 수 있다. 이렇게 측정된 머리 움직임을 기초로 사용자의 관심 영역이 결정될 수 있다. As shown in FIG. 3, the display of the sensory content providing apparatus may be arranged to correspond to at least one of the user's right eye and the left eye, and thus an image may be directly output in front of the user's eyes. As described with reference to FIG. 2, the head-worn display device 310 is configured to include a motion detector to detect the movement of a user's head wearing the head-worn display device 310. In an embodiment, the motion detector of the head-worn display device 310 may detect movement of the user's head moving in the x-axis, y-axis and z-axis with respect to the center of the user's head. Here, the user's head movement may include at least one of a head direction and a head tilt. The user's region of interest may be determined based on the measured head movement.

도 4는 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치(410)에 의해 제공되는 실감형 콘텐츠가 입체적 공간으로 표시되었을 때의 예시도이다. 실감형 콘텐츠 제공 장치(410)는 복수의 외부 장치에서 제공하는 영상들(예를 들어, 가상현실(VR) 영상, 증강현실(AR) 영상 등)을 수신하거나, 실감형 콘텐츠 제공 장치의 영상 저장부에 저장된 영상들을 이용하여 사용자에게 실감형 콘텐츠를 제공할 수 있다. 도 4에 도시된 바와 같이, 사용자는 실감형 콘텐츠 제공 장치(410)(예를 들어, 머리 착용 디스플레이 장치(Head Mounted Display: HMD))를 착용하여 디스플레이 상에 제공된 영상을 시청할 수 있다. 본 실시예에서, 실감형 콘텐츠 제공 장치(410)는 실감형 콘텐츠 제공 장치(120)의 동일 또는 유사한 구성을 포함하도록 구성될 수 있다.FIG. 4 is an exemplary diagram when the sensory content provided by the sensory content providing apparatus 410 according to an embodiment of the present disclosure is displayed in a three-dimensional space. The immersive content providing device 410 receives images (eg, virtual reality (VR) images, augmented reality (AR) images, etc.) provided by a plurality of external devices, or stores images of the immersive content providing device Realistic content can be provided to the user by using images stored in the unit. As shown in FIG. 4, a user may wear a sensory content providing device 410 (eg, a head mounted display (HMD)) to view an image provided on the display. In this embodiment, the sensory content providing device 410 may be configured to include the same or similar configuration of the sensory content providing device 120.

실감형 콘텐츠 제공 장치(410)에 의해 제공되는 실감형 콘텐츠는 가상현실(VR) 영상일 수 있다. 이러한 가상현실(VR) 영상은, 사용자에게 극대화된 생동감과 몰입감을 제공하기 위해 파노라마 이미지 및/또는 영상일 수 있다. 일 실시예에 따르면, VR 영상은 사용자를 중심축으로 하여 모든 방향(상하좌우 방향)의 시청을 지원하도록 하는 반구 형상의 파노라마 영상(420)일 수 있다. 예를 들어, 파노라마 영상(420)은 360도 뷰어를 지원하는 360도 영상일 수 있다. 360도 뷰어를 지원하는 360도 영상은, 실감형 콘텐츠 제공 장치(410)의 디스플레이 장치를 통해 사용자에게 출력될 수 있으며, 관심 영역(430)에 대응되는 목적 영상(440)을 포함할 수 있다. 여기서, 관심 영역(430)은 디스플레이 상에 출력되는 영상의 부분 영상인 목적 영상(440)에 대응될 수 있다. 예를 들어, 360도 영상은 도시된 바와 같이, 사용자의 움직임을 통해 결정된 관심 영역(430)에 대응되는 360도 영상의 부분 영상인 목적 영상(440)을 포함할 수 있다. 이러한 목적 영상(440)은 실감형 콘텐츠 제공 장치(410)의 영상 개선 모듈에 의해 영상 개선 처리된 영상을 포함할 수 있다. 또한, 실감형 콘텐츠 제공 장치(410)를 착용한 사람의 머리 움직임 및/또는 시선 정보에 기초하여 목적 영상(440)은 실시간으로 변경되어 표시될 수 있다. 이 때, 실감형 콘텐츠 제공 장치(410)의 영상 개선 모듈은 관심 영역(430)에 대응하는 부분 영상에 대한 영상 개선 처리를 실시간으로 수행하여, 디스플레이 장치에 제공할 수 있다. 이상에서 설명한 가상현실(VR) 영상은 장면 연출에 따라, 반구 형상, 구형상, 원통 형상 등과 같이 사용자가 가상현실 공간 안에 있는 느낌을 줄 수 있도록 구성될 수 있다. The sensory content provided by the sensory content providing device 410 may be a virtual reality (VR) image. Such a virtual reality (VR) image may be a panoramic image and/or an image in order to provide a user with maximized sense of vitality and immersion. According to an embodiment, the VR image may be a hemispherical panoramic image 420 that supports viewing in all directions (up/down/left/right directions) with the user as a central axis. For example, the panoramic image 420 may be a 360 degree image supporting a 360 degree viewer. A 360-degree image supporting a 360-degree viewer may be output to a user through a display device of the immersive content providing device 410 and may include a target image 440 corresponding to the region of interest 430. Here, the ROI 430 may correspond to a target image 440 which is a partial image of an image output on the display. For example, the 360-degree image may include a target image 440 that is a partial image of a 360-degree image corresponding to the region of interest 430 determined through the user's movement, as illustrated. The target image 440 may include an image that has been image-improved by the image enhancement module of the sensory content providing apparatus 410. In addition, the target image 440 may be changed and displayed in real time based on the head movement and/or gaze information of a person wearing the sensory content providing device 410. In this case, the image enhancement module of the sensory content providing apparatus 410 may perform an image enhancement process on the partial image corresponding to the region of interest 430 in real time and provide it to the display device. The virtual reality (VR) image described above may be configured to give a user a feeling of being in a virtual reality space, such as a hemispherical shape, a spherical shape, and a cylindrical shape, depending on the scene presentation.

도 5는 본 개시의 일 실시예에 따른 사용자가 바라보는 시야의 각도에 기초하여 정의될 수 있는 관심 영역(Region of Interest)의 범위(510)를 나타낸 예시도이다. 일 실시예에서, 관심 영역의 범위(510)는 사용자가 바라보는 시야의 각도, 즉 시야각에 기초하여 정의될 수 있다. 여기서, 관심 영역의 범위(510)는 움직임 감지기에 의해 검출된 머리의 위치(예를 들어, 머리 방향 및/또는 머리 기울기) 및/또는 시선의 위치(예를 들어, 동공의 위치)에 의해 정의될 수 있다. 도 5에 도시된 바와 같이, 영상을 시청하는 사용자는 일정 시야각을 가질 수 있다. 통상적으로, 시야각의 범위(520)는 양안의 위치에 따라 다를 수 있어 개개인 마다 시야각이 다르다. 따라서, 시야각의 범위(520)는 양안의 위치(예를 들어, 동공의 위치)에 기초하여 정의되도록 구성될 수 있다. 일 실시예에서, 시야각의 범위(520)는 사용자의 머리의 위치(예를 들어, 머리 방향, 머리 기울기) 및/또는 양안의 위치에 기초하여 정의될 수 있다. 일 예로서, 사람의 양안을 합친 시야각의 범위는 도시된 바와 같이 수평방향으로 180도, 수직방향으로 120도를 가질 수 있으나, 이에 한정되지 않으며, 다양한 각도로 정의될 수 있다.5 is an exemplary view showing a range 510 of a region of interest that can be defined based on an angle of a field of view viewed by a user according to an embodiment of the present disclosure. In one embodiment, the range 510 of the region of interest may be defined based on the angle of view viewed by the user, that is, the viewing angle. Here, the range 510 of the region of interest is defined by the position of the head (eg, head direction and/or head inclination) and/or the position of the line of sight (eg, the position of the pupil) detected by the motion detector. Can be. As illustrated in FIG. 5, a user viewing an image may have a certain viewing angle. Typically, the range 520 of the viewing angle may vary according to the positions of both eyes, and thus the viewing angle is different for each individual. Accordingly, the range 520 of the viewing angle may be configured to be defined based on the position of both eyes (eg, the position of the pupil). In one embodiment, the range 520 of the viewing angle may be defined based on the position of the user's head (eg, head direction, head tilt) and/or the position of both eyes. As an example, the range of the viewing angle in which both eyes of a person are combined may have 180 degrees in a horizontal direction and 120 degrees in a vertical direction as shown, but is not limited thereto and may be defined as various angles.

관심 영역의 범위(510)는 움직임 감지기에 의해 검출된 머리의 위치 및/또는 양안의 위치를 통해 결정될 수 있으며, 시야각의 범위(520)와 같거나 더 작게 정의될 수 있다. 예를 들어, 관심 영역의 범위(510)는 시야각의 범위(520, 여기서, 수평 방향으로 180도, 수직 방향으로 120도)보다 작게 정의될 수 있다. 움직임 감지기는 머리의 위치 및/또는 동공의 위치를 검출할 수 있고, 검출한 머리의 위치 및/또는 동공의 위치를 통해 사용자의 시선의 위치 및 시선의 방향, 그리고 관심 영역의 범위(510)를 결정할 수 있다. 일 실시예에 따르면, 도 5에 도시된 바와 같이, 사용자의 머리(예를 들어, 두개골)의 위치를 검출하여 얼굴의 형상에 외접하는 사각형(530)을 생성할 수 있고, 사각형의 각 꼭지점의 위치(a, b, c, d)를 검출할 수 있다. 검출한 4개의 꼭지점(a, b, c, d)과 사용자의 후두부의 중심점(e)을 이은 선의 연장선과 디스플레이 상에서 만나는 위치(f, g, h, i)를 검출할 수 있다. 검출된 위치(f, g, h, i)에 기초하여 관심 영역의 범위(510)를 결정할 수 있다. 도시된 바와 같이, 디스플레이 상의 4개의 점(f, g, h, i)을 연결한 영역을 관심 영역의 범위(510)로 결정할 수 있다. 시야각의 범위(520) 및 관심 영역의 범위(510)를 정의하는 과정은 이상에서 설명한 예시에 한정되지 않으며, 다양한 방법으로서 정의 가능하다.The range 510 of the region of interest may be determined through the position of the head and/or both eyes detected by the motion detector, and may be defined equal to or smaller than the range 520 of the viewing angle. For example, the range 510 of the ROI may be defined to be smaller than the range 520 of the viewing angle (here, 180 degrees in the horizontal direction and 120 degrees in the vertical direction). The motion detector may detect the position of the head and/or the position of the pupil, and the position of the user's gaze and the direction of the gaze, and the range 510 of the region of interest through the detected position of the head and/or the pupil. You can decide. According to an embodiment, as shown in FIG. 5, a rectangle 530 circumscribed to the shape of the face may be generated by detecting the position of the user's head (eg, skull), and Positions (a, b, c, d) can be detected. An extension of a line connecting the detected four vertices (a, b, c, d) and the center point (e) of the user's occipital region and a location (f, g, h, i) meeting on the display may be detected. The range 510 of the region of interest may be determined based on the detected positions f, g, h, and i. As illustrated, a region connecting four points f, g, h, and i on the display may be determined as the range 510 of the region of interest. The process of defining the range 520 of the viewing angle and the range 510 of the region of interest is not limited to the examples described above, and can be defined in various ways.

도 6은 본 개시의 일 실시예에 따른 움직임 감지기로부터 감지된 사용자의 시선에 기초하여 결정된 관심 영역을 영상 개선 처리하는 과정을 나타낸 예시도이다. 도 6에서, 실감형 콘텐츠 장치(120)는 사용자의 머리에 착용되어 있으나, 시선에 대한 설명을 위해 생략된다. ROI 영상 추출 모듈(264)은, 움직임 감지기(230)로부터 검출된 동공의 위치에 기초하여 디스플레이 장치 상에서 사용자의 시선의 위치를 결정할 수 있다. 6 is an exemplary diagram illustrating a process of image enhancement processing an ROI determined based on a user's gaze detected by a motion detector according to an exemplary embodiment of the present disclosure. In FIG. 6, the sensory content device 120 is worn on the user's head, but is omitted for explanation of the gaze. The ROI image extraction module 264 may determine the position of the user's gaze on the display device based on the position of the pupil detected by the motion detector 230.

일 실시예에서, ROI 영상 추출 모듈(264)은 좌안(610)의 동공의 위치(612)에서 좌안(610)의 시선 방향(630) 및 우안(620)의 동공의 위치(622)에서 우안(620)의 시선 방향(640)과 디스플레이 상에서 만나는 지점(j)을 검출하여 사용자의 시선의 위치점(j)으로 결정할 수 있다. 여기서, 좌안(610)의 시선 방향(630)은 좌안(610)이 응시하는 방향을 나타내고, 우안(620)의 시선 방향(640)은 우안(620)이 응시하는 방향을 나타낸다. ROI 영상 추출 모듈(264)은 미리 결정된 관심 영역(652)의 범위(650)의 중심점의 위치를 시선의 위치점(j)으로 지정하여 관심 영역(652)이 결정될 수 있다. 도 6a에 도시된 바와 같이, 사용자의 시선의 위치(j)에 기초하여 디스플레이에 투사될 관심 영역(652)을 결정할 수 있고, 영상 개선 모듈(266)은 결정된 관심 영역(652)에 대응되는 목적 영상에 대해 영상 개선 처리를 수행할 수 있다. 영상 개선 모듈(266)은 예를 들어, 관심 영역(652)의 해상도를 높일 수 있다. 도 6b를 참조하면, 도 6a에 도시된 관심 영역(652)에 비해 관심 영역(662)의 해상도가 높아진 것을 확인할 수 있다. In one embodiment, the ROI image extraction module 264 is the right eye in the eye line direction 630 of the left eye 610 and the pupil position 622 of the right eye 620 at the position 612 of the pupil of the left eye 610. A point j where the gaze direction 640 of 620 meets on the display may be detected to determine the location point j of the user's gaze. Here, the gaze direction 630 of the left eye 610 indicates the direction in which the left eye 610 gazes, and the gaze direction 640 of the right eye 620 indicates the direction in which the right eye 620 gazes. The ROI image extraction module 264 may determine the region of interest 652 by designating a position of the center point of the range 650 of the region of interest 652 as a position point j of the line of sight. As shown in FIG. 6A, the region of interest 652 to be projected on the display may be determined based on the position (j) of the user's gaze, and the image enhancement module 266 has a purpose corresponding to the determined region of interest 652. Image enhancement processing may be performed on an image. The image enhancement module 266 may, for example, increase the resolution of the ROI 652. Referring to FIG. 6B, it can be seen that the resolution of the ROI 662 is increased compared to the ROI 652 illustrated in FIG. 6A.

한편, 도 6c에 도시된 바와 같이, 사용자의 머리 및/또는 동공의 움직임으로부터 좌측 방향으로부터 우측 방향으로 이동되었다고 판단되는 경우(여기서, 사용자의 시선의 위치가 j지점에서 k지점으로 이동한 경우), 사용자의 움직임에 기초하여 관심 영역(682)을 새로이 결정할 수 있다. 이 경우에도, 도 6a에서 설명한 바와 같이, 좌안(610)의 시선 방향(660) 및 우안(620)의 시선 방향(670)에 기초하여 k지점이 사용자의 시선의 위치점으로 결정될 수 있고, 미리 결정된 관심 영역(682)의 범위(680)의 중심점의 위치(k)를 시선의 위치점(k)으로 지정하여 관심 영역(682)을 결정할 수 있다. 이와 달리, 관심 영역(682)의 범위는 미리 결정되어 있지 않고, 사용자의 시선에 따라 변경될 수 있다. On the other hand, as shown in FIG. 6C, when it is determined that the user's head and/or pupil moves from the left direction to the right direction (here, when the position of the user's gaze moves from point j to point k) , Based on the user's movement, the ROI 682 may be newly determined. Even in this case, as described in FIG. 6A, the point k may be determined as the location point of the user's gaze based on the gaze direction 660 of the left eye 610 and the gaze direction 670 of the right eye 620, The region of interest 682 may be determined by designating the position k of the center point of the determined range 680 of the region of interest 682 as the position point k of the line of sight. In contrast, the range of the ROI 682 is not predetermined and may be changed according to the user's gaze.

이상에서 설명한 바와 같이, 영상 개선 모듈(266)은 새로 결정된 관심 영역(682)에 대응되는 목적 영상에 대해 영상 개선 처리를 수행할 수 있다. 예를 들어, 관심 영역(682)에 해당되는 목적 영상에 대해 초해상화 연산 처리할 수 있다. 도 6d를 참조하면, 도 6c의 관심 영역(682)에 비해 초해상화 연산 처리된 관심 영역(692)의 해상도가 높아져 선명해진 것을 확인할 수 있다. 결정된 관심 영역의 화질 만을 개선하여 영상 처리에 필요한 연산량을 최소화할 수 있고, 이에 따라 사용자에게 제공되는 영상(예를 들어, 실감형 콘텐츠)의 반응 속도를 높일 수 있다. 따라서, 자연스러우면서도 몰입감 높은 실감형 콘텐츠를 사용자에게 제공할 수 있다.As described above, the image enhancement module 266 may perform image enhancement processing on the target image corresponding to the newly determined ROI 682. For example, a super-resolution operation may be performed on a target image corresponding to the region of interest 682. Referring to FIG. 6D, it can be seen that the resolution of the region of interest 692 subjected to the super-resolution operation is higher than that of the region of interest 682 of FIG. 6C and thus becomes clearer. By improving only the image quality of the determined region of interest, the amount of computation required for image processing can be minimized, and accordingly, the reaction speed of an image (for example, immersive content) provided to a user can be increased. Accordingly, it is possible to provide a user with realistic content that is natural and highly immersive.

이상에서, 영상 개선 모듈(266)이 관심 영역에 대응하는 목적 영상에 대해 해상도를 높이는 영상 개선 처리가 수행된다고 설명하였으나, 이에 한정되지 않으며, 앞서 설명한 압축 디코딩 연산, 전처리 연산 등 영상 개선과 관련된 다양한 연산이 처리될 수 있다. 일 실시예에 따르면, 영상 개선 모듈(266)은 관심 영역에 대응되는 목적 영상에 대해서만 영상 개선 처리하지 않으며, 전체 영상에 대해 영상 개선 처리를 수행하는 것과 같이, 필요에 따라 영상의 일부 또는 전부에 대해 영상 개선을 수행할 수 있다. In the above, it has been described that the image enhancement module 266 performs image enhancement processing to increase the resolution of the target image corresponding to the region of interest, but is not limited thereto, and various images related to image enhancement such as compression decoding operations and preprocessing operations described above are described. The operation can be processed. According to an embodiment, the image enhancement module 266 does not perform image enhancement processing only on the target image corresponding to the region of interest, but performs image enhancement processing on the entire image. Image enhancement can be performed on the.

도 7은 본 개시의 다른 실시예에 따른 움직임 감지기(230)로부터 감지된 사용자의 시선에 기초하여 결정된 관심 영역을 영상 개선 처리하는 과정을 나타낸 예시도이다. 도 7에서, 실감형 콘텐츠 장치는 사용자의 머리에 착용되어 있으나, 시선에 대한 설명을 위해 생략된다. 7 is an exemplary diagram illustrating a process of image enhancement processing an ROI determined based on a user's gaze sensed by the motion detector 230 according to another exemplary embodiment of the present disclosure. In FIG. 7, the sensory content device is worn on the user's head, but is omitted for explanation of the gaze.

일 실시예에서, 실감형 콘텐츠 장치는 움직임 감지기로부터 감지된 움직임과 시선 정보에 기초하여 관심 영역을 결정하여, 각 관심 영역에 따라 영상 개선 처리를 수행할 수 있다. 일 실시예에 따르면, ROI 영상 추출 모듈(264)은 움직임 감지기로부터 감지된 움직임에 기초하여 관심 영역을 결정할 수 있다. 도 5에서 설명한 바와 같이, ROI 영상 추출 모듈(264)은 머리 방향 및 머리 기울기 중 적어도 하나에 기초하여 사용자의 머리(예를 들어, 두개골)의 위치를 검출해 디스플레이 상에서의 관심 영역(752)의 범위(750)를 결정할 수 있다. 관심 영역(752)의 범위(750)에 기초하여 도 7a에 도시된 바와 같이, 머리 방향 및 머리 기울기에 기초한 관심 영역(752)을 결정할 수 있다. In an embodiment, the sensory content device may determine an ROI based on motion and gaze information detected by a motion detector, and perform image enhancement processing according to each ROI. According to an embodiment, the ROI image extraction module 264 may determine the region of interest based on the motion detected by the motion detector. As described in FIG. 5, the ROI image extraction module 264 detects the position of the user's head (eg, skull) based on at least one of a head direction and a head inclination, and displays the region of interest 752 on the display. Range 750 can be determined. Based on the range 750 of the ROI 752, as shown in FIG. 7A, the ROI 752 may be determined based on the head direction and the head tilt.

또한, ROI 영상 추출 모듈(264)은 좌안(710)의 동공의 위치(712)에서 좌안(710)의 시선 방향(730) 및 우안(720)의 동공의 위치(722)에서 우안(720)의 시선 방향(740) 각각과 디스플레이 상에서 만나는 지점(l, m)을 검출하여 좌안(710) 및 우안(720) 각각의 관심 영역(760, 770)을 결정할 수 있다. In addition, the ROI image extraction module 264 is the right eye 720 at the position 712 of the pupil of the left eye 710 and the gaze direction 730 of the left eye 710 and the position 722 of the pupil of the right eye 720. Regions of interest 760 and 770 of the left eye 710 and the right eye 720 may be determined by detecting the points l and m where each of the gaze directions 740 meet on the display.

일 실시예에서, 영상 개선 모듈(266)은 각각의 관심 영역의 순위를 결정하고, 결정된 순위에 기초하여 각각의 관심 영역을 단계적으로 영상 개선 처리 연산(예를 들어, 초해상화 연산, 압축 디코딩 연산, 전처리 연산 등)을 할 수 있다. 예를 들어, 영상 개선 모듈(266)은 좌안 및 우안의 관심 영역이 겹치는 영역(780), 각각의 좌안 및 우안의 관심 영역(760, 770), 머리 방향 및 머리 기울기에 기초한 관심 영역(752)의 순서로 사용자의 관심 영역의 순위를 결정할 수 있다. In one embodiment, the image enhancement module 266 determines a ranking of each ROI, and performs an image enhancement processing operation (eg, super-resolution calculation, compression decoding) for each ROI in stages based on the determined ranking. Calculation, preprocessing calculation, etc.) can be performed. For example, the image enhancement module 266 includes a region 780 where the regions of interest of the left and right eyes overlap, regions of interest 760 and 770 of the left and right eyes, respectively, and the region of interest 752 based on head direction and head tilt. You can determine the ranking of the user's interest area in the order of.

일 실시예에 따르면, 도 7b에 도시된 바와 같이, 결정된 순위에 기초하여, 영상 개선 모듈(266)은 좌안 및 우안의 관심 영역이 겹치는 영역(780)의 해상도를 가장 고품질(예를 들어, 8K)로, 각각의 좌안 및 우안의 관심 영역(760, 770)은 관심 영역이 겹치는 영역(780)의 해상도보다는 낮은 고품질(예를 들어, 4K)로, 머리 방향 및 머리 기울기에 기초한 관심 영역(752)의 해상도는 각각의 좌안 및 우안의 관심 영역(760, 770)의 해상도보다 더 낮은 고품질(예를 들어, 4K)로 렌더링할 수 있다. 각각의 관심 영역에 따라 영상 개선 처리연산을 수행하여 사용자에게 생동감과 몰입감이 극대화된 실감형 콘텐츠를 제공할 수 있다.According to an embodiment, as shown in FIG. 7B, based on the determined ranking, the image enhancement module 266 sets the resolution of the region 780 where the regions of interest of the left and right eyes overlap the highest quality (e.g., 8K). ), each of the regions of interest 760 and 770 of the left and right eyes is of higher quality (e.g., 4K) lower than the resolution of the region 780 where the regions of interest overlap, and the region of interest 752 based on the head direction and head tilt The resolution of) may be rendered with a higher quality (eg, 4K) lower than that of the ROI 760 and 770 of the left and right eyes. The image enhancement processing operation is performed according to each region of interest to provide a user with immersive content maximizing a sense of vitality and immersion.

도 8은 본 개시의 일 실시예에 따른 실감형 콘텐츠 제공 장치(800)의 움직임 감지기로부터 감지된 사용자의 시선에 기초하여 결정된 관심 영역에 증강 현실 영상을 합성함으로써, 증강 현실 환경을 제공하는 과정을 나타낸 예시도이다. 본 실시예에서, 실감형 콘텐츠 제공 장치(800)는 실감형 콘텐츠 제공 장치(120)의 동일 또는 유사한 구성을 포함하도록 구성될 수 있다.FIG. 8 illustrates a process of providing an augmented reality environment by synthesizing an augmented reality image to a region of interest determined based on a user's gaze sensed from a motion sensor of the sensory content providing apparatus 800 according to an embodiment of the present disclosure. It is an exemplary diagram shown. In this embodiment, the sensory content providing device 800 may be configured to include the same or similar configuration of the sensory content providing device 120.

실감형 콘텐츠 제공 장치(800)의 ROI 영상 추출 모듈은 움직임 감지기가 감지한 사용자의 머리 움직임 및 시선 중 적어도 하나에 기초하여 수신된 영상으로부터 디스플레이 장치에 증강현실 이미지가 표시될 관심 영역(752)(Region of Interest)을 결정할 수 있다. 일 실시예에서, 사용자의 동공의 위치(812, 822)를 검출하여 좌안(810) 및 우안(820)의 시선 방향과 디스플레이 상에서 만나는 지점(l)을 검출할 수 있다. 도 8b에 도시된 바와 같이, 디스플레이 상에서 왼쪽 방향에 치우친 지점을 시선의 위치점(l)으로 결정할 수 있고, 해당 위치점(l)에 기초하여 관심 영역(852)을 결정할 수 있다. 도 8b에서는, 사용자의 시선에 기초하여 관심 영역에 결정하는 것으로 설명되었으나, 이에 한정되지 않으며, 사용자의 머리 움직임에 기초하거나, 머리 움직임 및 시선에 기초하여 관심 영역이 결정될 수도 있다. The ROI image extraction module of the immersive content providing apparatus 800 includes an ROI image that is to be displayed on the display device from an image received based on at least one of the user's head movement and gaze detected by the motion detector. Region of Interest) can be determined. In an embodiment, by detecting the locations 812 and 822 of the user's pupil, a point l where the gaze directions of the left eye 810 and the right eye 820 meet on the display may be detected. As illustrated in FIG. 8B, a point on the display that is skewed to the left may be determined as a position point (l) of the line of sight, and an ROI 852 may be determined based on the position point (l). In FIG. 8B, it has been described that the region of interest is determined based on the user's gaze, but the present invention is not limited thereto, and the region of interest may be determined based on the user's head movement or the head movement and the gaze.

일 실시예에서, 실감형 콘텐츠 제공 장치(800)는 사용자에게 보여주고자 하는 실제 현실에 대한 영상을 촬영하도록 구성된 이미지 센서를 포함할 수 있다. 여기서, 이미지 센서는, 도 8a에 도시된 바와 같이, 사람의 머리 움직임 및/또는 시선에 따라 사용자에게 보여주고자 하는 실제 현실이 변경될 수 있다. 또한, 실감형 콘텐츠 제공 장치(800)는 ROI 영상 추출 모듈로부터 수신된 관심 영역(852)에 대응하는 영역을 촬영된 영상으로부터 목적 영상으로서 추출할 수 있다. 실감형 콘텐츠 제공 장치(800)의 영상 생성 모듈은 목적 영상에 대응하는 증강 현실 영상(860)을 촬영된 실제 현실에 대한 영상에 합성시키고, 이렇게 합성된 영상을 도 8c에 도시된 바와 같이, 디스플레이 장치에 제공할 수 있다. 일 실시예에 따르면, 증강 현실 영상(860)을 촬영된 실제 현실에 대한 영상에 합성시키기 전에, 증강 현실 영상(860)은 실감형 콘텐츠 제공 장치의 영상 개선 모듈에 의해 영상 개선 처리될 수 있다. In one embodiment, the sensory content providing apparatus 800 may include an image sensor configured to capture an image of an actual reality to be displayed to a user. Here, as illustrated in FIG. 8A, the image sensor may change the actual reality to be displayed to the user according to the movement of the head and/or the line of sight of the person. In addition, the sensory content providing apparatus 800 may extract an area corresponding to the ROI image extraction module 852 received from the ROI image extraction module as a target image from the captured image. The image generation module of the immersive content providing apparatus 800 synthesizes the augmented reality image 860 corresponding to the target image with the captured real reality image, and displays the synthesized image as shown in FIG. 8C. Can be provided to the device. According to an embodiment, before synthesizing the augmented reality image 860 with an image of a captured real reality, the augmented reality image 860 may be processed for image improvement by an image enhancement module of the immersive content providing apparatus.

다른 실시예에 따르면, 실감형 콘텐츠 제공 장치(800)는 사람의 눈을 통해 실제 현실을 보도록 구성된 투명 글래스를 포함하도록 구성될 수 있다. 여기서, 실감형 콘텐츠 제공 장치(800)의 디스플레이 장치는 투명 글래스 상에 구현될 수 있다. 즉, 사용자는 자신의 눈을 이용하여 투명 글래스를 통해 실제 현실을 볼 수 있을 뿐만 아니라, 투명 글래스 상의 디스플레이 장치에 의해 출력된 증강 현실 영상 또한 볼 수 있다. 본 실시예에서, 실감형 콘텐츠 제공 장치(800)의 ROI 영상 추출 모듈에 의해 결정된 관심 영역(852)은 투명 글래스 상에 표시될 영역을 포함할 수 있다. 실감형 콘텐츠 제공 장치(800)의 영상 생성 모듈은 증강 현실 영상(860)을 생성하고 디스플레이 장치를 통해 결정된 관심 영역에 생성된 증강 현실 영상(860)을 표시하여 일반 시야에 증강 현실 영상(860)을 오버랩시킬 수 있다. 일 예로, 이러한 증강 현실 영상(860)은 디스플레이 장치에 표시되기 전에 실감형 콘텐츠 제공 장치(800)의 영상 개선 모듈에 의해 영상 개선 처리될 수 있다. According to another embodiment, the sensory content providing apparatus 800 may be configured to include a transparent glass configured to see real reality through the human eye. Here, the display device of the sensory content providing apparatus 800 may be implemented on transparent glass. That is, the user can not only see the actual reality through the transparent glass using his/her eyes, but also view the augmented reality image output by the display device on the transparent glass. In this embodiment, the region of interest 852 determined by the ROI image extraction module of the sensory content providing apparatus 800 may include a region to be displayed on the transparent glass. The image generation module of the immersive content providing device 800 generates an augmented reality image 860 and displays the generated augmented reality image 860 in the region of interest determined through the display device to display the augmented reality image 860 in the general field of view. Can overlap. For example, the augmented reality image 860 may be processed for image enhancement by the image enhancement module of the sensory content providing apparatus 800 before being displayed on the display device.

도 9은 본 개시의 일 실시예에 따른 머리 착용 디스플레이 장치에 의해 실감형 콘텐츠를 제공하는 방법을 나타낸 순서도이다. 여기서, 머리 착용 디스플레이 장치는 실감형 콘텐츠 제공 장치(120)의 동일 또는 유사한 구성을 포함하도록 구성될 수 있다. 9 is a flowchart illustrating a method of providing immersive content by a head-worn display device according to an embodiment of the present disclosure. Here, the head worn display device may be configured to include the same or similar configuration of the sensory content providing device 120.

실감형 콘텐츠 제공 방법(900)은, 실감형 콘텐츠 제공 장치(120)는 가상 현실 영상(video)을 수신하는 단계(910)를 수행할 수 있다. 일 실시예에 따르면, 실감형 콘텐츠 제공 장치의 제어부는 실감형 콘텐츠 제공 요청에 기초하여 통신 모듈에 의해 외부 장치로부터 가상현실 영상을 수신할 수 있다. 다른 실시예에 따르면, 제어부는 영상 저장부로부터 저장된 가상현실 영상을 읽어올 수 있다. 여기서, 실감형 콘텐츠 제공 요청은, 사용자가 미리 설정된 인터페이스를 통해 시청하고자 하는 실감형 콘텐츠를 선택하는 동작일 수 있다.In the sensory content providing method 900, the sensory content providing apparatus 120 may perform an operation 910 of receiving a virtual reality video. According to an embodiment, the controller of the sensory content providing device may receive a virtual reality image from an external device by a communication module based on a request to provide sensory content. According to another embodiment, the controller may read the stored virtual reality image from the image storage unit. Here, the request for providing sensory content may be an operation of selecting the sensory content that the user wants to watch through a preset interface.

가상 현실 영상을 수신하고 난 후, 머리 착용 디스플레이를 착용한 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지하는 단계(920)가 수행될 수 있다. 머리 착용 디스플레이에 구비된 움직임 감지기를 이용하여 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지할 수 있다. After receiving the virtual reality image, an operation 920 of detecting at least one of a head movement and a gaze of a user wearing a head worn display may be performed. At least one of a movement of a user's head and a gaze may be detected using a motion detector provided in the head worn display.

그 후, 단계(930)에서는 감지된 움직임 및 시선 중 적어도 하나에 기초하여 관심 영역을 결정할 수 있다. 일 실시예에서, 움직임 감지기는 사용자의 머리 움직임을 감지하여 머리 움직임에 대한 정보를 ROI 영상 추출 모듈로 전송할 수 있다. ROI 영상 추출 모듈은 수신 받은 머리 움직임 정보에 기초하여 사용자의 머리 방향 및 머리 기울기 중 적어도 하나를 결정하고, 결정된 사용자의 머리 방향 및 머리 기울기 중 적어도 하나에 기초하여 관심 영역을 결정할 수 있다. 다른 실시예에 따르면, 움직임 감지기는 사용자의 동공 위치를 검출하도록 구성될 수 있으며, 검출된 동공의 위치에 기초하여 디스플레이 상에서 사용자의 시선의 위치를 결정할 수 있으며, 결정된 사용자의 시선 위치에 기초하여 관심 영역을 결정할 수 있다. 또 다른 실시예에 따르면, 움직임 감지기는 사용자의 머리 움직임 및 동공의 위치 모두를 고려하여 관심 영역을 결정하도록 구성될 수 있다. Thereafter, in step 930, the region of interest may be determined based on at least one of the sensed movement and gaze. In an embodiment, the motion detector may detect the movement of the user's head and transmit information on the movement of the head to the ROI image extraction module. The ROI image extraction module may determine at least one of a user's head direction and a head inclination based on the received head motion information, and determine an ROI based on at least one of the determined user's head direction and head inclination. According to another embodiment, the motion detector may be configured to detect the user's pupil position, determine the position of the user's gaze on the display based on the detected pupil position, and based on the determined user's gaze position Area can be determined. According to another embodiment, the motion detector may be configured to determine the region of interest in consideration of both the movement of the user's head and the position of the pupil.

관심 영역이 결정된 후, 실감형 콘텐츠 제공 장치(120)의 영상 개선 모듈은 수신된 가상 현실 영상에서 관심 영역에 대응되는 부분에 대한 영상 개선 처리하는 단계(940)를 수행할 수 있다. 일 실시예에 따르면, 영상 개선 모듈은 수신된 가상 현실 영상이 압축 영상일 경우, 결정된 관심 영역에 대응되는 가상 현실 영상의 부분에 대한 압축 디코딩 연산 처리를 수행할 수 있다. 다른 실시예에 따르면, 결정된 관심 영역에 대응되는 가상 현실 영상의 부분에 대한 전처리(예: Denoise, Deblur, High Dynamic Range, Color Tone Mapping, Defog, Brightness, Contrast, Auto White Balance, Back Light Compensation 등) 연산을 수행할 수 있다. 또 다른 실시예에 따르면, 관심 영역에 대응되는 수신된 가상 현실의 영상의 부분에 대한 초해상화 (Super Resolution) 연산 처리를 수행할 수 있다. 사용자가 관심있는 관심 영역만을 영상 개선 처리하여 사용자에게 고품질의 영상을 제공할 수 있다. 이와 달리, 영상 개선 모듈은 관심 영역에 대응되는 부분에 대한 압축 디코딩 연산 처리, 전처리 및 초해상화 연산 처리 중 복수의 연산 처리를 수행하도록 구성될 수 있다. After the ROI is determined, the image enhancement module of the sensory content providing apparatus 120 may perform an image improvement process 940 on a portion corresponding to the ROI in the received virtual reality image. According to an embodiment, when the received virtual reality image is a compressed image, the image enhancement module may perform compression decoding processing on a portion of the virtual reality image corresponding to the determined region of interest. According to another embodiment, pre-processing of a portion of a virtual reality image corresponding to the determined region of interest (eg, Denoise, Deblur, High Dynamic Range, Color Tone Mapping, Defog, Brightness, Contrast, Auto White Balance, Back Light Compensation, etc.) Can perform operations. According to another embodiment, a super resolution operation may be performed on a portion of an image of a received virtual reality corresponding to an ROI. It is possible to provide a high-quality image to the user by image enhancement processing only in the region of interest of interest to the user. Alternatively, the image enhancement module may be configured to perform a plurality of operation processing among compression decoding operation processing, pre-processing, and super-resolution operation processing for a portion corresponding to the region of interest.

마지막으로, 제어부는 영상 개선 처리가 수행된 가상 현실 영상의 부분을 포함한 영상을 머리 착용 디스플레이 장치에 출력하여 실감형 콘텐츠를 사용자에게 제공하는 단계(950)를 수행할 수 있다.Lastly, the control unit may perform step 950 of providing immersive content to the user by outputting an image including a portion of the virtual reality image on which the image enhancement processing has been performed to the head worn display device.

상술한 실감형 콘텐츠 제공 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수도 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The above-described sensory content providing apparatus may be implemented as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. In addition, the computer-readable recording medium is distributed over a computer system connected through a network, so that computer-readable codes can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the above embodiments can be easily inferred by programmers in the technical field to which the present invention belongs.

본원에 기술된 기법들은 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이러한 기법들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수도 있다. 본원의 개시와 연계하여 설명된 다양한 예시적인 논리적 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양자의 조합들로 구현될 수도 있음을 당업자들은 더 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호교환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들, 및 단계들이 그들의 기능성의 관점에서 일반적으로 위에서 설명되었다. 그러한 기능이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는 지의 여부는, 특정 애플리케이션 및 전체 시스템에 부과되는 설계 제약들에 따라 달라진다. 당업자들은 각각의 특정 애플리케이션을 위해 다양한 방식들로 설명된 기능을 구현할 수도 있으나, 그러한 구현 결정들은 본 개시의 범위로부터 벗어나게 하는 것으로 해석되어서는 안된다.The techniques described herein may be implemented by various means. For example, these techniques may be implemented in hardware, firmware, software, or a combination thereof. Those of skill in the art will further appreciate that the various illustrative logical blocks, modules, circuits, and algorithm steps described in connection with the disclosure herein may be implemented in electronic hardware, computer software, or combinations of both. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends on the particular application and design constraints imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present disclosure.

하드웨어 구현에서, 기법들을 수행하는 데 이용되는 프로세싱 유닛들은, 하나 이상의 ASIC들, DSP들, 디지털 신호 프로세싱 디바이스들 (digital signal processing devices; DSPD들), 프로그램가능 논리 디바이스들 (programmable logic devices; PLD들), 필드 프로그램가능 게이트 어레이들 (field programmable gate arrays; FPGA들), 프로세서들, 제어기들, 마이크로제어기들, 마이크로프로세서들, 전자 디바이스들, 본원에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 컴퓨터, 또는 이들의 조합 내에서 구현될 수도 있다.In a hardware implementation, the processing units used to perform the techniques include one or more ASICs, DSPs, digital signal processing devices (DSPDs), programmable logic devices (PLDs). ), field programmable gate arrays (FPGAs), processors, controllers, microcontrollers, microprocessors, electronic devices, other electronic units designed to perform the functions described herein, It may be implemented in a computer, or a combination thereof.

따라서, 본원의 개시와 연계하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 및 회로들은 범용 프로세서, DSP, ASIC, FPGA나 다른 프로그램 가능 논리 디바이스, 이산 게이트나 트랜지스터 로직, 이산 하드웨어 컴포넌트들, 또는 본원에 설명된 기능들을 수행하도록 설계된 것들의 임의의 조합으로 구현되거나 수행될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안에서, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 프로세서는 또한, 컴퓨팅 디바이스들의 조합, 예를 들면, DSP와 마이크로프로세서, 복수의 마이크로프로세서들, DSP 코어와 연계한 하나 이상의 마이크로프로세서들, 또는 임의의 다른 그러한 구성의 조합으로서 구현될 수도 있다.Accordingly, various illustrative logic blocks, modules, and circuits described in connection with the disclosure herein may be a general purpose processor, DSP, ASIC, FPGA or other programmable logic device, discrete gate or transistor logic, discrete hardware components, or It may be implemented or performed in any combination of those designed to perform the functions described herein. A general purpose processor may be a microprocessor, but in the alternative, the processor may be any conventional processor, controller, microcontroller, or state machine. The processor may also be implemented as a combination of computing devices, eg, a combination of a DSP and a microprocessor, a plurality of microprocessors, one or more microprocessors in connection with the DSP core, or any other such configuration.

펌웨어 및/또는 소프트웨어 구현에 있어서, 기법들은 랜덤 액세스 메모리 (random access memory; RAM), 판독 전용 메모리 (read-only memory; ROM), 불휘발성 RAM (non-volatile random access memory; NVRAM), PROM (programmable read-only memory), EPROM (erasable programmable read-only memory), EEPROM (electrically erasable PROM), 플래시 메모리, 컴팩트 디스크 (compact disc; CD), 자기 또는 광학 데이터 스토리지 디바이스 등과 같은 컴퓨터 판독가능 매체 상에 저장된 명령들로서 구현될 수도 있다. 명령들은 하나 이상의 프로세서들에 의해 실행가능할 수도 있고, 프로세서(들)로 하여금 본원에 설명된 기능의 특정 양태들을 수행하게 할 수도 있다.In the firmware and/or software implementation, the techniques include random access memory (RAM), read-only memory (ROM), non-volatile random access memory (NVRAM), PROM ( on a computer-readable medium such as programmable read-only memory), erasable programmable read-only memory (EPROM), electrically erasable PROM (EEPROM), flash memory, compact disc (CD), magnetic or optical data storage device, etc. It can also be implemented as stored instructions. The instructions may be executable by one or more processors, and may cause the processor(s) to perform certain aspects of the functionality described herein.

소프트웨어로 구현되면, 상기 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독 가능한 매체 상에 저장되거나 또는 컴퓨터 판독 가능한 매체를 통해 전송될 수도 있다. 컴퓨터 판독가능 매체들은 한 장소에서 다른 장소로 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하여 컴퓨터 저장 매체들 및 통신 매체들 양자를 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체들일 수도 있다. 비제한적인 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 소망의 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 이송 또는 저장하기 위해 사용될 수 있으며 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있다. 또한, 임의의 접속이 컴퓨터 판독가능 매체로 적절히 칭해진다.When implemented in software, the functions may be stored on a computer readable medium as one or more instructions or codes or transmitted through a computer readable medium. Computer-readable media includes both computer storage media and communication media, including any medium that facilitates transfer of a computer program from one place to another. Storage media may be any available media that can be accessed by a computer. By way of non-limiting example, such computer-readable medium may contain RAM, ROM, EEPROM, CD-ROM or other optical disk storage, magnetic disk storage or other magnetic storage devices, or the desired program code in the form of instructions or data structures. It may include any other medium that may be used for transfer or storage to and accessible by a computer. Also, any connection is properly termed a computer-readable medium.

예를 들어, 소프트웨어가 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선 (DSL), 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들을 사용하여 웹사이트, 서버, 또는 다른 원격 소스로부터 전송되면, 동축 케이블, 광섬유 케이블, 연선, 디지털 가입자 회선, 또는 적외선, 무선, 및 마이크로파와 같은 무선 기술들은 매체의 정의 내에 포함된다. 본원에서 사용된 디스크 (disk) 와 디스크 (disc)는, CD, 레이저 디스크, 광 디스크, DVD (digital versatile disc), 플로피디스크, 및 블루레이 디스크를 포함하며, 여기서 디스크들 (disks) 은 보통 자기적으로 데이터를 재생하고, 반면 디스크들 (discs) 은 레이저를 이용하여 광학적으로 데이터를 재생한다. 위의 조합들도 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.For example, if the software is transmitted from a website, server, or other remote source using wireless technologies such as coaxial cable, fiber optic cable, twisted pair, digital subscriber line (DSL), or infrared, wireless, and microwave, coaxial cable , Fiber optic cable, twisted pair, digital subscriber line, or wireless technologies such as infrared, wireless, and microwave are included within the definition of the medium. As used herein, disks and disks include CDs, laser disks, optical disks, digital versatile discs (DVDs), floppy disks, and Blu-ray disks, where disks are usually magnetic It reproduces data optically, while discs reproduce data optically using a laser. Combinations of the above should also be included within the scope of computer-readable media.

소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터들, 하드 디스크, 이동식 디스크, CD-ROM, 또는 공지된 임의의 다른 형태의 저장 매체 내에 상주할 수도 있다. 예시적인 저장 매체는, 프로세가 저장 매체로부터 정보를 판독하거나 저장 매체에 정보를 기록할 수 있도록, 프로세서에 커플링될 수 있다. 대안으로, 저장 매체는 프로세서에 통합될 수도 있다. 프로세서와 저장 매체는 ASIC 내에 존재할 수도 있다. ASIC은 유저 단말 내에 존재할 수도 있다. 대안으로, 프로세서와 저장 매체는 유저 단말에서 개별 컴포넌트들로서 존재할 수도 있다.The software module may reside in RAM memory, flash memory, ROM memory, EPROM memory, EEPROM memory, registers, hard disk, removable disk, CD-ROM, or any other type of storage medium known in the art. An exemplary storage medium may be coupled to a processor such that the processor can read information from or write information to the storage medium. Alternatively, the storage medium may be integrated into the processor. The processor and storage medium may also reside within the ASIC. The ASIC may exist in the user terminal. Alternatively, the processor and storage medium may exist as separate components in the user terminal.

본 개시의 앞선 설명은 당업자들이 본 개시를 행하거나 이용하는 것을 가능하게 하기 위해 제공된다. 본 개시의 다양한 수정예들이 당업자들에게 쉽게 자명할 것이고, 본원에 정의된 일반적인 원리들은 본 개시의 취지 또는 범위를 벗어나지 않으면서 다양한 변형예들에 적용될 수도 있다. 따라서, 본 개시는 본원에 설명된 예들에 제한되도록 의도된 것이 아니고, 본원에 개시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위가 부여되도록 의도된다.The previous description of the present disclosure is provided to enable any person skilled in the art to make or use the present disclosure. Various modifications of the present disclosure will be readily apparent to those skilled in the art, and the general principles defined herein may be applied to various modifications without departing from the spirit or scope of the present disclosure. Accordingly, this disclosure is not intended to be limited to the examples described herein, but is to be accorded the widest scope consistent with the principles and novel features disclosed herein.

비록 예시적인 구현예들이 하나 이상의 독립형 컴퓨터 시스템의 맥락에서 현재 개시된 주제의 양태들을 활용하는 것을 언급할 수도 있으나, 본 주제는 그렇게 제한되지 않고, 오히려 네트워크나 분산 컴퓨팅 환경과 같은 임의의 컴퓨팅 환경과 연계하여 구현될 수도 있다. 또 나아가, 현재 개시된 주제의 양상들은 복수의 프로세싱 칩들이나 디바이스들에서 또는 그들에 걸쳐 구현될 수도 있고, 스토리지는 복수의 디바이스들에 걸쳐 유사하게 영향을 받게 될 수도 있다. 이러한 디바이스들은 PC들, 네트워크 서버들, 및 핸드헬드 디바이스들을 포함할 수도 있다.Although exemplary implementations may refer to utilizing aspects of the currently disclosed subject matter in the context of one or more standalone computer systems, the subject matter is not so limited, but rather is associated with any computing environment, such as a network or distributed computing environment. It can also be implemented. Furthermore, aspects of the presently disclosed subject matter may be implemented in or across multiple processing chips or devices, and storage may be similarly affected across multiple devices. Such devices may include PCs, network servers, and handheld devices.

비록 본 주제가 구조적 특징들 및/또는 방법론적 작용들에 특정한 언어로 설명되었으나, 첨부된 청구항들에서 정의된 주제가 위에서 설명된 특정 특징들 또는 작용들로 반드시 제한되는 것은 아님이 이해될 것이다. 오히려, 위에서 설명된 특정 특징들 및 작용들은 청구항들을 구현하는 예시적인 형태로서 설명된다.Although the subject matter has been described in language specific to structural features and/or methodological actions, it will be understood that the subject matter defined in the appended claims is not necessarily limited to the specific features or actions described above. Rather, the specific features and acts described above are described as an exemplary form of implementing the claims.

이 명세서에서 언급된 방법은 특정 실시예들을 통하여 설명되었지만, 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀 질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.Although the method mentioned in this specification has been described through specific embodiments, it is possible to implement it as a computer-readable code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage devices. In addition, the computer-readable recording medium is distributed over a computer system connected through a network, so that computer-readable codes can be stored and executed in a distributed manner. Further, functional programs, codes, and code segments for implementing the embodiments can be easily inferred by programmers in the technical field to which the present invention belongs.

본 명세서에서는 본 개시가 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 통상의 기술자가 이해할 수 있는 본 개시의 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.In the present specification, the present disclosure has been described with reference to some embodiments, but various modifications and changes may be made without departing from the scope of the present disclosure as understood by those of ordinary skill in the art to which the present disclosure belongs. In addition, such modifications and changes should be considered to fall within the scope of the claims appended to this specification.

110_1 내지 110_n: 외부 장치
120: 실감형 콘텐츠 제공 장치
130: 통신 네트워크
210: 통신 모듈
220: 영상 저장부
230: 움직임 감지기
240: 이미지 센서
250: 디스플레이 장치
260: 제어부
262: 영상 생성 모듈
264: ROI 영상 추출 모듈
266: 영상 개선 모듈
270: 압축 디코딩 연산 처리 모듈
272: 영상 전처리 연산 모듈
274: 초해상화 연산 처리 모듈
110_1 to 110_n: external device
120: immersive content providing device
130: communication network
210: communication module
220: image storage unit
230: motion detector
240: image sensor
250: display device
260: control unit
262: image generation module
264: ROI image extraction module
266: image enhancement module
270: compression decoding operation processing module
272: image preprocessing operation module
274: super-resolution operation processing module

Claims (10)

실감형 콘텐츠를 제공하는 장치에 있어서,
사용자의 머리 움직임 및 시선 중 적어도 하나를 감지하도록 구성된 움직임 감지기;
상기 사용자에게 보여주고자 하는 실제 현실에 대한 영상을 촬영하도록 구성된 이미지 센서;
상기 이미지 센서를 통해 촬영된 영상을 수신하고, 상기 움직임 감지기로부터 감지된 움직임 및 시선 중 적어도 하나에 기초하여 상기 영상 내의 관심 영역(Region of Interest)을 결정하고 상기 영상으로부터 상기 결정된 관심 영역에 대응하는 목적 영상을 추출하도록 구성된 ROI 영상 추출 모듈;
증강 현실 영상이 포함된 영상을 수신하고, 상기 추출된 목적 영상에 대응하는 증강 현실 영상에 대해 전처리 연산 및 초해상화(Super Resolution) 연산 처리를 수행하고, 상기 추출된 목적 영상의 복수의 이미지 파라미터를 전처리하기 위한 학습된 인공신경망을 활용하여 Demosaicing 기법, WDR(Wide Dynamic Range), HDR(High Dynamic Range) 기법, Deblur 기법, Denoise 기법, Color Tone mapping 기법, White Balance 기법 및 Decompression 기법 중 적어도 하나를 통한, 상기 증강 현실에 대한 영상 개선 처리를 수행하도록 구성된 영상 개선 모듈; 및
상기 영상 개선 처리가 수행된 증강 현실 영상이 합성된 목적 영상을 포함한 상기 영상을 출력하도록 구성된 디스플레이 장치를 포함하는, 실감형 콘텐츠 제공 장치.
In the apparatus for providing immersive content,
A motion detector configured to detect at least one of a user's head movement and a gaze;
An image sensor configured to take an image of an actual reality to be displayed to the user;
Receives an image photographed through the image sensor, determines a region of interest in the image based on at least one of motion and gaze detected from the motion detector, and corresponds to the determined region of interest from the image An ROI image extraction module configured to extract a target image;
Receives an image including an augmented reality image, performs a pre-processing operation and a super resolution operation on the augmented reality image corresponding to the extracted target image, and a plurality of image parameters of the extracted target image At least one of the Demosaicing technique, Wide Dynamic Range (WDR), High Dynamic Range (HDR) technique, Deblur technique, Denoise technique, Color Tone mapping technique, White Balance technique, and Decompression technique using the learned artificial neural network for preprocessing An image enhancement module configured to perform image enhancement processing on the augmented reality through the augmented reality; And
And a display device configured to output the image including a target image obtained by synthesizing the augmented reality image on which the image enhancement processing has been performed.
제1항에 있어서, 상기 이미지 센서는 상기 사용자의 머리 움직임에 따라 상기 사용자에게 보여주고자 하는 실제 현실이 변경되도록 배치되는, 실감형 콘텐츠 제공 장치.
The apparatus of claim 1, wherein the image sensor is arranged to change the actual reality to be displayed to the user according to the movement of the user's head.
삭제delete 삭제delete 제1항에 있어서,
상기 ROI 영상 추출 모듈은,
상기 감지된 움직임에 기초하여 상기 사용자의 머리 방향 및 머리 기울기 중 적어도 하나를 결정하고,
상기 결정된 사용자의 머리 방향 및 머리 기울기 중 적어도 하나에 기초하여 상기 관심 영역을 결정하도록 더 구성된, 실감형 콘텐츠 제공 장치.
The method of claim 1,
The ROI image extraction module,
Determine at least one of the user's head direction and head tilt based on the sensed movement,
The apparatus for providing immersive content, further configured to determine the region of interest based on at least one of the determined user's head direction and head tilt.
제1항에 있어서,
상기 움직임 감지기는,
상기 사용자의 동공의 위치를 검출하도록 더 구성되고,
상기 ROI 영상 추출 모듈은,
상기 검출된 동공의 위치에 기초하여 상기 디스플레이 상에서 상기 사용자의 시선의 위치를 결정하고,
상기 결정된 사용자의 시선의 위치에 기초하여 상기 관심 영역을 결정하도록 더 구성된, 실감형 콘텐츠 제공 장치.
The method of claim 1,
The motion detector,
Further configured to detect the location of the user's pupil,
The ROI image extraction module,
Determine the position of the user's gaze on the display based on the detected position of the pupil,
The apparatus for providing immersive content, further configured to determine the region of interest based on the determined position of the user's gaze.
제1항에 있어서,
상기 영상 개선 모듈은, 상기 목적 영상에 대응하는 증강 현실 영상에 대한 초해상화(Super Resolution) 연산 처리를 수행하도록 구성된 초해상화 연산 처리 모듈을 포함하는, 실감형 콘텐츠 제공 장치.
The method of claim 1,
The image enhancement module includes a super resolution operation processing module configured to perform a super resolution operation processing on an augmented reality image corresponding to the target image.
삭제delete 제1항에 있어서,
상기 영상 개선 모듈은, 상기 목적 영상에 대응하는 증강 현실 영상에 대한 전처리 연산을 수행하도록 구성된 영상 전처리 연산 모듈을 포함하는, 실감형 콘텐츠 제공 장치.
The method of claim 1,
The image enhancement module includes an image preprocessing operation module configured to perform a preprocessing operation on an augmented reality image corresponding to the target image.
머리 착용 디스플레이(Head Mounted Display) 장치에 의해, 실감형 콘텐츠를 제공하는 방법에 있어서,
상기 머리 착용 디스플레이 장치를 착용한 사용자의 머리 움직임 및 시선 중 적어도 하나를 감지하는 단계;
상기 사용자에게 보여주고자 하는 실제 현실에 대한 영상을 촬영하는 단계;
상기 촬영된 영상 내의 상기 감지된 움직임 및 시선 중 적어도 하나에 기초하여 관심 영역을 결정하는 단계;
상기 영상으로부터 상기 결정된 관심 영역에 대응하는 목적 영상을 추출하는 단계;
증강 현실 영상이 포함된 영상을 수신하고, 상기 추출된 목적 영상에 대응하는 증강 현실에 대해 전처리 연산 및 초해상화(Super Resolution) 연산 처리를 수행하고, 상기 추출된 목적 영상의 복수의 이미지 파라미터를 전처리하기 위한 학습된 인공신경망을 활용하여 Demosaicing 기법, WDR(Wide Dynamic Range), HDR(High Dynamic Range) 기법, Deblur 기법, Denoise 기법, Color Tone mapping 기법, White Balance 기법 및 Decompression 기법 중 적어도 하나를 통한, 상기 증강 현실에 대한 상기 증강 현실 영상에 대한 영상 개선 처리를 수행하는 단계; 및
상기 영상 개선 처리가 수행된 증강 현실 영상이 합성된 목적 영상을 포함한 영상을 상기 머리 착용 디스플레이 장치의 디스플레이에 출력하는 단계를 포함하는, 실감형 콘텐츠 제공 방법.
In a method of providing immersive content by a head mounted display device,
Detecting at least one of a head movement and a gaze of a user wearing the head-worn display device;
Photographing an image of an actual reality to be displayed to the user;
Determining a region of interest based on at least one of the sensed motion and gaze in the captured image;
Extracting a target image corresponding to the determined ROI from the image;
Receives an image including an augmented reality image, performs a pre-processing operation and a super resolution operation on the augmented reality corresponding to the extracted target image, and determines a plurality of image parameters of the extracted target image. Using the learned artificial neural network for preprocessing, at least one of the Demosaicing technique, WDR (Wide Dynamic Range), HDR (High Dynamic Range) technique, Deblur technique, Denoise technique, Color Tone mapping technique, White Balance technique, and Decompression technique And performing image enhancement processing on the augmented reality image for the augmented reality; And
And outputting, on a display of the head-worn display device, an image including a target image obtained by synthesizing the augmented reality image on which the image enhancement processing has been performed.
KR1020190067579A 2018-12-21 2019-06-07 Apparatus and method for providing realistic contents KR102204212B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180167920 2018-12-21
KR1020180167920 2018-12-21

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210003853A Division KR102227506B1 (en) 2018-12-21 2021-01-12 Apparatus and method for providing realistic contents

Publications (2)

Publication Number Publication Date
KR20200079162A KR20200079162A (en) 2020-07-02
KR102204212B1 true KR102204212B1 (en) 2021-01-19

Family

ID=71599566

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020190067579A KR102204212B1 (en) 2018-12-21 2019-06-07 Apparatus and method for providing realistic contents
KR1020210003853A KR102227506B1 (en) 2018-12-21 2021-01-12 Apparatus and method for providing realistic contents

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020210003853A KR102227506B1 (en) 2018-12-21 2021-01-12 Apparatus and method for providing realistic contents

Country Status (1)

Country Link
KR (2) KR102204212B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230319296A1 (en) * 2022-03-29 2023-10-05 Apple Inc. Energy efficient context relevant processing for content

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102511495B1 (en) 2020-12-01 2023-03-17 서울과학기술대학교 산학협력단 Method for generating realistic content
CN115314658A (en) * 2022-07-29 2022-11-08 京东方科技集团股份有限公司 Video communication method and system based on three-dimensional display
KR102559721B1 (en) * 2022-11-16 2023-07-26 주식회사 지디에프랩 Control method of electronic apparatus for selectively restore images according to field of view of user
WO2024106974A1 (en) * 2022-11-16 2024-05-23 주식회사 지디에프랩 Control method for controlling electronic device for selectively processing image according to field of view of user

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017146607A (en) * 2013-06-07 2017-08-24 株式会社ソニー・インタラクティブエンタテインメント Image rendering responsive to user actions in head mounted display

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
KR102396794B1 (en) * 2016-12-23 2022-05-13 삼성전자주식회사 Electronic device and Method for controlling the electronic device thereof
KR102623391B1 (en) * 2017-01-10 2024-01-11 삼성전자주식회사 Method for Outputting Image and the Electronic Device supporting the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017146607A (en) * 2013-06-07 2017-08-24 株式会社ソニー・インタラクティブエンタテインメント Image rendering responsive to user actions in head mounted display

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230319296A1 (en) * 2022-03-29 2023-10-05 Apple Inc. Energy efficient context relevant processing for content

Also Published As

Publication number Publication date
KR20200079162A (en) 2020-07-02
KR20210008889A (en) 2021-01-25
KR102227506B1 (en) 2021-03-12

Similar Documents

Publication Publication Date Title
KR102204212B1 (en) Apparatus and method for providing realistic contents
US10859840B2 (en) Graphics rendering method and apparatus of virtual reality
JP7415931B2 (en) Image display control using real-time compression within the image peripheral area
KR102164723B1 (en) System and method for generating 3-d plenoptic video images
WO2017086263A1 (en) Image processing device and image generation method
US9911214B2 (en) Display control method and display control apparatus
US9424767B2 (en) Local rendering of text in image
CN108463765A (en) Based on pose information at head-mounted display apparatus coded image data
US9762791B2 (en) Production of face images having preferred perspective angles
US10572764B1 (en) Adaptive stereo rendering to reduce motion sickness
US9766458B2 (en) Image generating system, image generating method, and information storage medium
US20220113795A1 (en) Data processing system and method for image enhancement
US20190347864A1 (en) Storage medium, content providing apparatus, and control method for providing stereoscopic content based on viewing progression
CN111880711B (en) Display control method, display control device, electronic equipment and storage medium
CN113286138A (en) Panoramic video display method and display equipment
US20220172440A1 (en) Extended field of view generation for split-rendering for virtual reality streaming
US10867368B1 (en) Foveated image capture for power efficient video see-through
JP6591667B2 (en) Image processing system, image processing apparatus, and program
JP2017097854A (en) Program, recording medium, content providing device, and control method
US10083675B2 (en) Display control method and display control apparatus
US20190052868A1 (en) Wide viewing angle video processing system, wide viewing angle video transmitting and reproducing method, and computer program therefor
EP3330839A1 (en) Method and device for adapting an immersive content to the field of view of a user
WO2022230253A1 (en) Information processing device and information processing method
US20230077410A1 (en) Multi-View Video Codec
EP3996075A1 (en) Image rendering system and method

Legal Events

Date Code Title Description
AMND Amendment
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant