KR20190123039A

KR20190123039A - Method for processing image of extended reality and apparatus thereof

Info

Publication number: KR20190123039A
Application number: KR1020180046708A
Authority: KR
Inventors: 박승민; 박준서; 곽남훈
Original assignee: 박승민; 곽남훈; 박준서
Priority date: 2018-04-23
Filing date: 2018-04-23
Publication date: 2019-10-31
Also published as: WO2019209013A1

Abstract

An image processing method for extended reality and an apparatus therefor are disclosed. The image processing method for extended reality according to an exemplary embodiment of the present invention includes the following processes: detecting the direction of the line of sight of a user wearing an expanded reality-based image processing apparatus; performing reference resolution image processing on a first region corresponding to the direction of the line of sight; and performing low resolution image processing corresponding to second average resolution lower than first average resolution corresponding to the reference resolution image processing on the second region surrounding the first region. It is possible to improve the resolution and quality of expanded reality content.

Description

Extended reality image processing method and apparatus therefor {METHOD FOR PROCESSING IMAGE OF EXTENDED REALITY AND APPARATUS THEREOF}

본 발명은 확장현실 영상처리 기술에 관한 것으로, 특히 사용자의 시선에 대응하는 영역별로 상이한 해상도를 적용하여 영상을 처리함으로써 보다 향상된 화질의 확장현실 영상 서비스를 제공할 수 있는 기술에 관한 것이다.The present invention relates to an extended reality image processing technology, and more particularly, to a technology capable of providing an enhanced reality image service of a higher quality by processing an image by applying a different resolution for each region corresponding to a gaze of a user.

확장현실(Extended Reality, XR)은 증강현실(Augmented Reality, AR), 가상현실(Virtual Reality, VR) 및 혼합현실(Mixed Reality, MR)을 모두 아루르는 기술에 해당한다. 현재 증강현실과 확장현실은 별개의 경험이지만 두 기술은 많은 제반 기술 요소를 공유하고 있고, 이런 기술들이 궁극적으로 증강현실과 가상현실 모두를 지원하는 새로운 형태의 웨어러블 기기에 융합되면서 혁신적인 확장현실 기술을 제공하게 된다.Extended Reality (XR) is a technology that covers both Augmented Reality (AR), Virtual Reality (VR), and Mixed Reality (MR). While augmented reality and augmented reality are currently separate experiences, the two technologies share many technical elements, and these technologies ultimately integrate innovative new technologies into wearable devices that support both augmented and virtual reality. Will be provided.

이러한 확장현실 기반의 컨텐츠 확산이 지연되고 있는 주요 이유 중 하나는 컨텐츠의 디스플레이 품질이 비-인터랙티브(non-interactive) 디스플레이의 고정 뷰(fixed view)의 컨텐츠에 비해 떨어진다는 것이다. 즉, 소비자가 경험하는 현재 확장현실 기술의 스크린 컨텐츠 품질은 고정 뷰 방식의 컨텐츠에 비해 열악한 상황이다.One of the main reasons for the delay in the expansion of content based on augmented reality is that the display quality of the content is inferior to that of the fixed view of the non-interactive display. In other words, the screen content quality of the present extended reality technology experienced by the consumer is inferior to that of the fixed view method.

고정 뷰 방식의 컨텐츠에 관해서는 UHD 해상도나 HDR 등의 차세대 컨텐츠를 위한 산업 제안(industry recommendation)들이 정의된 데 반하여, 확장현실 컨텐츠는 픽쳐 해상도(picture resolution), 불충분한 프레임 레이트(frame rate) 및 플리커링(flickering)과 같은 기본적인 이슈들에 의해 제약받고 있다.In terms of fixed view content, industrial recommendations for next-generation content such as UHD resolution and HDR are defined, whereas expanded reality content is characterized by picture resolution, insufficient frame rate and Constrained by basic issues such as flickering.

또한, 현재 확장현실 컨텐츠의 품질은 해상도에 의한 제약을 받고 있다. 즉, 사용자들은 적어도 2K의 HD 해상도에 익숙해져 있으므로 확장현실 컨텐츠에서도 보다 나은 품질(immersed quality)의 해상도를 기대한다.In addition, the quality of the expanded reality content is currently limited by the resolution. In other words, users are accustomed to at least 2K HD resolution, so they expect better quality (immersed quality) resolution in augmented reality content.

한국 공개 특허 제10-2017-0013653호, 2017년 2월 7일 공개(명칭: HMD형 확장현실 콘텐츠 모니터링 및 제어 시스템)Korean Unexamined Patent Publication No. 10-2017-0013653, published on February 7, 2017 (name: HMD type extended reality content monitoring and control system)

본 발명의 목적은 확장현실 컨텐츠의 해상도 및 품질을 향상시키는 것이다.An object of the present invention is to improve the resolution and quality of augmented reality content.

또한, 본 발명의 목적은 사용자의 시선 움직임에 따라 영상 처리 수준을 달리함으로써 확장현실 영상처리에 있어서 불필요하게 많은 부하가 발생하는 것을 방지하는 것이다.In addition, an object of the present invention is to prevent unnecessary load in the expanded reality image processing by varying the image processing level according to the user's gaze movement.

또한, 본 발명의 목적은 사용자의 시선을 기준으로 고해상도의 영상을 제공함으로써 시선 이외의 영상을 처리하는데 많은 자원을 소비하지 않고 효율적으로 서비스를 제공하는 것이다.In addition, an object of the present invention is to provide a service efficiently by providing a high-resolution image based on the user's line of sight without spending a lot of resources to process images other than the line of sight.

상기한 목적을 달성하기 위한 본 발명에 따른 확장현실 영상처리 방법은, 확장현실 기반의 영상처리 장치를 착용한 사용자의 시선의 방향을 감지하는 단계; 상기 시선의 방향에 대응하는 제1 영역에 대하여 기준 해상도 영상 처리를 수행하는 단계; 및 상기 제1 영역을 둘러싸는 제2 영역에 대하여 상기 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행하는 단계를 포함한다.In accordance with an aspect of the present invention, there is provided a method for processing an extended reality image, comprising: detecting a direction of a line of sight of a user wearing an extension reality based image processing apparatus; Performing reference resolution image processing on the first area corresponding to the direction of the gaze; And performing low resolution image processing corresponding to a second average resolution lower than a first average resolution corresponding to the reference resolution image processing on the second area surrounding the first area.

이 때, 제2 영역은 복수개의 영역들로 구분되고, 상기 제1 영역의 중심에서 먼 영역일수록 평균 해상도가 더 낮아질 수 있다.In this case, the second area may be divided into a plurality of areas, and as the area farther from the center of the first area, the average resolution may be lower.

이 때, 확장현실 영상처리 방법은 상기 시선의 방향이 변화하면, 변화된 시선의 방향을 기준으로 상기 제1 영역 및 상기 제2 영역을 재설정하는 단계를 더 포함할 수 있다.In this case, the extended reality image processing method may further include resetting the first area and the second area based on the changed direction of the gaze when the direction of the gaze changes.

이 때, 시선의 방향을 기준으로 하는 시야각을 기반으로 상기 제1 영역 및 상기 제2 영역에 대한 범위를 설정할 수 있다.In this case, a range of the first area and the second area may be set based on a viewing angle based on the direction of the line of sight.

이 때, 시야각은 수평 시야각 및 수직 시야각 중 적어도 하나에 상응할 수 있다.In this case, the viewing angle may correspond to at least one of the horizontal viewing angle and the vertical viewing angle.

이 때, 확장현실 영상처리 방법은 상기 기준 해상도 영상 처리를 수행한 결과와 상기 저해상도 영상 처리를 수행한 결과를 결합하여 상기 사용자에게 디스플레이하는 단계를 더 포함할 수 있다.In this case, the extended reality image processing method may further include combining the result of performing the reference resolution image processing with the result of performing the low resolution image processing and displaying the result to the user.

이 때, 시선의 방향이 변화하는 속도가 느린 경우의 제1 평균 해상도가 상기 시선의 방향이 변화하는 속도가 빠른 경우의 제1 평균 해상도보다 높을 수 있다.In this case, the first average resolution when the direction of the line of sight changes is slower than the first average resolution when the rate of the line of sight changes.

이 때, 시선의 방향이 변화하는 속도가 느린 경우의 제2 평균 해상도가 상기 시선의 방향이 변화하는 속도가 빠른 경우의 제2 평균 해상도보다 높을 수 있다.In this case, the second average resolution when the speed at which the direction of the gaze is changed may be higher than the second average resolution when the speed at which the direction of the gaze is changed is fast.

이 때, 제2 영역에 대한 시야각이 상기 제1 영역에 대한 시야각보다 클 수 있다.In this case, the viewing angle with respect to the second area may be greater than the viewing angle with respect to the first area.

이 때, 시선의 방향이 변화하면, 상기 시선의 방향이 변화하는 속도가 느린 경우의 범위가 상기 시선의 방향이 변화하는 속도가 빠른 경우의 범위보다 넓을 수 있다.At this time, when the direction of the gaze changes, the range in which the speed of changing the direction of the gaze is slow may be wider than the range in which the speed of changing the direction of the gaze is fast.

또한, 본 발명의 일실시예에 따른 확장현실 영상처리 장치는, 확장현실 기반의 영상처리 장치를 착용한 사용자의 시선의 방향을 감지하고, 상기 시선의 방향에 대응하는 제1 영역에 대하여 기준 해상도 영상 처리를 수행하고, 상기 제1 영역을 둘러싸는 제2 영역에 대하여 상기 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행하는 프로세서; 및 상기 제1 평균 해상도 및 상기 제2 평균 해상도를 저장하는 메모리를 포함한다.The extended reality image processing apparatus according to an exemplary embodiment of the present invention may detect a direction of a line of sight of a user wearing the expanded reality based image processing apparatus and may refer to a reference resolution with respect to a first area corresponding to the direction of the line of sight. A processor configured to perform image processing and perform low resolution image processing corresponding to a second average resolution lower than a first average resolution corresponding to the reference resolution image processing on a second area surrounding the first area; And a memory storing the first average resolution and the second average resolution.

이 때, 프로세서는 상기 시선의 방향이 변화하면, 변화된 시선의 방향을 기준으로 상기 제1 영역 및 상기 제2 영역을 재설정하는 단계를 더 포함할 수 있다.In this case, the processor may further include resetting the first area and the second area based on the changed direction of the gaze when the direction of the gaze changes.

이 때, 프로세서는 상기 기준 해상도 영상 처리를 수행한 결과와 상기 저해상도 영상 처리를 수행한 결과를 결합하여 상기 사용자에게 디스플레이하는 단계를 더 포함할 수 있다.In this case, the processor may further include combining the result of performing the reference resolution image processing with the result of performing the low resolution image processing and displaying the result to the user.

본 발명에 따르면, 확장현실 컨텐츠의 해상도 및 품질을 향상시킬 수 있다.According to the present invention, the resolution and quality of the augmented reality content can be improved.

또한, 본 발명은 사용자의 시선 움직임에 따라 영상 처리 수준을 달리함으로써 확장현실 영상처리에 있어서 불필요하게 많은 부하가 발생하는 것을 방지할 수 있다.In addition, the present invention can prevent unnecessary loads in the expanded reality image processing by changing the image processing level according to the user's gaze movement.

또한, 본 발명은 사용자의 시선을 기준으로 고해상도의 영상을 제공함으로써 시선 이외의 영상을 처리하는데 많은 자원을 소비하지 않고 효율적으로 서비스를 제공할 수 있다.In addition, the present invention can provide a high-resolution image based on the line of sight of the user to efficiently provide a service without consuming a large amount of resources for processing images other than the line of sight.

도 1은 본 발명의 일실시예에 따른 확장현실 영상처리 시스템을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 확장현실 영상처리 방법을 나타낸 동작흐름도이다.
도 3은 본 발명에 따른 제1 영역과 제2 영역의 일예를 나타낸 도면이다.
도 4는 본 발명에 따른 제2 영역을 복수개의 영역들로 분할하는 일 예를 나타낸 도면이다.
도 5 내지 도 6은 본 발명에 따른 시야각의 일 예를 나타낸 도면이다.
도 7 내지 도 8은 본 발명에 따른 범위와 시선의 방향 변화 속도간 관계 그래프의 일 예를 나타낸 도면이다.
도 9 내지 도 10은 본 발명에 따른 평균 해상도와 시선의 방향 변화 속도간 관계 그래프의 일 예를 나타낸 도면이다.
도 11은 본 발명에 따른 HMD(Head Mounted Display)의 구성의 일 예를 나타낸 블록도이다.
도 12는 본 발명의 일실시예에 따른 확장현실 영상처리 장치를 나타낸 블록도이다.1 is a diagram illustrating an extended reality image processing system according to an exemplary embodiment of the present invention.
2 is a flowchart illustrating an augmented reality image processing method according to an embodiment of the present invention.
3 illustrates an example of a first region and a second region according to the present invention.
4 is a diagram illustrating an example of dividing a second region into a plurality of regions according to the present invention.
5 to 6 are diagrams showing an example of a viewing angle according to the present invention.
7 to 8 are diagrams showing an example of a relationship graph between the range and the direction change speed of the line of sight according to the present invention.
9 to 10 are diagrams showing an example of a relationship graph between the average resolution and the direction change speed of the gaze according to the present invention.
11 is a block diagram illustrating an example of a configuration of a head mounted display (HMD) according to the present invention.
12 is a block diagram illustrating an apparatus for expanding reality image processing, according to an exemplary embodiment.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. Here, the repeated description, well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention, and detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more completely describe the present invention to those skilled in the art. Accordingly, the shape and size of elements in the drawings may be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 확장현실 영상처리 시스템을 나타낸 도면이다.1 is a diagram illustrating an extended reality image processing system according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 확장현실 영상처리 시스템은 본 발명에 따른 확장현실(Extended Reality, XR) 영상처리 장치를 포함하거나 확장현실 영상처리 장치의 일종인 HMD(Head Mounted Display)를 착용한 사용자(101)의 시선 방향(110, 120, 130)에 따른 제1 영역(111)과 제2 영역(112)을 설정하여 확장현실 서비스를 제공할 수 있다. Referring to FIG. 1, an extended reality image processing system according to an embodiment of the present invention includes an extended reality (XR) image processing apparatus according to the present invention, or an HMD (Head Mounted) which is a kind of extended reality image processing apparatus. A first area 111 and a second area 112 may be set according to the gaze directions 110, 120, and 130 of the user 101 wearing the display to provide an extended reality service.

먼저, 확장현실(Extended Reality, XR)이란, 증강현실(Augmented Reality, AR), 가상현실(Virtual Reality, VR) 및 혼합현실(Mixed Reality, MR)을 모두 아루르는 기술에 해당하는 것으로, 증강현실과 가상현실 모두를 지원하는 새로운 형태의 웨어러블 기기에 융합되면서 제공될 수 있다. 이러한 확장현실 기술은 제조, 헬스케어, 교육, 소매 등에 이르기까지 다양한 산업과 일상적인 소비자 경험을 변화시키는데 적용될 수 있다. 예를 들어, 확장현실 기술에 따르면 스마트폰, 모바일 AR 헤드셋 그리고 AR 글래스가 하나의 XR 글래스로 통합됨으로써 XR 글래스로 AR과 VR 모두를 사용할 수 있다. 다른 예를 들어, 평소에는 투명한 안경이지만 별도의 기능이 필요한 상황에서는 안경의 렌즈가 불투명해지면서 VR모드로 전환되도록 확장현실 기술이 적용될 수도 있다.First, Extended Reality (XR) refers to a technology that includes both Augmented Reality (AR), Virtual Reality (VR), and Mixed Reality (MR). It can be provided as a new type of wearable device supporting both virtual reality and virtual reality. These augmented reality technologies can be applied to transform a variety of industries and everyday consumer experiences, from manufacturing, healthcare, education and retail. For example, the Augmented Reality technology allows smartphones, mobile AR headsets and AR glasses to be integrated into a single XR glass, enabling both AR and VR to be used as XR glasses. In another example, in the case of glasses that are normally transparent but require a separate function, the extended reality technology may be applied so that the lenses of the glasses become opaque and switch to the VR mode.

도 1에 도시된 HMD(100)는 사용자가 착용할 수 있는 형태의 확장현실 영상처리 장치에 상응하는 것으로, 도 1에 도시된 형태에 한정되지 않는다.The HMD 100 illustrated in FIG. 1 corresponds to an enlarged reality image processing apparatus that may be worn by a user, and is not limited to the form illustrated in FIG. 1.

이 때, 본 발명에서 의미하는 확장현실 영상처리 장치는 도 1에 도시된 HMD(100) 자체를 의미할 수도 있고, 또는 HMD(100)의 내부에서 확장현실 서비스를 제공하기 위해 확장현실 영상처리를 수행하는 일부 요소를 의미할 수도 있다.In this case, the extended reality image processing apparatus according to the present invention may mean the HMD 100 itself shown in FIG. 1, or the extended reality image processing may be performed to provide an extended reality service in the HMD 100. It can also mean some element that performs.

도 1에서는 설명의 편의를 위해 HMD(100)의 내부에 본 발명에 따른 확장현실 영상처리 장치가 구비된 것을 예시로 하여 설명하도록 한다. In FIG. 1, for convenience of description, an extension reality image processing apparatus according to an exemplary embodiment of the present invention is provided inside the HMD 100.

먼저, 사용자(101)가 HMD(100)를 착용한 뒤 전원을 공급하면, 확장현실 영상처리 장치를 통해 사용자(101)의 시선의 방향을 감지할 수 있다. First, when the user 101 supplies power after wearing the HMD 100, the direction of the gaze of the user 101 may be sensed through the expanded reality image processing apparatus.

이 때, 시선 방향(110, 120, 130)은 의미그대로 사용자(101)가 바라보는 방향을 의미하는 것으로, 사용자의 시선을 감지할 수 있는 다양한 센서들을 기반으로 감지될 수 있다. 예를 들어, 방향 센서, 자이로 센서 및 안구 감지 센서 등을 이용하여 사용자가 바라보고 있는 시선의 방향을 감지할 수 있다. In this case, the gaze directions 110, 120, and 130 mean a direction that the user 101 directly looks at, and may be detected based on various sensors capable of detecting the gaze of the user. For example, a direction sensor, a gyro sensor, and an eye sensor may be used to detect the direction of the gaze that the user is looking at.

만약, 사용자(101)의 시선 방향이 110에 해당하는 경우, 본 발명에 따른 확장현실 영상처리 장치는 시선 방향(110)에 대응하는 제1 영역(111)에 대하여 기준 해상도 영상 처리를 수행할 수 있다.If the gaze direction of the user 101 corresponds to 110, the apparatus for expanding reality image processing according to the present invention may perform reference resolution image processing on the first region 111 corresponding to the gaze direction 110. have.

또한, 본 발명에 따른 확장현실 영상처리 장치는 제1 영역(111)을 둘러싸는 제2 영역(112)에 대하여 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행할 수 있다.In addition, the apparatus for augmented reality image processing according to the present invention may have a low resolution corresponding to a second average resolution lower than a first average resolution corresponding to reference resolution image processing with respect to the second region 112 surrounding the first region 111. Image processing can be performed.

즉, 사용자(101)의 시선 방향(110)에 대응하는 제1 영역(111)의 평균 해상도를 시선 방향(110)의 주변 영역인 제1 영역(112)의 평균 해상도보다 높게 함으로써 사용자(101)가 체감하는 확장현실 컨텐츠의 품질을 향상시킬 수 있다.That is, the user 101 may increase the average resolution of the first area 111 corresponding to the gaze direction 110 of the user 101 by higher than the average resolution of the first area 112, which is a peripheral area of the gaze direction 110. The quality of the extended reality content can be improved.

이 때, 기준 해상도 영상 처리는 제1 영역 전체에 대해 제1 해상도를 적용하는 것일 수 있고, 저해상도 영상 처리는 제2 영역 전체에 대해 제1 해상도보다 낮은 제2 해상도를 적용하는 것일 수 있다. In this case, the reference resolution image processing may be applying the first resolution to the entire first area, and the low resolution image processing may be applying the second resolution lower than the first resolution to the entire second area.

이 때, 도 1에 도시하지는 아니하였으나, 제2 영역(112)은 복수개의 영역들로 구분되고, 제1 영역(111)의 중심에서 먼 영역일수록 평균 해상도가 더 낮아질 수 있다.Although not shown in FIG. 1, the second area 112 may be divided into a plurality of areas, and the average resolution may be lower as the area is farther from the center of the first area 111.

따라서, 저해상도 영상 처리는 제2 영역을 복수개의 세부 영역들로 나누고, 세부 영역들에 서로 다른 해상도를 적용할 수도 있다. Accordingly, the low resolution image processing may divide the second area into a plurality of detail areas, and apply different resolutions to the detail areas.

또한, 기준 해상도 영상 처리도 제1 영역을 복수개의 세부 영역들로 나누고, 세부 영역들에 서로 다른 해상도를 적용할 수도 있다.In addition, the reference resolution image processing may also divide the first area into a plurality of detail areas, and apply different resolutions to the detail areas.

이 때, 사용자(101)의 시선 방향을 기준으로 하는 시야각을 기반으로 제1 영역 및 제2 영역에 대한 범위를 설정할 수 있다. At this time, the ranges for the first area and the second area may be set based on the viewing angle based on the eye gaze direction of the user 101.

이 때, 제2 영역에 대한 시야각이 제1 영역에 대한 시야각보다 클 수 있다.In this case, the viewing angle with respect to the second area may be greater than the viewing angle with respect to the first area.

또한, 본 발명에 따른 확장현실 영상처리 장치는 사용자(101)의 시선의 방향이 시선 변화 방향(140)에 따라 변화하면, 변화된 시선의 방향을 기준으로 제1 영역 및 제2 영역을 재설정할 수 있다.In addition, when the direction of the line of sight of the user 101 changes according to the line of sight change direction 140, the apparatus for expanding reality image processing according to the present disclosure may reset the first area and the second area based on the changed direction of the line of sight. have.

예를 들어, 도 1에 도시된 것처럼, 사용자(101)의 시선의 방향이 시선 방향(110)에서 시작해서 시선 방향(130)으로 변화한다고 가정할 수 있다. 이 때, 제1 영역과 제2 영역도 각각 시선 방향(110)에서 시선 방향(130)에 대응하도록 재설정될 수 있다. For example, as shown in FIG. 1, it may be assumed that the direction of the gaze of the user 101 changes from the gaze direction 110 to the gaze direction 130. In this case, the first region and the second region may also be reset to correspond to the gaze direction 130 in the gaze direction 110, respectively.

이 때, 시선의 방향이 변화하는 속도가 느린 경우의 제1 평균 해상도가 시선의 방향이 변화하는 속도가 빠른 경우의 제1 평균 해상도보다 높을 수 있다.In this case, the first average resolution when the direction of the line of sight changes is slower than the first average resolution when the rate of the line of sight changes.

이 때, 시선의 방향이 변화하는 속도가 느린 경우의 제2 평균 해상도가 시선의 방향이 변화하는 속도가 빠른 경우의 제2 평균 해상도보다 높을 수 있다.In this case, the second average resolution when the speed at which the direction of the gaze changes is higher than the second average resolution when the speed at which the direction of the gaze changes is high.

예를 들어, 사용자(101)의 시선의 방향이 변화하는 속도가 빠를수록 사용자(101)가 확장현실 영상의 일부분을 보려고 하는 것이 아니라 단순히 두리번거리거나 시선 방향을 변경하는 것으로 판단할 수 있다. 따라서, 이러한 경우에 불필요한 고화질 영상처리를 통해 부하가 발생하지 않도록 처리함으로써 보다 효율적으로 확장현실 서비스를 제공할 수 있다. For example, the faster the speed at which the direction of the gaze of the user 101 changes, the user 101 may determine that the user 101 does not attempt to view a part of the expanded reality image but simply reticulates or changes the gaze direction. Therefore, in such a case, it is possible to provide an extended reality service more efficiently by processing so that no load is generated through unnecessary high quality image processing.

또한, 본 발명에 따른 확장현실 영상처리 장치는 사용자(101)의 시선의 방향이 변화하면, 시선의 방향이 변화하는 속도가 느린 경우의 제1 영역 및 제2 영역의 범위가 시선의 방향이 변화하는 속도가 빠른 경우의 제1 영역 및 제2 영역의 범위보다 넓을 수 있다. In addition, in the expanded reality image processing apparatus according to the present invention, when the direction of the gaze of the user 101 changes, the direction of the gaze changes in the range of the first area and the second area when the speed at which the gaze direction changes is slow. It may be wider than the range of the first region and the second region when the speed is fast.

또한, 본 발명에 따른 확장현실 영상처리 장치는 기준 해상도 영상 처리를 수행한 결과와 저해상도 영상 처리를 수행한 결과를 결합하여 사용자(101)에게 디스플레이할 수 있다. 즉, 제1 영역에 대한 영상처리 결과와 제2 영역에 대한 영상처리 결과를 결합하여 사용자(101)에게 디스플레이해줄 수 있다. In addition, the apparatus for expanding reality image processing according to the present invention may display the result of performing the reference resolution image processing and the result of performing the low resolution image processing to the user 101. That is, the image processing result of the first area and the image processing result of the second area may be combined and displayed to the user 101.

따라서, 확장현실 영상처리 장치는 별도의 디스플레이 모듈을 구비하거나 또는 HMD(100)에 구비된 디스플레이 모듈로 결합된 영상처리 결과를 제공하여 디스플레이해줄 수도 있다.Therefore, the augmented reality image processing apparatus may be provided with a separate display module or provide an image processing result combined with a display module provided in the HMD 100 to display.

이와 같은 확장현실 영상처리 시스템은 사용자의 시선 움직임에 따라 영상 처리 수준을 달리함으로써 불필요한 확장현실 영상처리에 있어서 불필요하게 많은 부하가 발생하는 것을 방지할 수 있다.Such an extended reality image processing system may prevent unnecessary loads from occurring in an unnecessary extended reality image processing by changing an image processing level according to a user's gaze movement.

또한, 사용자의 시선을 기준으로 고해상도의 영상을 제공함으로써 시선 이외의 영상을 처리하는데 불필요하게 많은 자원을 소비하지 않고 효율적으로 서비스를 제공할 수도 있다.In addition, by providing a high-resolution image based on the user's line of sight, it is possible to efficiently provide a service without consuming unnecessary resources to process images other than the line of sight.

도 2는 본 발명의 일실시예에 따른 확장현실 영상처리 방법을 나타낸 동작흐름도이다.2 is a flowchart illustrating an augmented reality image processing method according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 확장현실 기반의 영상처리 장치를 착용한 사용자의 시선의 방향을 감지한다(S210).Referring to FIG. 2, in the extended reality image processing method according to an exemplary embodiment of the present invention, a direction of a line of sight of a user wearing an expanded reality based image processing apparatus is detected (S210).

이 때, 본 발명에 따른 확장현실 기반의 영상처리 장치는 증강현실(Augmented Reality, AR), 가상현실(Virtual Reality, VR) 및 혼합현실(Mixed Reality, MR)을 포괄하는 확장현실 영상을 디스플레이해주는 장치에 해당하는 것으로, 360도에 상응하는 입체적 확장현실 영상을 디스플레이 할 수 있다.In this case, the expanded reality based image processing apparatus according to the present invention displays an expanded reality image including augmented reality (AR), virtual reality (VR), and mixed reality (MR). Corresponding to the device, it is possible to display a stereoscopic extended reality image corresponding to 360 degrees.

즉, 확장현실(Extended Reality, XR)이란, 증강현실(Augmented Reality, AR), 가상현실(Virtual Reality, VR) 및 혼합현실(Mixed Reality, MR)을 모두 아루르는 기술에 해당하는 것으로, 증강현실과 가상현실 모두를 지원하는 새로운 형태의 웨어러블 기기에 융합되면서 제공될 수 있다. 이러한 확장현실 기술은 제조, 헬스케어, 교육, 소매 등에 이르기까지 다양한 산업과 일상적인 소비자 경험을 변화시키는데 적용될 수 있다. 예를 들어, 확장현실 기술에 따르면 스마트폰, 모바일 AR 헤드셋 그리고 AR 글래스가 하나의 XR 글래스로 통합됨으로써 XR 글래스로 AR과 VR 모두를 사용할 수 있다. 다른 예를 들어, 평소에는 투명한 안경이지만 별도의 기능이 필요한 상황에서는 안경의 렌즈가 불투명해지면서 VR모드로 전환되도록 확장현실 기술이 적용될 수도 있다.In other words, Extended Reality (XR) refers to a technology that includes both Augmented Reality (AR), Virtual Reality (VR), and Mixed Reality (MR). It can be provided as a new type of wearable device supporting both virtual reality and virtual reality. These augmented reality technologies can be applied to transform a variety of industries and everyday consumer experiences, from manufacturing, healthcare, education and retail. For example, the Augmented Reality technology allows smartphones, mobile AR headsets and AR glasses to be integrated into a single XR glass, enabling both AR and VR to be used as XR glasses. In another example, in the case of glasses that are normally transparent but require a separate function, the extended reality technology may be applied so that the lenses of the glasses become opaque and switch to the VR mode.

따라서, 사용자는 확장현실 기반의 영상처리 장치를 착용한 채로 360도를 회전하거나, 이동하면서 확장현실 공간을 체험할 수 있는데, 확장현실 기반의 영상처리 장치는 이러한 사용자의 시선의 방향을 감지하여 시선의 방향에 상응하는 확장현실 영상을 디스플레이 할 수 있다.Therefore, the user can experience the extended reality space while rotating or moving 360 degrees while wearing the expanded reality based image processing apparatus. The expanded reality based image processing apparatus detects the direction of the user's gaze It is possible to display the expanded reality image corresponding to the direction of.

이 때, 시선의 방향은 사용자의 시야(Field of View)의 중심 좌표에 상응할 수 있다. 즉, 사용자의 두 눈으로 보이는 전체 시야에서 중심이 되는 지점을 기준으로 시선의 방향을 감지할 수 있다. In this case, the direction of the gaze may correspond to the center coordinate of the field of view of the user. That is, the direction of the line of sight may be sensed based on the point that is the center of the entire field of view seen by the eyes of the user.

이 때, 방향 센서 또는 자이로 센서 등을 기반으로 사용자의 시선의 방향을 감지할 수 있다. 예를 들어, 방향 센서 및 자이로 센서는 본 발명에 따른 확장현실 기반의 영상처리 장치의 내부에서 직접 연결되어 시선의 방향을 감지하거나 또는 확장현실 기반의 영상처리 장치의 외부에서 시선의 방향을 감지하고 유무선 통신을 기반으로 관련 정보를 확장현실 기반의 영상처리 장치에게 제공할 수도 있다.At this time, the direction of the user's gaze may be detected based on a direction sensor or a gyro sensor. For example, the direction sensor and the gyro sensor are directly connected inside the expansion reality based image processing apparatus according to the present invention to detect the direction of the gaze or sense the direction of the gaze outside the expansion reality based image processing apparatus. Related information may be provided to an extended reality based image processing apparatus based on wired or wireless communication.

이 때, 방향 센서나 자이로 센서는 확장현실 기반의 영상처리 장치가 동작하는 동안 지속적으로 동작하면서 시선의 방향을 감지할 수 있다. In this case, the direction sensor or the gyro sensor may continuously detect the direction of the gaze while the extended reality based image processing apparatus is operating.

이 때, 사용자의 동공을 감지하여 사용자의 시선의 방향을 감지할 수도 있다. 예를 들어, 본 발명에 따른 확장현실 기반의 영상처리 장치에 구비된 동공 감지 센서를 이용하여 사용자의 동공을 감지함으로써 사용자의 시선의 방향을 감지할 수도 있다.At this time, the user's pupil may be detected to detect the direction of the user's gaze. For example, the direction of the gaze of the user may be detected by detecting the pupil of the user using the pupil detection sensor provided in the image processing apparatus based on the expanded reality.

이 때, 사용자의 시선의 방향을 감지하는 방식은 특정한 방식에 한정되지 않고, 시스템의 효율성, 센서의 적합성 등 다양한 측면을 고려하여 선택될 수 있다.In this case, the manner of detecting the direction of the user's gaze is not limited to a specific method, and may be selected in consideration of various aspects such as the efficiency of the system and the suitability of the sensor.

또한, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 시선의 방향에 대응하는 제1 영역에 대하여 기준 해상도 영상 처리를 수행한다(S220).In addition, in the extended reality image processing method according to the exemplary embodiment, reference resolution image processing is performed on the first area corresponding to the direction of the gaze (S220).

이 때, 제1 영역은 사용자의 시야에 들어오는 확장현실 공간의 영역들 중에서 사용자가 초점을 맞추어 보고 있는 영역에 해당할 수 있다. 즉, 제1 영역의 화상 수준 또는 화상 품질은 사용자가 확장현실 서비스의 화상 품질을 판단하는 기준이 될 수도 있다.In this case, the first area may correspond to an area that the user focuses on, among areas of the expanded reality space that enters the user's view. That is, the image level or the image quality of the first area may be a criterion for the user to determine the image quality of the augmented reality service.

이 때, 기준 해상도 영상 처리는, 확장현실 영상의 전체 영역 중 제1 영역을 제외한 나머지 영역에 대한 영상 처리보다 높은 해상도로 영상 처리를 수행하는 것일 수 있다. In this case, the reference resolution image processing may be to perform the image processing at a higher resolution than the image processing for the remaining regions other than the first region of the entire area of the expanded reality image.

예를 들어, 360도에 상응하는 확장현실 공간의 전체 영역에 대한 기본적인 영상 처리 시 HD급의 해상도로 영상 처리를 수행한다고 가정할 수 있다. 이 때, 제1 영역에 대해 기준 해상도 영상 처리를 수행할 때에는 이보다 높은 2K, 4K 또는 8K 등의 고해상도에 상응하는 영상처리를 수행할 수 있다. 즉, 확장현실 공간의 전체적인 영상은 1K로 디스플레이 되더라도 사용자가 현재 보고있는 제1 영역은 2K, 4K 또는 8K 등의 고해상도로 디스플레이되기 때문에 사용자는 전체 영상에 대한 영상처리 수준과 관계없이 고화질의 확장현실 서비스를 체험할 수 있다.For example, it may be assumed that image processing is performed at HD resolution when basic image processing of the entire area of the extended reality space corresponding to 360 degrees is performed. In this case, when the reference resolution image processing is performed on the first region, image processing corresponding to a higher resolution such as 2K, 4K, or 8K, which is higher than this, may be performed. That is, although the entire image of the extended reality space is displayed in 1K, the first area currently viewed by the user is displayed in high resolution such as 2K, 4K, or 8K. Experience the service.

이 때, 360도에 상응하는 확장현실 공간의 전체 영역을 고화질로 영상처리 하여 디스플레이할 수도 있지만, 전체 영역을 고화질의 영상으로 제공하기 위해서는 영상 처리시 부하가 크기 때문에 일반적으로 소형에 해당하는 착용형 장치에는 적합하지 않을 수 있다. In this case, the entire area of the extended reality space corresponding to 360 degrees may be image-processed and displayed, but in order to provide the entire area as a high-definition image, the load is large when the image is processed. It may not be suitable for the device.

따라서, 본 발명에서는 확장현실 공간에 해당하는 전체 영역들 중 사용자의 시선의 방향에 대응하는 영역에 대해서만 고화질 영상처리를 수행함으로써 고화질의 확장현실 서비스를 제공하되, 영상처리 시 부하는 크지 않은 확장현실 영상처리 기술을 제공하고자 한다.Therefore, the present invention provides a high quality extended reality service by performing a high quality image processing only on a region corresponding to the direction of the user's gaze among all the areas corresponding to the extended reality space, but does not have a large expansion reality to be loaded during the image processing. To provide image processing technology.

또한, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 제1 영역을 둘러싸는 제2 영역에 대하여 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행한다(S230).In addition, the extended reality image processing method according to an embodiment of the present invention is a low resolution image processing corresponding to a second average resolution lower than the first average resolution corresponding to the reference resolution image processing for the second area surrounding the first area Perform (S230).

이 때, 기준 해상도 영상 처리는 제1 영역 전체에 대해 제1 해상도를 적용하는 것일 수 있고, 저해상도 영상 처리는 제2 영역 전체에 제1 해상도보다 낮은 제2 해상도를 적용하는 것일 수 있다. 예를 들어, 제1 해상도가 4K 수준이라고 가정한다면, 제2 해상도는 1K 수준에 상응할 수 있다.In this case, the reference resolution image processing may be applying the first resolution to the entire first area, and the low resolution image processing may be applying the second resolution lower than the first resolution to the entire second area. For example, assuming that the first resolution is at the 4K level, the second resolution may correspond to the 1K level.

이 때, 제2 영역은 360도에 상응하는 확장현실 공간의 전체 영역 중 제1 영역을 둘러싸고 있는 일부 영역에 해당할 수 있다. 즉, 사용자의 시선의 방향이 제1 영역을 향하고 있을 경우, 사용자의 시야에 포함되는 영역일 수 있다.In this case, the second region may correspond to a partial region surrounding the first region of the entire region of the expanded reality space corresponding to 360 degrees. That is, when the direction of the line of sight of the user is toward the first area, it may be an area included in the field of view of the user.

예를 들어, 도 3에 도시된 영역들 중 310이 제1 영역이라고 가정한다면, 이를 둘러싸는 형태로 제2 영역(320)이 설정될 수 있다.For example, if 310 of the regions illustrated in FIG. 3 is assumed to be the first region, the second region 320 may be set to surround the first region.

이 때, 저해상도 영상 처리는 제2 영역을 복수개의 세부 영역들로 나누고, 세부 영역들에 서로 다른 해상도를 적용할 수도 있다.In this case, the low resolution image processing may divide the second area into a plurality of detail areas, and apply different resolutions to the detail areas.

이 때, 제2 영역은 복수개의 영역들로 구분되고, 제1 영역의 중심에서 먼 영역일수록 평균 해상도가 더 낮아질 수 있다. In this case, the second area may be divided into a plurality of areas, and as the area farther from the center of the first area, the average resolution may be lower.

예를 들어, 도 4를 참조하면, 제1 영역(410)을 둘러싸고 있는 제2 영역이 3개의 분할된 제2 영역(420, 430, 440)으로 구분된 것을 알 수 있다. 이 때, 제1 영역(410)의 중심에 가장 가까운 분할된 제2 영역(420)의 평균 해상도는 나머지 분할된 제2 영역들(430, 440)보다 높을 수 있다. For example, referring to FIG. 4, it can be seen that the second region surrounding the first region 410 is divided into three divided second regions 420, 430, and 440. In this case, the average resolution of the divided second area 420 nearest to the center of the first area 410 may be higher than the remaining divided second areas 430 and 440.

또한, 제1 영역(410)의 중심에서 가장 먼 분할된 제2 영역(440)의 평균 해상도는 나머지 분할된 제2 영역들(420, 430)보다 낮을 수 있다.Also, the average resolution of the divided second area 440 furthest from the center of the first area 410 may be lower than the remaining divided second areas 420 and 430.

즉, 사용자의 시선의 방향과 가까울수록 고화질의 확장현실 영상을 제공함으로써 사용자에게 높은 화질의 확장현실 영상 서비스를 체험할 수 있도록 할 수 있다. In other words, the closer the direction of the user's gaze is, the higher the quality of the extended reality image can be provided to the user so that the user can experience the high quality of the extended reality image service.

예를 들어, 제1 영역(410)의 해상도가 8K라고 가정한다면, 제1 영역(410)의 중심에 가장 가까운 분할된 제2 영역(420)의 해상도는 4K, 분할된 제2 영역(430)의 해상도는 2K, 마지막으로 제1 영역(410)의 중심에서 가장 먼 분할된 제2 영역(440)의 해상도는 1K에 상응하게 영상처리 됨으로써 영역간 해상도 변화에 위화감이 없도록 설정할 수도 있다.For example, if the resolution of the first region 410 is 8K, the resolution of the divided second region 420 nearest to the center of the first region 410 is 4K, and the divided second region 430 is used. The resolution of 2K may be set so that the resolution of the divided second region 440 furthest from the center of the first region 410 is image processed corresponding to 1K such that there is no discomfort in the resolution change between the regions.

이 때, 제1 영역은 복수개의 영역들로 구분되고, 제1 영역의 중심에서 먼 영역일수록 평균 해상도가 더 낮아질 수 있다. In this case, the first area may be divided into a plurality of areas, and the average resolution may be lower as the area is farther from the center of the first area.

이 때, 시선의 방향을 기준으로 하는 시야각을 기반으로 제1 영역 및 제2 영역에 대한 범위를 설정할 수 있다.In this case, the ranges for the first area and the second area may be set based on the viewing angle based on the direction of the line of sight.

예를 들어, 도 5를 참조하면, 제1 영역(510)의 좌우범위는 사용자의 시선 방향(530)을 기준으로 제1 수평 시야각(511)에 상응하는 만큼에 해당할 수 있다. For example, referring to FIG. 5, the left and right ranges of the first area 510 may correspond to the first horizontal viewing angle 511 based on the user's gaze direction 530.

이 때, 사용자의 눈과 확장현실 영상이 맺히는 거리에 따라 제1 영역 좌우범위가 달라질 수도 있으므로, 확장현실 영상이 맺히는 위치를 고려하여 제1 수평 시야각(511)이 변경될 수도 있다.In this case, since the left and right ranges of the first region may vary according to the distance between the user's eye and the expanded reality image, the first horizontal viewing angle 511 may be changed in consideration of the location of the expanded reality image.

또한, 제2 영역(520)의 좌우범위는 사용자의 시선 방향(530)을 기준으로 제2 수평 시야각(512)에 상응하는 만큼에 해당할 수 있다.Also, the left and right ranges of the second area 520 may correspond to the second horizontal viewing angle 512 based on the user's gaze direction 530.

이 때, 사용자의 시선 방향(530)은 제1 영역(510)이나 제2 영역(520)에 동일하게 적용되므로, 제1 수평 시야각(511)과 제2 수평 시야각(512)의 차이에 따라 영역 간 비율이 달라질 수도 있다.At this time, since the user's gaze direction 530 is equally applied to the first area 510 or the second area 520, the area according to the difference between the first horizontal viewing angle 511 and the second horizontal viewing angle 512. Liver ratios may vary.

이 때, 제2 수평 시야각(512)도 제1 수평 시야각(511)과 마찬가지로, 사용자의 눈과 확장현실 영상이 맺히는 거리에 따라 제2 영역 좌우범위가 달라질 수 있으므로, 확장현실 영상이 맺히는 위치를 고려하여 제2 수평 시야각(512)이 변경될 수도 있다.In this case, like the first horizontal viewing angle 511, the second horizontal viewing angle 512 may also vary the left and right ranges of the second region according to the distance between the user's eye and the expanded reality image. In consideration, the second horizontal viewing angle 512 may be changed.

다른 예를 들어, 도 6을 참조하면, 제1 영역(610)의 상하범위는 사용자의 시선 방향(630)을 기준으로 제1 수직 시야각(611)에 상응하는 만큼에 해당할 수 있다. For another example, referring to FIG. 6, the upper and lower ranges of the first region 610 may correspond to the first vertical viewing angle 611 based on the user's eyeline direction 630.

이 때, 사용자의 눈과 확장현실 영상이 맺히는 거리에 따라 제1 영역 상하범위가 달라질 수도 있으므로, 확장현실 영상이 맺히는 위치를 고려하여 제1 수직 시야각(611)이 변경될 수도 있다.In this case, since the upper and lower ranges of the first region may vary according to the distance between the user's eye and the expanded reality image, the first vertical viewing angle 611 may be changed in consideration of the location of the expanded reality image.

또한, 제2 영역(620)의 상하범위는 사용자의 시선 방향(630)을 기준으로 제2 수직 시야각(612)에 상응하는 만큼에 해당할 수 있다.In addition, the upper and lower ranges of the second area 620 may correspond to the second vertical viewing angle 612 based on the user's eyeline direction 630.

이 때, 사용자의 시선 방향(630)은 제1 영역(610)이나 제2 영역(620)에 동일하게 적용되므로, 제1 수직 시야각(611)과 제2 수직 시야각(612)의 차이에 따라 영역 간 비율이 달라질 수도 있다.In this case, since the user's gaze direction 630 is equally applied to the first area 610 or the second area 620, the area depends on the difference between the first vertical viewing angle 611 and the second vertical viewing angle 612. Liver ratios may vary.

이 때, 제2 수직 시야각(612)도 제1 수직 시야각(611)과 마찬가지로, 사용자의 눈과 확장현실 영상이 맺히는 거리에 따라 제2 영역 상하범위가 달라질 수 있으므로, 확장현실 영상이 맺히는 위치를 고려하여 제2 수직 시야각(612)이 변경될 수도 있다.In this case, similar to the first vertical viewing angle 611, the second vertical viewing angle 612 may also change the upper and lower ranges of the second region according to the distance between the user's eye and the expanded reality image, thereby forming a position where the expanded reality image is formed. In consideration, the second vertical viewing angle 612 may be changed.

이 때, 시선의 방향이 변화하면, 시선의 방향이 변화하는 속도가 느린 경우의 범위가 시선의 방향이 변화하는 속도가 빠른 경우의 범위보다 넓을 수 있다. At this time, if the direction of the gaze changes, the range when the speed at which the direction of the gaze changes is slow may be wider than the range when the speed at which the gaze direction changes is fast.

예를 들어, 시선의 방향이 변화하는 속도와 제1 영역 및 제2 영역의 범위 간의 관계는 도 7에 도시된 것과 같은 반비례 관계일 수 있다. 즉, 시선의 방향이 변화하는 속도가 빠를수록 제1 영역 및 제2 영역의 범위가 좁아질 수 있다.For example, the relationship between the speed at which the direction of the line of sight changes and the range of the first region and the second region may be inversely proportional to that shown in FIG. 7. That is, the faster the speed at which the line of sight changes, the narrower the range of the first region and the second region.

이 때, 시선의 방향이 변화하는 속도 빠른 경우, 사용자가 확장현실 영상을 체험하려는 의도가 아니라 단순히 두리번거리거나 고개를 돌리는 등의 단순한 동작때문인 것으로 판단할 수 있다. 따라서, 이러한 경우에는 넓은 범위에 대한 확장현실 영상처리를 수행할 필요가 없으므로 제1 영역 및 제2 영역의 범위를 좁혀서 디스플레이해줄 수 있다.In this case, when the direction of the eye is rapidly changing, it may be determined that the user does not intend to experience the expanded reality image, but is simply a simple operation such as a pat or turning his head. Therefore, in this case, since the extended reality image processing for the wide range does not need to be performed, the range of the first region and the second region may be narrowed and displayed.

다른 예를 들어, 시선의 방향이 변화하는 속도와 제1 영역 및 제2 영역의 범위 간 관계는 도 8에 도시된 것과 같은 반비례 관계에 상응할 수도 있다.For another example, the relationship between the speed at which the direction of the eyes changes and the range of the first region and the second region may correspond to an inverse relationship as shown in FIG. 8.

즉, 시선의 방향이 변화하는 속도와 제1 영역 및 제2 영역의 범위 간의 관계는 반비례 관계에 해당하되, 특정 반비례 함수에 한정되지 않을 수 있다.That is, the relationship between the speed at which the direction of the eyeline changes and the range of the first region and the second region corresponds to an inverse relationship, but may not be limited to a specific inverse function.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 시선의 방향이 변화하면, 변화된 시선의 방향을 기준으로 제1 영역 및 제2 영역을 재설정한다. In addition, although not shown in FIG. 2, in the expanded reality image processing method according to the exemplary embodiment, when the direction of the gaze changes, the first area and the second area are reset based on the changed direction of the gaze.

예를 들어, 도 1에 도시된 사용자(101)의 시선의 방향이 좌측에 상응하는 110에서 시작하여 우측에 상응하는 130으로 변화하는 것으로 가정할 수 있다. 이 때, 제1 영역과 제2 영역은 시선 방향(110)에 대응하게 설정되었다가, 시선의 방향이 변화함에 따라 시선 방향(130)에 대응하게 재설정될 수 있다.For example, the direction of the line of sight of the user 101 illustrated in FIG. 1 may be assumed to change from 110 corresponding to the left side to 130 corresponding to the right side. In this case, the first area and the second area may be set to correspond to the gaze direction 110, and may be reset to correspond to the gaze direction 130 as the direction of the gaze changes.

이 때, 재설정된 제1 영역은 기준 해상도 영상 처리될 수 있고, 재설정된 제2 영역은 저해상도 영상 처리될 수 있다.In this case, the reset first region may be processed with reference resolution image, and the reset second region may be processed with low resolution image.

예를 들어, 시선의 방향이 변화하는 속도와 제1 평균 해상도 또는 제2 평균 해상도 간의 관계는 도 9에 도시된 것과 같은 반비례 관계일 수 있다. 즉, 시선의 방향이 변화하는 속도가 빠를수록 제1 평균 해상도 또는 제2 평균 해상도가 낮아질 수 있다.For example, the relationship between the speed at which the direction of the eyeline changes and the first average resolution or the second average resolution may be inversely proportional to that shown in FIG. 9. That is, the faster the speed at which the line of sight changes, the lower the first average resolution or the second average resolution.

이 때, 시선의 방향이 변화하는 속도 빠른 경우, 사용자가 확장현실 영상을 체험하려는 의도가 아니라 단순히 두리번거리거나 고개를 돌리는 등의 단순한 동작때문인 것으로 판단할 수 있다. 따라서, 이러한 경우에는 고해상도의 영상 처리를 수행할 필요가 없으므로 제1 평균 해상도 또는 제2 평균 해상도를 낮추어 영상 처리를 수행할 수 있다. In this case, when the direction of the eye is rapidly changing, it may be determined that the user does not intend to experience the expanded reality image, but is simply a simple operation such as a pat or turning his head. Therefore, in this case, since it is not necessary to perform high resolution image processing, the image processing may be performed by lowering the first average resolution or the second average resolution.

다른 예를 들어, 시선의 방향이 변화하는 속도와 제1 평균 해상도 또는 제2 평균 해상도 간 관계는 도 10에 도시된 것과 같은 반비례 관계에 상응할 수도 있다.For another example, the relationship between the speed at which the direction of the eyeline changes and the first average resolution or the second average resolution may correspond to an inverse relationship as shown in FIG. 10.

즉, 시선의 방향이 변화하는 속도와 제1 평균 해상도 또는 제2 평균 해상도 간의 관계는 반비례 관계에 해당하되, 특정 반비례 함수에 한정되지 않을 수 있다.That is, the relationship between the speed at which the direction of the eyeline changes and the first average resolution or the second average resolution corresponds to an inverse relationship, but may not be limited to a specific inverse function.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 기준 해상도 영상 처리를 수행한 결과와 저해상도 영상 처리를 수행한 결과를 결합하여 사용자에게 디스플레이한다.Also, although not shown in FIG. 2, the extended reality image processing method according to an embodiment of the present invention combines the result of performing the reference resolution image processing with the result of performing the low resolution image processing and displays the result to the user.

예를 들어, 확장현실 기반의 영상처리 장치 내부에 구비된 디스플레이 모듈을 이용하여 기준 해상도 영상 처리를 수행한 결과와 저해상도 영상 처리를 수행한 결과를 결합한 확장현실 영상을 디스플레이해줄 수 있다.For example, the extended reality image may be displayed by combining the result of performing the reference resolution image processing and the result of performing the low resolution image processing using a display module provided in the expansion reality based image processing apparatus.

다른 예를 들어, 확장현실 기반의 영상처리 장치의 외부에 위치하되, 영상처리 장치와 연결된 별도의 디스플레이 장치 또는 디스플레이 모듈을 통해 기준 해상도 영상 처리를 수행한 결과와 저해상도 영상 처리를 수행한 결과를 결합한 확장현실 영상을 디스플레이해줄 수도 있다.In another example, the result of performing the reference resolution image processing and the result of performing the low resolution image processing through a separate display device or display module connected to the image processing apparatus, which is located outside the expanded reality based image processing apparatus. It can also display augmented reality images.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 확장현실 영상처리를 위해 필요한 정보를 송수신할 수 있다. 특히, 방향 센서 또는 가속도 센서로부터 시선의 방향에 대한 정보를 수신하거나, 디스플레이 모듈로 처리된 확장현실 영상 데이터를 제공할 수도 있다. In addition, although not shown in Figure 2, the extended reality image processing method according to an embodiment of the present invention can transmit and receive information necessary for the extended reality image processing. In particular, information about the direction of the gaze may be received from the direction sensor or the acceleration sensor, or the expanded reality image data processed by the display module may be provided.

또한, 도 2에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 확장현실 영상처리 방법은 상술한 바와 같이 본 발명의 일실시예에 따른 확장현실 영상처리를 위한 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장할 수 있다. In addition, although not shown in Figure 2, the extended reality image processing method according to an embodiment of the present invention as described above separates various information generated in the process for processing the expanded reality image according to an embodiment of the present invention Can be stored in the storage module.

이와 같은 확장현실 영상처리 방법을 통해 확장현실 컨텐츠의 해상도 및 품질을 향상시킬 수 있다.Through the extended reality image processing method, the resolution and the quality of the expanded reality content may be improved.

또한, 사용자의 시선 움직임에 따라 영상 처리 수준을 달리함으로써 확장현실 영상처리에 있어서 불필요하게 많은 부하가 발생하는 것을 방지할 수 있다.In addition, by varying the level of image processing according to the user's eye movement, unnecessary load may be prevented from occurring in the expanded reality image processing.

또한, 사용자의 시선을 기준으로 고해상도의 영상을 제공함으로써 시선 이외의 영상을 처리하는데 많은 자원을 소비하지 않고 효율적으로 서비스를 제공할 수 있다.In addition, by providing a high-resolution image based on the user's line of sight, it is possible to efficiently provide a service without spending a lot of resources to process images other than the line of sight.

도 11은 본 발명에 따른 HMD(Head Mounted Display)의 구성의 일 예를 나타낸 블록도이다.11 is a block diagram illustrating an example of a configuration of a head mounted display (HMD) according to the present invention.

도 11을 참조하면, 본 발명에 따른 HMD(1100), 즉 착용형 디스플레이 장치는 실제로 확장현실 영상을 사용자에게 디스플레이해주는 디스플레이 모듈(1110), 본 발명에 따른 확장현실 영상처리 장치(1120) 및 사용자의 시선의 방향을 감지할 수 있는 센서 모듈(1130)을 포함할 수 있다. Referring to FIG. 11, the HMD 1100 according to the present invention, that is, the wearable display device, may actually display the expanded reality image to a user, a display module 1110, the expanded reality image processing apparatus 1120, and the user according to the present invention. It may include a sensor module 1130 that can detect the direction of the eye of the.

먼저, 사용자가 HMD(1100)를 착용한 뒤 전원을 실행하면, 센서 모듈(1130)이 사용자의 시선의 방향을 감지하여 확장현실 영상처리 장치(1120)에게 제공할 수 있다. First, when the user wears the HMD 1100 and then executes power, the sensor module 1130 may detect the direction of the user's gaze and provide it to the expanded reality image processing apparatus 1120.

이 때, 확장현실 영상처리 장치(1120)는 사용자의 시선의 방향을 기반으로 본 발명에 따른 제1 영역과 제2 영역을 설정할 수 있다. In this case, the expanded reality image processing apparatus 1120 may set the first region and the second region according to the present invention based on the direction of the user's gaze.

즉, 이 때, 시선의 방향을 기준으로 하는 시야각을 기반으로 제1 영역 및 제2 영역에 대한 범위를 설정할 수 있다.That is, at this time, the ranges for the first area and the second area may be set based on the viewing angle based on the direction of the line of sight.

이 후, 확장현실 영상처리 장치(1120)가 시선의 방향에 대응하는 제1 영역에 대하여 기준 해상도 영상 처리를 수행하고, 제1 영역을 둘러싸는 제2 영역에 대하여 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행한 뒤, 영상 처리 결과를 결합하여 디스플레이 모듈(1110)로 전달하면, 디스플레이 모듈(1110)이 HMD(1100)를 착용한 사용자에게 확장현실 영상을 디스플레이해줄 수 있다.Subsequently, the expanded reality image processing apparatus 1120 performs the reference resolution image processing on the first area corresponding to the direction of the gaze, and applies the reference resolution image processing on the second area surrounding the first area. After performing the low resolution image processing corresponding to the second average resolution lower than the first average resolution, the image processing results are combined and transmitted to the display module 1110, and the display module 1110 to the user wearing the HMD 1100. It can display augmented reality image.

만약, HMD(1100)를 착용한 사용자의 시선의 방향이 변화하는 경우, 센서 모듈(1130)에서 이를 감지하여 변경된 사용자의 시선의 방향과 시선의 방향이 변화하는 속도를 확장현실 영상처리 장치(1120)에게 제공해줄 수 있다. If the direction of the gaze of the user wearing the HMD 1100 is changed, the sensor module 1130 detects this and expands the speed at which the changed direction of the gaze of the user and the direction of the gaze change. ) Can be provided.

이 때, 확장현실 영상처리 장치(1120)는 시선의 방향이 변화하는 속도를 고려한 제1 평균 해상도에 상응하게 기준 해상도 영상 처리를 수행하고, 시선의 방향이 변화하는 속도를 고려한 제2 평균 해상도에 상응하게 저해상도 영상 처리를 수행할 수 있다.At this time, the expanded reality image processing apparatus 1120 performs the reference resolution image processing corresponding to the first average resolution considering the speed at which the direction of the eye changes, and at the second average resolution considering the speed at which the direction of the eye changes. Correspondingly, low resolution image processing can be performed.

이 때, 도 11에서는 HMD(1100)의 내부에 본 발명의 일실시예에 따른 확장현실 영상처리 장치(1120)가 포함된 형태로 표현하였으나, 이는 일실시예에 해당할 뿐 이러한 형태에 한정되지 않는다. 즉, 본 발명에 따른 확장현실 영상처리 장치 자체에서 디스플레이와 센싱을 수행할 수도 있다.In this case, in FIG. 11, the extended reality image processing apparatus 1120 according to an embodiment of the present invention is included in the HMD 1100. However, this is only an example and is not limited thereto. Do not. In other words, display and sensing may be performed in the augmented reality image processing apparatus according to the present invention.

도 12는 본 발명의 일실시예에 따른 확장현실 영상처리 장치를 나타낸 블록도이다.12 is a block diagram illustrating an apparatus for expanding reality image processing, according to an exemplary embodiment.

도 12를 참조하면, 본 발명의 일실시예에 따른 확장현실 영상처리 장치는 통신부(1210), 프로세서(1220) 및 메모리(1230)를 포함한다. Referring to FIG. 12, an apparatus for expanding reality image processing according to an embodiment of the present invention includes a communication unit 1210, a processor 1220, and a memory 1230.

통신부(1210)는 확장현실 영상처리를 위해 필요한 정보를 송수신하는 역할을 한다. 특히, 본 발명의 일실시예에 따른 통신부(1210)는 방향 센서 또는 가속도 센서로부터 시선의 방향에 관련된 정보를 요청하여 수신하거나, 디스플레이 모듈로 처리된 확장현실 영상 데이터를 제공할 수도 있다.The communication unit 1210 transmits and receives information necessary for the extended reality image processing. In particular, the communication unit 1210 according to an embodiment of the present invention may request and receive information related to the direction of the gaze from the direction sensor or the acceleration sensor, or may provide expanded reality image data processed by the display module.

프로세서(1220)는 확장현실 영상처리 장치를 착용한 사용자의 시선의 방향을 감지한다.The processor 1220 detects the direction of the gaze of the user wearing the augmented reality image processing apparatus.

즉, 확장현실(Extended Reality, XR)이란, 증강현실(Augmented Reality, AR), 가상현실(Virtual Reality, VR) 및 혼합현실(Mixed Reality, MR)을 모두 아루르는 기술에 해당하는 것으로, 증강현실과 가상현실 모두를 지원하는 새로운 형태의 웨어러블 기기에 융합되면서 제공될 수 있다. 이러한 확장현실 기술은 제조, 헬스케어, 교육, 소매 등에 이르기까지 다양한 산업과 일상적인 소비자 경험을 변화시키는데 적용될 수 있다. 예를 들어, 확장현실 기술에 따르면 스마트폰, 모바일 AR 헤드셋 그리고 AR 글래스가 하나의 XR 글래스로 통합됨으로써 XR 글래스로 AR과 VR 모두를 사용할 수 있다. 다른 예를 들어, 평소에는 투명한 안경이지만 별도의 기능이 필요한 상황에서는 안경의 렌즈가 불투명해지면서 VR모드로 전환되도록 확장현실 기술이 적용될 수도 있다. In other words, Extended Reality (XR) refers to a technology that includes both Augmented Reality (AR), Virtual Reality (VR), and Mixed Reality (MR). It can be provided as a new type of wearable device supporting both virtual reality and virtual reality. These augmented reality technologies can be applied to transform a variety of industries and everyday consumer experiences, from manufacturing, healthcare, education and retail. For example, the Augmented Reality technology allows smartphones, mobile AR headsets and AR glasses to be integrated into a single XR glass, enabling both AR and VR to be used as XR glasses. In another example, in the case of glasses that are normally transparent but require a separate function, the extended reality technology may be applied so that the lenses of the glasses become opaque and switch to the VR mode.

따라서, 사용자는 확장현실 영상처리 장치를 착용한 채로 360도를 회전하거나, 이동하면서 확장현실 공간을 체험할 수 있는데, 확장현실 영상처리 장치는 이러한 사용자의 시선의 방향을 감지하여 시선의 방향에 상응하는 확장현실 영상을 디스플레이 할 수 있다.Therefore, the user can experience the extended reality space while rotating or moving 360 degrees while wearing the expanded reality image processing apparatus. The expanded reality image processing apparatus detects the direction of the user's gaze and corresponds to the direction of the gaze. To display the augmented reality image.

이 때, 방향 센서 또는 자이로 센서 등을 기반으로 사용자의 시선의 방향을 감지할 수 있다. 예를 들어, 방향 센서 및 자이로 센서는 본 발명에 따른 확장현실 영상처리 장치의 내부에서 직접 연결되어 시선의 방향을 감지하거나 또는 확장현실 영상처리 장치의 외부에서 시선의 방향을 감지하고 유무선 통신을 기반으로 관련 정보를 확장현실 기반의 영상처리 장치에게 제공할 수도 있다.At this time, the direction of the user's gaze may be detected based on a direction sensor or a gyro sensor. For example, the direction sensor and the gyro sensor are directly connected in the inside of the expanded reality image processing apparatus according to the present invention to detect the direction of the gaze or detect the direction of the gaze from the outside of the extended reality image processing apparatus and based on wired / wireless communication. The relevant information may be provided to the extended reality based image processing apparatus.

이 때, 방향 센서나 자이로 센서는 확장현실 영상처리 장치가 동작하는 동안 지속적으로 동작하면서 시선의 방향을 감지할 수 있다. In this case, the direction sensor or the gyro sensor may continuously detect the direction of the gaze while the extended reality image processing apparatus is operating.

이 때, 사용자의 동공을 감지하여 사용자의 시선의 방향을 감지할 수도 있다. 예를 들어, 본 발명에 따른 확장현실 영상처리 장치에 구비된 동공 감지 센서를 이용하여 사용자의 동공을 감지함으로써 사용자의 시선의 방향을 감지할 수도 있다.At this time, the user's pupil may be detected to detect the direction of the user's gaze. For example, the direction of the gaze of the user may be detected by detecting the pupil of the user using the pupil detection sensor provided in the expanded reality image processing apparatus according to the present invention.

또한, 프로세서(1220)는 시선의 방향에 대응하는 제1 영역에 대하여 기준 해상도 영상 처리를 수행한다.In addition, the processor 1220 performs reference resolution image processing on the first area corresponding to the direction of the line of sight.

또한, 프로세서(1220)는 제1 영역을 둘러싸는 제2 영역에 대하여 기준 해상도 영상 처리에 상응하는 제1 평균 해상도보다 낮은 제2 평균 해상도에 상응하는 저해상도 영상 처리를 수행한다.In addition, the processor 1220 performs low resolution image processing corresponding to a second average resolution lower than a first average resolution corresponding to reference resolution image processing on the second area surrounding the first area.

또한, 프로세서(1220)는 시선의 방향이 변화하면, 변화된 시선의 방향을 기준으로 제1 영역 및 제2 영역을 재설정한다.In addition, when the direction of the gaze changes, the processor 1220 resets the first area and the second area based on the changed direction of the gaze.

또한, 프로세서(1220)는 기준 해상도 영상 처리를 수행한 결과와 저해상도 영상 처리를 수행한 결과를 결합하여 사용자에게 디스플레이한다.In addition, the processor 1220 combines the result of performing the reference resolution image processing with the result of performing the low resolution image processing and displays the result to the user.

메모리(1230)는 제1 평균 해상도 및 제2 평균 해상도를 저장한다.The memory 1230 stores the first average resolution and the second average resolution.

또한, 메모리(1230)는 상술한 바와 같이 본 발명의 실시예에 따른 확장현실 영상처리를 위한 기능을 지원할 수 있다. 이 때, 메모리(1230)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수 있다. In addition, the memory 1230 may support a function for augmented reality image processing according to an embodiment of the present invention as described above. In this case, the memory 1230 may operate as a separate mass storage, and may include a control function for performing an operation.

한편, 확장현실 영상처리 장치는 메모리가 탑재되어 그 장치 내에서 정보를 저장할 수 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 일 구현예의 경우, 저장장치는 컴퓨터로 판독 가능한 매체이다. 다양한 서로 다른 구현 예에서, 저장장치는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.On the other hand, the augmented reality image processing device is equipped with a memory can store information in the device. In one embodiment, the memory is a computer readable medium. In one implementation, the memory may be a volatile memory unit, and for other implementations, the memory may be a nonvolatile memory unit. In one embodiment, the storage device is a computer readable medium. In various different implementations, the storage device may include, for example, a hard disk device, an optical disk device, or some other mass storage device.

이와 같은 확장현실 영상처리 장치를 이용함으로써 확장현실 컨텐츠의 해상도 및 품질을 향상시킬 수 있다.By using such an extended reality image processing apparatus, the resolution and quality of the expanded reality content may be improved.

이상에서와 같이 본 발명에 따른 확장현실 영상처리 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the expanded reality image processing method and apparatus for the same according to the present invention are not limited to the configuration and method of the embodiments described as described above, but the embodiments may be modified in various ways. All or some of the embodiments may be optionally combined.

100, 1100: HMD 101: 사용자
110, 120, 130, 530, 630: 시선 방향
111, 310, 410, 510, 610: 제1 영역
112, 320, 520, 620: 제2 영역 140: 시선 변화 방향
420, 430, 440: 분할된 제2 영역 511: 제1 영역의 수평 시야각
512: 제2 영역의 수평 시야각 611: 제1 영역의 수직 시야각
612: 제2 영역의 수직 시야각 1110: 디스플레이 모듈
1120: 확장현실 영상처리 장치 1130: 센서 모듈
1210: 통신부 1220: 프로세서
1230: 메모리100, 1100: HMD 101: User
110, 120, 130, 530, 630: eye direction
111, 310, 410, 510, 610: first region
112, 320, 520, and 620: second region 140: gaze change direction
420, 430, and 440: divided second region 511: horizontal viewing angle of the first region
512: horizontal viewing angle of the second region 611: vertical viewing angle of the first region
612: Vertical viewing angle of the second area 1110: Display module
1120: extended reality image processing device 1130: sensor module
1210: communication unit 1220: processor
1230: memory

Claims

Detecting a direction of a line of sight of a user wearing an extended reality based image processing apparatus;
Performing reference resolution image processing on the first area corresponding to the direction of the gaze; And
Performing low resolution image processing corresponding to a second average resolution lower than a first average resolution corresponding to the reference resolution image processing on the second area surrounding the first area;
Extended reality image processing method comprising a.

The method according to claim 1,
And the second area is divided into a plurality of areas, and the area farther from the center of the first area is lower in average resolution.

The method according to claim 1,
The extended reality image processing method
And resetting the first area and the second area based on the changed direction of the gaze when the direction of the gaze changes.

The method according to claim 1,
And a range for the first area and the second area based on a viewing angle based on the direction of the gaze.

The method according to claim 4,
The viewing angle is
And an at least one of a horizontal viewing angle and a vertical viewing angle.

The method according to claim 1,
The extended reality image processing method
And combining the result of performing the reference resolution image processing with the result of performing the low resolution image processing and displaying the result to the user.

The method according to claim 3,
And a first average resolution when the direction of the line of sight changes is slower than a first average resolution when the rate of change of the line of sight is fast.

The method according to claim 3,
And a second average resolution when the direction of the line of sight changes is slower than a second average resolution when the rate of change of the line of sight is fast.

The method according to claim 4,
And a viewing angle with respect to the second region is greater than a viewing angle with respect to the first region.

The method according to claim 4,
And when the direction of the line of sight changes, the range when the direction of the line of sight changes is slower than the range when the direction of the line of sight changes.

Detects the direction of the gaze of a user wearing an extended reality based image processing apparatus, performs reference resolution image processing on a first area corresponding to the direction of the gaze, and surrounds the first area. A processor configured to perform low resolution image processing corresponding to a second average resolution lower than a first average resolution corresponding to the reference resolution image processing on a second area; And
A memory for storing the first average resolution and the second average resolution
Extended reality image processing apparatus comprising a.

The method according to claim 11,
The second area is divided into a plurality of areas, and the farther from the center of the first area, the lower the average resolution.

The method according to claim 12,
The processor is
And changing the direction of the line of sight, resetting the first area and the second area based on the changed direction of the line of sight.

The method according to claim 11,
And a range for the first area and the second area based on a viewing angle based on the direction of the gaze.

The method according to claim 14,
The viewing angle is
And an at least one of a horizontal viewing angle and a vertical viewing angle.

The method according to claim 11,
The processor is
And displaying the result of performing the reference resolution image processing and the result of performing the low resolution image processing to the user.

The method according to claim 13,
And a first average resolution when the direction of the line of sight changes is slower than a first average resolution when the rate of change of the line of sight is fast.

The method according to claim 13,
And a second average resolution when the direction of the line of sight changes is slower than a second average resolution when the rate of change of the line of sight is fast.

The method according to claim 14,
And a viewing angle with respect to the second region is greater than a viewing angle with respect to the first region.

The method according to claim 14,
And when the direction of the line of sight changes, the range when the direction of the line of sight changes is slower than the range when the direction of the line of sight changes.