KR20200114921A

KR20200114921A - Method for load reduction using automatic control of observation image and head-mounted display using the same

Info

Publication number: KR20200114921A
Application number: KR1020190049492A
Authority: KR
Inventors: 양원준
Original assignee: 트라이픽스주식회사
Priority date: 2019-03-25
Filing date: 2019-04-29
Publication date: 2020-10-07
Also published as: KR102224057B1

Abstract

According to one embodiment of the present invention, provided is a head-mounted display, which comprises: a camera unit for photographing an observation image so that the image is provided to a user from a viewpoint of an observer; a display unit for displaying the observation image photographed by the camera unit; a load state check unit for checking a load state of the observation image displayed on the display unit; a determination unit for determining whether the control of the load state of the observation image checked from the load state check unit for reducing the load is necessary; and a control unit changing a location of the camera unit when the control of the load state of the observation image is necessary. The head-mounted display can reduce the load on the head-mounted display and reduce motion sickness caused to the user in accordance with the load on the head-mounted display.

Description

Load reduction method using automatic control of watching video and head-mounted display using it {METHOD FOR LOAD REDUCTION USING AUTOMATIC CONTROL OF OBSERVATION IMAGE AND HEAD-MOUNTED DISPLAY USING THE SAME}

본 발명은 헤드 마운티드 디스플레이에 관한 것으로, 더욱 상세하게는 디스플레이 되는 영상을 관전 영상으로 제공하고, 관전 영상을 촬영하는 카메라의 위치를 이동시킴으로써, 부하를 감소시키는 관전 영상의 자동제어를 이용한 부하 감소 방법 및 이를 이용한 헤드 마운티드 디스플레이에 관한 것이다.The present invention relates to a head-mounted display, and more particularly, a load reduction method using automatic control of a spectating image to reduce the load by providing a displayed image as a spectating image and moving the position of a camera for photographing the spectating image And a head mounted display using the same.

사용자 인터페이스(User Interface) 기술의 발전에 따라, 사용자에게 다양한 시청각 자극을 제공하기 위한 입출력 장치들도 개발되고 있다. 예를 들어, 종래에 단순히 키보드, 마우스, 조이스틱 등으로만 입력 신호를 제공하던 입력 장치들은, 중력 변화, 가속도 변화 등을 이용하여 다양한 방식으로 입력 신호를 제공하도록 개발되고 있다.With the development of user interface technology, input/output devices for providing various audiovisual stimuli to users are also being developed. For example, conventional input devices that simply provide an input signal with a keyboard, a mouse, a joystick, etc. are being developed to provide an input signal in various ways using a change in gravity and an acceleration.

또한, 출력 장치의 경우, 사용자에게 대화면을 제공하거나, 초 고화질의 영상을 제공하는 것을 넘어, 입체감 있는 영상을 제공하고, 보다 실재감 있는 시청각 자극을 제공하도록 개발되고 있다. 예를 들어, 오큘러스 리프트, 갤럭시 VR, HTC VIVE 등과 같이, 머리에 착용하여 가상현실(virtual reality)을 체험하게 하는 출력 장치들이 개발되고 있다.In addition, in the case of an output device, it is being developed to provide a three-dimensional image and provide a more realistic audio-visual stimulus beyond providing a large screen to a user or providing an ultra-high-definition image. For example, output devices such as Oculus Rift, Galaxy VR, and HTC VIVE are being developed to experience virtual reality by being worn on the head.

이러한 가상현실 출력 장치들은, 일반적인 시청각 출력 장치와 다르게, 사용자의 시야를 전체적으로 가린 상태에서 출력 화면에 나타나는 영상에 의해서만 사용자의 시각적 인지가 가능하도록 구성되기 때문에, 사용자가 신체적으로 느끼는 움직임과, 출력 화면에 나타나는 영상의 움직임에 차이가 발생할 경우, 멀미를 느낄 수 있다. 이러한 멀미 증상은 사이버 멀미(cyber sickness)(또는, 가상 멀미)로 불리기도 하는데, 가상 멀미가 누적되는 경우, 출력 장치 자체에 대한 사용 편의성이 현저히 감소될 수 있는 문제점이 있다.Unlike general audio-visual output devices, these virtual reality output devices are configured so that the user's visual perception is possible only by the image displayed on the output screen while the user's field of view is completely covered. If there is a difference in the motion of the video shown in the picture, you may feel motion sickness. Such a motion sickness symptom is also referred to as cyber sickness (or virtual motion sickness). When virtual motion sickness is accumulated, there is a problem in that the convenience of use of the output device itself may be significantly reduced.

대한민국 등록특허 10-1855863호 (2018.05.09. 공고)Korean Patent Registration No. 10-1855863 (announced on May 09, 2018)

본 발명이 이루고자 하는 기술적 과제는 헤드 마운티드 디스플레이에서 사용자에게 제공되는 관전 영상에 부하가 발생하여 사용자에게 멀미가 유발되지 않도록 부하를 감소시킬 수 있는 관전 영상의 자동제어를 이용한 부하 감소 방법 및 이를 이용한 헤드 마운티드 디스플레이를 제공하는 것이다.The technical problem to be achieved by the present invention is a load reduction method using the automatic control of the spectating image capable of reducing the load so as not to cause motion sickness to the user by generating a load on the spectating image provided to the user in a head mounted display, and a head using the same. It is to provide a mounted display.

본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problem to be achieved by the present invention is not limited to the technical problems mentioned above, and other technical problems that are not mentioned can be clearly understood by those of ordinary skill in the technical field to which the present invention belongs from the following description. There will be.

상기 기술적 과제를 달성하기 위하여, 본 발명의 일실시예는 영상이 관찰자의 입장에서 사용자에게 제공되도록 관전 영상을 촬영하는 카메라부; 상기 카메라부에서 촬영하는 관전 영상을 표시하는 디스플레이부; 상기 디스플레이부에 표시되는 상기 관전 영상의 부하 상태를 확인하는 부하 상태 확인부; 상기 부하 상태 확인부에서 확인한 상기 관전 영상의 부하 상태가 부하 감소를 위한 제어가 필요한지 여부를 판단하는 판단부; 및 상기 관전 영상의 상기 부하 상태가 부하 감소를 위한 제어가 필요한 경우, 상기 카메라부의 위치를 변경하는 제어부;를 포함하는 것을 특징으로 하는, 헤드 마운티드 디스플레이를 제공한다.In order to achieve the above technical problem, an embodiment of the present invention includes a camera unit for photographing a spectator image so that the image is provided to a user from the viewpoint of an observer; A display unit for displaying a spectator image captured by the camera unit; A load state check unit for checking a load state of the spectating image displayed on the display unit; A determination unit determining whether the load state of the spectating image checked by the load state check unit requires control for reducing the load; And a control unit for changing a position of the camera unit when the load state of the spectating image requires control for reducing the load. A head mounted display is provided.

본 발명의 실시예에 있어서, 상기 부하 상태 확인부는, 상기 관전 영상의 프레임수 및 상기 카메라부의 중심으로부터 기 설정된 거리 이내의 오브젝트의 수 중 적어도 하나를 이용하여 상기 영상의 부하 상태를 확인 할 수 있다.In an embodiment of the present invention, the load state check unit may check the load state of the image using at least one of the number of frames of the spectating image and the number of objects within a preset distance from the center of the camera unit. .

본 발명의 실시예에 있어서, 상기 판단부는, 상기 부하 상태 확인부에서 확인한 부하 상태를 기초로, 상기 관전 영상이 제1 부하 상태, 제2 부하 상태, 제3 부하 상태, 폴리곤 병목 부하 상태 및 파티클 명복 부하 상태 중 어느 부하 상태인지 판단할 수 있다. In an embodiment of the present invention, the determination unit, based on the load state checked by the load state check unit, the spectating image is a first load state, a second load state, a third load state, a polygon bottleneck load state, and a particle It is possible to determine which load state is in the normal load state.

본 발명의 실시예에 있어서, 상기 판단부는, 상기 관전 영상의 초당 프레임수(fps)에 따라 상기 관전 영상의 품질 점수를 결정하고, 기 결정된 기간 동안의 상기 품질 점수의 점수 합계로 상기 관전 영상의 부하 상태를 판단할 수 있다. In an embodiment of the present invention, the determination unit determines a quality score of the spectating image according to the number of frames per second (fps) of the spectating image, and the total score of the spectating image for a predetermined period You can judge the load status.

본 발명의 실시예에 있어서, 상기 판단부는, 상기 관전 영상의 폴리곤 수가 기 설정된 수 이상인 경우, 폴리곤 병목 부하 상태인 것으로 판단하고, 상기 관전 영상에서 파티클이 발생하는 경우, 파티클 병목 부하 상태인 것으로 판단하며, 상기 제어부는, 상기 판단부가 상기 관전 영상이 폴리곤 병목 부하 상태 또는 파티클 병목 부하 상태인 것으로 판단하는 경우, 상기 카메라부의 위치를 이동시킬 수 있다. In an embodiment of the present invention, the determination unit, when the number of polygons of the spectating image is greater than or equal to a preset number, determines that a polygon bottleneck is loaded, and when particles are generated in the spectating image, it is determined that it is a particle bottleneck load state. And, when the determination unit determines that the spectating image is a polygon bottleneck load state or a particle bottleneck load state, the control unit may move the position of the camera unit.

본 발명의 실시예에 있어서, 상기 제어부는, 상기 판단부에서 상기 관전 영상에 대해 판단한 부하 상태에 따라 상기 카메라부의 중심을 후진, 상승 및 하향 틸팅 중 어느 하나의 방법으로 이동시킬 수 있다. In an embodiment of the present invention, the control unit may move the center of the camera unit by any one of backward, upward and downward tilting according to a load condition determined by the determination unit for the spectating image.

본 발명의 실시예에 있어서, 상기 제어부는, 상기 부하 상태가 제1 부하 상태 및 제2 부하 상태인 경우, 상기 카메라부의 중심을 기 설정된 거리만큼 후진시키고, 기 설정된 거리만큼 상승시키며, 기 설정된 각도만큼 하향 틸팅하고, 상기 부하 상태가 제3 부하 상태인 경우, 부하가 낮은 방향으로 상기 카메라부의 중심을 이동시킬 수 있다. In an embodiment of the present invention, the control unit, when the load state is a first load state and a second load state, moves the center of the camera unit backward by a preset distance, increases by a preset distance, and a preset angle If the tilting is performed downward and the load state is the third load state, the center of the camera unit may be moved in a direction in which the load is low.

본 발명의 실시예에 있어서, 상기 제어부는, 상기 관전 영상이 부하 감소를 위한 제어가 필요한 상태에서, 기 설정된 시간 이상 외부로부터 입력이 없는 경우, 기 설정된 관심 지점으로 카메라부의 중심을 이동시킬 수 있다. In an embodiment of the present invention, the control unit may move the center of the camera unit to a preset point of interest when there is no input from outside for more than a preset time in a state in which the spectating image requires control for load reduction. .

상기 기술적 과제를 달성하기 위하여, 본 발명의 다른 실시예는 헤드 마운티드 디스플레이가, 영상을 관찰자 입장에서 제공되도록 관전 영상을 촬영하는 단계; 상기 헤드 마운티드 디스플레이가, 상기 관전 영상을 디스플레이부를 통해 디스플레이하는 단계; 상기 헤드 마운티드 디스플레이가, 상기 관전 영상의 부하 상태를 확인하는 단계; 상기 헤드 마운티드 디스플레이가, 확인한 상기 관전 영상의 부하 상태가 부하 감소를 위한 제어가 필요한지 여부를 판단하는 단계; 및 상기 헤드 마운티드 디스플레이가, 상기 관전 영상의 상기 부하 상태가 부하 감소를 위한 제어가 필요한 경우, 상기 카메라부의 촬영 위치를 변경하는 단계를 포함하는 것을 특징으로 하는, 관전 영상의 자동제어를 이용한 부하 감소 방법을 제공한다.In order to achieve the above technical problem, another embodiment of the present invention includes the steps of capturing a spectator image so that the head-mounted display provides the image from the perspective of an observer; Displaying, by the head-mounted display, the spectating image through a display unit; Checking, by the head-mounted display, a load state of the spectating image; Determining, by the head-mounted display, whether the checked load condition of the spectating image requires control for load reduction; And changing the photographing position of the camera unit when the load state of the spectating image requires control for reducing the load, by the head-mounted display, wherein the load reduction using automatic control of the spectating image Provides a way.

본 발명의 실시예에 있어서, 상기 부하 상태를 확인하는 단계는, 상기 영상의 프레임수 및 상기 카메라부로부터 기 설정된 거리 이내의 오브젝트의 수 중 적어도 하나를 이용하여 상기 영상의 부하 상태를 확인하는 단계를 포함할 수 있다. In an embodiment of the present invention, the checking of the load state includes checking the load state of the image using at least one of the number of frames of the image and the number of objects within a preset distance from the camera unit. It may include.

본 발명의 실시예에 있어서, 상기 제어가 필요한지 여부를 판단하는 단계는, 상기 확인한 부하 상태를 기초로, 상기 관전 영상이 제1 부하 상태, 제2 부하 상태, 제3 부하 상태, 폴리곤 병목 부하 상태 및 파티클 명복부하 상태 중 어느 부하 상태인지 판단하는 단계일 수 있다. In an embodiment of the present invention, the determining whether the control is necessary comprises, based on the checked load state, the spectating image is in a first load state, a second load state, a third load state, and a polygon bottleneck load state. And it may be a step of determining which load state is among the particle light and light load states.

본 발명의 실시예에 있어서, 상기 촬영 위치를 변경하는 단계는, 상기 관전 영상에 대해 판단한 부하 상태에 따라 상기 카메라부의 중심을 후진, 상승 및 하향 틸팅 중 어느 하나의 방법으로 이동시키는 단계일 수 있다. In an embodiment of the present invention, the step of changing the photographing position may be a step of moving the center of the camera unit by any one of backward, ascending, and downward tilting according to a load state determined for the spectating image. .

본 발명의 실시예에 있어서, 상기 촬영 위치를 변경하는 단계는, 상기 관전 영상이 부하 감소를 위한 제어가 필요한 상태에서, 기 설정된 시간 이상 외부로부터 입력이 없는지 여부를 판단하는 단계; 및 외부로부터 입력이 없는 경우, 기 설정된 관심 지점으로 카메라부의 중심을 이동시키는 단계를 포함할 수 있다. In an embodiment of the present invention, the changing of the photographing position may include determining whether there is no external input for a preset time or longer in a state in which the spectating image requires control for load reduction; And when there is no input from the outside, moving the center of the camera unit to a preset point of interest.

상기 기술적 과제를 달성하기 위하여, 본 발명의 또 다른 실시예는 하나 이상의 프로세서; 메모리; 및 하나 이상의 프로그램을 포함하는 장치이고, 상기 하나 이상의 프로그램은 상기 메모리에 저장되고 상기 하나 이상의 프로세서에 의해 실행되도록 구성되며, 상기 프로그램은, 상기 장치로 하여금, 영상을 관찰자 입장에서 제공하기 되도록 관전 영상을 촬영하는 동작; 상기 관전 영상을 디스플레이부를 통해 디스플레이하는 동작; 상기 관전 영상의 부하 상태를 확인하는 동작; 확인한 상기 관전 영상의 부하 상태가 부하 감소를 위한 제어가 필요한지 여부를 판단하는 동작; 및 상기 관전 영상의 상기 부하 상태가 부하 감소를 위한 제어가 필요한 경우, 상기 카메라부의 촬영 위치를 변경하는 동작을 수행하도록 구성되는, 장치를 제공한다.In order to achieve the above technical problem, another embodiment of the present invention is one or more processors; Memory; And a device including one or more programs, wherein the one or more programs are stored in the memory and are configured to be executed by the one or more processors, and the program is a spectating image to allow the device to provide an image from the perspective of an observer. The operation of photographing; Displaying the spectator image through a display unit; Checking a load state of the spectating image; Determining whether a load state of the checked spectating image requires control for load reduction; And when the load state of the spectating image requires control for reducing the load, the apparatus is configured to perform an operation of changing the photographing position of the camera unit.

본 발명의 실시예에 따르면, 헤드 마운티드 디스플레이의 부하를 감소시킬 수 있다.According to an embodiment of the present invention, it is possible to reduce the load on the head mounted display.

또한, 본 발명의 실시예에 따르면, 헤드 마운티드 디스플레이의 부하 발생에 따라 사용자에게 유발되는 멀미를 감소시킬 수 있다. In addition, according to an embodiment of the present invention, motion sickness caused to a user may be reduced due to a load on the head mounted display.

본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.The effects of the present invention are not limited to the above effects, and should be understood to include all effects that can be inferred from the configuration of the invention described in the detailed description or claims of the present invention.

도 1은 본 발명의 일 실시예에 따른 헤드 마운티드 디스플레이 장치를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 헤드 마운티드 디스플레이의 구성을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 카메라의 움직임을 이용한 부하감소 방법의 순서를 나타낸 도면이다.
도 4는 예시적인 실시예들에서 사용되기에 적합한 예시적인 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 나타내는 도면이다.1 is a diagram illustrating a head mounted display device according to an embodiment of the present invention.
2 is a diagram showing a configuration of a head mounted display according to an embodiment of the present invention.
3 is a diagram illustrating a procedure of a load reduction method using a camera movement according to an embodiment of the present invention.
4 is a diagram illustrating a computing environment including an exemplary computing device suitable for use in exemplary embodiments.

이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, the present invention will be described with reference to the accompanying drawings. However, the present invention may be implemented in various different forms, and therefore is not limited to the embodiments described herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and similar reference numerals are assigned to similar parts throughout the specification.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.Throughout the specification, when a part is said to be "connected (connected, contacted, bonded)" with another part, it is not only "directly connected", but also "indirectly connected" with another member in the middle. "Including the case. In addition, when a part "includes" a certain component, it means that other components may be further provided, rather than excluding other components unless specifically stated to the contrary.

본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present specification are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or a combination thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.

이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 헤드 마운티드 디스플레이 장치를 나타낸 도면이다.1 is a diagram illustrating a head mounted display device according to an embodiment of the present invention.

도 1을 참조하면, 헤드 마운티드 디스플레이(HMD : Head Mounted Display)(10)는 사용자가 안경처럼 착용하고 사용하는 모니터를 의미할 수 있다. 구체적으로, 헤드 마운티드 디스플레이(10)는 안경, 헤드셋 또는 헬멧 등의 형상을 가지며, 사용자의 양안에 영상을 제공할 수 있다. 예를 들어, 헤드 마운티드 디스플레이(10)는 디스플레이를 통해 영상을 디스플레이하여, 사용자의 눈앞에서 영상을 제공할 수 있게 된다. 이 경우, 헤드 마운티드 디스플레이(10)의 후면에는 사용자의 머리에 착용 가능하도록 하는 안경 다리 또는 벤드 등이 형성될 수 있다. 또한, 헤드 마운티드 디스플레이(10)에는 조작용 트랙 패드, 리턴 버튼, 음량 조정 키 등이 탑재될 수 있다.Referring to FIG. 1, a head mounted display (HMD) 10 may mean a monitor worn and used by a user like glasses. Specifically, the head-mounted display 10 has a shape such as glasses, a headset, or a helmet, and may provide images to both eyes of the user. For example, the head-mounted display 10 may display an image through the display and provide an image in front of the user's eyes. In this case, a spectacle leg or bend may be formed on the rear side of the head-mounted display 10 to be worn on the user's head. In addition, the head mounted display 10 may be equipped with a track pad for operation, a return button, and a volume control key.

또는, 헤드 마운티드 디스플레이(10)는 별도의 디스플레이를 필요로 하는 디바이스로 구현될 수도 있다. 예를 들어, 헤드 마운티드 디스플레이(10)는 안경, 헤드셋 또는 헬멧 등의 형상을 갖는 본체(가령, 하우징)이고, 스마트폰 또는 태블릿 등이 본체의 전면에 부착되어 사용자의 양안에 영상을 제공할 수도 있다.Alternatively, the head mounted display 10 may be implemented as a device requiring a separate display. For example, the head mounted display 10 is a body (eg, a housing) having a shape such as glasses, headset, or helmet, and a smartphone or tablet may be attached to the front of the body to provide images to both eyes of the user. have.

한편, 헤드 마운티드 디스플레이(10)를 머리에 착용하면, 디스플레이에서 사용자의 좌안이 바라보는 영역과 우안이 바라보는 영역은 공간적으로 분리될 수 있다. 이에 따라, 헤드 마운티드 디스플레이(10)는 디스플레이에서 사용자의 좌안이 바라보는 영역과 우안이 바라보는 영역에 서로 다른 영상을 디스플레이하여, 좌안과 우안에 서로 다른 영상이 입사, 점사 또는 출력되도록 할 수 있다.Meanwhile, when the head-mounted display 10 is worn on the head, the area viewed by the user's left eye and the area viewed by the right eye may be spatially separated on the display. Accordingly, the head-mounted display 10 may display different images in the area viewed by the user's left eye and the area viewed by the right eye so that different images are incident, burst, or output in the left and right eyes. .

한편, 헤드 마운티드 디스플레이(10)는 사용자의 머리 움직임을 추적하여 시야 영상을 즉각적으로 업데이트할 수 있도록 구현되며, 2D 영상뿐 아니라 3D 영상을 제공할 수 있도록 구현될 수 있다. 예를 들어, 사용자가 헤드 마운티드 디스플레이(10)를 머리에 착용하면 사용자의 시야를 완전히 장악해 360도 입체 영상과 음향을 제공하며, 헤드 마운티드 디스플레이(10)에 구비된 자이로 센서와 가속도 센서, 헤드 마운티드 디스플레이(10)와 통신하는 외부의 위치/동작 센서 등이 사용자가 고개를 위아래 혹은 좌우로 움직이는 것을 감지해 그방향에 알맞은 시각효과를 내도록 구현될 수 있다. 이에 따라, 사용자는 파노라마 3D 영상 중에서 자신의 시선이 향하는 방향에 존재하는 3D 영상을 제공받을 수 있어, 가상 현실(virtual reality, VR)을 체험할 수 있게 된다. Meanwhile, the head-mounted display 10 is implemented to immediately update a field of view image by tracking the movement of the user's head, and may be implemented to provide a 3D image as well as a 2D image. For example, when the user wears the head-mounted display 10 on the head, it completely controls the user's field of view and provides a 360-degree stereoscopic image and sound, and a gyro sensor, an acceleration sensor, and a head provided in the head-mounted display 10 An external position/motion sensor that communicates with the mounted display 10 may be implemented to detect that the user moves his or her head up and down or left and right to produce a visual effect suitable for that direction. Accordingly, the user may be provided with a 3D image present in the direction of his/her gaze from among the panoramic 3D images, thereby allowing the user to experience virtual reality (VR).

도 2는 본 발명의 일 실시예에 따른 헤드 마운티드 디스플레이의 구성을 나타낸 도면이다.2 is a diagram showing a configuration of a head mounted display according to an embodiment of the present invention.

도 2를 참조하면, 헤드 마운티드 디스플레이(10)는 카메라부(110), 디스플레이부(120), 부하 상태 확인부(130), 판단부(140), 제어부(150) 및 데이터베이스부(160)를 포함할 수 있다. Referring to FIG. 2, the head mounted display 10 includes a camera unit 110, a display unit 120, a load status check unit 130, a determination unit 140, a control unit 150, and a database unit 160. Can include.

카메라부(110)는 헤드 마운티드 디스플레이(10)에 저장되어 있는 컨텐츠 또는 다른 장치로부터 컨텐츠(이하, 영상이라 함)가 사용자에게 제공되도록 할 수 있다. 구체적으로, 카메라부(110)는 헤드 마운티드 디스플레이(10)에서 사용되는 영상이 관찰자 입장에서 사용자에게 제공되도록 관전 영상을 촬영할 수 있다. The camera unit 110 may provide content (hereinafter referred to as an image) to a user from content stored in the head mounted display 10 or from another device. Specifically, the camera unit 110 may take a spectating image so that the image used in the head-mounted display 10 is provided to the user from the viewpoint of the observer.

카메라부(110)는 헤드 마운티드 디스플레이(10)에서 사용되는 영상이 관찰자 입장으로 사용자에게 제공되도록 관전 영상을 촬영하되, 제어부(150)의 제어에 따라 상기 영상에서 관전 영상을 촬영하기 위한 카메라부(110)의 중심이 위치 변경될 수 있다. 카메라부(110)의 중심이 위치 변경되는 구체적인 내용은 제어부(150)의 설명에서 후술하도록 한다. The camera unit 110 photographs a spectating image so that the image used in the head-mounted display 10 is provided to the user as an observer, and a camera unit for photographing a spectating image from the image under the control of the controller 150 ( 110) can be relocated. Details of the change in the position of the center of the camera unit 110 will be described later in the description of the control unit 150.

디스플레이부(120)는 상기 카메라부(110)에서 촬영하는 관전 영상을 디스플레이 할 수 있다. 구체적으로, 디스플레이부(120)는 상기 카메라부(110)가 촬영한 관전 영상이 사용자에게 제공되도록 디스플레이 할 수 있다. 또한, 디스플레이부(120)는 컨텐츠의 재생 중에 GUI 등을 오버레이하여 디스플레이 할 수도 있다. The display unit 120 may display a spectator image captured by the camera unit 110. Specifically, the display unit 120 may display a spectator image captured by the camera unit 110 to be provided to a user. In addition, the display unit 120 may display a GUI or the like by overlaying it during content reproduction.

디스플레이부(120)는 제어부(140)의 제어에 의해 디스플레이부(120)의 일 영역의 화면 상태를 변경할 수 있다. 예를 들어, 디스플레이부(120)는 외부 영상을 촬영하여 디스플레이부(120)의 일 영역에 오버레이 할 수 있다. 또는, 디스플레이부(120)는 디스플레이부(120)의 일 영역의 투명도를 증가시킬 수도 있다.The display unit 120 may change a screen state of an area of the display unit 120 under the control of the controller 140. For example, the display unit 120 may capture an external image and overlay it on an area of the display unit 120. Alternatively, the display unit 120 may increase the transparency of an area of the display unit 120.

디스플레이부(120)는 LCD(Liquid Crystal Display Panel), OLED(Organic Light Emitting Diodes) 등으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이부(120)는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다.The display unit 120 may be implemented as a Liquid Crystal Display Panel (LCD), Organic Light Emitting Diodes (OLED), or the like, but is not limited thereto. In addition, the display unit 120 may be implemented as a flexible display or a transparent display in some cases.

부하 상태 확인부(130)는 디스플레이부(120)에 표시되는 관전 영상의 부하 상태를 확인할 수 있다. 구체적으로, 부하 상태 확인부(130)는 현재 디스플레이부(120)에 표시되는 관전 영상의 초당 프레임 수(FPS : Frame Per Second) 상태, 상기 카메라부(110)의 위치를 중심으로 기 설정된 반경 이내에 오브젝트의 수를 기반으로 관전 영상의 부하 상태를 확인할 수 있다. 예를 들어, 부하 상태 확인부(130)는 상기 카메라부(110)의 위치를 중심으로 10m 내지 30m 반경 이내의 오브젝트의 수를 기반으로 관전 영상의 부하 상태를 확인할 수 있다. 바람직하게는, 상기 카메라부(110)의 위치를 중심으로 20m 이내의 오브젝트의 수를 기반으로 관전 영상의 부하 상태를 확인할 수 있다. The load status checker 130 may check the load status of the spectating image displayed on the display 120. Specifically, the load status check unit 130 is in a frame per second (FPS) state of the spectating image currently displayed on the display unit 120, within a preset radius based on the position of the camera unit 110 Based on the number of objects, you can check the load status of the spectating image. For example, the load status check unit 130 may check the load status of the spectating image based on the number of objects within a radius of 10 m to 30 m based on the location of the camera unit 110. Preferably, the load state of the spectating image can be checked based on the number of objects within 20m based on the location of the camera unit 110.

부하 상태 확인부(130)는 확인한 관전 영상의 부하 상태 정보를 판단부(140)에 전송할 수 있다. 구체적으로, 부하 상태 확인부(130)는 디스플레이부(120)에 표시되는 관전 영상의 초당 프레임 수(FPS), 카메라부(110)의 위치를 중심으로 기 설정된 반경 이내의 오브젝트의 수 중 적어도 하나를 포함하는 부하 상태 정보를 판단부(140)에 전송할 수 있다. 여기서는, 부하 상태 정보가 관전 영상의 초당 프레임 수, 카메라부(110)의 위치를 중심으로 기 설정된 반경 이내의 오브젝트의 수인 것으로 설명하였으나, 이에 한정되는 것은 아니며, 부하 상태 정보는 헤드 마운티드 디스플레이(10)의 CPU, GPU, MEMORY 정보 등과 같이 연산 부하가 급상승하는 것을 확인할 수 있는 요소들을 포함할 수도 있음은 물론이다. The load status checking unit 130 may transmit load status information of the checked spectating image to the determining unit 140. Specifically, the load status check unit 130 includes at least one of the number of frames per second (FPS) of the spectating image displayed on the display unit 120 and the number of objects within a preset radius around the location of the camera unit 110 Load state information including a may be transmitted to the determination unit 140. Here, it has been described that the load state information is the number of frames per second of the spectating image and the number of objects within a preset radius around the position of the camera unit 110, but is not limited thereto, and the load state information is the head mounted display 10 Of course, it can also include elements that can confirm that the computational load is rapidly increasing, such as CPU, GPU, and MEMORY information of ).

판단부(140)는 부하 상태 확인부(130)에서 전달받은 부하 상태 정보를 기반으로 헤드 마운티드 디스플레이(10)의 부하 감소 제어가 필요한지 여부를 판단할 수 있다. 구체적으로, 판단부(140)는 부하 상태 정보를 기반으로, 현재 헤드 마운티드 디스플레이(10)의 부하 상태가 정상상태, 제1 부하상태, 제2 부하상태, 제3 부하상태, 폴리곤 부하상태, 파티클 부하상태 중 어떠한 상태인지 판단하고, 부하 감소 제어가 필요한 경우, 각 상태에 대응하는 카메라부(110) 중심 변경 신호를 제어부(150)에 전송할 수 있다. The determination unit 140 may determine whether the load reduction control of the head mounted display 10 is required based on the load state information received from the load state checker 130. Specifically, based on the load state information, the determination unit 140 determines that the current load state of the head mounted display 10 is a normal state, a first load state, a second load state, a third load state, a polygon load state, and a particle. It is possible to determine which of the load states is, and when load reduction control is required, a center change signal of the camera unit 110 corresponding to each state may be transmitted to the controller 150.

판단부(140)는 상기 관전 영상의 초당 프레임수를 기반으로 관전 영상의 부하 상태를 판단할 수 있다. 구체적으로, 판단부(140)는 관전 영상의 초당 프레임수를 기반으로 영상의 초당 품질 점수를 결정하고, 품질 점수를 통해 해당 영상의 부하 상태를 판단할 수 있다. 예를 들어, 판단부(140)는 관전 영상의 초당 프레임수(fps)가 60 이상인 경우, 0점, 초당 프레임수(fps)가 50이상 60 미만인 경우 1점, 초당 프레임수(fps)가 40이상 49미만인 경우 2점, 초당 프레임수(fps)가 30이상 39미만인 경우 3점의 품질 점수를 부여할 수 있다. 이때, 관전 영상의 초당 프레임수(fps)는 그 숫자가 작을수록 관전 영상이 지연되어 나타나게 될 수 있다. 판단부(140)는 관전 영상의 초당 프레임수를 기 설정된 주기마다 갱신할 수 있다. 예를 들어, 판단부(140)는 2초마다 관전 영상의 초당 프레임수(fps)를 확인하여 관전 영상의 품질 점수를 확인할 수 있다. 판단부(140)는 기 설정된 기간 동안의 관전 영상 품질 점수의 점수 합계로 현재 관전 영상의 부하 상태를 판단할 수 있다. 예를 들어, 판단부(140)는 기 설정된 기간이 3회의 품질 점수인 경우, 현재로부터 이전 3회의 초당 품질 점수의 합을 통해 현재 관전 영상의 부하 상태를 판단할 수 있다. 판단부(140)는 기 설정된 기간 동안의 관전 영상의 품질 점수의 합계에 따라, 합계 점수가 0점 ~ 1점인 경우, 쾌적한 상태로 판단하고, 2점인 경우, 제1 부하 상태, 3점~5점인 경우, 제2 부하 상태, 6점~9점인 경우 제3 부하 상태인 것으로 판단할 수 있다. The determination unit 140 may determine a load state of the spectating image based on the number of frames per second of the spectating image. Specifically, the determination unit 140 may determine a quality score per second of the image based on the number of frames per second of the spectating image, and may determine a load state of the corresponding image through the quality score. For example, the determination unit 140 points 0 when the number of frames per second (fps) of the spectating video is 60 or more, 1 point when the number of frames per second (fps) is 50 or more and less than 60, and the number of frames per second (fps) is 40 If the number of frames per second is less than 49, 2 points, and if the number of frames per second (fps) is 30 or more and less than 39, a quality score of 3 points can be given. In this case, as the number of frames per second (fps) of the spectating image is smaller, the spectating image may be delayed and appear. The determination unit 140 may update the number of frames per second of the spectating image every preset period. For example, the determination unit 140 may check the number of frames per second (fps) of the spectating image every 2 seconds to determine the quality score of the spectating image. The determination unit 140 may determine the load state of the current spectating image based on the sum of the scores of the spectating image quality points for a preset period. For example, when the preset period is three quality scores, the determination unit 140 may determine the load state of the current spectating image through the sum of the three quality scores per second from the present time. According to the sum of the quality points of the spectating video for a preset period, the determination unit 140 judges that the total score is 0 to 1, as a pleasant state, and if it is 2, the first load state, 3 to 5 If it is a point, it can be determined that it is a second load state, and if it is 6 to 9 points, it can be determined as a third load state.

또한, 판단부(140)는 상기 카메라부(110)의 위치를 중심으로 기 설정된 거리 이내의 오브젝트의 수를 기반으로 관전 영상의 부하 상태를 판단할 수 있다. 예를 들어, 카메라부(110)의 위치를 중심으로 기 설정된 거리가 20m인 경우, 카메라부(110)의 위치를 중심으로 반경 20m 이내에 오브젝트의 수가 10개 이상 20개 미만인 경우, 제1 부하 상태, 오브젝트의 수가 20개 이상 30개 미만인 경우, 제2 부하 상태, 오브젝트의 수가 30개 이상인 경우 제3 부하 상태로 판단할 수 있다. In addition, the determination unit 140 may determine the load state of the spectating image based on the number of objects within a preset distance based on the location of the camera unit 110. For example, when the preset distance from the position of the camera unit 110 is 20m, the number of objects within a radius of 20m from the position of the camera unit 110 is 10 or more and less than 20, the first load state , When the number of objects is 20 or more and less than 30, it may be determined as a second load state, and when the number of objects is 30 or more, it may be determined as a third load state.

판단부(140)는 제1 부하 상태 내지 제3 부하 상태 이외에, 폴리곤 병목 부하 상태도 판단할 수 있다. 여기서, 폴리곤이란 3D 그래픽에서 물체를 표현할 때 쓰이는 기본 단위인 다각형을 말하는 것으로, 3D 게임에서는 폴리곤이 모여서 캐릭터나 각종 3D로 이루어진 사물들이 표현되게 된다. 즉, 다각형 모양의 폴리곤이 여럿 모여서 하나의 캐릭터나 3D 오브젝트(3D Object)를 이루게 된다. 판단부(140)는 관전 영상에서 폴리곤의 수가 기 설정된 수 이상인 경우, 폴리곤 병목 부하 상태인 것으로 판단할 수 있다. 일반적으로, 폴리곤의 수가 적은 경우는 약 3,000개의 폴리곤 수가 관전 영상이 표현이 되고, 폴리곤의 수가 많은 경우는 약 30,000개의 폴리곤 수가 관전 영상에 표현이 된다. 판단부(140)는 사용자의 입력에 따라, 폴리곤의 수의 기준을 설정하고, 이를 기반으로 폴리곤 병목 부하 상태 여부를 판단할 수 있다. 예를 들어, 카메라부(110)의 중심을 기준으로 반경 30m 이내에 출력 폴리곤의 수가 120,000 이상인 경우, 폴리곤 병목 부하 상태인 것으로 판단할 수 있다. In addition to the first to third load states, the determination unit 140 may also determine a polygon bottleneck load state. Here, a polygon refers to a polygon, which is a basic unit used to represent an object in 3D graphics. In a 3D game, polygons are gathered to represent characters or various 3D objects. In other words, a number of polygon-shaped polygons are gathered to form a single character or 3D object. When the number of polygons in the spectating image is greater than or equal to a preset number, the determination unit 140 may determine that the polygon bottleneck is under load. In general, when the number of polygons is small, about 3,000 polygons are represented in the spectating image, and when the number of polygons is large, about 30,000 polygons are represented in the spectating image. The determination unit 140 may set a reference for the number of polygons according to a user's input, and determine whether a polygon bottleneck is loaded based on this. For example, when the number of output polygons within a radius of 30 m from the center of the camera unit 110 is 120,000 or more, it may be determined that the polygon bottleneck is loaded.

또한, 판단부(140)는 제1 부하 상태 내지 제3 부하 상태, 폴리곤 병목 부하 상태 이외에, 파티클 병목 부하 상태도 판단할 수 있다. 여기서, 파티클이란 관전 영상에 폭탄이 터지는 현상 등을 의미할 수 있다. 예를 들어, 게임 상에서 폭탄이 터진 경우, 폭탄의 파편들이 발생하게 되고, 그에 따라 파티클의 수가 증가하여 파티클 병목 부하 상태가 발생될 수 있다. 판단부(140)는 관전 영상에 파티클이 발생했는지 여부를 판단함으로써, 파티클 병목 부하 상태 여부를 판단할 수 있다. 예를 들어, 판단부(140)는 카메라부(110)의 중심을 기준으로 반경 50m 이내에 출력되는 파티클이 2,500 이상일 경우, 파티클 병목 부하 상태로 판단할 수 있다. In addition, the determination unit 140 may determine a particle bottleneck load state in addition to the first load state to the third load state and the polygon bottleneck load state. Here, the particle may mean a phenomenon in which a bomb is exploded in the spectating image. For example, when a bomb explodes in a game, fragments of the bomb are generated, and accordingly, the number of particles increases, resulting in a particle bottleneck load condition. The determination unit 140 may determine whether a particle bottleneck is loaded by determining whether particles have been generated in the spectating image. For example, the determination unit 140 may determine a particle bottleneck load state when the number of particles output within a radius of 50 m from the center of the camera unit 110 is 2,500 or more.

제어부(150) 상기 판단부(140)에서 판단한 부하 상태에 따라 카메라부(110)의 위치를 변경할 수 있다. 구체적으로, 제어부(150)는 판단부(140)에서 관전 영상에 부하 감소 제어가 필요하다고 판단하는 경우, 각 부하 상태에 대응하는 부하 감소 제어를 통해 카메라부(110)를 제어할 수 있다. 제어부(150)는 관전 영상이 부하 상태에 있는 경우, 카메라부(110)를 카메라부(110)의 중심을 후진, 상승 및 하향 틸팅 중 어느 하나의 방법으로 이동시킬 수 있다. 여기서, 틸팅(Tilting)이란 카메라부의 각도를 조절하는 것을 의미할 수 있다. 예를 들어, 제어부(150)는 관전 영상의 부하 상태가 제1 부하 상태인 경우, 영상을 촬영하는 카메라부(110)의 중심을 5m 후진, 3m 상승 및 8도 하향 틸팅함으로써, 카메라부(110)에서 촬영되어 디스플레이부(120)에 디스플레이되는 관전 영상의 부하를 줄일 수 있다. 만약, 관전 영상의 부하 상태가 제2 부하 상태인 경우, 제어부(150)는 영상을 촬영하는 카메라부(110)의 중심을 9m 후진, 6m 상승 및 15도 하향 틸팅함으로써, 카메라부(110)에서 촬영되어 디스플에이부(120)에 디스플레이되는 관전 영상의 부하를 줄일 수 있다. 만약, 관전 영상의 부하상태가 제3 부하 상태인 경우, 영상을 촬영하는 카메라부(110)의 중심을 부하가 낮은 방향으로 이동시킴으로써, 카메라부(110)에서 촬영되어 디스플에이부(120)에 디스플레이되는 관전 영상의 부하를 줄일 수 있다.The control unit 150 may change the position of the camera unit 110 according to the load state determined by the determination unit 140. Specifically, when the determination unit 140 determines that the load reduction control is necessary for the spectating image, the controller 150 may control the camera unit 110 through load reduction control corresponding to each load state. When the spectating image is in a load state, the control unit 150 may move the camera unit 110 by any one of backward, ascending, and downward tilting of the center of the camera unit 110. Here, tilting may mean adjusting the angle of the camera unit. For example, when the load state of the spectating image is the first load state, the control unit 150 moves the center of the camera unit 110 for capturing the image 5 m backward, 3 m upward, and 8 degrees downward by tilting the camera unit 110 ), it is possible to reduce the load of the spectating image that is captured and displayed on the display unit 120 If the load state of the spectating image is the second load state, the controller 150 moves the center of the camera unit 110 for photographing the image backward by 9 m, ascending by 6 m, and tilting the camera unit 110 downward by 15 degrees. It is possible to reduce the load of the spectating image captured and displayed on the display unit 120. If the load state of the spectating image is the third load state, the center of the camera unit 110 for photographing the image is moved in a direction where the load is low, so that the image is captured by the camera unit 110 and displayed on the display unit 120. It is possible to reduce the load of the displayed spectator image.

제어부(150)는 관전 영상의 부하 상태가 폴리곤 병목 부하 상태 또는 파티클 병목 부하 상태인 경우, 제1 부하 상태를 기초로 카메라부(110)의 이동에 가중치를 줌으로써, 카메라부(110)에서 촬영되어 디스플에이부(120)에 디스플레이되는 관전 영상의 부하를 줄일 수 있다. 예를 들어, 제어부(150)는 관전 영상의 부하 상태가 폴리곤 병목 부하 상태인 경우, 후진 거리를 120% 가중하고, 상승거리에 80%의 가중치를 적용하여 카메라부(110)에서 촬영되어 디스플에이부(120)에 디스플레이되는 관전 영상의 부하를 줄일 수 있다.When the load state of the spectating image is a polygon bottleneck load state or a particle bottleneck load state, the control unit 150 is photographed by the camera unit 110 by giving a weight to the movement of the camera unit 110 based on the first load state. It is possible to reduce the load of the spectating image displayed on the display unit 120. For example, when the load state of the spectating image is the polygon bottleneck load state, the controller 150 weights the backward distance by 120%, applies a weight of 80% to the ascent distance, and is photographed by the camera unit 110 to display the display. It is possible to reduce the load of the spectator image displayed on the unit 120.

헤드 마운티드 디스플레이(10)는 카메라부(110)를 이용해 영상을 관찰자 입장에서 촬영하고, 촬영된 관전 영상을 디스플레이부(120)를 통해 사용자에게 제공하되, 관전 영상에 부하가 발생되는 경우, 카메라부(110)의 중심을 이동시킴으로써 관전 영상에 부하를 줄일 수 있다. 이를 통해, 화상의 지연으로 인하여 사용자에게 멀미가 발생되는 것을 방지할 수 있게 된다. The head-mounted display 10 uses the camera unit 110 to capture an image from the viewpoint of an observer, and provides the captured spectating image to the user through the display unit 120, but when a load is generated on the spectating image, the camera unit By moving the center of (110), the load on the spectating image can be reduced. Through this, it is possible to prevent motion sickness from occurring to the user due to image delay.

제어부(150)는 카메라부(110)의 중심을 관심 지점으로 이동시킬 수 있다. 구체적으로, 제어부(150)는 관전 영상이 부하 감소를 위한 제어가 필요한 상태에서, 기 설정된 시간 이상 외부로부터 입력이 없는 경우, 기 설정된 관심 지점으로 카메라부(110)의 중심을 이동시킬 수 있다. 여기서, 외부로부터의 입력은 헤드 마운티드 디스플레이(10)에 연결된 컨트롤러, 헤드 마운티드 디스플레이(10)의 움직임 등을 의미할 수 있다. 예를 들어, 제어부(150)는 기 설정된 시간(예를 들어, 8초) 동안 외부 입력이 없는 경우, 기 설정된 관심 지점으로 카메라부(110)의 중심을 이동시킬 수 있다. 이때, 기 설정된 관심 지점은 사용자가 기 저장한 지점이거나, 제1 부하 상태 또는 제2 부하 상태가 발생된 지점 등이 될 수 있다.The control unit 150 may move the center of the camera unit 110 to the point of interest. Specifically, the control unit 150 may move the center of the camera unit 110 to a preset point of interest when there is no input from outside for more than a preset time in a state in which the spectating image requires control for load reduction. Here, the input from the outside may mean a controller connected to the head mounted display 10, a movement of the head mounted display 10, and the like. For example, when there is no external input for a preset time (eg, 8 seconds), the controller 150 may move the center of the camera unit 110 to a preset point of interest. In this case, the preset point of interest may be a point previously stored by the user, or a point at which the first load state or the second load state occurs.

데이터베이스부(160)는 헤드 마운티드 디스플레이(10)에서 사용하는 각종 정보를 저장할 수 있다. 구체적으로, 데이터베이스부(160)는 각 부하 상태를 분류하기 위한 기준, 각 부하 상태에 따른 카메라부(110)의 제어 방법 등을 저장할 수 있다. 여기서는, 데이터베이스부(160)가 저장하고 있는 대표적인 예를 설명한 것일 뿐, 이에 한정하는 것은 아니며, 데이터베이스부(160)는 헤드 마운티드 디스플레이(10)에 저장될 수 있는 모든 정보를 저장할 수 있음은 물론이다.The database unit 160 may store various types of information used in the head mounted display 10. Specifically, the database unit 160 may store a standard for classifying each load state, a control method of the camera unit 110 according to each load state, and the like. Here, a representative example stored by the database unit 160 is only described, but is not limited thereto. It goes without saying that the database unit 160 can store all information that may be stored in the head mounted display 10. .

도 3은 본 발명의 일 실시예에 따른 카메라의 움직임을 이용한 부하감소 방법의 순서를 나타낸 도면이다. 도면에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다. 또한 실시예에 따라 상기 방법에 도시되지 않은 하나 이상의 단계들이 상기 방법과 함께 수행될 수도 있다.3 is a diagram illustrating a procedure of a load reduction method using a camera movement according to an embodiment of the present invention. In the drawings, the method is described by dividing the method into a plurality of steps, but at least some of the steps are performed in a different order, combined with other steps, performed together, omitted, divided into detailed steps, or one or more steps not shown. Steps may be added and performed. In addition, according to an embodiment, one or more steps not shown in the method may be performed together with the method.

도 3을 참조하면, 헤드 마운티드 디스플레이(10)는 관전 영상을 촬영한다(S302). 구체적으로, 헤드 마운티드 디스플레이(10)는 헤드 마운티드 디스플레이(10)에서 사용되는 영상이 관찰자 입장에서 사용자에게 제공되도록 관전 영상을 촬영할 수 있다. Referring to FIG. 3, the head-mounted display 10 photographs a spectating image (S302). Specifically, the head-mounted display 10 may take a spectating image so that an image used in the head-mounted display 10 is provided to a user from the viewpoint of an observer.

다음으로, 헤드 마운티드 디스플레이(10)는 관전 영상을 디스플레이 할 수 있다(S304). 구체적으로, 헤드 마운티드 디스플레이(10)는 관찰자 입장에서 사용자에게 제공되는 관전 영상을 디스플레이 할 수 있다. Next, the head-mounted display 10 may display a spectating image (S304). Specifically, the head-mounted display 10 may display a spectating image provided to a user from the viewpoint of an observer.

다음으로, 헤드 마운티드 디스플레이(10)는 부하 상태를 확인할 수 있다(S306). 구체적으로, 헤드 마운티드 디스플레이(10)는 헤드 마운티드 디스플레이(10)에 표시되는 관전 영상의 부하 상태를 확인할 수 있다. 구체적으로, 헤드 마운티드 디스플레이(10)는 현재 표시되는 관전 영상의 초당 프레임 수(FPS : Frame Per Second) 상태, 상기 카메라부(110)의 위치를 중심으로 기 설정된 반경 이내에 오브젝트의 수를 기반으로 관전 영상의 부하 상태를 확인할 수 있다.Next, the head mounted display 10 may check the load state (S306). Specifically, the head-mounted display 10 may check the load state of the spectating image displayed on the head-mounted display 10. Specifically, the head-mounted display 10 observes based on the number of objects within a preset radius based on the FPS (Frame Per Second) state of the currently displayed spectating image and the position of the camera unit 110 You can check the video load status.

다음으로, 헤드 마운티드 디스플레이(10)는 현재 헤드 마운티드 디스플레이(10)가 제1 부하 상태인지 여부를 판단한다(S308). 만약, 헤드 마운티드 디스플레이(10)는 현재 제1 부하 상태가 아닌 경우, 폴리곤 부하 상태인지 여부를 판단(S320)하고, 폴리곤 부하 상태인 경우, 폴리곤 부하 감소를 위한 제어를 수행할 수 있다. 만약 폴리곤 부하 상태가 아닌 경우, 파티클 부하 상태인지 여부를 판단하고(S324), 파티클 부하 상태인 경우, 파티클 부하 감소를 위한 제어를 수행할 수 있다.Next, the head mounted display 10 determines whether the current head mounted display 10 is in the first load state (S308). If the head-mounted display 10 is not currently in the first load state, it may determine whether it is in the polygon load state (S320), and if it is in the polygon load state, it may perform control for reducing the polygon load. If it is not a polygon load state, it is determined whether it is a particle load state (S324), and if it is a particle load state, control for reducing the particle load may be performed.

다음으로, 헤드 마운티드 디스플레이(10)는 헤드 마운티드 디스플레이(10)가 제1 부하상태임에 따라 제1 부하를 감소하기 위한 제어를 수행할 수 있다(S310). 구체적으로, 헤드 마운티드 디스플레이(10)는 관전 영상이 제1 부하 상태에서 벗어나도록 제1 부하 감소를 제어할 수 있다. 예를 들어, 관전 영상을 촬영하는 카메라부(110)의 중심을 후진, 상승 및 하향 틸팅 중 어느 하나의 방법으로 이동시킴으로써, 부하를 감소시킬 수 있다. Next, the head-mounted display 10 may perform control for reducing the first load as the head-mounted display 10 is in the first load state (S310). Specifically, the head-mounted display 10 may control a first load reduction so that the spectating image is released from the first load state. For example, the load may be reduced by moving the center of the camera unit 110 for capturing a spectator image in any one of backward, upward and downward tilting.

다음으로, 헤드 마운티드 디스플레이(10)는 헤드 마운티드 디스플레이(10)가 제2 부하상태인지 여부를 판단한다(S312). 만약, 헤드 마운티드 디스플레이(10)는 현재 제2 부하 상태가 아닌 경우, 외부 입력이 있는지 여부를 판단(S328)하고, 외부 입력이 없는 경우, 관전 영상을 촬영하는 카메라부(110)를 기 설정된 관심 지역으로 이동시켜 관심지역이 디스플레이되도록 할 수 있다. Next, the head-mounted display 10 determines whether the head-mounted display 10 is in the second load state (S312). If the head-mounted display 10 is not currently in the second load state, it determines whether there is an external input (S328), and if there is no external input, the camera unit 110 for capturing a spectating image is given a preset interest. You can move it to an area so that the area of interest is displayed.

만약, 헤드 마운티드 디스플레이(10)가 제2 부하 상태인 경우, 제2 부하를 감소하기 위한 제어를 수행할 수 있다(S314).If the head mounted display 10 is in the second load state, control for reducing the second load may be performed (S314).

다음으로, 헤드 마운티드 디스플레이(10)는 헤드 마운티드 디스플레이(10)가 제3 부하상태인지 여부를 판단한다(S316).Next, the head-mounted display 10 determines whether the head-mounted display 10 is in the third load state (S316).

만약, 헤드 마운티드 디스플레이(10)가 제3 부하 상태인 경우, 제3 부하를 감소하기 위한 제어를 수행할 수 있다(S318).If the head mounted display 10 is in the third load state, control for reducing the third load may be performed (S318).

도 4는 예시적인 실시예들에서 사용되기에 적합한 예시적인 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 도시한다.4 depicts a computing environment including an exemplary computing device suitable for use in exemplary embodiments.

도4에 도시된 예시적인 컴퓨팅 환경(400)은 컴퓨팅 장치(410)를 포함한다. 통상적으로, 각 구성은 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 않았더라도 그 구성에 적합한 컴포넌트를 추가적으로 포함할 수 있다. 컴퓨팅 장치(410)는 VR 화면을 사용자에게 제공하기 위한 장치(예를 들어, 헤드 마운티드 디스플레이(10))일 수 있다. The exemplary computing environment 400 shown in FIG. 4 includes a computing device 410. Typically, each configuration may have different functions and capabilities, and may additionally include components suitable for the configuration, even if not described below. The computing device 410 may be a device (eg, the head-mounted display 10) for providing a VR screen to a user.

컴퓨팅 장치(410)는 적어도 하나의 프로세서(412), 컴퓨터 판독 가능 저장 매체(414) 및 버스(460)를 포함한다. 프로세서(412)는 버스(460)와 연결되고, 버스(460)는 컴퓨터 판독 가능 저장 매체(414)를 포함하여 컴퓨팅 장치(410)의 다른 다양한 컴포넌트들을 프로세서(412)에 연결한다.The computing device 410 includes at least one processor 412, a computer-readable storage medium 414 and a bus 460. The processor 412 is coupled to the bus 460, and the bus 460 connects the various other components of the computing device 410 to the processor 412, including a computer-readable storage medium 414.

프로세서(412)는 컴퓨팅 장치(410)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(412)는 컴퓨터 판독 가능 저장 매체(414)에 저장된 컴퓨터 실행 가능 명령어를 실행할 수 있고, 컴퓨터 판독 가능 저장 매체(414)에 저장된 컴퓨터 실행 가능 명령어는 프로세서(412)에 의해 실행되는 경우 컴퓨팅 장치(410)로 하여금 소정의 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The processor 412 may cause the computing device 410 to operate according to the aforementioned exemplary embodiments. For example, the processor 412 may execute computer-executable instructions stored in the computer-readable storage medium 414, and the computer-executable instructions stored in the computer-readable storage medium 414 are executed by the processor 412. It may be configured to cause computing device 410 to perform operations according to certain example embodiments.

컴퓨터 판독 가능 저장 매체(414)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드(예컨대, 애플리케이션(430)에 포함되는 명령어), 프로그램 데이터(예컨대, 애플리케이션(430)에 의해 사용되는 데이터) 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(414)에 저장된 애플리케이션(430)은 프로세서(412)에 의해 실행 가능한 명령어의 소정의 집합을 포함한다.Computer-readable storage medium 414 includes computer-executable instructions or program code (e.g., instructions included in application 430), program data (e.g., data used by application 430), and/or other suitable form. Is configured to store information. The application 430 stored on the computer-readable storage medium 414 includes a predetermined set of instructions executable by the processor 412.

도 4에 도시된 메모리(416) 및 저장 장치(418)는 컴퓨터 판독 가능 저장 매체(414)의 예이다. 메모리(416)에는 프로세서(412)에 의해 실행될 수 있는 컴퓨터 실행 가능 명령어가 로딩될 수 있다. 또한, 메모리(416)에는 프로그램 데이터가 저장될 수 있다. 예컨대, 이러한 메모리(416)는 랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적합한 조합일 수 있다. 다른 예로서, 저장 장치(418)는 정보의 저장을 위한 하나 이상의 착탈 가능하거나 착탈 불가능한 컴포넌트를 포함할 수 있다. 예컨대, 저장 장치(418)는 하드 디스크, 플래시 메모리, 자기 디스크, 광 디스크, 컴퓨팅 장치(410)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.The memory 416 and storage device 418 shown in FIG. 4 is an example of a computer-readable storage medium 414. Computer executable instructions that can be executed by the processor 412 may be loaded in the memory 416. In addition, program data may be stored in the memory 416. For example, such memory 416 may be a volatile memory such as a random access memory, a nonvolatile memory, or a suitable combination thereof. As another example, the storage device 418 may include one or more removable or non-removable components for storage of information. For example, the storage device 418 may be a hard disk, a flash memory, a magnetic disk, an optical disk, another type of storage medium that can be accessed by the computing device 410 and store desired information, or a suitable combination thereof.

컴퓨팅 장치(410)는 또한 하나 이상의 입출력 장치(470)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(420)를 포함할 수 있다. 입출력 인터페이스(420)는 버스(460)에 연결된다. 입출력 장치(470)는 입출력 인터페이스(420)를 통해 컴퓨팅 장치(410)(의 다른 컴포넌트들)에 연결될 수 있다. 입출력 장치(470)는 포인팅 장치, 키보드, 터치 입력 장치, 음성 입력 장치, 센서 장치 및/또는 촬영 장치와 같은 입력 장치 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다.Computing device 410 may also include one or more input/output interfaces 420 that provide interfaces for one or more input/output devices 470. The input/output interface 420 is connected to the bus 460. The input/output device 470 may be connected to the computing device 410 (other components of) through the input/output interface 420. The input/output device 470 includes an input device such as a pointing device, a keyboard, a touch input device, a voice input device, a sensor device and/or a photographing device, and/or an output device such as a display device, a printer, a speaker, and/or a network card. can do.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes only, and those of ordinary skill in the art to which the present invention pertains will be able to understand that other specific forms can be easily modified without changing the technical spirit or essential features of the present invention will be. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as being distributed may also be implemented in a combined form.

본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the claims to be described later, and all changes or modified forms derived from the meaning and scope of the claims and their equivalent concepts should be interpreted as being included in the scope of the present invention.

10 : 헤드 마운티드 디스플레이
110 : 카메라부
120 : 디스플레이부
130 : 부하 상태 확인부
140 : 판단부
150 : 제어부
160 : 데이터베이스부10: head mounted display
110: camera unit
120: display unit
130: load status check unit
140: judgment unit
150: control unit
160: database unit

Claims

A camera unit for photographing a spectator image so that the image is provided to the user from the viewpoint of the observer;
A display unit for displaying a spectator image captured by the camera unit;
A load state check unit for checking a load state of the spectating image displayed on the display unit;
A determination unit determining whether the load state of the spectating image checked by the load state check unit requires control for reducing the load; And
And a control unit for changing a position of the camera unit when the load state of the spectating image requires control for reducing the load.

The method of claim 1,
The load status check unit,
A head-mounted display, characterized in that the load state of the image is checked using at least one of the number of frames of the spectating image and the number of objects within a preset distance from the center of the camera unit.

The method of claim 1,
The determination unit,
Based on the load state checked by the load state checking unit, it is characterized in that it is determined whether the spectating image is a load state among a first load state, a second load state, a third load state, a polygon bottleneck load state, and a particle light load state. With a head mounted display.

The method of claim 3,
The determination unit,
Head mounted, characterized in that the quality score of the spectating image is determined according to the number of frames per second (fps) of the spectating image, and the load state of the spectating image is determined based on the sum of the scores of the quality score for a predetermined period. display.

The method of claim 3,
The determination unit,
When the number of polygons of the spectating image is greater than or equal to a preset number, it is determined that a polygon bottleneck is loaded, and when particles are generated in the spectating image, it is determined that a particle bottleneck is loaded,
The control unit,
When the determination unit determines that the spectating image is a polygon bottleneck load state or a particle bottleneck load state, the position of the camera unit is moved.

The method of claim 1,
The control unit,
The head-mounted display, characterized in that the center of the camera unit is moved by any one of backward, upward and downward tilting according to a load state determined by the determination unit for the spectating image.

The method of claim 6,
The control unit,
When the load state is the first load state and the second load state, the center of the camera unit is moved backward by a preset distance, raised by a preset distance, and tilted downward by a preset angle, and the load state is a third load. In the case of a state, the head-mounted display, characterized in that moving the center of the camera in a direction with a low load.

The method of claim 1,
The control unit,
The head-mounted display, characterized in that the center of the camera unit is moved to a preset point of interest when there is no input from outside for more than a preset time while the spectating image requires control for load reduction.

Capturing a spectator image so that the head-mounted display provides the image from the viewpoint of an observer;
Displaying, by the head-mounted display, the spectating image through a display unit;
Checking, by the head-mounted display, a load state of the spectating image;
Determining, by the head-mounted display, whether the checked load condition of the spectating image requires control for load reduction; And
The head-mounted display, characterized in that when the load state of the spectating image requires control for reducing the load, changing the photographing position of the camera unit .

The method of claim 9,
The step of checking the load state,
A method of reducing load using automatic control of a spectating image, which is a step of checking a load state of the image using at least one of the number of frames of the image and the number of objects within a preset distance from the camera unit.

The method of claim 9,
The step of determining whether the control is required,
Based on the checked load state, the step of determining whether the spectating image is a load state among a first load state, a second load state, a third load state, a polygon bottleneck load state, and a particle light load state, automatic spectating image Load reduction method using control.

The method of claim 9,
The step of changing the photographing location,
A method of reducing load using automatic control of the spectating image, which is a step of moving the center of the camera unit by any one of backward, upward, and downward tilting according to a load state determined for the spectating image.

The method of claim 9,
The step of changing the photographing location,
Determining whether there is no external input for a predetermined time or longer in a state in which the spectating image requires control for load reduction; And
When there is no input from the outside, it characterized in that it comprises the step of moving the center of the camera unit to a preset point of interest, load reduction method using automatic control of the spectating image.

One or more processors;
Memory; And
A device containing one or more programs,
The one or more programs are stored in the memory and configured to be executed by the one or more processors,
The program causes the device to:
Capturing a spectating image so that the image is provided from the viewpoint of an observer;
Displaying the spectator image through a display unit;
Checking a load state of the spectating image;
Determining whether a load state of the checked spectating image requires control for load reduction; And
When the load state of the spectating image requires control for reducing the load, the apparatus is configured to perform an operation of changing a photographing position of the camera unit.