KR20170125617A - Virtual reality apparatus and method for thereof - Google Patents

Virtual reality apparatus and method for thereof Download PDF

Info

Publication number
KR20170125617A
KR20170125617A KR1020160055670A KR20160055670A KR20170125617A KR 20170125617 A KR20170125617 A KR 20170125617A KR 1020160055670 A KR1020160055670 A KR 1020160055670A KR 20160055670 A KR20160055670 A KR 20160055670A KR 20170125617 A KR20170125617 A KR 20170125617A
Authority
KR
South Korea
Prior art keywords
user
information
unit
sensing unit
image
Prior art date
Application number
KR1020160055670A
Other languages
Korean (ko)
Inventor
김대근
이도원
서은성
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020160055670A priority Critical patent/KR20170125617A/en
Publication of KR20170125617A publication Critical patent/KR20170125617A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Abstract

The present invention provides a virtual reality realizing device and a driving method thereof, for realizing a virtual reality device capable of increasing satisfaction in using the device. According to an embodiment of the present invention, the virtual reality realization device comprises: a housing; a pair of lens parts disposed inside the housing; a display part separated from the lens and disposed inside the housing; a direction detection part detecting direction information of a user; a location detection part detecting location information of the user; and a control part calculating movement information of the user based on the information detected from the direction detection part and the location detection part. The location detection part includes: a light emitting part emitting infrared light; and a light receiving part capable of receiving reflective light of the light emitted from the light emitting part.

Description

가상현실 구현장치 및 그 동작 방법{VIRTUAL REALITY APPARATUS AND METHOD FOR THEREOF}[0001] VIRTUAL REALITY APPARATUS AND METHOD FOR THEREOF [0002]

본 실시 예는 가상현실 구현장치 및 그 동작 방법에 관한 것이다.The present embodiment relates to a virtual reality realization apparatus and an operation method thereof.

일반적으로, 가상현실(VR: Virtual reality) 장치들은 신체의 어느 일부분 예컨대, 머리에 장착되어 가상 현실을 구현하는 화상을 표시하는 역할을 한다.In general, virtual reality (VR) devices act to display images that are mounted on a part of the body, for example, the head, to implement a virtual reality.

이러한, 가상현실 장치는 고글 형상 또는 안경 형상으로 형성되며, 화상을 표시하는 디스플레이부와 이를 일측에서 지지하는 안경 형상의 착용부로 구성된다.Such a virtual reality apparatus is formed into a goggle-like shape or an eyeglass shape, and is constituted of a display unit for displaying an image and an eyeglass-shaped wearing unit for supporting the display unit from one side.

하지만, 디스플레이부와 착용부는 일체로 형성되었기 때문에 사용자들이 장치를 쓰게 될 경우, 외부 환경 변화의 인지가 용이하지 않으며, 사용자 이동에 따른 화상의 가변이 실시 간으로 이루어져야 함에 따라 처리 속도에 따른 사용자의 몰입감 저하 현상이 발생할 수 있다. 또한 지속적으로 장치를 착용하는 경우 어지러움을 느끼거나 눈의 피로감이 높아질 수 있다. However, since the display unit and the wearer unit are integrally formed, when the user uses the apparatus, the change of the external environment is not easy to recognize, and since the image change due to the user movement must be performed in real time, A phenomenon of immersion feeling deterioration may occur. Continued wearing of the device can also cause dizziness or increased eye fatigue.

본 실시 예는 상기한 문제점을 해결하기 위한 것으로, 장치의 사용 만족도를 증대시킬 수 있는 가상현실 장치를 구현하기 위한 가상현실 구현장치 및 그 동작 방법을 제공한다.The embodiments of the present invention provide a virtual reality realization device and an operation method thereof for realizing a virtual reality device capable of increasing the satisfaction of use of the device.

또한, 실시 예에서는 사용자의 움직임 정보에 기초하여 화상의 가변 또는 외부 환경에 대한 사용자 인지가 용이하도록 하는 가상 현실 장치를 구현하기 위한 가상현실 구현장치 및 그 동작 방법을 제공한다.In addition, the embodiment provides a virtual reality apparatus and method for implementing a virtual reality apparatus that facilitates variable recognition of a user or a user to an external environment based on motion information of a user.

제안되는 실시 예에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 제안되는 실시 예가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다It is to be understood that the technical objectives to be achieved by the embodiments are not limited to the technical matters mentioned above and that other technical subjects not mentioned are apparent to those skilled in the art to which the embodiments proposed from the following description belong, It will be understood

본 실시 예에 따른 가상현실 구현장치는 하우징; 상기 하우징 내부에 배치되는 한 쌍의 렌즈부; 상기 렌즈와 이격되고, 상기 하우징 내부에 배치되는 디스플레이부; 사용자의 방향 정보를 감지하는 방향 감지부; 사용자의 위치 정보를 감지하는 위치 감지부; 상기 방향 감지부 및 위치 감지부에서 감지된 정보에 기초하여 사용자의 움직임 정보를 산출하는 제어부;를 포함하고, 상기 위치 감지부는 적외선을 방출하는 발광부; 상기 발광부에서 방출된 광의 반사광을 수신할 수 있는 수광부;를 포함한다.The apparatus for realizing virtual reality according to the present embodiment includes a housing; A pair of lens units disposed inside the housing; A display unit spaced from the lens and disposed inside the housing; A direction sensing unit for sensing direction information of the user; A position sensing unit for sensing position information of a user; And a control unit for calculating user's motion information based on the information detected by the direction sensing unit and the position sensing unit, wherein the position sensing unit comprises: a light emitting unit emitting infrared rays; And a light receiving unit capable of receiving reflected light of the light emitted from the light emitting unit.

본 실시 예에 따른 가상현실 구현장치의 동작 방법은 감지 영역 내의 오브젝트를 결정하는 단계; 상기 결정된 오브젝트의 위치 정보 및 사용자의 방향 정보를 추출하는 단계; 상기 추출된 오브젝트의 위치 정보 및 사용자의 방향 정보에 기초하여 사용자의 움직임 정보를 산출하는 단계;를 포함한다.A method of operating a virtual reality apparatus according to an embodiment of the present invention includes: determining an object in a sensing area; Extracting position information of the determined object and direction information of the user; And calculating motion information of the user based on the position information of the extracted object and the direction information of the user.

본 실시 예에 따른 가상현실 구현장치는 하우징, 상기 하우징 내부에 배치되는 한 쌍의 렌즈부, 상기 렌즈와 이격되고 상기 하우징 내부에 배치되는 디스플레이부, 상기 하우징의 방향 정보를 감지하는 방향 감지부, 상기 하우징의 위치 정보를 감지하는 위치 감지부, 상기 방향 감지부 및 위치 감지부에서 감지된 정보에 기초하여 사용자의 움직임 정보를 산출하는 제어부;를 포함하고, 상기 위치 감지부는 적외선을 방출하는 발광부, 상기 발광부에서 방출된 광의 반사광을 수신할 수 있는 수광부;를 포함한다.The apparatus includes a housing, a pair of lens units disposed inside the housing, a display unit spaced apart from the lens and disposed inside the housing, a direction sensing unit sensing direction information of the housing, A position sensing unit for sensing position information of the housing, and a controller for calculating user's motion information based on the information detected by the direction sensing unit and the position sensing unit, wherein the position sensing unit includes a light- And a light receiving unit capable of receiving reflected light of the light emitted from the light emitting unit.

본 실시 예에 의하면, 가상현실 장치를 이용 시 사용자의 위치 정보를 확인하여 화상 처리를 함으로써 몰입감을 향상시킬 수 있다.According to the present embodiment, it is possible to improve the immersion feeling by checking the position information of the user and performing image processing when using the virtual reality apparatus.

또한 실시 예에 의하면 별도의 외부 장치 없이도 가상현실 장치 사용의 편의성 및 용이성을 증대시킬 수 있다.In addition, according to the embodiment, the convenience and ease of use of the virtual reality apparatus can be increased even without a separate external apparatus.

또한 실시 예에 의하면 외부 환경의 변화 및 위험 상황을 사용자가 용이하게 인지할 수 있으므로, 장치 사용의 안전성을 향상시킬 수 있다. In addition, according to the embodiment, since the user can easily recognize the change of the external environment and the dangerous situation, the safety of use of the device can be improved.

또한 실시 예에 의하면 구성이 간단한 센서 장치를 사용함으로써 가상현실 장치의 단순화 및 비용적 절감 효과를 가질 수 있다.In addition, according to the embodiment, by using a simple sensor device, it is possible to simplify the virtual reality device and reduce the cost.

도 1a는 가상현실 구현장치의 사시도이다.
도 1b는 가상현실 구현장치의 배면도이다.
도 2a는 실시 예에 따른 가상현실 구현장치의 블록 구성도이다.
도 2b는 실시 예에 따른 가상현실 구현장치의 디스플레이부의 예시도이다.
도 3은 실시 예에 따른 감지부의 구성을 설명하기 위한 블록 구성도이다.
도 4는 실시 예에 따른 사용자 위치 정보 산출 동작 흐름도이다.
도 5는 실시 예에 따른 사용자 위치 정보 산출 시 위치 감지부의 동작을 설명하기 위한 흐름도이다.
도 6은 실시 예에 따라 사용자 위치 정보 산출 동작을 설명하기 위한 예시도이다.
도 7은 실시 예에 따라 위치 감지부의 동작을 설명하기 위한 예시도이다.
도 8은 다른 실시예에 따른 디스플레이 장치의 동작 흐름도이다.
도 9는 다른 실시예에 따라 디스플레이 장치에서 출력되는 영상의 예시도이다.
도 10은 또 다른 실시예에 따른 디스플레이 장치의 동작 흐름도이다.
도 11은 또 다른 실시예에 따라 디스플레이 장치에서 출력되는 영상의 예시도이다.1A is a perspective view of a virtual reality realization device.
1B is a rear view of the virtual reality realization device.
2A is a block diagram of a virtual reality realization apparatus according to an embodiment of the present invention.
2B is an exemplary view of a display unit of the virtual reality realization apparatus according to the embodiment.
3 is a block diagram illustrating the configuration of the sensing unit according to the embodiment.
4 is a flowchart of the operation of calculating the user location information according to the embodiment.
5 is a flowchart for explaining the operation of the position sensing unit in calculating the user location information according to the embodiment.
6 is an exemplary diagram for explaining a user location information calculation operation according to an embodiment.
7 is an exemplary diagram for explaining the operation of the position sensing unit according to the embodiment.
8 is a flowchart illustrating an operation of a display apparatus according to another embodiment of the present invention.
9 is an exemplary view of an image output from a display device according to another embodiment.
10 is a flowchart illustrating an operation of a display apparatus according to another embodiment of the present invention.
11 is an exemplary view of an image output from a display device according to another embodiment.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성 요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals are used to designate identical or similar elements, and redundant description thereof will be omitted. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be blurred. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. , ≪ / RTI > equivalents, and alternatives.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

도 1a는 실시 예에 따른 가상현실 구현장치의 사시도이고, 도 1b는 실시 예에 따른 가상현실 구현장치의 배면도이고, 도 2a는 실시 예에 따른 가상현실 구현장치의 블록 구성도이고, 도 2b는 실시 예에 따른 가상현실 구현장치의 디스플레이부의 예시도이고, 도 3은 실시 예에 따른 감지부의 구성을 설명하기 위한 블록 구성도이다.1A is a perspective view of a virtual reality realization apparatus according to an embodiment of the present invention, FIG. 1B is a rear view of a virtual reality realization apparatus according to an embodiment, FIG. 2A is a block diagram of a virtual reality realization apparatus according to an embodiment, FIG. 3 is a block diagram illustrating a configuration of a sensing unit according to an embodiment of the present invention. Referring to FIG.

실시예에 따른 가상현실 구현장치(10)는 전면부(11), 하우징(12, 13), 렌즈부(14), 착장부(15,16)를 포함한다.The apparatus 10 for realizing a virtual reality according to the embodiment includes a front portion 11, housings 12 and 13, a lens portion 14, and a protector 15 and 16.

전면부(11)는 가상현실 구현장치(10)의 외측전면에 배치되며, 실시예에 따라 감지부(110) 및 카메라부(160)가 배치될 수 있다.The front surface 11 is disposed on the outer surface of the virtual reality realization apparatus 10 and the sensing unit 110 and the camera unit 160 may be disposed according to the embodiment.

하우징(12,13)은 상기 전면부(11)와 일체로 형성되거나, 체결되어 구성될 수 있다. 또한 하우징(12, 13)은 전면부(11)를 지지하는 제1 하우징(12)과 상기 제1 하우징(12)과 체결되는 제2 하우징(13)을 포함할 수 있다. 제2 하우징(13) 내측에는 , 렌즈부(14)가 배치된다. 하우징(12, 13)은 빛 방지 쉴드가 장착되며 외부 집광을 제거하여 화면의 몰입도를 증가시킬 수 있다. 또한 하우징(12, 13) 내부에는 적어도 하나의 디스플레이 패널을 포함하는 디스플레이부(120)가 배치될 수 있다. 또는 사용자가 직접 눈으로 화상을 시청할 수 있는 렌즈부(14)의 전방에 이격되어 배치될 수 있다. 렌즈부(14)는 디스플레이부(120)로부터 출력되는 영상을 확대하는 역할을 할 수 있다. 렌즈부(14)는 좌안용렌즈(14L)와 우안용렌즈(14R)를 포함하는 하나의 쌍으로 구성될 수 있다. 또한 상기 렌즈부(14)는 편광필터(미도시)를 포함할 수 있다. The housings 12 and 13 may be integrally formed with the front part 11 or may be fastened together. The housings 12 and 13 may include a first housing 12 supporting the front portion 11 and a second housing 13 fastened to the first housing 12. On the inside of the second housing 13, a lens portion 14 is disposed. The housing (12, 13) is equipped with a light shield and can remove the external condensation to increase the degree of immersion of the screen. Also, the display unit 120 including at least one display panel may be disposed inside the housings 12, Or may be disposed in front of a lens unit 14 that allows a user to directly view an image with eyes. The lens unit 14 may serve to enlarge an image output from the display unit 120. [ The lens unit 14 may be configured as one pair including the left eye lens 14L and the right eye lens 14R. The lens unit 14 may include a polarizing filter (not shown).

편광필터는 상기 렌즈부에 배치되는 렌즈와 디스플레이부 사이에 배치되거나, 또는 사용자가 가상현실 구현장치 착용시 렌즈보다 사용자의 육안에 가깝게 배치될 수 있다. 편광필터는 좌안용 편광필터와 우안용 편광필터로 구분될 수 있다. 상기와 같이 좌안용 편광필터와 우안용 편광필터로 구분되는 경우 디스플레이부로부터 입력되는 영상에 대해 서로 다른 편광부분만을 통과시킬 수 있도록 구성될 수 있다. The polarizing filter may be disposed between the lens disposed on the lens unit and the display unit, or disposed closer to the user's eyes than the lens when the user wears the virtual reality apparatus. The polarizing filter can be divided into a left-eye polarizing filter and a right-eye polarizing filter. As described above, when the polarizing filter is divided into the left-eye polarizing filter and the right-eye polarizing filter, only the different polarized light portions can be passed through the image input from the display unit.

좌안용렌즈(14L)와 우안용렌즈(14R) 각각은 디스플레이부에서 출력되는 영상을 좌안 및 우안에 제공할 수 있다. 디스플레이부에서는 좌안용 영상과 우안용 영상이 서로 구분되어 출력될 수 있다. 이러한 경우 도 2b의 (a) 예시도와 같이 좌안용 영상과 우안용 영상이 서로 구분되어 출력되기 위한 디스플레이부(120a, 120b)가 이격되어 배치될 수 있다. Each of the left eye lens 14L and the right eye lens 14R can provide an image output from the display unit to the left eye and the right eye. In the display unit, the left eye image and the right eye image may be separately output. In this case, the display units 120a and 120b for outputting the left eye image and the right eye image separately may be spaced apart from each other as shown in FIG. 2 (a).

또한 좌안용 영상 출력을 위한 좌안용 디스플레이부와 우안용 영상 출력을 위한 디스플레이부가 일체로 형성될 수 도 있으며 이 경우 도 2b의 (b)예시도와 같이 영상의 출력은 하나의 디스플레이부(120)로부터 좌안용 영역(121)과 우안용 영역(122)이 구분되어 출력될 수 있다. 디스플레이부에서 출력되는 좌안용 영상과 우안용 영상은 서로 동일한 영상이 출력되어 각각 좌안용 렌즈 및 우안용 렌즈에 제공될 수도 있고, 서로 상이한 영상을 좌안용 렌즈 및 우안용 렌즈에 제공할 수도 있다. 렌즈부(14)는 좌안용렌즈(14L)와 우안용렌즈(14R)가 일체형으로 구성되거나, 각각의 모듈로 구성될 수 있다.In addition, the left eye display unit for the left eye image display and the display unit for the right eye image output may be integrally formed. In this case, as shown in FIG. 2B, The left eye region 121 and the right eye region 122 can be separately output. The left eye image and the right eye image output from the display unit may be outputted to the left eye lens and the right eye lens, respectively, and the different images may be provided to the left eye lens and the right eye lens. The lens unit 14 may be configured as an integral unit of the left eye lens 14L and the right eye lens 14R, or may be constituted by respective modules.

착장부(15, 16)는 가상현실 구현장치(10)를 사용자가 착용시 가상현실 구현장치(10)를 지지하기 위한 안경형상으로 형성될 수 있다. 착장부(15, 16)는 코받침(15)과 안경다리(16)를 포함한다.The protruding portions 15 and 16 may be formed in the form of glasses for supporting the virtual reality realization device 10 when the virtual reality realization device 10 is worn by the user. The constriction portions 15 and 16 include a nose support 15 and a pair of eye glasses legs 16.

실시 예에 따른 가상현실 구현장치(10)는 감지부(110), 디스플레이부(120), 저장부(130), 사용자 입력부(140), 통신부(150), 카메라부(160), 제어부(170) 및 전원공급부(180)를 포함한다.The virtual reality realization apparatus 10 according to the embodiment includes a sensing unit 110, a display unit 120, a storage unit 130, a user input unit 140, a communication unit 150, a camera unit 160, And a power supply unit 180.

감지부(110)는 디스플레이 장치(100)의 내외부에 장착되어 디스플레이 장치(100)가 인식하는 사용자 상태 및 주변환경의 상태를 감지하여 제어부(110)로 전달한다. 실시 예에 따른 감지부(110)는 병진운동 및 회전운동을 감지하기 위한 위치 감지부(111)와 방향 감지부(112)로 구성된다.The sensing unit 110 is mounted on the inside and the outside of the display device 100 and senses the state of the user and the surrounding environment recognized by the display device 100 and transmits the sensed state to the control unit 110. The sensing unit 110 includes a position sensing unit 111 and a direction sensing unit 112 for sensing a translational motion and a rotational motion.

위치 감지부(111)는 사용자의 병진운동을 감지할 수 있다. 병진운동은 예를 들면, 평행 이동하는 운동일 수 있다. 위치 감지부(110)는 ToF(Time of Flight)모듈을 포함한다. 구체적으로 ToF모듈은 빛을 쏘아서 반사되어 오는 시간을 측정하여 거리를 계산한다. 구체적으로 도 3에 도시된 바와 같이 위치 감지부(110)는 ToF모듈로 구성되고, 상기 ToF모듈은 적외선 광을 방출하는 발광부(111a)와 상기 발광부(111a)에서 방출된 빛을 수신하는 수광부(Lenses)(111b)로 구성된다.The position sensing unit 111 may sense the translational movement of the user. The translation movement can be, for example, a translation movement. The position sensing unit 110 includes a time of flight (ToF) module. Specifically, the ToF module calculates the distance by measuring the reflected time by shooting the light. 3, the position sensing unit 110 is configured as a ToF module, and the ToF module includes a light emitting unit 111a that emits infrared light and a light emitting unit 111b that receives light emitted from the light emitting unit 111a And light-receiving portions 111b.

발광부(111a)는 적외선을 방출하기 위한 적어도 하나의 적외선 LED로 구성될 수 있다, 발광부(111a)는 전방으로 빛을 방출한다. 이때 수광부(111b)는 전방에 쏜 후에 반사되어 돌아오는 빛을 감지한다. 수광부(111b)는 예로 in phase receptor와 out phase receptor가 쌍으로 구성되고, 발광부(111a)의 점멸 신호에 따라 반사광을 입사할 수 있다. 발광부(111a)와 수광부(111b)를 포함하는 ToF모듈의 동작 특성은 한정되지 않으며, 그 실시 형태에 따라 다양한 알고리즘에 의해 광의 발광 및 수광 동작을 실행할 수 있다.The light emitting portion 111a may include at least one infrared LED for emitting infrared rays. The light emitting portion 111a emits light forward. At this time, the light receiving unit 111b senses the light reflected after being shot in the forward direction. The light receiving unit 111b may include an in-phase receptor and an out-phase receptor, for example, and may receive reflected light according to the blink signal of the light emitting unit 111a. The operating characteristics of the ToF module including the light emitting portion 111a and the light receiving portion 111b are not limited, and light emission and light receiving operation can be performed by various algorithms according to the embodiment.

`방향감지부(112)는 사용자의 회전운동을 측정한다. 상기 방향감지부(112)는 그 예로 IMU((inertial measurement unit)모듈이 사용될 수 있다. IMU는 가속도계, 자이로 센서를 포함한다. IMU는 사용자의 X, Y, Z축 각각에 대한 선행 가속도값, 회전 가속도 값 및 자기장을 기초하여 9개 축을 기준으로 사용자가 회전하는 움직임을 감지한다. The direction detecting unit 112 measures the rotational motion of the user. The directional sensing unit 112 may be an inertial measurement unit (IMU) module, for example, an accelerometer, a gyro sensor, etc. The IMU may include a pre-acceleration value for each of the X, Y, Based on the acceleration value and the magnetic field, the user senses the rotation of the user about the nine axes.

감지부(110)는 사용자 및 주변환경을 감지하여 제어부(160)가 그에 따른 작동을 수행할 수 있도록 감지 결과를 전달하는 것으로 감지부(110)의 구체적인 감지 수단 방법은 어느 하나의 방법에만 특정되는 것은 아니다.The sensing unit 110 senses the user and the surrounding environment and transmits the sensed result so that the controller 160 can perform an operation according to the sensed result. The specific sensing means of the sensing unit 110 is specified only by one of the methods It is not.

디스플레이부(120)는 디스플레이 장치(100)의 영상, 이미지를출력한다.The display unit 120 outputs images and images of the display device 100.

디스플레이부(120)는 LCD(liquid-crystal display) 또는 AMOLED(active-matrix organic light-emitting diode) 등일 수 있다. 예를 들어, 패널은 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. The display unit 120 may be a liquid crystal display (LCD) or an active matrix organic light-emitting diode (AMOLED). For example, the panel may be implemented as being flexible, transparent or wearable.

저장부(130)는 비디오, 오디오, 사진, 동영상, 애플리케이션 등 다양한 디지털 데이터를 저장할 수 있다. 저장부(130)는 플래시 메모리, RAM(Random Access Memory), SSD(Solid State Drive) 등의 다양한 디지털 데이터 저장 공간을 나타낸다. 저장부(130)는 위치 감지부(111)의 초점거리 정보를 저장할 수 있다. 구체적으로 초점 거리는 초점거리는 렌즈의 주 점으로부터 초점면까지 거리를 정의한다. 즉, 광원이 투사한 빛이 수평 상태로 렌즈에 입사될 때 렌즈를 통과한 빛이 모이는 초점면과 렌즈 사이의 거리를 정의한다. 상기한 초점 거리는 장치의 규격 및 성능에 따라 상이하게 가질 수 있다. 따라서 저장부(130)는 실시 예에 따른 위치 감지부(111)를 구성하는 ToF모듈의 초점 거리 정보를 저장한다. The storage unit 130 may store various digital data such as video, audio, photograph, moving picture, and application. The storage unit 130 represents various digital data storage spaces such as a flash memory, a RAM (Random Access Memory), and an SSD (Solid State Drive). The storage unit 130 may store the focal length information of the position sensing unit 111. Specifically, the focal distance defines the distance from the focal point to the focal point of the lens. That is, it defines the distance between the focal plane and the lens where light passing through the lens collects when the light projected from the light source is incident on the lens in a horizontal state. The focal length described above may be different depending on the specifications and performance of the apparatus. Accordingly, the storage unit 130 stores the focal length information of the ToF module constituting the position sensing unit 111 according to the embodiment.

사용자 입력부(140)는 사용자 제어 명령을 입력 받는다. 사용자 제어 명령은 사용자 설정 명령을 포함할 수 있다. 예를 들어, 사용자 입력부(140)는 사용자로부터 디스플레이 장치(100)가 주변 환경에 연동하여 동작하도록 사용자 설정을 입력 받는다.The user input unit 140 receives a user control command. The user control command may include a user setting command. For example, the user input unit 140 receives a user setting from the user so that the display apparatus 100 operates in conjunction with the surrounding environment.

통신부(150)는 외부 디지털 디바이스와 다양한 프로토콜을 사용하여 통신을 수행하여 데이터를 송/수신할 수 있다. 또한 통신부(150)는 유선 또는 무선으로 네트워크에 접속하여 컨텐츠 등의 디지털 데이터를 송/수신할 수 있다. 구체적으로 통신부(150)를 이용하여 주변의 디지털 디바이스와 페어링 및 통신 접속을 수행할 수 있다. 또한 상기 접속된 디지털 디바이스와 데이터를 송/수신할 수 있다. 한편 통신부(150)는 복수의 안테나를 포함할 수 있다. The communication unit 150 can communicate with an external digital device using various protocols to transmit / receive data. The communication unit 150 can also connect to the network by wire or wireless and send / receive digital data such as contents. Specifically, the communication unit 150 can be used to perform pairing and communication connection with the surrounding digital device. And can transmit / receive data to / from the connected digital device. Meanwhile, the communication unit 150 may include a plurality of antennas.

카메라부(160)는 정지 영상 및 동영상을 촬영할 수 있는 장치이다. 일 실시예에 따르면, 감지부(110)에서 감지되는 오브젝트에 대한 영상을 취득할 수 있다. 또한, 입체영상을 구현하기 위한 좌영상 및 우 영상을 획득할 수 있다. 이러한 경우 좌안용 카메라와 우안용 카메라를 각각 구비할 수 있다. 또한 카메라부(160)는 가상현실 구현장치를 사용자가 착용한 후 외부 사물을 볼 수 있는 기능을 실행할 수 있다. 카메라부(160)는 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor) 또는 플래쉬(flash, 예: LED 또는 xenon lamp)를 포함할 수 있다. The camera unit 160 is a device that can capture a still image and a moving image. According to an embodiment, an image of an object sensed by the sensing unit 110 can be acquired. In addition, a left image and a right image for implementing a stereoscopic image can be obtained. In this case, the left-eye camera and the right-eye camera can be respectively provided. In addition, the camera unit 160 can perform a function of viewing an external object after the user wears the virtual reality realizing device. The camera unit 160 may include one or more image sensors (e.g., front or rear), a lens, an image signal processor (ISP), or a flash (e.g., LED or xenon lamp).

제어부(170)는 가상현실 구현장치의 동작을 제어하기 위한 프로그램 및 데이터 등을 저장하는 저장부(130) 및 가상현실 구현장치의 동작을 제어하는 프로세서 등을 구비할 수 있다. 제어부(170)는 감지부(110)에서 감지되는 사용자의 움직임 정보를 산출한다. 구제적으로, 제어부(170)는 위치 감지부(111)를 통하여 사용자의 위치 정보를 추출할 수 있다. 제어부(170)는 방향 감지부(112)를 통하여 사용자의 방향 정보를 추출할 수 있다. 예를 들어 사용자의 방향 정보는 사용자가 바라보고 있는 방향에 대한 정보 일 수 있다. 제어부(170)는 위치 감지부(111) 및 방향 감지부(112)에서 감지되는 사용자의 위치 정보 및 방향 정보를 포함하는 사용자 움직임 정보에 기초하여 디스플레이부(120)에서 출력되는 영상을 제어할 수 있다. 또한 제어부(170)는 사용자와 인접한 물체 및 대상에 대한 알림 정보를 생성하여 디스플레이부(120)에서 표시하도록 제어할 수 있다.The control unit 170 may include a storage unit 130 for storing programs and data for controlling the operation of the virtual reality realization device, and a processor for controlling the operation of the virtual reality realization device. The controller 170 calculates motion information of the user, which is sensed by the sensing unit 110. As a remedy, the control unit 170 can extract the location information of the user through the position sensing unit 111. The control unit 170 may extract the direction information of the user through the direction sensing unit 112. For example, the direction information of the user may be information on the direction the user is looking at. The control unit 170 controls the image output from the display unit 120 based on user movement information including position information and direction information of the user detected by the position sensing unit 111 and the direction sensing unit 112 have. Also, the control unit 170 may generate notification information about an object and an object adjacent to the user, and control the display unit 120 to display the notification information.

전원 공급부(180)는 제어부(170)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 180 receives external power and internal power under the control of the controller 170 and supplies power necessary for operation of the respective components.

도 4는 실시 예에 따른 사용자 위치 정보 산출 동작 흐름도이고, 도 5는 실시 예에 따른 사용자 위치 정보 산출 시 위치 감지부의 동작을 설명하기 위한 흐름도이고, 도 6은 실시 예에 따라 사용자 위치 정보 산출 동작을 설명하기 위한 예시도이고, 도 7은 실시 예에 따라 위치 감지부의 동작을 설명하기 위한 예시도이다.5 is a flowchart for explaining the operation of the position sensing unit in calculating the user position information according to the embodiment. FIG. 6 is a flowchart illustrating the operation of calculating the user position information according to the embodiment. FIG. 7 is an exemplary view for explaining the operation of the position sensing unit according to the embodiment. FIG.

실시 예에서는 사용자 움직임 정보를 취득하기 위한 동작으로, 위치 감지부(111)를 통하여 사용자의 위치 이동 정보를 우선 감지하고, 다음으로 방향 감지부(112)를 통하여 사용자의 회전 이동 정보를 감지하는 순서로 설명한다. 하지만 상기한 동작 순서는 순차적 동작 순서가 아닐 수 있다. 즉, 위치 감지부(111)와 방향 감지부(112)는 소정 주기 또는 실시간으로 사용자의 움직임 정보를 감지하기 위하여 동시간에 동작할 수 있다. 따라서 감지부(111)의 동작 순서는 한정되지 않으며 실시 예에 따라 다양한 순서로 동작할 수 있다. In the embodiment, an operation for acquiring user motion information is performed by first detecting the position movement information of the user through the position sensing unit 111 and then sensing the rotation movement information of the user through the direction sensing unit 112 . However, the above-described operation sequence may not be a sequential operation sequence. That is, the position sensing unit 111 and the direction sensing unit 112 may operate at the same time to sense the user's motion information at a predetermined period or in real time. Accordingly, the operation sequence of the sensing unit 111 is not limited and may be operated in various orders according to the embodiment.

도 4 내지 도 7을 참조하면, 위치 감지부(111)는 사용자의 위치 이동 정보를 감지하기 위한 적외선을 방출한다.(S410) 구체적으로, 위치 감지부(111)의 발광부(111a)는 적외선 광을 방출한다. 4 to 7, the position sensing unit 111 emits infrared rays for sensing the position movement information of the user (S410). Specifically, the light emitting unit 111a of the position sensing unit 111 emits infrared And emits light.

제어부(170)는 발광부(111a)에서 방출된 적외선이 감지 영역 내에 존재하는 오브젝트까지 갔다가 되돌아오는 반사광으로부터 특징점들의 정보를 취득할 수 있고 상기 오브젝트의 패턴(외곽선) 및 깊이 정보를 취득할 수 도 있다.(S420) 구체적으로, 제어부(160)는 수광부(111b)에서 반사광을 입사 받아 상기 오브젝트의 거리(depth) 정보를 포함하는 이미지를 획득할 수 있으며, 거리(depth) 정보와 이미지에 대한 정보를 각각 획득할 수도 있다.The control unit 170 can acquire the information of the minutiae points from the reflected light which has traveled to the object where the infrared ray emitted from the light emitting unit 111a is present in the sensing area and can acquire the pattern (outline) and the depth information of the object The control unit 160 may receive the reflected light from the light receiving unit 111b to acquire an image including depth information of the object and may include depth information and information about the image Respectively.

제어부(170)는 위치 감지부(111)에서 획득된 오브젝트에 대한 특징점을 추출한다.(S430) 상기 특징점은 획득된 오브젝트의 적어도 하나의 픽셀을 정의할 수 있다. 바람직하게는 상기 오브젝트의 전체 픽셀을 특징점으로 정의할 수 있다. 구체적으로 제어부(170)는 도 7의 예시도(a)와 같이 위치 감지부(111)에서 획득된 오브젝트(O)에서 특징점(x, y)를 추출할 수 있다.The control unit 170 extracts feature points of the object obtained by the position sensing unit 111. In operation S430, the feature points may define at least one pixel of the obtained object. Preferably, all the pixels of the object may be defined as feature points. Specifically, the control unit 170 can extract the feature point (x, y) from the object O obtained by the position sensing unit 111 as shown in FIG. 7A.

제어부(170) 상기 추출된 특징점을 기준으로 오브젝트의 이동 거리 정보 및 위치 정보를 추출한다.(S340) 상기 오브젝트의 이동 거리 정보 및 위치 정보가 제어부(170)에서 추출되는 동작을 도 4의 흐름도를 참조하여 상세하게 설명한다.The control unit 170 extracts the moving distance information and the position information of the object based on the extracted minutiae. (S340) The operation of extracting the moving distance information and the position information of the object from the controller 170 is shown in the flowchart of FIG. Will be described in detail with reference to FIG.

제어부(160)는 위치 감지부(111)를 통하여 적외선을 방출하고 상기 방출된 적외선의 반사광으로부터 오브젝트의 특징점에 대한 이동 위치 및 거리 정보를 추출한다. 구체적으로, 위치 감지부(111)는 제1 광을 방출한다.(S441) 위치 감지부(111)는 상기 제1 조사광에 대한 반사광인 제1 반사광을 획득한다.(S442) 제어부(170)는 이때 제1 반사광의 특징점에 대한 위치 값을 확인한다. The control unit 160 emits infrared rays through the position sensing unit 111 and extracts the movement position and distance information of the object from the reflected light of the emitted infrared rays. Specifically, the position sensing unit 111 emits the first light. (S441) The position sensing unit 111 acquires the first reflected light, which is the reflected light for the first irradiation light. (S442) At this time, the positional value of the first reflected light is determined.

이후 위치 감지부(111)는 제2 광을 조사하고(S443) 상기 제2 조사광에 대한 제2 반사광을 획득한다.(S444)Then, the position sensing unit 111 irradiates the second light (S443) and obtains the second reflected light with respect to the second irradiated light (S444)

제어부(170)는 제1 반사광과 제2 반사광을 기초하여 오브젝트의 특징점에 대한 이동 위치 정보, 거리 정보 및 속도 정보를 산출한다.(S445)The controller 170 calculates movement position information, distance information, and velocity information for the feature points of the object based on the first reflected light and the second reflected light (S445)

구체적으로 도 7의 예시도(a)와 같이 제1 반사광에 의해 획득된 오브젝트(O)를 포함하는 이미지에 대하여 제어부(170)는 적어도 하나의 특징점(x1, y1)을 추출한다. 제어부(170)는 이후 제2 반사광에 의해 획득된 오브젝트(O')를 포함하는 이미지에 대하여 상기 특징점과 동일한 위치에 특징점(x2, y2)를 추출한다. 상기 제1 반사광 및 제2 반사광에 의해 추출된 특징점(x1, y1)(x2, y2)를 이용하여 하기의 [수학식 1]에 의해 오브젝트의 위치 정보를 산출한다. 상기 위치 정보는 오브젝트의 위치 이동 정보 및 속도 정보를 포함한다. Specifically, the controller 170 extracts at least one feature point (x 1 , y 1 ) for an image including the object O obtained by the first reflected light as shown in the example of FIG. 7 (a). The controller 170 then extracts the feature point (x 2 , y 2 ) at the same position as the feature point with respect to the image including the object O 'obtained by the second reflected light. The position information of the object is calculated using the following Equation (1) using the feature points (x 1 , y 1 ) (x 2 , y 2 ) extracted by the first reflected light and the second reflected light. The position information includes position movement information and velocity information of the object.

Figure pat00001
Figure pat00001

여기서, vx, vy는 제1 반사광 및 제2 반사광에 의해 획득되는 오브젝트의 특징점이 움직이는 속도를 나타내며, △t는 제1 반사광과 제2 반사광의 시간차를 나타낸다. 따라서 [수학식 1]에 의해 오브젝트의 특징점이 시간에 따라 이동한 위치 값과 속도 값을 획득할 수 있다.Here, v x and v y represent the speed at which the feature points of the object obtained by the first reflected light and the second reflected light move, and Δt represents the time difference between the first reflected light and the second reflected light. Accordingly, the position value and the velocity value obtained by moving the minutiae point of the object with respect to time can be obtained by Equation (1).

구체적으로 특징점의 속도(v)는 하기의 [수학식 2]와 같이 나타낼 수 있다.Specifically, the velocity v of the minutiae can be expressed by the following equation (2).

Figure pat00002
Figure pat00002

여기서, p는 위치 감지부(111)에서 감지된 오브젝트(O)의 특징점 위치를 나타내며, f는 위치 감지부(111)를 구성하는 모듈 특성에 따른 초점거리를 나타내며, P는 오브젝트의 실제 위치를 나타내며, Z는 위치 감지부(111)에서 감지되는 오브젝트(O)의 거리를 나타낸다. Here, p represents a minutia point position of the object O sensed by the position sensing unit 111, f represents a focal distance according to a module characteristic of the position sensing unit 111, P represents an actual position of the object And Z represents the distance of the object O detected by the position sensing unit 111. [

구체적으로, 도 6에 도시된 바와 같이 사용자의 위치를 (Tx, Ty, Tz)로 정의 하면, 상기 사용자의 위치와 오브젝트(O)의 특징점의 거리(Z)는 반사광에 의해 산출된다. 구체적으로, 상기 오브젝트(O)의 특징점 거리(Z)는 조사광과 입사광의 시간차에 의해 산출된다.Specifically, if the user's position is defined as (T x , T y , T z ) as shown in FIG. 6, the distance Z between the user's position and the minutiae point of the object O is calculated by reflected light . Specifically, the characteristic point distance Z of the object O is calculated by the time difference between the irradiation light and the incident light.

따라서, 시간차에 따른 오브젝트의 속도는 하기의 [수학식 3]에 의해 산출될 수 있다.Therefore, the velocity of the object according to the time difference can be calculated by the following equation (3).

Figure pat00003
Figure pat00003

Figure pat00004
Figure pat00004

Figure pat00005
Figure pat00005

Figure pat00006
Figure pat00006

Figure pat00007
Figure pat00007

여기서, dp, dt는 시간에 따른 특징점의 위치 변화를 나타낸다.Here, dp and dt represent the positional change of the feature point with time.

따라서, 특징점(x, y)의 속도(vx, vy)는 하기의 [수학식 4]와 같이 나타낼 수 있다.Therefore, the velocity (v x , v y ) of the feature point (x, y) can be expressed by the following equation (4).

Figure pat00008
Figure pat00008

제어부(`170)는 도 5의 흐름도에서와 같이 위치 감지부(111)에 의한 오브젝트의 이동 속도 및 위치 이동 정보를 포함하는 위치 정보와 거리 정보가 산출되면, 방향 감지부(112)를 통하여 획득되는 사용자 회전 정보를 감지한다.(S450) 구체적으로, 방향 감지부(112)에서 획득되는 사용자 회전 이동 정보(ωx, ωy, ωz)는 사용자의 회전 운동에 따른 X, Y, Z축 각각에 대한 선행 가속도 값, 회전 가속도 값 및 자기장을 포함한다.As shown in the flowchart of FIG. 5, when the position information and the distance information including the movement speed and the movement information of the object are calculated by the position sensing unit 111, The user rotation information (? X ,? Y ,? Z ) acquired by the direction sensing unit 112 is input to the X, Y, and Z axes A pre-acceleration value, a rotational acceleration value, and a magnetic field for each of them.

따라서 방향 감지부(112)는 사용자의 변위를 감지한다. 즉, 방향 감지부(112)는 사용자가 시간에 따라 움직이는 경우 각속도와 가속도를 감지한다. 따라서, 하기의 [수학식5]와 같이 나타낼 수 있다.Therefore, the direction sensing unit 112 senses the displacement of the user. That is, the direction sensing unit 112 senses the angular velocity and the acceleration when the user moves with time. Therefore, it can be expressed by the following equation (5).

Figure pat00009
Figure pat00009

Figure pat00010
Figure pat00010

Figure pat00011
Figure pat00011

제어부(170)는 상기한 바와 같이 위치 감지부(111) 및 방향 감지부(112)에서 획득된 정보에 기초하여 사용자의 움직임 정보(Tx, Ty, Tz)를 하기의 [수학식 6]과 같이 나타낼 수 있다.The control unit 170 may convert the user's motion information T x , T y , T z into the following equation (6) based on the information obtained by the position sensing unit 111 and the direction sensing unit 112, ] Can be expressed as follows.

Figure pat00012
Figure pat00012

Figure pat00013
Figure pat00013

상기와 같이 실시 예에 따라 디스플레이 장치에 구성되는 감지부(110)의 감지 동작에 따라 제어부(170)는 사용자 움직임 정보를 산출한다. 이하에서는 상기 산출된 사용자 움직임 정보에 따라 디스플레이 장치의 동작에 따른 실시 예를 설명한다. According to the embodiment, the controller 170 calculates the user motion information according to the sensing operation of the sensing unit 110 formed in the display device. Hereinafter, an operation of the display device according to the calculated user motion information will be described.

도 8은 다른 실시예에 따른 디스플레이 장치의 동작 흐름도이고, 도 9는 다른 실시예에 따라 디스플레이 장치에서 출력되는 영상의 예시도이다.FIG. 8 is a flowchart illustrating an operation of a display apparatus according to another embodiment of the present invention, and FIG. 9 is an exemplary view of an image output from a display apparatus according to another embodiment.

제어부(170)는 디스플레이부(120)를 통하여 영상을 재생하는 영상 재생 모드를 수행한다.(S810) 이때, 제어부(170)는 실시 예에서와 같이 위치 감지부(111) 및 방향 감지부(112)에서 감지되어 산출되는 사용자 움직임 정보를 확인한다.(S820) 구체적으로, 제어부(170)는 가상현실 구현장치(100)를 착용한 사용자의 위치 이동 정보, 속도 정보 및 방향 정보 등을 포함하는 사용자의 움직임 정보를 확인한다.The control unit 170 performs an image reproduction mode for reproducing an image through the display unit 120. In operation S810, the control unit 170 controls the position sensor 111 and the direction sensor 112 The controller 170 checks the user movement information that is detected and calculated in operation S820. Specifically, the control unit 170 determines whether or not the user As shown in FIG.

제어부(170)는 확인된 사용자 움직임 정보에 기초하여 디스플레이부(120)를 통해 출력되는 영상을 제어한다.(S830) 구체적으로, 제어부(170)는 사용자의 위치 이동, 속도 및 방향 등에 대한 감지 결과에 따라 디스플레이부(120)에서 출력되는 영상의 이동, 크기 등을 제어하여 출력할 수 있다. 도 9의 예시도(a)는 디스플레이부(120)에서 출력되는 영상이고, (a')는 디스플레이되는 영상이 오른쪽으로 이동한 상태를 나타낸 것이다. 즉, 오른쪽 방향으로 이동된 사용자의 움직임 정보가 감지되면, 디스플레이부(120)에서 출력되는 영상은 상기 감지된 움직임 정보에 기초하여 오른쪽 방향으로 이동한 범위만큼 영상을 왼쪽 이동하여 표시하게 된다. The control unit 170 controls the image output through the display unit 120 based on the identified user motion information. (S830) In detail, the control unit 170 displays the detection result The size, and the like of the image output from the display unit 120 according to the control signal. 9 is an image output from the display unit 120, and (a ') shows a state in which the displayed image is shifted to the right. That is, when the motion information of the user moved in the right direction is detected, the image outputted from the display unit 120 is moved to the left by the range moved to the right based on the detected motion information, and displayed.

또한 (b)와 (b')는 사용자의 움직임 정보가 전방으로 이동한 경우의 예이다. (b)와 같이 디스플레이부(120)를 통하여 영상이 출력될 때 감지부(110)에서 사용자의 움직임 정보가 감지되면, 디스플레이되는 영상이 사용자와 가깝게 보여질 수 있도록 (b')와 같이 확대 처리하여 표시하게 된다.In addition, (b) and (b ') are examples in which the user's motion information moves forward. if the motion information of the user is sensed by the sensing unit 110 when the image is output through the display unit 120 as shown in FIG. 6B, .

따라서 제어부(170)는 사용자의 움직임 정보에 기초하여 사용자가 가상현실 구현장치(10)를 사용하는 중에는 실시간으로 사용자의 움직임 정보를 감지하고, 디스플레이부(120)에서 보여지는 영상을 사용자 움직임 정보에 대응하게 제어하여 출력할 수 있다.Accordingly, the control unit 170 detects motion information of the user in real time while the user is using the virtual reality realization device 10 based on the motion information of the user, and displays the image displayed on the display unit 120 as user motion information It can be controlled and output correspondingly.

도 10은 또 다른 실시예에 따른 디스플레이 장치의 동작 흐름도이고, 도 11은 또 다른 실시예에 따라 디스플레이 장치에서 출력되는 영상의 예시도이다.FIG. 10 is an operation flowchart of a display apparatus according to another embodiment, and FIG. 11 is an exemplary view of an image output from a display apparatus according to another embodiment.

도 10 및 도 11을 참조하면, 제어부(170)는 디스플레이부(120)를 통하여 영상을 재생하는 영상 재생 모드를 수행한다.(S1010). 이때 제어부(170)는 실시 예에서와 같이 위치 감지부(111) 및 방향 감지부(112)에서 감지되어 산출되는 사용자 움직임 정보를 확인한다(S1020) 구체적으로 제어부(170)는 가상현실 구현장치(10)를 착용한 사용자의 위치 이동 정보, 속도 정보 및 회전 방향 정보 등을 포함하는 사용자의 움직임 정보를 확인한다.10 and 11, the controller 170 performs an image reproduction mode for reproducing an image through the display unit 120 (S1010). At this time, the controller 170 confirms user motion information detected and calculated by the position sensing unit 111 and the direction sensing unit 112 as in the embodiment (S1020). Specifically, the controller 170 controls the virtual reality Speed information, and rotation direction information of the user who wears the digital camera 10, for example.

제어부(170)는 확인된 사용자 움직임 정보에 기초하여 기준 범위 이내에서 오브젝트가 감지되는지를 확인한다.(S1030) 구체적으로 제어부(170)는 사용자 움직임 정보에 기초하여 감지부(110)에서 감지되는 오브젝트가 기준 범위 이내로 근접하는지의 여부를 확인한다. 따라서, 제어부(170)는 오브젝트가 사용자와 기준 범위 이내로 인접한 경우 알람을 출력한다.(S1040) 이때, 알람은 디스플레이부(120)를 통하여 알람 이미지로 출력되거나 소리로 출력될 수 있다.The control unit 170 checks whether the object is detected within the reference range based on the checked user motion information. (S1030) In detail, the control unit 170 determines whether the object detected by the sensing unit 110 Is within the reference range. Accordingly, the controller 170 outputs an alarm when the object is adjacent to the user within the reference range (S1040). At this time, the alarm can be output as an alarm image or output as an alarm through the display unit 120. [

도 11은 알람 이미지 출력의 예를 설명하기 위한 예시도이다. 예시도(a)는 디스플레이부(120)에서 영상이 재생되지 않거나 지정된 알람 이미지가 존재하지 않는 경우에 표시되는 경우의 예이다. 즉, 제어부(170)는 오브젝트의 인접 정도 및 위치에 대응하게 디스플레이부(120)에서 해당 오브젝트의 존재를 이미지 또는 영상으로 표시한다. 이때 이미지 또는 영상은 점멸하여 표시하거나 동영상으로 표시하는 등의 다양한 형태로 표시될 수 있다.11 is an exemplary diagram for explaining an example of an alarm image output. (A) is an example of a case where an image is not reproduced on the display unit 120 or is displayed when there is no designated alarm image. That is, the controller 170 displays the presence of the object in the display unit 120 as an image or an image corresponding to the proximity and position of the object. At this time, an image or an image may be displayed in various forms such as blinking or displaying as a moving image.

또한 (b), (c)예시도는 디스플레이부(120)에서 특정 영상이 재생되는 경우 오브젝트의 근점을 알리는 알람 이미지를 출력하는 경우의 예시도이다. 구체적으로, 알람 이미지를 출력할 경우 출력 중인 영상에 대응하는 이미지로 표시되도록 할 수 있다. 예를 들어, (b)예시도와 같이 수중 촬영된 영상의 경우 수중 영상에 대응하는 이미지로 출력할 수 있다. 또한 (c)예시도와 같이 출력 영상이 우주 영상인 경우 우주 영상에 대응하는 이미지로 표시할 수 있다. 따라서 오브젝트 인접에 대한 알람은 영상 또는 소리로 출력될 수 있으며, 사용자 설정에 의한 미리 설정된 영상 또는 오디오가 출력될 수 잇다.In addition, FIGS. 8B and 8C illustrate an example of outputting an alarm image indicating the approximate point of an object when a specific image is reproduced on the display unit 120. Specifically, when an alarm image is output, it can be displayed as an image corresponding to an image being output. For example, in the case of an underwater photographed image as shown in (b), an image corresponding to an underwater image can be output. (C) If the output image is a space image as shown in the example, it can be displayed as an image corresponding to a space image. Therefore, the alarm about the object proximity can be outputted as image or sound, and a preset image or audio can be outputted by user setting.

본 실시 예에 의하면, 가상현실 구현장치를 이용 시 사용자의 위치 정보를 확인하여 화상 처리를 함으로써 몰입감을 향상시킬 수 있다.According to the present embodiment, it is possible to improve the immersion feeling by checking the position information of the user and performing the image processing when using the virtual reality realization device.

또한 실시 예에 의하면 별도의 외부 장치 없이도 가상현실 장치 사용의 편의성 및 용이성을 증대시킬 수 있다.In addition, according to the embodiment, the convenience and ease of use of the virtual reality apparatus can be increased even without a separate external apparatus.

또한 실시 예에 의하면 외부 환경의 변화 및 위험 상황을 사용자가 용이하게 인지할 수 있으므로, 장치 사용의 안전성을 향상시킬 수 있다. In addition, according to the embodiment, since the user can easily recognize the change of the external environment and the dangerous situation, the safety of use of the device can be improved.

또한 실시 예에 의하면 구성이 간단한 센서 장치를 사용함으로써 가상현실 장치의 단순화 및 비용적 절감 효과를 가질 수 있다.In addition, according to the embodiment, by using a simple sensor device, it is possible to simplify the virtual reality device and reduce the cost.

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 적어도 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 실시예의 범위에 포함되는 것으로 해석되어야 할 것이다.The features, structures, effects and the like described in the embodiments are included in at least one embodiment and are not necessarily limited to only one embodiment. Furthermore, the features, structures, effects and the like illustrated in the embodiments can be combined and modified by other persons skilled in the art to which the embodiments belong. Accordingly, the contents of such combinations and modifications should be construed as being included in the scope of the embodiments.

이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 실시예를 한정하는 것이 아니며, 실시예가 속하는 분야의 통상의 지식을 가진 자라면 본 실시 예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 설정하는 실시예의 범위에 포함되는 것으로 해석되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention. It can be seen that the modification and application of branches are possible. For example, each component specifically shown in the embodiments can be modified and implemented. It is to be understood that the present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics thereof.

10: 가상현실 구현장치
11: 글라스 12, 13: 하우징
14: 렌즈부 15, 16: 착장부
110: 감지부
111: 위치 감지부
111a: 발광부 111b: 수광부
112: 방향 감지부
120: 디스플레이부 130: 저장부
140: 사용자 입력부 150: 통신부
160: 카메라부 170: 제어부
180: 전원공급부10: Virtual Reality Implementation Device
11: Glass 12, 13: Housing
14: lens unit 15, 16:
110:
111: Position sensing unit
111a: light emitting portion 111b: light receiving portion
112:
120: display unit 130: storage unit
140: user input unit 150:
160: camera unit 170:
180: Power supply

Claims (21)

사용자가 착용하는 가상현실 구현장치에 있어서,
하우징;
상기 하우징 내부에 배치되는 한 쌍의 렌즈부;
상기 렌즈와 이격되고 상기 하우징 내부에 배치되는 디스플레이부;
사용자의 방향 정보를 감지하는 방향 감지부;
사용자의 위치 정보를 감지하는 위치 감지부;
상기 방향 감지부 및 위치 감지부에서 감지된 정보에 기초하여 사용자의 움직임 정보를 산출하는 제어부;를 포함하고,
상기 위치 감지부는
적외선을 방출하는 발광부;
상기 발광부에서 방출된 광의 반사광을 수신할 수 있는 수광부;를 포함하는 가상현실 구현장치.In a virtual reality realization device worn by a user,
housing;
A pair of lens units disposed inside the housing;
A display unit spaced from the lens and disposed inside the housing;
A direction sensing unit for sensing direction information of the user;
A position sensing unit for sensing position information of a user;
And a controller for calculating motion information of the user based on the information detected by the direction sensing unit and the position sensing unit,
The position sensing unit
A light emitting portion emitting infrared rays;
And a light receiving unit capable of receiving reflected light of the light emitted from the light emitting unit. 제1항에 있어서,
상기 제어부는
위치 감지부에서 감지된 오브젝트를 추출하고, 상기 오브젝트의 거리 정보 및 위치 이동 정보를 기초하여 상기 사용자의 위치 정보를 산출하는 가상현실 구현장치.The method according to claim 1,
The control unit
Extracts the object detected by the position sensing unit, and calculates the position information of the user based on the distance information and the position movement information of the object. 제2항에 있어서,
상기 제어부는
상기 오브젝트에 적어도 하나의 기준점을 추출하고, 상기 기준점의 거리 정보 및 위치 이동 정보를 기초하여 상기 사용자의 위치 정보를 산출하는 가상현실 구현장치.3. The method of claim 2,
The control unit
Extracting at least one reference point from the object, and calculating position information of the user based on the distance information of the reference point and the position movement information. 제1항에 있어서,
상기 방향 감지부는
상기 사용자의 회전 방향 및 가속도를 감지하는 가상현실 구현장치.The method according to claim 1,
The direction sensing unit
And detects the rotational direction and the acceleration of the user. 제1항에 있어서,
상기 제어부는
상기 사용자 움직임 정보에 기초하여 상기 디스플레이부에 출력되는 영상을 제어하는 가상현실 구현장치.The method according to claim 1,
The control unit
And controls an image to be output to the display unit based on the user motion information. 제5항에 있어서,
상기 제어부는
상기 사용자 움직임 정보에 기초하여 상기 영상의 크기 또는 방향을 조정하여 상기 디스플레이부에서 출력되도록 제어하는 가상현실 구현장치.6. The method of claim 5,
The control unit
And adjusts the size or direction of the image based on the user motion information to be output from the display unit. 제1항에 있어서,
상기 제어부는
상기 사용자 움직임 정보에 기초하여 상기 사용자와 기준 범위 이내로 인접한 오브젝트가 감지되면 알람을 출력하도록 제어하는 가상현실 구현장치.The method according to claim 1,
The control unit
And to output an alarm when an object adjacent to the user and within a reference range is detected based on the user motion information. 제7항에 있어서,
상기 알람은 상기 디스플레이부에서 영상으로 출력되는 가상현실 구현장치.8. The method of claim 7,
Wherein the alarm is output as an image in the display unit. 제7항에 있어서,
상기 알람은 소리로 출력되는 가상현실 구현장치.8. The method of claim 7,
Wherein the alarm is output as a sound. 제7항에 있어서,
상기 알람은 사용자가 미리 설정한 영상 또는 소리로 출력되는 가상현실 구현장치.8. The method of claim 7,
Wherein the alarm is output as a preset image or sound by a user. 제1항에 있어서,
상기 사용자의 외부 촬영하는 카메라부를 더 포함하는 가상현실 구현장치.The method according to claim 1,
And a camera unit for photographing the outside of the user. 제1항에 있어서,
상기 렌즈부는
좌안 렌즈 및 우안 렌즈를 포함하는 가상현실 구현장치.The method according to claim 1,
The lens unit
A device for implementing a virtual reality including a left eye lens and a right eye lens. 제12항에 있어서,
상기 디스플레이부에서 출력되는 영상은
좌안용 영상과 우안용 영상이 각각 출력되는 가상현실 구현장치.13. The method of claim 12,
The image output from the display unit
And outputs the left eye image and the right eye image, respectively. 제1항에 있어서,
상기 방향 감지부 및 위치 감지부는 일체형으로 구성되는 가상현실 구현장치.The method according to claim 1,
Wherein the direction sensing unit and the position sensing unit are integrally formed. 감지 영역 내의 오브젝트를 결정하는 단계;
상기 결정된 오브젝트의 위치 정보 및 사용자의 방향 정보를 추출하는 단계;
상기 추출된 오브젝트의 위치 정보 및 사용자의 방향 정보에 기초하여 사용자의 움직임 정보를 산출하는 단계;를 포함하는 가상현실 구현장치의 동작 방법.Determining an object in the sensing area;
Extracting position information of the determined object and direction information of the user;
And calculating motion information of the user based on the position information of the extracted object and the direction information of the user. 제15항에 있어서,
상기 오브젝트의 위치 위치 정보는
적외선 조사광에 의한 반사광으로부터 상기 오브젝트의 속도 및 위치 이동 정보를 포함하는 가상현실 구현장치의 동작 방법.16. The method of claim 15,
The positional position information of the object
And information on the speed and position of the object from the reflected light by the infrared irradiation light. 제15항에 있어서,
상기 오브젝트의 위치 정보를 추출하는 단계는
상기 오브젝트에 적어도 하나의 기준점을 추출하고, 상기 기준점의 속도 및 위치 이동 정보를 추출하는 가상현실 구현장치의 동작 방법.16. The method of claim 15,
The step of extracting the position information of the object
Extracting at least one reference point from the object, and extracting velocity and position movement information of the reference point. 제15항에 있어서,
상기 오브젝트는 카메라부에서 촬영된 영상으로부터 추출되는 가상현실 구현장치의 동작 방법.16. The method of claim 15,
Wherein the object is extracted from an image photographed by a camera unit. 제15항에 있어서,
상기 사용자 움직임 정보가 산출되면, 상기 사용자 움직임 정보에 기초하여 디스플레이부에서 출력되는 영상을 제어하는 가상현실 구현장치의 동작 방법.16. The method of claim 15,
And controlling the image output from the display unit based on the user motion information when the user motion information is calculated. 제15항에 있어서,
상기 사용자 움직임 정보가 산출되면, 상기 사용자 움직임 정보에 기초하여 상기 사용자와 기준 범위 이내로 인접한 오브젝트를 감지하는 단계;
상기 감지된 오브젝트에 대응하는 알람을 출력하는 단계;를 더 포함하는 가상현실 구현장치의 동작 방법.16. The method of claim 15,
Detecting, when the user motion information is calculated, an object adjacent to the user within a reference range based on the user motion information;
And outputting an alarm corresponding to the detected object. 하우징;
상기 하우징 내부에 배치되는 한 쌍의 렌즈부;
상기 렌즈와 이격되고 상기 하우징 내부에 배치되는 디스플레이부;
상기 하우징의 방향 정보를 감지하는 방향 감지부;
상기 하우징의 위치 정보를 감지하는 위치 감지부;
상기 방향 감지부 및 위치 감지부에서 감지된 정보에 기초하여 사용자의 움직임 정보를 산출하는 제어부;를 포함하고,
상기 위치 감지부는
적외선을 방출하는 발광부;
상기 발광부에서 방출된 광의 반사광을 수신할 수 있는 수광부;를 포함하는 가상현실 구현장치.housing;
A pair of lens units disposed inside the housing;
A display unit spaced from the lens and disposed inside the housing;
A direction sensing unit sensing direction information of the housing;
A position sensing unit for sensing position information of the housing;
And a controller for calculating motion information of the user based on the information detected by the direction sensing unit and the position sensing unit,
The position sensing unit
A light emitting portion emitting infrared rays;
And a light receiving unit capable of receiving reflected light of the light emitted from the light emitting unit.
KR1020160055670A 2016-05-04 2016-05-04 Virtual reality apparatus and method for thereof KR20170125617A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160055670A KR20170125617A (en) 2016-05-04 2016-05-04 Virtual reality apparatus and method for thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160055670A KR20170125617A (en) 2016-05-04 2016-05-04 Virtual reality apparatus and method for thereof

Publications (1)

Publication Number Publication Date
KR20170125617A true KR20170125617A (en) 2017-11-15

Family

ID=60386885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160055670A KR20170125617A (en) 2016-05-04 2016-05-04 Virtual reality apparatus and method for thereof

Country Status (1)

Country Link
KR (1) KR20170125617A (en)

Similar Documents

Publication Publication Date Title
KR102448284B1 (en) head mounted display tracking system
JP6860488B2 (en) Mixed reality system
JP5538483B2 (en) Video processing apparatus, video processing method, and video processing system
US11127380B2 (en) Content stabilization for head-mounted displays
CN110018736B (en) Object augmentation via near-eye display interface in artificial reality
CN110275603B (en) Distributed artificial reality system, bracelet device and head-mounted display
KR20180033222A (en) Prism-based eye tracking
KR101883090B1 (en) Head mounted display
US20120026376A1 (en) Anamorphic projection device
KR20180096434A (en) Method for displaying virtual image, storage medium and electronic device therefor
US10789782B1 (en) Image plane adjustment in a near-eye display
KR20150093831A (en) Direct interaction system for mixed reality environments
KR20160105796A (en) Calibration of virtual reality systems
JP2019080354A (en) Head-mounted display
KR20180014492A (en) Method for image display and electronic device supporting the same
IL263357A (en) Miniature vision-inertial navigation system with extended dynamic range
KR20170094255A (en) Virtual focus feedback
CN109960481B (en) Display system and control method thereof
KR20180002534A (en) External imaging system, external imaging method, external imaging program
US10613323B1 (en) Transition feature for framing multizone optics
JP2019074362A5 (en)
US20160170482A1 (en) Display apparatus, and control method for display apparatus
JPWO2011102136A1 (en) Stereoscopic image display system and stereoscopic glasses
US10992928B1 (en) Calibration system for concurrent calibration of device sensors
TW201915711A (en) Image display system, image display method, and image display program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application