KR102655191B1 - Smart glass and controlling method tereof - Google Patents
Smart glass and controlling method tereof Download PDFInfo
- Publication number
- KR102655191B1 KR102655191B1 KR1020210133379A KR20210133379A KR102655191B1 KR 102655191 B1 KR102655191 B1 KR 102655191B1 KR 1020210133379 A KR1020210133379 A KR 1020210133379A KR 20210133379 A KR20210133379 A KR 20210133379A KR 102655191 B1 KR102655191 B1 KR 102655191B1
- Authority
- KR
- South Korea
- Prior art keywords
- screen
- smart glasses
- viewing angle
- display
- smart
- Prior art date
Links
- 239000004984 smart glass Substances 0.000 title claims abstract description 95
- 238000000034 method Methods 0.000 title claims description 22
- 230000003287 optical effect Effects 0.000 claims abstract description 29
- 239000011521 glass Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 238000005259 measurement Methods 0.000 description 12
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 9
- 230000003190 augmentative effect Effects 0.000 description 9
- 239000004973 liquid crystal related substance Substances 0.000 description 9
- 229910052710 silicon Inorganic materials 0.000 description 9
- 239000010703 silicon Substances 0.000 description 9
- 238000000691 measurement method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Eyeglasses (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명은 스마트 글래스에 장착된 디스플레이 크기 및 해상도를 확인하는 단계; 상기 스마트 글래스의 광학장치로 확대된 AR화면을 제공하는 단계; 3D 모델링 어플리케이션 구동하는 단계; 상기 AR화면의 크기 및 상기 스마트 글래스로 부터의 거리를 측정하는 측정하는 단계; 및 상기 크기 및 상기 거리를 기초로 시야각을 측정하는 단계를 포함하는, 스마트 글래스 제어방법을 제공한다.The present invention includes the steps of checking the size and resolution of the display mounted on smart glasses; Providing an enlarged AR screen using the optical device of the smart glasses; Running a 3D modeling application; Measuring the size of the AR screen and the distance from the smart glasses; and measuring the viewing angle based on the size and distance.
Description
본 발명은 글래스 및 시야각 측정방법에 관한 것으로, 보다 구체적으로 본 발명은 별도의 장치 없이 사용자가 손쉽게 시야각을 측정할 수 있는 스마트 글래스 및 제어방법이 제공된다.The present invention relates to glasses and a viewing angle measurement method. More specifically, the present invention provides smart glasses and a control method that allow a user to easily measure the viewing angle without a separate device.
증강현실(augmented reality, 이하, AR)은 가상현실(VR)의 한 분야로 실제로 존재하는 환경에 가상의 사물이나 정보를 합성하여 마치 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법으로, 최근에는 이와 같은 증강현실 기법을 적용한 AR 플랫폼(platform)들을 적용한 다양한 디바이스들이 개발되고 있다. Augmented reality (AR) is a field of virtual reality (VR) and is a computer graphics technique that synthesizes virtual objects or information into an actual environment to make them appear as if they existed in the original environment. Recently, various devices using AR platforms using augmented reality techniques have been developed.
VR(Virtual Reality, 가상현실)/AR(Augmented Reality, 증강현실) 기기는 사람 눈과 매우 가까운 거리에 있는 디스플레이로 확대된 가상의 이미지를 구현하기 위해 복잡한 형태의 광학모듈을 사용할 수 있다. VR (Virtual Reality)/AR (Augmented Reality) devices can use complex optical modules to implement enlarged virtual images on a display very close to the human eye.
정확한 이미지 구현 및 컨트롤러를 이용하여 화면을 제어하기 위해서는 AR화면의 시야각에 대한 정확한 정보가 필요하다. In order to implement accurate images and control the screen using a controller, accurate information about the viewing angle of the AR screen is required.
등록번호10-22401900 의 “VR 또는 AR 기기용 렌즈와 광학계 광학특성 측정 시스템” VR/AR 기기용 렌즈와 광학계 광학특성 측정시스템을 위해 렌즈를 분리하여 설비에 고정하고 측정하는 방법에 대한 내용이다. VR/AR 용 렌즈의 특성을 정밀하게 측정 할 수 있지만, AR/VR 기기에서 렌즈를 분리하여 설비에 고정하여야 하고, 설비를 위한 넓은 공간을 필요로 하며, 시료의 수가 적거나 렌즈가 기기에 접착되어 있는 경우 측정이 제한적이다. Registration number 10-22401900, “Lens and optical system optical characteristics measurement system for VR or AR devices” This is about how to separate lenses, fix them to equipment, and measure them for VR/AR device lens and optical system optical characteristic measurement system. Although it is possible to precisely measure the characteristics of lenses for VR/AR, the lens must be separated from the AR/VR device and fixed to the facility, a large space is required for the facility, and the number of samples is small or the lens is attached to the device. If so, measurement is limited.
등록번호10-1866291의“입체 디스플레이의 광학 측정 장치 및 방법”에서는 3D 디스플레이의 주 시청거리 및 시야각을 측정할 수 있는 3D 디스플레이의 광학 측정 장치 및 방법에 관한 것으로 편광 부재가 장착된 광 계측기를 3D 디스플레이 패널의 상단부와 수평이 되도록 배치하여 광 계측기를 이용하여 시청거리와 시야각을 측정하는 방법을 개시한다. Registration number 10-1866291, “Optical measurement device and method for three-dimensional display,” relates to an optical measurement device and method for a 3D display that can measure the main viewing distance and viewing angle of a 3D display. An optical instrument equipped with a polarizing member is used to measure 3D display. Disclosed is a method of measuring viewing distance and viewing angle using an optical meter placed horizontally with the upper part of a display panel.
다만, 디스플레이를 고정하고 계측기를 설치할 물리적인 공간이 필요하며 AR/VR 디스플레이에 사용하는 소형 디스플레이 장치, AR/VR 기기의 가상공간에 복원되는 컨텐츠를 촬영하기 어려운 문제가 있다.However, there is a problem in that physical space is needed to fix the display and install measuring instruments, and it is difficult to film the small display device used for AR/VR display and the content restored in the virtual space of the AR/VR device.
이러한 측정 방법의 경우 다양한 해상도를 가진 스마트 글래스의 시야각을 측정하기 정확하게 측정하기 어려우며, 사용자의 추정에 따라 시야각의 측정 수치가 달라질 수 있다. 또한, 수직 시야각, 수평 시야각, 대각 시야각 모두를 측정하기 어려우며, 스마트 글래스의 컨텐츠 위치에 따라 시야각의 수치가 달라 질 수 있다.In the case of this measurement method, it is difficult to accurately measure the viewing angle of smart glasses with various resolutions, and the measurement value of the viewing angle may vary depending on the user's estimation. Additionally, it is difficult to measure the vertical viewing angle, horizontal viewing angle, and diagonal viewing angle, and the viewing angle value may vary depending on the content location of the smart glasses.
본 발명은 별도의 장치 없이 사용자가 손쉽게 시야각을 측정할 수 있는 스마트 글래스 및 시야각 측정방법을 제공하는 것을 목적으로 한다.The purpose of the present invention is to provide smart glasses and a viewing angle measurement method that allow users to easily measure the viewing angle without a separate device.
스마트 글래스에 장착된 디스플레이 크기 및 해상도를 확인하는 단계; 상기 스마트 글래스의 광학장치로 확대된 AR화면을 제공하는 단계; 3D 모델링 어플리케이션 구동하는 단계; 상기 AR화면의 크기 및 상기 스마트 글래스로 부터의 거리를 측정하는 측정하는 단계; 및 상기 크기 및 상기 거리를 기초로 시야각을 측정하는 단계를 포함하는, 스마트 글래스 제어방법을 제공한다. Checking the display size and resolution mounted on smart glasses; Providing an enlarged AR screen using the optical device of the smart glasses; Running a 3D modeling application; Measuring the size of the AR screen and the distance from the smart glasses; and measuring the viewing angle based on the size and distance.
상기 크기 및 상기 거리를 측정하는 단계는, 상기 스마트 글래스의 좌표 및 상기 AR화면의 꼭지점 및 중심점의 좌표를 산출하는 단계; 및 각 좌표간의 차를 통해 상기 크기 및 상기 거리를 계산하는 단계를 포함할 수 있다. The step of measuring the size and the distance includes calculating coordinates of the smart glasses and coordinates of a vertex and center point of the AR screen; And it may include calculating the size and the distance through the difference between each coordinate.
상기 좌표를 산출하는 단계는, 상기 스마트 글래스의 좌표를 영점으로 하고, 상기 AR화면의 꼭지점 및 중심점의 좌표를 산출할 수 있다. In the step of calculating the coordinates, the coordinates of the smart glasses can be set as zero and the coordinates of the vertex and center point of the AR screen can be calculated.
상기 좌표 산출단계는, 상기 스마트 글래스에 탑재된 스테레오 카메라를 통해 인지한 공간 내에서의 스마트 글래스의 위치를 얻고, 상기 스마트 글래스의 위치를 기준점으로 상기 AR화면의 위치를 산출할 수 있다. In the coordinate calculation step, the position of the smart glasses in a space recognized through a stereo camera mounted on the smart glasses can be obtained, and the position of the AR screen can be calculated using the position of the smart glasses as a reference point.
상기 디스플레이의 해상도 및 상기 시야각을 기초로 각도당 픽셀을 계산하는 단계를 더 포함할 수 있다. The method may further include calculating pixels per angle based on the resolution of the display and the viewing angle.
상기 AR화면의 크기가 변화하거나 위치가 변화하는 경우, 상기 크기 및 상기 거리를 측정하는 단계를 재수행할 수 있다. If the size or location of the AR screen changes, the step of measuring the size and distance may be performed again.
사용자의 머리에 거치하는 프레임; 상기 프레임의 전면에 위치하는 한 쌍의 전면렌즈; 상기 프레임에 실장되는 디스플레이부; 상기 디스플레이부에서 출력된 영상을 확대하는 광학모듈; 및 상기 디스플레이부 및 상기 광학모듈을 제어하여 출력되는 AR화면을 제어하는 제어부를 포함하고, 상기 제어부는, 3D 모델링 어플리케이션 구동하여 상기 AR화면의 크기 및 상기 AR화면까지의 거리를 측정하고, 상기 크기 및 상기 거리를 기초로 시야각을 측정하는 것을 특징으로 하는, 스마트 글래스를 제공한다. A frame mounted on the user's head; A pair of front lenses located on the front of the frame; A display unit mounted on the frame; An optical module that magnifies the image output from the display unit; and a control unit that controls the AR screen to be output by controlling the display unit and the optical module, wherein the control unit measures the size of the AR screen and the distance to the AR screen by running a 3D modeling application, and measures the size of the AR screen. And it provides smart glasses, characterized in that the viewing angle is measured based on the distance.
상기 제어부는, 상기 스마트 글래스의 좌표 및 상기 AR화면의 꼭지점 및 중심점의 좌표를 산출하여, 각 좌표간의 차를 통해 상기 크기 및 상기 거리를 계산할 수 있다. The control unit may calculate the coordinates of the smart glasses and the vertex and center point of the AR screen, and calculate the size and distance through the difference between each coordinate.
주변공간을 인식하는 스테레오 카메라를 더 포함하고, 상기 제어부는 상기 스테레오 카메라를 통해 인지한 공간 내에서의 스마트 글래스의 위치를 얻고, 상기 스마트 글래스의 위치를 기준점으로 상기 AR화면의 위치를 산출할 수 있다. It further includes a stereo camera that recognizes the surrounding space, and the control unit can obtain the position of the smart glasses in the space recognized through the stereo camera and calculate the position of the AR screen using the position of the smart glasses as a reference point. there is.
상기 제어부는 상기 디스플레이의 해상도 및 상기 시야각을 기초로 각도당 픽셀을 계산할 수 있다.The control unit may calculate pixels per angle based on the resolution of the display and the viewing angle.
본 발명의 일 실시예에 따르면, 다양한 해상도, 광학장치를 포함한 스마트 글래스의 시야각을 증강현실 컨텐츠를 이용하여 수직 시야각, 수평 시야각, 대각 시야각을 정확하게 측정 할 수 있다. According to an embodiment of the present invention, the vertical viewing angle, horizontal viewing angle, and diagonal viewing angle of smart glasses including various resolutions and optical devices can be accurately measured using augmented reality content.
또한, 부피가 크고 구축 가격이 비싸며 이동하기 힘든 시야각 측정 설비를 이용하지 않고 장소에 구애 받지 않으며 스마트 글래스의 시야각을 측정 할 수 있도록 도와줄 수 있다.In addition, it can help measure the viewing angle of smart glasses regardless of location without using viewing angle measurement equipment that is bulky, expensive to build, and difficult to move.
또한, 스마트 글래스의 시야각에 대한 정보를 취득한 후에 스마트 글라스의 해상도에 맞게 컨텐츠의 크기를 조절하여 사용자에게 최적의 화질의 영상을 제공할 수 있다.In addition, after obtaining information about the viewing angle of the smart glasses, the size of the content can be adjusted to match the resolution of the smart glasses to provide the user with images of optimal quality.
도 1은 본 발명의 일 실시예에 따른 글래스의 구성을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 글래스를 도시한 사시도이다.
도 3은 본 발명의 일 실시예에 따른 글래스에서 보이는 가상현실 화면을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 글래스의 디스플레이와 광학모듈의 원리를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 글래스의 시야각 측정방법을 설명하는 순서도이다.
도 6은 본 발명의 일 실시예에 따른 시야각 측정 소프트웨어의 실행을 설명하기 위한 도면이다.
도 7 내지 도 9는 본 발명의 일 실시예에 따른 시야각 측정 방법을 설명하기 위한 도면이다. Figure 1 is a block diagram showing the configuration of glass according to an embodiment of the present invention.
Figure 2 is a perspective view showing glass according to an embodiment of the present invention.
Figure 3 is a diagram illustrating a virtual reality screen visible on glasses according to an embodiment of the present invention.
Figure 4 is a diagram for explaining the principles of a glass display and an optical module according to an embodiment of the present invention.
Figure 5 is a flowchart explaining a method of measuring the viewing angle of glass according to an embodiment of the present invention.
Figure 6 is a diagram for explaining the execution of viewing angle measurement software according to an embodiment of the present invention.
7 to 9 are diagrams for explaining a viewing angle measurement method according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.Hereinafter, embodiments disclosed in the present specification will be described in detail with reference to the attached drawings. However, identical or similar components will be assigned the same reference numbers regardless of reference numerals, and duplicate descriptions thereof will be omitted. The suffixes “module” and “part” for components used in the following description are given or used interchangeably only for the ease of preparing the specification, and do not have distinct meanings or roles in themselves.
또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Additionally, in describing the embodiments disclosed in this specification, if it is determined that detailed descriptions of related known technologies may obscure the gist of the embodiments disclosed in this specification, the detailed descriptions will be omitted. In addition, the attached drawings are only for easy understanding of the embodiments disclosed in this specification, and the technical idea disclosed in this specification is not limited by the attached drawings, and all changes included in the spirit and technical scope of the present invention are not limited. , should be understood to include equivalents or substitutes.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. Terms containing ordinal numbers, such as first, second, etc., may be used to describe various components, but the components are not limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. When a component is said to be "connected" or "connected" to another component, it is understood that it may be directly connected to or connected to the other component, but that other components may exist in between. It should be.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. On the other hand, when it is mentioned that a component is “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. Singular expressions include plural expressions unless the context clearly dictates otherwise.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in the specification, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.
도 1은 본 발명의 일 실시예에 따른 스마트 글래스(100)의 구성을 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 글래스(100)를 도시한 사시도이다. 스마트 글래스(100)는 통신부(110), 마이크로폰(120), 센싱부(130), 카메라(140), 디스플레이(150), 광학모듈(155), 스피커(160), 제어부(180) 및 전원공급부(190)를 포함할 수 있다. FIG. 1 is a block diagram showing the configuration of smart glasses 100 according to an embodiment of the present invention, and FIG. 2 is a perspective view showing the glasses 100 according to an embodiment of the present invention. Smart glasses 100 include a communication unit 110, a microphone 120, a sensing unit 130, a camera 140, a display 150, an optical module 155, a speaker 160, a control unit 180, and a power supply unit. It may include (190).
통신부(110)를 통해 스마트 글래스(100)에 영상정보를 제공하는 외부 단말기(300)와 연결될 수 있으며, 스마트 글래스(100)를 제어하는 컨트롤러(300)와 연결될 수 있다. 통신부(110)는 유선통신 및 무선통신을 모두 포함할 수 있다. It can be connected to an external terminal 300 that provides image information to the smart glasses 100 through the communication unit 110, and can be connected to the controller 300 that controls the smart glasses 100. The communication unit 110 may include both wired communication and wireless communication.
유선통신인 경우 외부 단말기(300) 또는 컨트롤러와 연결되는 케이블(111)을 또는 케이블(111)이 삽입되는 커넥터를 포함할 수 있다. 도 2를 참고하면 스마트 글래스(100)의 다리부(102)에 연결된 케이블(111)을 통해 외부 데이터를 수신하고, 스마트 글래스(100)에 출력되는 화면을 제어할 수 있다. In the case of wired communication, it may include a cable 111 connected to an external terminal 300 or a controller, or a connector into which the cable 111 is inserted. Referring to FIG. 2, external data can be received through the cable 111 connected to the leg portion 102 of the smart glasses 100, and the screen displayed on the smart glasses 100 can be controlled.
유선인 경우 케이블(111)을 통해 데이터뿐만 아니라 전원을 공급받을 수 있으며 케이블(111)이 전원공급부(190)로서 역할을 할 수 있다. 유선의 경우 사용시 불편할 수 있으나, 전원공급을 위한 별도의 배터리를 구비할 필요가 없어 스마트 글래스(100)의 경량화가 가능한 장점이 있다. In the case of a wired connection, not only data but also power can be supplied through the cable 111, and the cable 111 can serve as the power supply unit 190. In the case of wired use, it may be inconvenient, but it has the advantage of making the smart glasses 100 lighter because there is no need to provide a separate battery for power supply.
무선통신을 수행하는 경우 무선통신모듈과 안테나를 통해 외부 단말기(300)와 무선신호를 송수신할 수 있다. 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여 무선통신을 지원할 수 있다. When performing wireless communication, wireless signals can be transmitted and received with the external terminal 300 through the wireless communication module and antenna. Bluetooth™, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, NFC (Near Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Wireless communication can be supported using at least one of Direct and Wireless USB (Wireless Universal Serial Bus) technologies.
마이로폰(120)은 소리를 외부의 음향 신호를 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 스마트 글래스(100)에 영상정보를 제공하는 외부 단말기(300)로 통신부(110)를 통해 전송할 수 있다. 마이크로폰(120)에서 수집한 음향신호는 수행 중인 기능(또는 실행 중인 응용 프로그램)에 따라 다양하게 활용될 수 있다. The myrophone 120 processes external acoustic signals into electrical voice data. The processed voice data can be transmitted through the communication unit 110 to the external terminal 300 that provides image information to the smart glasses 100. The sound signal collected by the microphone 120 can be used in various ways depending on the function being performed (or application program being executed).
한편, 마이크로폰(120)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있으며 외부 잡음을 제거하기 위해 서로 다른 위치에서 외부 음향신호를 수집하기 위해 복수개의 마이크로폰(120)을 구비할 수 있다. Meanwhile, various noise removal algorithms can be implemented in the microphone 120 to remove noise generated in the process of receiving external sound signals, and external sound signals are collected from different locations to remove external noise. To do this, a plurality of microphones 120 may be provided.
센싱부(130)는 스마트 글래스(100) 주변의 환경정보 및 스마트 글래스(100) 자체의 상태정보 중 적어도 하나를 센싱하고 이에 대응하는 센싱신호를 발생시키는 장치이다. 제어부(180)는 이러한 센싱신호에 기초하여 스마트 글래스(100)를 제어하고 스마트 글래스(100)에서 제공하는 AR 컨텐츠의 구동 및 어플리케이션의 데이터 처리, 기능 또는 동작을 수행할 수 있다. The sensing unit 130 is a device that senses at least one of environmental information around the smart glasses 100 and status information of the smart glasses 100 themselves and generates a corresponding sensing signal. The control unit 180 can control the smart glasses 100 based on these sensing signals and drive AR content provided by the smart glasses 100 and perform data processing, functions, or operations of the application.
센싱부(130)의 예로 근접한 위치의 사물을 감지하는 근접센서, 주변의 밝기를 감지하는 조도센서, 사용자 입력을 감지하기 위한 터치센서 등을 포함할 수 있다. 스마트 글래스(100)의 상태를 감지하기 위한 온도센서나 사용자의 시선을 감지하기 위한 카메라(140) 등을 더 포함할 수 있다. Examples of the sensing unit 130 may include a proximity sensor for detecting nearby objects, an illumination sensor for detecting surrounding brightness, and a touch sensor for detecting user input. It may further include a temperature sensor for detecting the state of the smart glasses 100 or a camera 140 for detecting the user's gaze.
사용자의 능동적인 움직임을 감지하는 센싱부(130)는 사용자 입력부로서 역할을 할 수 있으며, 사용자 입력부로서 별도의 컨트롤러(300)와 연결하여 스마트 글래스(100)를 제어할 수도 있다. The sensing unit 130, which detects the user's active movement, can serve as a user input unit and can control the smart glasses 100 by connecting to a separate controller 300 as a user input unit.
카메라(140)는 영상정보를 취득하기 위한 장치이다. 글래스(100)의 주변의 영상을 촬영하여 그로부터 주변환경정보를 얻기 위해 전방을 향하는 전면카메라(140)를 포함할 수 있으며, 사용자의 눈동자의 움직임을 감지하기 위해 스마트 글래스(100)의 내측에 위치하는 카메라를 더 포함할 수 있다. The camera 140 is a device for acquiring image information. It may include a front-facing camera 140 to capture images of the surroundings of the glasses 100 and obtain information about the surrounding environment therefrom, and may be located inside the smart glasses 100 to detect the movement of the user's eyes. Additional cameras may be included.
디스플레이(150)는 1인치 이하의 초소형 디스플레이(150) 장치로 일반적인 액정 디스플레이(150)나 OLED의 경우 픽셀의 크기가 크기 때문에 스마트 글래스(100)에 적용이 어렵고, 실리콘액정표시장치와 같은 초소형 디스플레이(150)를 이용할 수 있다. 실리콘액정표시장치는 기존 액정표시장치(LCD)에서 하단의 유리 대신 실리콘(Si) 웨이퍼를 사용하고 그 위에 전자회로를 형성한 프로젝션 타입의 표시장치다.The display 150 is an ultra-small display device measuring less than 1 inch. In the case of a general liquid crystal display 150 or OLED, the pixel size is large, so it is difficult to apply it to the smart glass 100, and it is difficult to apply it to the smart glass 100, and it is difficult to apply it to the smart glass 100. (150) can be used. The silicon liquid crystal display device is a projection type display device that uses a silicon (Si) wafer instead of the glass at the bottom of the existing liquid crystal display (LCD) and forms an electronic circuit on it.
실리콘 칩 표면을 크리스털로 도장하고, 영상 이미지를 형성하는 전자회로의 반사 표면을 알루미늄으로 만들었다. 이 기술을 이용하면 소형 화면부터 대형 화면까지 구현이 가능하기 때문에 그 응용 범위도 매우 다양해질 수 있다.The surface of the silicon chip was painted with crystal, and the reflective surface of the electronic circuit that forms the video image was made of aluminum. Since this technology can be implemented from small screens to large screens, the range of applications can be very diverse.
외부에서 들어간 빛은 거울을 통해 반사되면서 사용자에게 화면을 제공한다. 이때 하부 유리 대신 실리콘 웨이퍼를 사용함으로써 기판 위에 드라이브 IC(Drive IC), 제어기(Controller) 등 회로의 집적화가 가능해 LCD 셀의 소형화·저가격화를 실현할 수 있게 된다.Light entering from outside is reflected through the mirror and provides a screen to the user. At this time, by using a silicon wafer instead of the lower glass, it is possible to integrate circuits such as a drive IC and controller on the substrate, making it possible to miniaturize and lower the price of the LCD cell.
광학모듈(155)은 초소형의 디스플레이(150)에서 만들어진 영상을 사용자의 눈에 제공하는 장치로서, 빛의 각도를 조정하기 위한 미러나 빔스플리터를 포함하거나 영상을 확대 축소하는 렌즈를 포함할 수 있다. The optical module 155 is a device that provides images created on the ultra-small display 150 to the user's eyes. It may include a mirror or beam splitter to adjust the angle of light, or a lens to enlarge or reduce the image. .
스피커(160)는 사용자에게 음향을 제공하는 장치로서 사용자의 귀에 삽입하는 이어버드를 포함할 수도 있으나, 글래스(100)의 다리부(102)가 사용자의 머리에 밀착되므로 밀착된 부분에 골전도 스피커(160)를 장착하여 사용자에게 음향을 제공할 수 있다. The speaker 160 is a device that provides sound to the user and may include an earbud inserted into the user's ear. However, since the leg portion 102 of the glass 100 is in close contact with the user's head, a bone conduction speaker is installed at the portion in close contact. By mounting (160), sound can be provided to the user.
제어부(180)는 전술한 각 부품을 제어하여 스마트 글래스(100)에 AR컨텐츠를 제공할 수 있다. 제어부(180)는 센싱부(130)에서 감지한 주변The control unit 180 can control each of the above-described components to provide AR content to the smart glasses 100. The control unit 180 detects the surroundings in the sensing unit 130.
전원공급부(190)는 각 부품의 구동을 위해 전원을 공급하는 장치로서 스마트 글래스(100)에 배터리를 구비하여 무선으로 구동하 수도 있고, 배터리를 생략하고 유선으로 외부 단말기(300)나 보조 배터리를 통해 전원을 공급받을 수 있다. The power supply unit 190 is a device that supplies power to drive each component. It can be equipped with a battery in the smart glasses 100 and run wirelessly, or it can omit the battery and use an external terminal 300 or an auxiliary battery by wire. Power can be supplied through.
전자의 경우 선이 없어 사용성이 좋고, 후자의 경우 가벼운 장점이 있다. 데이터를 유선으로 받는 경우 후자의 방식을 선택하여 유선으로 전원을 공급받고, 데이터를 무선으로 전송받는 경우 자체 전원공급부(190)를 구비하는 편이 유리하다. The former has the advantage of being easy to use because there are no wires, while the latter has the advantage of being lightweight. When receiving data by wire, it is advantageous to select the latter method and receive power by wire, and when receiving data wirelessly, it is advantageous to have its own power supply unit 190.
도 2를 참조하면 본 발명의 스마트 글래스(100)는 안경 타입의 전자기기로, 얼굴에 거치하기 위한 프레임(101, 102)을 포함하며, 사용자의 얼굴 전면에 투명한 전면렌즈(105)를 통해 전면을 보면서 동시에 디스플레이(150)에서 출력되는 영상을 볼 수 있다. Referring to FIG. 2, the smart glasses 100 of the present invention are a glasses-type electronic device, include frames 101 and 102 for mounting on the face, and are displayed on the front of the user's face through a transparent front lens 105. You can watch the image output from the display 150 at the same time.
프레임(101, 102)에 스피커(160), 마이크, 제어부(180), 센싱부(130) 등이 구비될 수 있으며 카메라(140)는 양측의 전면렌즈(105) 사이에 위치할 수 있다. 프레임(101, 102)은 전면렌즈(105)가 위치하는 전면부(101)와 귀에 걸리는 다리부(102)를 포함할 수 있으며 다리부(102) 에 외부 단말기(300)와 연결되는 케이블(111)이 위치할 수 있다. The frames 101 and 102 may be equipped with a speaker 160, a microphone, a control unit 180, a sensing unit 130, etc., and a camera 140 may be located between the front lenses 105 on both sides. The frames 101 and 102 may include a front part 101 where the front lens 105 is located and a leg part 102 that hangs over the ear, and a cable 111 connected to the external terminal 300 is attached to the leg part 102. ) can be located.
도 3은 본 발명의 일 실시예에 따른 글래스(100)에서 보이는 가상현실 화면을 도시한 도면이다. (a)와 같이 사용자의 전면이 글래스(100)를 통해 보이면서 그 위에 중첩되어 화면이 출력된다. 화면의 투명도를 조절하여 화면을 통과하여 사용자의 전면이 보이도록 설정할 수도 있고, 화면의 크기를 조절할 수 있다. (b)와 같이 복수개의 화면을 띄워 멀티테스킹도 가능하다. FIG. 3 is a diagram illustrating a virtual reality screen visible on the glass 100 according to an embodiment of the present invention. As shown in (a), the user's front is visible through the glass 100 and a screen is displayed overlapping it. You can adjust the transparency of the screen so that the user's front side is visible through the screen, and you can adjust the size of the screen. Multitasking is also possible by opening multiple screens, as shown in (b).
전면이 보이는 상태에서 화면을 감상한다는 점에서 VR장치와 차이가 있으며, 사용자의 눈동자의 움직임을 감지하여 화면이 이동하거나 다른 화면을 출력할 수도 있다. It differs from VR devices in that the screen is viewed while the front is visible, and the screen can move or display a different screen by detecting the movement of the user's eyes.
도 4는 본 발명의 일 실시예에 따른 글래스(100)의 디스플레이(150)와 광학모듈(155)의 원리를 설명하기 위한 도면이다. 도 4에 도시된 바와 같이 1인치 이하의 마이크로 디스플레이(150)에서 출력되는 영상은 크기가 작아 광학모듈(155)을 통해 이를 확대한다. FIG. 4 is a diagram for explaining the principles of the display 150 and the optical module 155 of the glass 100 according to an embodiment of the present invention. As shown in FIG. 4, the image output from the micro display 150 of 1 inch or less is small in size and is enlarged through the optical module 155.
광원(151)에서 사출된 빛을 플라이 아이 렌즈(1551)를 통해 편광빔스플리터(1552, PBS: Polarizing Beam Spliter)로 제공한다. 편광빔스플리터(1552)는 광원의 P파 성분은 투과하고 S파 성분은 반사시키는 광학장치로 광원에서 제공된 빛은 통과시켜 실리콘액정표시장치(Liquid Crystal on Silicon)로 제공한다. The light emitted from the light source 151 is provided to a polarizing beam splitter (1552, PBS) through the fly eye lens 1551. The polarizing beam splitter (1552) is an optical device that transmits the P-wave component of the light source and reflects the S-wave component. The light provided from the light source passes through and is provided to a liquid crystal display (Liquid Crystal on Silicon).
실리콘액정표시장치(150)는 광원을 반사시켜 영상을 합성하는 디스플레이(150) 장치로서, 실리콘액정표시장치(150)에서 반사된 빛은 영상정보가 합성되어 편광빔스플리터(1552)로 다시 공급된다. The silicon liquid crystal display 150 is a display 150 device that synthesizes an image by reflecting a light source. The light reflected from the silicon liquid crystal display 150 is synthesized into image information and supplied back to the polarizing beam splitter 1552. .
실리콘액정표시장치(150)에서 반사된 빛은 파형이 바뀌어서 편광빔스플리터(1552)에서 반사된다. 영상정보를 포함하는 빛은 렌즈계(1554)를 통해 반사 확대 되면서 사용자의 눈으로 공급되어 사용자는 전면 글래스(100)에 중첩된 영상을 볼 수 있다. The waveform of the light reflected from the silicon liquid crystal display device 150 changes and is reflected from the polarizing beam splitter 1552. Light containing image information is reflected and expanded through the lens system 1554 and supplied to the user's eyes, allowing the user to view the image superimposed on the front glass 100.
이처럼 광원(151)에서 사출된 빛을 실리콘액정표시장치(150)에서 합성하고, 광학모듈(155)(1551, 1552, 1553, 1554)을 통해 확대하여 사용자에게 전달해줌으로써, TV와 유사한 크기의 수십 인치 대형화면으로 AR컨텐츠를 감상할 수 있다. In this way, the light emitted from the light source 151 is synthesized in the silicon liquid crystal display device 150, expanded through the optical module 155 (1551, 1552, 1553, and 1554), and delivered to the user, thereby creating dozens of TVs of similar size. You can enjoy AR content on a large inch screen.
이때 스마트 글래스(100)의 디스플레이(150) 화면을 광학모듈(155)을 이용하여 확대할 경우 광학모듈(155)과 스마트 글래스(100)의 물리적인 한계로 시야각이 특정 값 이상 커질 수 없는데 이는 스마트 글래스(100)의 품질 팩터 중 하나가 된다. At this time, when the display 150 screen of the smart glasses 100 is enlarged using the optical module 155, the viewing angle cannot be increased beyond a certain value due to the physical limitations of the optical module 155 and the smart glasses 100. It becomes one of the quality factors of the glass 100.
본 발명 이전 스마트 글래스(100) 시야각 측정하는 종래방법에서는 시야각 측정을 위한 설비의 중심에 스마트 글래스(100)를 고정하고, 스마트 글래스(100)의 증강현실 컨텐츠를 실행한다. In a conventional method of measuring the viewing angle of smart glasses 100 before the present invention, smart glasses 100 are fixed at the center of a facility for measuring viewing angle, and augmented reality content of the smart glasses 100 is executed.
고정된 스마트 글래스(100)로부터 1m 내지는 2m 거리의 한 가지 해상도로 구성된 10도 간격의 시야각 벽 내지는 철판을 사용자가 바라보며 스마트 글래스(100)의 시야각을 추정하는 방법으로 스마트 글래스(100)의 시야각을 측정하였다.The viewing angle of the smart glasses 100 is determined by estimating the viewing angle of the smart glasses 100 while the user looks at a viewing angle wall or steel plate at 10-degree intervals with one resolution at a distance of 1 m or 2 m from the fixed smart glasses 100. Measured.
이러한 측정 방법의 경우 다양한 해상도를 가진 스마트 글래스(100)의 시야각을 측정하기 정확하게 측정하기 어려우며, 사용자의 추정에 따라 시야각의 측정 수치가 달라질 수 있다. In the case of this measurement method, it is difficult to accurately measure the viewing angle of smart glasses 100 with various resolutions, and the measurement value of the viewing angle may vary depending on the user's estimation.
또한 수직 시야각, 수평 시야각, 대각 시야각 모두를 측정하기 어려우며, 스마트 글래스(100)의 컨텐츠 위치에 따라 시야각의 수치가 달라 질 수 있다.In addition, it is difficult to measure the vertical viewing angle, horizontal viewing angle, and diagonal viewing angle, and the viewing angle value may vary depending on the content location of the smart glasses 100.
도 5는 본 발명의 일 실시예에 따른 스마트 글래스(100)의 시야각 측정방법을 설명하는 순서도이고, 도 6은 본 발명의 일 실시예에 따른 시야각 측정 소프트웨어의 개념을 설명하기 위한 도면이다. FIG. 5 is a flowchart explaining a method of measuring the viewing angle of smart glasses 100 according to an embodiment of the present invention, and FIG. 6 is a diagram explaining the concept of viewing angle measurement software according to an embodiment of the present invention.
본 실시예의 스마트 글래스(100)의 시야각을 측정하는 방법은 증강현실 컨텐츠 기반 앱을 통해 스마트 글래스(100)의 해상도에 맞게 컨텐츠의 크기를 조절하고, 증강현실 컨텐츠가 온전하게 보일 수 있도록 컨트롤러(300)로 조절하여 스마트 글래스(100)의 실 사용화면을 기준으로 수직 시야각, 수평 시야각, 대각 시야각의 수치를 확인 할 수 있도록 증강현실 컨텐츠 내에 표기하여 알려주도록 해준다.The method of measuring the viewing angle of the smart glasses 100 of this embodiment is to adjust the size of the content to match the resolution of the smart glasses 100 through an augmented reality content-based app, and use a controller 300 so that the augmented reality content can be viewed intact. ) so that you can check the values of the vertical viewing angle, horizontal viewing angle, and diagonal viewing angle based on the actual screen of the smart glasses 100 by displaying them in the augmented reality content.
우선 스마트 글래스(100)에 장착되어 있는 실제 디스플레이(150)의 가로, 세로, 대각선의 실제 크기와 해상도 값을 확인한다(S110). 이는 스마트 글래스(100) 제조 시 사용 된 디스플레이(150)의 데이터 시트를 통해 확인 할 수 있다.First, check the actual horizontal, vertical, and diagonal size and resolution values of the actual display 150 mounted on the smart glasses 100 (S110). This can be confirmed through the data sheet of the display 150 used in manufacturing the smart glasses 100.
다음으로 스마트 글래스(100) 구동 후 스마트 글래스(100)의 광학 장치 (편광빔스플리터, 렌즈계 등)으로 확대되어 표시되는 가상 AR화면(210)을 확인한다(S120). Next, after driving the smart glasses 100, check the virtual AR screen 210 that is enlarged and displayed by the optical device (polarizing beam splitter, lens system, etc.) of the smart glasses 100 (S120).
다음으로 3D 모델링 어플리케이션을 구동하여 가상 AR화면(210)을 출력한다(S130). 시야각 어플리케이션은 시야각 측정을 위한 어플로 특정 거리(예를 들면, 3m)에 가상 AR화면(210)을 출력하여 사용자에게 보여준다. Next, the 3D modeling application is run to output the virtual AR screen 210 (S130). The viewing angle application is an application for measuring the viewing angle and displays a virtual AR screen 210 at a specific distance (for example, 3m) to the user.
3D 모델링 어플리케이션은 유니티3D 소프트웨어와 같이 3D 구현 플랫폼을 통해 구현될 수 있다. 즉 사용자가 위치하는 공간을 인식하고 이를 3D로 구현하여 3D로 구현된 공간 내에서 좌표값을 추출하고 이를 기반으로 AR화면(210)의 시야각을 측정할 수 잇다. 3D modeling applications can be implemented through a 3D implementation platform such as Unity3D software. In other words, it is possible to recognize the space in which the user is located, implement it in 3D, extract coordinate values within the space implemented in 3D, and measure the viewing angle of the AR screen 210 based on this.
다음으로, 도 6에 도시된 바와 같이 가상 AR화면(210)의 중심점, 각 꼭지점 값, 가상화면과 스마트 글래스(100)와의 거리값을 스마트 글래스(100) 컨트롤러(300)를 이용하여 표시하고, 측정한다(S140). Next, as shown in FIG. 6, the center point of the virtual AR screen 210, each vertex value, and the distance value between the virtual screen and the smart glasses 100 are displayed using the smart glasses 100 controller 300, Measure (S140).
스마트 글래스(100)의 컨트롤러(300)를 이용하여 컴퓨터의 마우스와 같은 커서를 제공하고, 이 커서를 이용하여 사용자가 시야각 측정을 위한 영상의 꼭지점을 지정 할 수 있다.The controller 300 of the smart glasses 100 provides a cursor like a computer mouse, and using this cursor, the user can designate the vertex of the image for measuring the viewing angle.
스마트 글래스(100)를 제어하는 컨트롤러(300)는 유선으로 연결한 단말기(300) 또는, 무선으로 스마트 글래스(100)와 연결되어 구동되는 리모컨이 될 수도 있다. The controller 300 that controls the smart glasses 100 may be a terminal 300 connected by wire or a remote control connected to the smart glasses 100 and driven wirelessly.
스마트 글래스(100) 내에는 사용자에게 3D 효과를 제공하기 위해 가속도센서, 지자기센서, 관성센서 등의 센서들이 장착 되어 있고, 주변 공간 인지를 위한 스테레오 카메라(140)도 장착되어 있어, 센서와 카메라(140)를 이용하여 현재 공간에서의 사용자의 위치정보를 확인할 수 있다. The smart glasses 100 are equipped with sensors such as acceleration sensors, geomagnetic sensors, and inertial sensors to provide a 3D effect to the user, and are also equipped with a stereo camera 140 to recognize the surrounding space, so the sensors and cameras ( 140), you can check the user's location information in the current space.
이러한 센서를 통해 수집한 공간 및 사용자의 위치정보를 이용하여 거리감을 가질 수 있도록 AR화면(210)을 출력할 수 있다. 3D 모델링 어플리케이션은 AR 화면(210)를 영점을 기준으로 특정 위치에 원하는 객체를 렌더링 할 수 있어, 스마트 글래스(100)의 센서들과 카메라(140)로부터 확인 되는 글래스(100)의 위치 정보를 영점으로 AR 화면(210)를 특정 거리에 렌더링하여 제공이 가능하다.The AR screen 210 can be output to provide a sense of distance using space and user location information collected through these sensors. The 3D modeling application can render a desired object at a specific location based on the zero point of the AR screen 210, so that the location information of the glasses 100 confirmed from the sensors and camera 140 of the smart glasses 100 is zero point. It is possible to provide the AR screen 210 by rendering it at a specific distance.
제어부는 이러한 센싱부(130)의 데이터를 받아 3D 모델링 어플리케이션에 입력하여 사용자의 위치, AR화면(210)의 위치를 확인하고 좌표값을 추출할 수 있다. 즉, 인식된 공간 안에서의 사용자 위치, AR화면(210)의 위치는 좌표값을 가질 수 있다.The control unit can receive data from the sensing unit 130 and input it into a 3D modeling application to check the user's location and the location of the AR screen 210 and extract coordinate values. That is, the user's location within the recognized space and the location of the AR screen 210 may have coordinate values.
AR 화면(210)의 위치 정보는 사용자가 스마트 글래스(100)의 컨트롤러(300)를 이용하여 컨텐츠 가로측 꼭지점과 컨텐츠 중앙 점을 선택하도록 유도하며 스마트 글래스(100)와 연결된 컨트롤러(300)의 가상 포인터(230)로 클릭하여 해당 점을 선택하면 해당 좌표 값을 화면에 표시하여 사용자로 하여금 정보를 쉽게 확인 할 수 있도록 제공한다. The location information of the AR screen 210 guides the user to select the horizontal vertex of the content and the center point of the content using the controller 300 of the smart glasses 100, and the virtual device of the controller 300 connected to the smart glasses 100 When a point is selected by clicking with the pointer 230, the corresponding coordinate value is displayed on the screen so that the user can easily check the information.
사용자는 AR 화면(210)의 위치와 크기를 변경 할 수 있으며, 이때 바뀐 화면을 재 측정 하여 현재 사용자에게 제공되고 있는 컨텐츠 별 시야각도 측정이 가능하다(S150).The user can change the position and size of the AR screen 210, and at this time, the changed screen can be re-measured to measure the viewing angle for each content currently being provided to the user (S150).
스마트 글래스(100)에 장착되어 있는 디스플레이(150)의 크기와 AR화면(210)의 크기의 비율을 이용하여 화면에 표시된 각 화소 별 거리를 계산할 수 있으며, 도7 내지 도 9에 도시된 시야각 측정 방법을 이용하여 1°당 가상 AR화면(210)에 표기되는 화소의 수를 계산 할 수 있다. 각 꼭지점의 값들과 화면의 크기, 계산된 시야각, 각도별 화소의 수(PPD; Pixel per Degree)를 계산하여 제공할 수 있다(S160).The distance for each pixel displayed on the screen can be calculated using the ratio of the size of the display 150 mounted on the smart glasses 100 and the size of the AR screen 210, and the viewing angle shown in Figures 7 to 9 is measured. Using the method, the number of pixels displayed on the virtual AR screen 210 per 1° can be calculated. The values of each vertex, screen size, calculated viewing angle, and number of pixels per angle (PPD; Pixel per Degree) can be calculated and provided (S160).
도 7 내지 도 9는 본 발명의 일 실시예에 따른 시야각 측정 방법을 설명하기 위한 도면이다. S140단계에서 얻은 AR화면(210)의 꼭지점 및 중심점의 좌표 및 스마트 글래스(100)의 좌표를 기초로 AR화면(210)의 가로세로 크기 및 사용자(스마트 글래스(100))와의 거리를 얻을 수 있으며, 이를 기초로 시야각(FoV: Field of View)도 측정할 수 있다. 7 to 9 are diagrams for explaining a viewing angle measurement method according to an embodiment of the present invention. Based on the coordinates of the vertex and center point of the AR screen 210 and the coordinates of the smart glasses 100 obtained in step S140, the horizontal and vertical sizes of the AR screen 210 and the distance to the user (smart glasses 100) can be obtained. , Based on this, the field of view (FoV) can also be measured.
도 7은 수평 시야각을 측정하는 방법을 도시한 도면으로 AR화면(210)과의 거리 AR화면(210)의 가로크기의 절반 크기를 이용하여 절반의 수평시야각을 획득할 수 있다. Figure 7 is a diagram showing a method of measuring the horizontal viewing angle. Half of the horizontal viewing angle can be obtained by using half the horizontal size of the AR screen 210, which is the distance from the AR screen 210.
스마트 글라스와 AR화면(210)과의 거리(D), AR화면(210)의 가로의 절반 크기(w/2)를 이용하여 절반의 수평시야각(θh = tan-1{(|x2-x1|/2)/|y1-y0|})을 취득하고 이를 이용하여 수평 시야각(2θh)을 계산 한다.Using the distance (D) between the smart glass and the AR screen 210 and the half width size (w/2) of the AR screen 210, half the horizontal viewing angle (θ h = tan -1 {(|x 2 - Obtain x 1 |/2)/|y 1 -y 0 |}) and use this to calculate the horizontal viewing angle (2θ h ).
도 8은 수직 시야각을 측정하는 방법을 도시한 도면으로 수평 시야각 측정 방법과 유사하게 AR화면(210)의 세로 크기(h)를 3D 모델 어플리케이션을 이용하여 취득하고, 이를 이용하여 수평 시야각을 계산한다. 사용자가 컨트롤러(300)를 이용하여 선택한 상측과 하측의 꼭지점과 컨텐츠 중앙점을 이용하여 산출할 수 있다. Figure 8 is a diagram showing a method of measuring the vertical viewing angle. Similar to the method of measuring the horizontal viewing angle, the vertical size (h) of the AR screen 210 is acquired using a 3D model application, and the horizontal viewing angle is calculated using this. . It can be calculated using the upper and lower vertices and the content center point selected by the user using the controller 300.
측정 식은 스마트 글라스와 AR화면(210)과의 거리(D), AR화면(210)의 세로의 절반 크기(h/2)를 이용하여 절반의 수직 시야각(θv = tan-1{(|y2-y1|/2)/|z1-z0|})을 취득하고, 이를 이용하여 수직 시야각을 계산할 수 있다. The measurement equation is the distance between the smart glass and the AR screen 210 (D) and the half vertical viewing angle of the AR screen 210 (h/2) (θ v = tan -1 {(|y 2 -y 1 |/2)/|z 1 -z 0 |}) can be obtained and the vertical viewing angle can be calculated using this.
도 9는 대각 시야각을 측정하는 방법을 도시한 도면으로, 수평, 수직 시야각 측정 방법과 유사하게 AR 화면(210)의 대각 크기를 3D 컨텐츠 모델 SW를 이용하여 취득하고, 이를 이용하여 대각 시야각을 계산한다. Figure 9 is a diagram showing a method of measuring the diagonal viewing angle. Similar to the horizontal and vertical viewing angle measurement method, the diagonal size of the AR screen 210 is acquired using the 3D content model SW, and the diagonal viewing angle is calculated using this. do.
측정 식은 스마트 글래스(100)와 AR 화면(210)와의 거리(D), AR 화면(210)의 대각의 절반 크기(d/2)를 이용하여 절반의 대각 시야각(θd = tan-1[{(|y2-y1|2+|x2-x1|2 )0.5/2}/|z1-z0|])을 취득하고, 이를 이용하여 대각 시야각(2θd)을 계산할 수 있다. The measurement equation is the distance (D) between the smart glasses 100 and the AR screen 210, and the half diagonal viewing angle (θ d = tan -1 [{ (|y 2 -y 1 | 2 +|x 2 -x 1 | 2 ) 0.5 /2}/|z 1 -z 0 |]) can be obtained, and the diagonal viewing angle (2θ d ) can be calculated using this. .
디스플레이(150)의 픽셀정보와 상기에서 산출한 시야각을 기초로 각도당 픽셀을 산출할 수 있다. The pixel per angle can be calculated based on the pixel information of the display 150 and the viewing angle calculated above.
본 발명의 일 실시예에 따르면, 다양한 해상도, 광학장치를 포함한 스마트 글래스(100)의 시야각을 증강현실 컨텐츠를 이용하여 수직 시야각, 수평 시야각, 대각 시야각을 정확하게 측정 할 수 있다. According to one embodiment of the present invention, the vertical viewing angle, horizontal viewing angle, and diagonal viewing angle of smart glasses 100 including various resolutions and optical devices can be accurately measured using augmented reality content.
또한, 부피가 크고 구축 가격이 비싸며 이동하기 힘든 시야각 측정 설비를 이용하지 않고 장소에 구애 받지 않으며 스마트 글래스(100)의 시야각을 측정 할 수 있도록 도와줄 수 있다.In addition, it can help measure the viewing angle of the smart glasses 100 regardless of location without using viewing angle measurement equipment that is bulky, expensive to build, and difficult to move.
또한, 스마트 글래스(100)의 시야각에 대한 정보를 취득한 후에 스마트 글라스의 해상도에 맞게 컨텐츠의 크기를 조절하여 사용자에게 최적의 화질의 영상을 제공할 수 있다. In addition, after obtaining information about the viewing angle of the smart glasses 100, the size of the content can be adjusted to match the resolution of the smart glasses to provide the user with an image of optimal quality.
AR화면(210)은 실제 스크린에 출력되는 화면이 아니기 때문에 위와 같은 방식으로 시야각에 대한 정보를 얻으면 실제 원본 영상과 AR화면(210) 간의 시야각을 비교하여 정확한 영상을 출력할 수 있다. Since the AR screen 210 is not a screen displayed on the actual screen, if information about the viewing angle is obtained in the above manner, the viewing angle between the actual original image and the AR screen 210 can be compared to output an accurate image.
또한, 사용자가 인식한 공간 안에서 사용자가 AR화면(210)의 크기를 키우거나 줄일 때 사용자가 보는 위치상 정확한 비율로 AR화면(210)을 조정할 수 있다. Additionally, when the user increases or decreases the size of the AR screen 210 within the space recognized by the user, the AR screen 210 can be adjusted to an accurate ratio based on the user's viewing position.
사용자가 변화를 준 AR화면(210)의 형태에 따라 재측정 하여 사용자에게 현재 변경된 화면에 시야각을 추가로 제공하여 줄 수 있다. 이때 초기에 꼭지점 지정 등의 값을 이용하여 가상 AR화면(210)의 이동, 크기의 변경 시 바뀌는 센서데이터를 이용하여 측정에 도움을 줄 수 있다.By re-measuring according to the shape of the AR screen 210 changed by the user, an additional viewing angle can be provided to the user on the currently changed screen. At this time, sensor data that changes when the virtual AR screen 210 moves or changes size can be used to help with measurement by initially using values such as vertex designation.
이상 본 발명의 실시예에 따른 글래스(100) 및 시야각 측정방법을 구체적인 실시 형태로서 설명하였으나, 이는 예시에 불과한 것으로서 본 발명은 이에 한정되지 않는 것이며, 본 명세서에 개시된 기초 사상에 따르는 최광의 범위를 갖는 것으로 해석되어야 한다. 당업자는 개시된 실시 형태들을 조합, 치환하여 적시되지 않은 실시 형태를 실시할 수 있으나, 이 역시 본 발명의 권리범위를 벗어나지 않는 것이다. 이외에도 당업자는 본 명세서에 기초하여 개시된 실시형태를 용이하게 변경 또는 변형할 수 있으며, 이러한 변경 또는 변형도 본 발명의 권리범위에 속함은 명백하다.Although the glass 100 and the viewing angle measuring method according to the embodiment of the present invention have been described above as specific embodiments, this is only an example and the present invention is not limited thereto, and has the widest scope according to the basic idea disclosed in the present specification. It should be interpreted as having. A person skilled in the art may combine and substitute the disclosed embodiments to implement embodiments not specified, but this also does not deviate from the scope of the present invention. In addition, a person skilled in the art can easily change or modify the embodiments disclosed based on the present specification, and it is clear that such changes or modifications also fall within the scope of the present invention.
100: 스마트 글래스
101: 프레임
105: 전면렌즈
103: 코받침
110: 통신부
111: 케이블
120: 마이크로폰
130: 센싱부
140: 카메라
150: 디스플레이
155: 광학모듈
160: 스피커
180: 제어부
190: 전원공급부
210: AR화면
230: 포인터100: smart glasses
101: frame
105: Front lens
103: Nose pad
110: Department of Communications
111: cable
120: microphone
130: Sensing unit
140: camera
150: display
155: Optical module
160: speaker
180: control unit
190: Power supply unit
210: AR screen
230: pointer
Claims (10)
상기 스마트 글래스에 탑재된 스테레오 카메라를 통해 인지한 공간 내에서의 스마트 글래스의 위치를 얻어 상기 스마트 글래스의 좌표를 영점으로 설정하는 단계;
상기 스마트 글래스의 광학장치로 상기 스마트 글래스로부터 특정거리에 확대된 AR화면을 제공하는 단계;
3D 모델링 어플리케이션 구동하여 상기 AR화면의 꼭지점 및 중심점의 좌표를 산출하는 단계;
상기 AR화면이 출력되는 특정거리, 상기 AR화면의 꼭지점의 좌표 및 중심점의 좌표를 기초로 시야각을 측정하는 단계; 및
원본 영상과 상기 AR화면의 시야각을 비교하여 정확한 해상도의 영상을 출력하는 단계를 포함하는,
스마트 글래스 제어방법.Checking the display size and resolution mounted on smart glasses;
Obtaining the position of the smart glasses in a space recognized through a stereo camera mounted on the smart glasses and setting the coordinates of the smart glasses to zero;
Providing an enlarged AR screen at a specific distance from the smart glasses using the optical device of the smart glasses;
Running a 3D modeling application to calculate the coordinates of the vertex and center point of the AR screen;
Measuring a viewing angle based on a specific distance at which the AR screen is displayed, coordinates of a vertex and a center point of the AR screen; and
Comprising the step of comparing the viewing angle of the original image and the AR screen and outputting an image with accurate resolution,
Smart glass control method.
상기 디스플레이의 해상도 및 상기 시야각을 기초로 각도당 픽셀을 계산하는 단계를 더 포함하는 것을 특징으로 하는,
스마트 글래스 제어방법.According to claim 1,
Characterized in that it further comprises calculating pixels per angle based on the resolution of the display and the viewing angle,
Smart glass control method.
상기 프레임의 전면에 위치하는 한 쌍의 전면렌즈;
상기 프레임에 실장되는 디스플레이부;
주변공간을 인식하는 스테레오 카메라;
상기 디스플레이부에서 출력된 영상을 확대하여 AR화면을 제공하는 광학모듈; 및
상기 디스플레이부 및 상기 광학모듈을 제어하여 출력되는 AR화면을 제어하는 제어부를 포함하고,
상기 제어부는,
상기 스테레오 카메라를 통해 인지한 공간 내에서의 스마트 글래스의 위치를 얻고,
3D 모델링 어플리케이션 구동하여 상기 스마트 글래스의 위치를 기준점으로 특정거리에 상기 AR화면을 출력하며,
상기 AR화면의 꼭지점 및 중심점의 좌표를 산출하여,
상기 AR화면이 출력되는 특정거리, 상기 AR화면의 꼭지점의 좌표 및 중심점의 좌표를 기초로 시야각을 측정하며,
원본 영상과 상기 AR화면의 시야각을 비교하여 정확한 해상도의 영상을 출력하는 것을 특징으로 하는,
스마트 글래스.A frame mounted on the user's head;
A pair of front lenses located on the front of the frame;
A display unit mounted on the frame;
Stereo camera that recognizes the surrounding space;
An optical module that provides an AR screen by enlarging the image output from the display unit; and
It includes a control unit that controls the display unit and the optical module to control the output AR screen,
The control unit,
Obtain the location of the smart glasses in the space recognized through the stereo camera,
Running a 3D modeling application, the AR screen is displayed at a specific distance using the location of the smart glasses as a reference point,
Calculate the coordinates of the vertex and center point of the AR screen,
Measure the viewing angle based on the specific distance at which the AR screen is displayed, the coordinates of the vertex and the center point of the AR screen,
Characterized by comparing the viewing angle of the original image and the AR screen to output an image with accurate resolution,
Smart glasses.
상기 제어부는
상기 디스플레이의 해상도 및 상기 시야각을 기초로 각도당 픽셀을 계산하는 것을 특징으로 하는,
스마트 글래스.According to claim 7,
The control unit
Characterized in calculating pixels per angle based on the resolution of the display and the viewing angle,
Smart glasses.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210133379A KR102655191B1 (en) | 2021-10-07 | 2021-10-07 | Smart glass and controlling method tereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210133379A KR102655191B1 (en) | 2021-10-07 | 2021-10-07 | Smart glass and controlling method tereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230050094A KR20230050094A (en) | 2023-04-14 |
KR102655191B1 true KR102655191B1 (en) | 2024-04-05 |
Family
ID=85946573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210133379A KR102655191B1 (en) | 2021-10-07 | 2021-10-07 | Smart glass and controlling method tereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102655191B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004117796A (en) | 2002-09-26 | 2004-04-15 | Fuji Photo Film Co Ltd | Method and apparatus for calculating visual field angle of liquid crystal display unit |
CN108519824B (en) | 2018-04-13 | 2021-02-05 | 京东方科技集团股份有限公司 | Virtual reality display device, equipment and sight angle calculation method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9304319B2 (en) * | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
-
2021
- 2021-10-07 KR KR1020210133379A patent/KR102655191B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004117796A (en) | 2002-09-26 | 2004-04-15 | Fuji Photo Film Co Ltd | Method and apparatus for calculating visual field angle of liquid crystal display unit |
CN108519824B (en) | 2018-04-13 | 2021-02-05 | 京东方科技集团股份有限公司 | Virtual reality display device, equipment and sight angle calculation method |
Also Published As
Publication number | Publication date |
---|---|
KR20230050094A (en) | 2023-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11087728B1 (en) | Computer vision and mapping for audio applications | |
US9401050B2 (en) | Recalibration of a flexible mixed reality device | |
US11284058B2 (en) | Utilizing dual cameras for continuous camera capture | |
KR102653796B1 (en) | Generation of shockwaves in 3D depth videos and images | |
US20220103757A1 (en) | Multi-purpose cameras for simultaneous capture and cv on wearable ar devices | |
US11917120B2 (en) | Eyewear with strain gauge estimation | |
CN115735178A (en) | Augmented reality eyewear with speech bubble and translation | |
US11741679B2 (en) | Augmented reality environment enhancement | |
CN114531951A (en) | Automatic video capture and compositing system | |
US20230359038A1 (en) | Eyewear having unsynchronized rolling shutter cameras | |
KR20230029923A (en) | Visual inertial tracking using rolling shutter cameras | |
US11619819B2 (en) | Eyewear display for generating an immersive image | |
CN115735179A (en) | Augmented reality eye-wear and emotion sharing | |
KR102655191B1 (en) | Smart glass and controlling method tereof | |
US11792371B2 (en) | Projector with field lens | |
US20230168522A1 (en) | Eyewear with direction of sound arrival detection | |
US20230319476A1 (en) | Eyewear with audio source separation using pose trackers | |
US12010825B2 (en) | Eyewear with RF shielding having grounding springs | |
US11394954B1 (en) | Portable 3D projector with sharing to multiple viewers | |
US20240085166A1 (en) | Eyewear with strain gauge wear detection | |
US20230367137A1 (en) | Eyewear with a shape memory alloy actuator | |
US20240244285A1 (en) | Ar glasses as iot device for enhanced screen experience |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |