KR20240047186A - Augmented reality apparatus and operating method thereof - Google Patents

Augmented reality apparatus and operating method thereof Download PDF

Info

Publication number
KR20240047186A
KR20240047186A KR1020220126513A KR20220126513A KR20240047186A KR 20240047186 A KR20240047186 A KR 20240047186A KR 1020220126513 A KR1020220126513 A KR 1020220126513A KR 20220126513 A KR20220126513 A KR 20220126513A KR 20240047186 A KR20240047186 A KR 20240047186A
Authority
KR
South Korea
Prior art keywords
augmented reality
reality device
virtual tag
distance
moving toward
Prior art date
Application number
KR1020220126513A
Other languages
Korean (ko)
Inventor
파이잘 칸
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020220126513A priority Critical patent/KR20240047186A/en
Priority to PCT/KR2023/012432 priority patent/WO2024075974A1/en
Publication of KR20240047186A publication Critical patent/KR20240047186A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/70—Radar-tracking systems; Analogous systems for range tracking only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

일 실시예에서, 증강현실(augmented reality, AR) 장치는 센서, 제1 카메라, 제2 카메라, UWB(ultra-wide band) 레이더, 적어도 하나의 인스트럭션(instruction)이 저장된 메모리 및 적어도 하나의 프로세서를 포함할 수 있고, 상기 적어도 하나의 프로세서는 상기 적어도 하나의 인스트럭션을 실행하여, 상기 센서를 이용하여 상기 증강현실 장치의 이동을 감지하고, 상기 제1 카메라를 이용하여 현실세계의 장면 및 객체를 감지하고, 상기 제2 카메라를 이용하여 상기 증강현실 장치와 상기 객체 사이의 제1 거리를 측정하고, 상기 UWB 레이더를 이용하여 상기 증강현실 장치와 상기 객체 사이의 제2 거리를 측정하고, 그리고 상기 증강현실 장치가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화할 수 있다.In one embodiment, an augmented reality (AR) device includes a sensor, a first camera, a second camera, an ultra-wide band (UWB) radar, a memory storing at least one instruction, and at least one processor. It may include, wherein the at least one processor executes the at least one instruction, detects movement of the augmented reality device using the sensor, and detects scenes and objects in the real world using the first camera. and measure a first distance between the augmented reality device and the object using the second camera, measure a second distance between the augmented reality device and the object using the UWB radar, and measure the augmented reality device and the object using the second camera. When it is confirmed that a real device is moving toward the object, a virtual tag placed on the object may be activated.

Description

증강현실 장치 및 이의 동작 방법{AUGMENTED REALITY APPARATUS AND OPERATING METHOD THEREOF}Augmented reality device and operating method thereof {AUGMENTED REALITY APPARATUS AND OPERATING METHOD THEREOF}

본 개시는 증강현실(augmented reality, AR) 장치 및 이의 동작 방법에 관한 것이다. 더 구체적으로는, 가상태그(virtual tag)를 배치하고 활성화할 수 있는 증강현실 장치 및 이의 동작 방법에 관한 것이다.This disclosure relates to augmented reality (AR) devices and methods of operating the same. More specifically, it relates to an augmented reality device that can place and activate virtual tags and a method of operating the same.

증강현실은 현실세계(real world)의 물리적 환경 공간이나 현실 객체 상에 가상 이미지를 오버레이(overlay)하여 함께 보여주는 기술로서, 증강현실 기술을 활용한 증강현실 장치(예: AR 글래스(AR glass))는 정보 검색, 길 안내, 카메라 촬영과 같이 일상 생활에서 유용하게 사용되고 있다.Augmented reality is a technology that overlays and displays virtual images on the physical environment space or real objects of the real world. Augmented reality devices using augmented reality technology (e.g. AR glass) is useful in everyday life, such as information search, route guidance, and camera shooting.

마커리스 증강현실(marker-less AR)은, QR 코드와 같은 마커 없이, 현실세계의 객체를 인식하는 것을 전제로 특정 기능(또는 서비스)이 트리거(trigger) 된다. 예를 들어, 스냅챗(snapchap)은 사용자의 얼굴(즉, 현실세계의 객체)을 인식하면 디스플레이 내에서 사용자의 얼굴이 애니메이션화(즉, 기능) 된다.Marker-less augmented reality (marker-less AR) triggers a specific function (or service) based on the premise of recognizing objects in the real world without markers such as QR codes. For example, when Snapchat recognizes a user's face (i.e., an object in the real world), the user's face is animated (i.e., a function) within the display.

마커리스 증강현실은 대부분 VSLAM(visual simultaneous localization and mapping) 기반의 기술을 사용한다. VSLAM은 주변 환경에 대한 센서의 위치와 방향을 결정하는 동시에 해당 센서 주변의 환경을 매핑(mapping)하는 프로세스이다. 대부분의 VSLAM 시스템은 연속적인 카메라 프레임을 통해 설정점(set point)을 추적하여 3D 위치를 삼각 측량하는 동시에 이 정보를 이용하여 카메라 포즈(camera pose)를 근사하는 방식으로 작동한다. 기본적으로 이러한 시스템의 목표는 탐색을 목적으로 자신의 위치와 관련하여 주변 환경을 매핑하는 것이다.Markerless augmented reality mostly uses VSLAM (visual simultaneous localization and mapping)-based technology. VSLAM is a process that determines the location and orientation of a sensor with respect to the surrounding environment and simultaneously maps the environment around the sensor. Most VSLAM systems work by triangulating the 3D position by tracking a set point through successive camera frames, while using this information to approximate the camera pose. Basically, the goal of these systems is to map the surrounding environment in relation to one's location for navigation purposes.

증강현실을 이용하여 특정 기능(예: 스마트홈(smart home)과 같은 자동화 시스템에서, 도어를 잠그거나 잠금을 해제하는 것)을 제공하기 위해 현실세계의 객체에 UWB(ultra-wide band) 칩을 장착하는 사례가 많다. 이러한 사례들은 각 기기에 UWB 칩이 장착되어 높은 수준의 정밀도를 제공할 수 있으나 기존 기기에 UWB 칩을 물리적으로 장착해야 한다는 문제점이 있다.Augmented reality is used to attach ultra-wide band (UWB) chips to real-world objects to provide specific functions (e.g., locking or unlocking doors in automated systems such as smart homes). There are many cases of installation. These cases can provide a high level of precision by equipping each device with a UWB chip, but there is a problem in that the UWB chip must be physically installed in the existing device.

이러한 시스템은 대부분 근접 기반 솔루션(proximity based solutions)을 사용한다. 예를 들어, 대부분의 시스템은 RSSI(receiver signal strength indicator) 계산을 활용한다. 그러나 근접 기반 솔루션은 객체를 정확히 지적(pinpoint)하지 못하는 경우가 많으며 대부분의 경우 보다 직접적인 동작이 있어야 정확한 제어와 사용자 맞춤 기능을 제공할 수 있다.These systems mostly use proximity based solutions. For example, most systems utilize receiver signal strength indicator (RSSI) calculations. However, proximity-based solutions often cannot pinpoint objects, and in most cases, more direct motion is needed to provide precise control and customized functionality.

일 실시예에 따른, 증강현실(augmented reality, AR) 장치는 센서, 제1 카메라, 제2 카메라, UWB(ultra-wide band) 레이더, 적어도 하나의 인스트럭션(instruction)이 저장된 메모리, 및 상기 적어도 하나의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.According to one embodiment, an augmented reality (AR) device includes a sensor, a first camera, a second camera, an ultra-wide band (UWB) radar, a memory storing at least one instruction, and the at least one It may include at least one processor executing instructions.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 센서를 이용하여 상기 증강현실 장치의 이동을 감지할 수 있다.In one embodiment, the at least one processor may detect movement of the augmented reality device using the sensor.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 제1 카메라를 이용하여 현실세계의 장면 및 객체를 감지할 수 있다.In one embodiment, the at least one processor may detect scenes and objects in the real world using the first camera.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 제2 카메라를 이용하여 상기 증강현실 장치와 상기 객체 사이의 제1 거리를 측정할 수 있다.In one embodiment, the at least one processor may measure a first distance between the augmented reality device and the object using the second camera.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 UWB 레이더를 이용하여 상기 증강현실 장치와 상기 객체 사이의 제2 거리를 측정할 수 있다.In one embodiment, the at least one processor may measure a second distance between the augmented reality device and the object using the UWB radar.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 증강현실 장치가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화할 수 있다.In one embodiment, the at least one processor may activate a virtual tag placed on the object when it is confirmed that the augmented reality device is moving toward the object.

일 실시예에 따른, 증강현실(augmented reality, AR) 장치의 동작 방법은 상기 증강현실 장치의 이동을 감지하는 단계를 포함할 수 있다.According to one embodiment, a method of operating an augmented reality (AR) device may include detecting movement of the augmented reality device.

일 실시예에서, 상기 방법은 현실세계의 장면 및 객체를 감지하는 단계를 포함할 수 있다.In one embodiment, the method may include detecting real-world scenes and objects.

일 실시예에서, 상기 방법은 상기 증강현실 장치와 상기 객체 사이의 제1 거리를 측정하는 단계를 포함할 수 있다.In one embodiment, the method may include measuring a first distance between the augmented reality device and the object.

일 실시예에서, 상기 방법은 상기 증강현실 장치와 상기 객체 사이의 제2 거리를 측정하는 단계를 포함할 수 있다.In one embodiment, the method may include measuring a second distance between the augmented reality device and the object.

일 실시예에서, 상기 방법은 상기 증강현실 장치가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화하는 단계를 포함할 수 있다.In one embodiment, the method may include activating a virtual tag placed on the object when the augmented reality device is confirmed to be moving toward the object.

도 1은 일 실시예에 따른 증강현실 장치의 구성을 도시한다.
도 2는 일 실시예에 따른 제1 내지 제3 프로세스를 개략적으로 도시한다.
도 3은 일 실시예에서 프로세서가 제1 프로세스에 따라 증강현실 장치의 이동 벡터를 생성하는 것을 개략적으로 도시한다.
도 4는 일 실시예에서 프로세서가 증강현실 뷰에 가상 태그를 배치하고 장면 인식을 수행하는 과정을 개략적으로 도시한다.
도 5는 일 실시예에서 제2 카메라가 증강현실 장치와 객체 사이의 제1 거리를 측정하는 방법을 도시한다.
도 6은 UWB 레이더가 증강현실 장치와 객체 사이의 제2 거리를 측정하는 방법을 도시한다.
도 7은 일 실시예에서 증강현실 장치가 제1 프로세스만을 수행하여 가상 태그를 활성화시키는 방법을 개략적으로 도시한다.
도 8은 일 실시예에 따른 증강현실 장치의 동작 방법의 순서도이다.Figure 1 shows the configuration of an augmented reality device according to an embodiment.
Figure 2 schematically shows first to third processes according to one embodiment.
Figure 3 schematically shows a processor generating a movement vector of an augmented reality device according to a first process in one embodiment.
Figure 4 schematically shows a process in which a processor places a virtual tag in an augmented reality view and performs scene recognition in one embodiment.
Figure 5 illustrates a method by which a second camera measures a first distance between an augmented reality device and an object in one embodiment.
Figure 6 shows how a UWB radar measures a second distance between an augmented reality device and an object.
Figure 7 schematically shows a method in which an augmented reality device activates a virtual tag by performing only the first process in one embodiment.
Figure 8 is a flowchart of a method of operating an augmented reality device according to an embodiment.

본 개시에서, “a, b 및 c 중 적어도 하나”의 표현은 “a”, “b”, “c”, “a 및 b”, “a 및 c”, “b 및 c”, “a, b 및 c 모두”, 또는 그 변형들을 지칭할 수 있다.In the present disclosure, the expression “at least one of a, b, and c” means “a”, “b”, “c”, “a and b”, “a and c”, “b and c”, “a, may refer to “both b and c”, or variations thereof.

본 개시에서 사용되는 용어는 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 이해되어야 한다.The terminology used in the present disclosure selects general terms that are currently widely used as much as possible while considering the functions in the embodiments, but this may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, etc. In addition, in certain cases, there are terms arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the description of the relevant invention. Therefore, the terms used in this disclosure should be understood based on the meaning of the term and the overall content of the present disclosure, rather than simply the name of the term.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 실시예들의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.Terms such as first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The above terms are used only for the purpose of distinguishing one component from another. For example, a first component may be named a second component without departing from the scope of the embodiments, and similarly, the second component may also be named a first component.

어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be “connected” or “connected” to another component, it should be understood that it may be directly connected or connected to the other component, but that other components may exist in between. something to do. On the other hand, when a component is said to be “directly connected” or “directly connected” to another component, it should be understood that there are no other components in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다.Singular expressions may include plural expressions, unless the context clearly indicates otherwise. Terms used herein, including technical or scientific terms, may have the same meaning as generally understood by a person of ordinary skill in the technical field described in this specification.

본 개시에서, “포함하다” 또는 “가지다” 등의 용어는 본 개시에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this disclosure, terms such as “comprise” or “have” are intended to designate the presence of features, numbers, steps, operations, components, parts, or combinations thereof described in this disclosure, but are not intended to indicate the presence of one or more other features. It should be understood that this does not exclude in advance the possibility of the existence or addition of elements, numbers, steps, operations, components, parts, or combinations thereof.

본 개시에서 사용되는 용어는 다음과 같이 정의되거나 이해될 수 있다.Terms used in this disclosure may be defined or understood as follows.

본 개시에서, 증강현실(augmented reality, AR)은 현실세계(real world)의 물리적 환경 공간 내에서 가상 이미지를 함께 보여주거나 현실세계의 객체와 가상 이미지(예: 가상 태그(virtual tag))를 함께 보여주는 것을 의미할 수 있다.In the present disclosure, augmented reality (AR) refers to showing virtual images together within the physical environment space of the real world or combining objects in the real world with virtual images (e.g., virtual tags). It can mean showing.

본 개시에서, 증강현실 장치는 증강현실을 표현할 수 있는 장치로서, 일반적으로 사용자가 안면부에 착용하는 안경 형상의 AR 글래스(AR glass)뿐만 아니라, 머리에 착용하는 헤드 마운트 디스플레이(head mounted display, HMD), 증강현실 헬멧(AR helmet) 등을 포괄한다. 그러나 이에 한정되는 것은 아니고, 증강현실 장치는 모바일 장치, 스마트폰(smart phone), 스마트워치(smart watch), 랩탑(laptop), 데스크탑(desktop), 태블릿 PC(tablet PC), 전자책 단말기, 디지털 방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 내비게이션, MP3 플레이어, 캠코더, IPTV(internet protocol television), DTV(digital television), 착용형 기기(wearable device) 등과 같은 다양한 전자장치로 구현될 수 있다.In the present disclosure, the augmented reality device is a device capable of expressing augmented reality, and includes not only glasses-shaped AR glass that the user generally wears on the face, but also a head mounted display (HMD) that is worn on the head. ), augmented reality helmet (AR helmet), etc. However, it is not limited to this, and augmented reality devices include mobile devices, smart phones, smart watches, laptops, desktops, tablet PCs, e-readers, and digital devices. Various electronic devices such as broadcasting terminals, PDAs (personal digital assistants), PMPs (portable multimedia players), navigation, MP3 players, camcorders, IPTV (internet protocol television), DTV (digital television), wearable devices, etc. It can be implemented.

본 개시에서, 감지(detect)는 증강현실 장치 또는 그 구성요소가 특정 이벤트의 발생 또는 특정 타겟의 존재를 확인한다는 의미로 이해될 수 있다. 예를 들어, 센서가 증강현실 장치의 이동을 감지한다는 것은, 증강현실 장치가 어딘가로 이동하였고, 센서가 그 이동을 확인한다는 의미로 이해될 수 있다. 예를 들어, 제1 카메라가 현실세계의 객체를 감지한다는 것은, 제1 카메라가 증강현실 장치의 주변에 그 객체가 존재함을 확인한다는 의미로 이해될 수 있다.In the present disclosure, detection can be understood to mean that an augmented reality device or its components confirm the occurrence of a specific event or the presence of a specific target. For example, when a sensor detects the movement of an augmented reality device, it can be understood to mean that the augmented reality device has moved somewhere and the sensor confirms the movement. For example, when a first camera detects an object in the real world, it can be understood to mean that the first camera confirms that the object exists in the vicinity of the augmented reality device.

본 개시에서, 인식(recognize)은 증강현실 장치 또는 그 구성요소가 특정 타겟을 다른 타겟과 구분할 수 있다는 의미로 이해될 수 있다. 예를 들어, 프로세서가 특정 객체를 인식한다는 것은 (객체를 포함하는 전체 장면에 대한 분석을 통해 특징을 추출함으로써) 그 특정 객체와 다른 객체를 구분할 수 있다는 의미로 이해될 수 있다.In the present disclosure, recognize can be understood to mean that an augmented reality device or its components can distinguish a specific target from other targets. For example, when a processor recognizes a specific object, it can be understood to mean that it can distinguish that specific object from other objects (by extracting features through analysis of the entire scene including the object).

도 1은 일 실시예에 따른 증강현실 장치의 구성을 도시한다.Figure 1 shows the configuration of an augmented reality device according to an embodiment.

도 1을 참조하면, 일 실시예에 따른 증강현실 장치(100)는 센서(110), 제1 카메라(120), 제2 카메라(130), UWB(ultra-wide band) 레이더(140), 적어도 하나의 프로세서(150), 디스플레이(160) 및 메모리(170)를 포함할 수 있다.Referring to FIG. 1, the augmented reality device 100 according to one embodiment includes a sensor 110, a first camera 120, a second camera 130, an ultra-wide band (UWB) radar 140, and at least It may include one processor 150, display 160, and memory 170.

일 실시예에서, 적어도 하나의 프로세서(150)는 메모리(170)에 저장된 적어도 하나의 인스트럭션(instruction)을 실행하여 후술할 동작들을 수행할 수 있다.In one embodiment, at least one processor 150 may execute at least one instruction stored in the memory 170 to perform operations to be described later.

일 실시예에서, 프로세서(150)는 센서(110)를 이용하여 증강현실 장치(100)의 이동을 감지할 수 있다. 예를 들어, 센서(110)는 사용자가 증강현실 장치(100)를 착용하거나 손에 든 채로 이동하는 것을 감지할 수 있는 가속도계(accelerometer) 또는 자이로스코프(gyroscope)일 수 있다. 센서(110)는, 예컨대 걸음 수 카운팅과 같은, 중요한 움직임(significant movement)을 감지함으로써 증강현실 장치(100)의 이동을 감지할 수 있으며, 이동 감지로 인해 매핑이 시작될 수 있다. 매핑은 매우 짧은 간격으로 전체 이동 중에 수행될 수 있다. 이하에서 설명될 증강현실 장치(100)의 동작은 센서(110)가 증강현실 장치(100)의 이동(즉, 사용자의 이동)을 감지하는 것에 의해 개시될 수 있다.In one embodiment, the processor 150 may detect the movement of the augmented reality device 100 using the sensor 110. For example, the sensor 110 may be an accelerometer or gyroscope that can detect the user moving while wearing or holding the augmented reality device 100 in his or her hand. The sensor 110 may detect movement of the augmented reality device 100 by detecting significant movement, such as counting steps, and mapping may be started due to movement detection. Mapping can be performed during the entire movement at very short intervals. The operation of the augmented reality device 100, which will be described below, may be initiated when the sensor 110 detects the movement of the augmented reality device 100 (i.e., the user's movement).

사용자는 증강현실을 이용하여 현실세계의 객체의 기능을 활성화하기 위해 증강현실 장치(100)를 착용하거나 손에 든 채로 현실세계의 객체를 향해 이동할 수 있다. 예를 들어, 사용자는 증강현실을 이용하여 도어를 잠그거나 잠금을 해제하기 위해 AR 글래스를 착용한 채로 도어를 향해 이동할 수 있다. 증강현실 장치(100)는 사용자가 도어를 향해 이동하는 것을 확인하면 도어에 배치된 가상 태그를 활성화시켜 자동으로 또는 사용자의 별도의 액션(예: 눈 추적(eye tracking), 눈 깜빡임(blinking), 손 동작(hand gesture), 음성 명령(voice command) 등)에 의해 도어를 잠그거나 잠금을 해제할 수 있다.A user can move toward an object in the real world while wearing or holding the augmented reality device 100 in his hand to activate the function of the object in the real world using augmented reality. For example, a user can move toward a door while wearing AR glasses to lock or unlock the door using augmented reality. When the augmented reality device 100 confirms that the user is moving toward the door, it activates the virtual tag placed on the door and automatically or performs a separate action of the user (e.g., eye tracking, blinking, You can lock or unlock the door by using a hand gesture, voice command, etc.).

일 실시예에서, 프로세서(150)는 제1 카메라(120)를 이용하여 현실세계의 장면 및 객체를 감지(detect)할 수 있다. 제1 카메라(120)가 감지한 장면 및 객체는 제1 카메라(120)가 촬영한 이미지 또는 영상일 수 있다. 제1 카메라(120)가 감지한 현실세계의 장면 및 객체는 가상 이미지(예: 객체에 배치된 가상 태그)와 함께 디스플레이(160)를 통해 사용자에게 시각적으로 제공될 수 있다. 예를 들어, 증강현실 장치(100)가 AR 글래스인 경우 제1 카메라(120)는 AR 글래스에 부착되어 전방을 촬영할 수 있는 카메라일 수 있고, 증강현실 장치(100)가 스마트폰인 경우 제1 카메라는 스마트폰의 후면 카메라일 수 있다.In one embodiment, the processor 150 may detect scenes and objects in the real world using the first camera 120. Scenes and objects detected by the first camera 120 may be images or videos captured by the first camera 120. Scenes and objects in the real world detected by the first camera 120 may be visually provided to the user through the display 160 along with virtual images (eg, virtual tags placed on the objects). For example, if the augmented reality device 100 is AR glasses, the first camera 120 may be a camera attached to the AR glasses and can capture the front view, and if the augmented reality device 100 is a smartphone, the first camera 120 may be a camera that is attached to the AR glasses and can capture the front view. The camera may be the rear camera of a smartphone.

일 실시예에서, 프로세서(150)는 제2 카메라(130)를 이용하여 증강현실 장치(100)와 객체 사이의 제1 거리를 측정할 수 있다. 예를 들어, 제2 카메라(130)는 객체에 신호(예: 레이저)를 투사하고 객체로부터 반사되어 돌아온 신호를 이용하여 증강현실 장치(100)와 객체 사이의 제1 거리를 측정하는 ToF(Time-of-Flight) 카메라일 수 있다.In one embodiment, the processor 150 may measure the first distance between the augmented reality device 100 and the object using the second camera 130. For example, the second camera 130 projects a signal (e.g., a laser) to an object and uses the signal reflected from the object to measure the first distance between the augmented reality device 100 and the object. -of-Flight) may be a camera.

일 실시예에서, 프로세서(150)는 UWB 레이더(140)를 이용하여 증강현실 장치(100) 주변의 객체를 감지할 수 있다. 예를 들어, UWB 레이더(140)는 초광대역(UWB) 전파를 주변에 방출하고 주변의 객체에서 반사되어 돌아오는 전파의 세기, 크기 및/또는 모양을 판독하여 객체의 위치를 감지할 수 있고, 객체의 이미지(모양)를 감지할 수 있다. UWB 레이더(140)가 판독한 객체의 위치 및 이미지는 디스플레이(160)를 통해 사용자에게 시각적으로 제공될 수 있다.In one embodiment, the processor 150 may detect objects around the augmented reality device 100 using the UWB radar 140. For example, the UWB radar 140 can detect the location of an object by emitting ultra-wideband (UWB) radio waves to the surroundings and reading the strength, size, and/or shape of the radio waves reflected and returned from surrounding objects, The image (shape) of an object can be detected. The location and image of the object read by the UWB radar 140 may be visually provided to the user through the display 160.

일 실시예에서, 프로세서(150)는 UWB 레이더(140)를 이용하여 증강현실 장치(100)와 객체 사이의 제2 거리를 측정할 수 있다. 예를 들어, UWB 레이더(140)는 초광대역(UWB) 전파를 주변에 방출하고 주변의 객체에서 반사되어 돌아오는 전파의 시간차를 계산하여 증강현실 장치(100)와 현실세계의 객체 사이의 제2 거리를 측정할 수 있다.In one embodiment, the processor 150 may measure the second distance between the augmented reality device 100 and the object using the UWB radar 140. For example, the UWB radar 140 emits ultra-wideband (UWB) radio waves to the surroundings and calculates the time difference between the radio waves reflected from surrounding objects and returning to create a second signal between the augmented reality device 100 and objects in the real world. Distance can be measured.

일 실시예에서, 프로세서(150)는 제1 내지 제3 프로세스(220, 230, 240)에 따라, 증강현실 장치(100)가 객체를 향해 이동하는 것으로 확인된 경우(즉, 사용자가 객체를 향해 이동하는 것으로 확인된 경우) 객체에 배치된 가상 태그를 활성화할 수 있다. 제1 내지 제3 프로세스(220, 230, 240)에 관해서는 도 2 내지 도 6을 참조하여 후술하기로 한다.In one embodiment, the processor 150 determines that the augmented reality device 100 is moving toward the object (i.e., when the user moves toward the object) according to the first to third processes 220, 230, and 240. If it is confirmed to be moving), the virtual tag placed on the object can be activated. The first to third processes 220, 230, and 240 will be described later with reference to FIGS. 2 to 6.

프로세서(150)는 산술, 로직 및 입출력 연산과 시그널 프로세싱을 수행하는 하드웨어 구성요소로 구성될 수 있다. 예를 들어, 프로세서(150)는 중앙 처리 장치(central processing unit), 마이크로 프로세서(microprocessor), 그래픽 처리 장치(graphic processing unit), 애플리케이션 프로세서(application processor), ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), 및 FPGAs(field programmable gate arrays) 중 적어도 하나로 구성될 수 있으나, 이에 제한되는 것은 아니다.The processor 150 may be comprised of hardware components that perform arithmetic, logic, input/output operations, and signal processing. For example, the processor 150 may include a central processing unit, a microprocessor, a graphic processing unit, an application processor, application specific integrated circuits (ASICs), and DSPs ( It may be comprised of at least one of digital signal processors (DSPDs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), and field programmable gate arrays (FPGAs), but is not limited thereto.

일 실시예에서, 가상 태그는 현실세계의 객체에 배치되는 가상 이미지일 수 있으며, 가상 태그는 가상 태그가 배치된 객체의 기능에 관한 정보를 포함할 수 있다. 이때 객체의 기능은 사용자가 정의한 규칙에 따라 결정될 수 있다.In one embodiment, the virtual tag may be a virtual image placed on an object in the real world, and the virtual tag may include information about the function of the object on which the virtual tag is placed. At this time, the function of the object can be determined according to rules defined by the user.

예를 들어, 도어에 배치된 가상 태그는 사용자가 도어를 향해 이동하는 경우 자동으로 도어의 잠금을 해제하도록 할 수 있다. 또는 가상 태그는 사용자가 정의한 규칙에 따라 하루 중 시간에 따라 다른 동작을 수행할 수도 있다. 예를 들어, 도어에 배치된 가상 태그는 사용자의 설정에 따라 오후 10시 30분부터 오전 6시 30분까지는 사용자가 도어를 향해 이동하는 경우 도어의 잠금을 해제도록 할 수 있고, 오전 6시 30분부터 오전 10시 30분까지는 사용자가 도어를 향해 이동하는 경우 도어를 잠그도록 할 수 있다. 도어에 배치된 가상 태그는 사용자가 동작을 설정하지 않은 시간대에는 사용자의 별도의 명령에 따라 도어를 잠그거나 잠금을 해제도록 할 수 있다.For example, a virtual tag placed on a door could automatically unlock the door when the user moves toward it. Alternatively, virtual tags may perform different actions depending on the time of day according to user-defined rules. For example, a virtual tag placed on a door could cause the door to unlock when the user moves toward the door between 10:30 PM and 6:30 AM, depending on the user's settings, and 6:30 AM. From 12:00 a.m. to 10:30 a.m., you can lock the door when the user moves toward it. The virtual tag placed on the door can lock or unlock the door according to a separate command from the user during times when the user has not set the operation.

다른 예로서, 침대에 배치된 가상 태그는 사용자가 특정 시간(예: 오후 11시)에 침대를 향해 이동하는 경우 자동으로 취침 프로토콜을 트리거하여, 사용자의 설정에 따라 침실 내 조명을 끄거나 어두워지게 하고, 침실의 온도를 사용자가 미리 설정한 온도로 유지하고, 모든 도어를 잠그게 하고, 다음날 아침을 위한 알람을 설정할 수 있다.As another example, a virtual tag placed on a bed can automatically trigger a sleep protocol if the user moves towards the bed at a certain time (e.g. 11 PM), turning off or dimming the lights in the bedroom according to the user's settings. You can keep the bedroom temperature at a user-preset temperature, lock all doors, and set an alarm for the next morning.

일 실시예에서, 디스플레이(160)는 제1 카메라가 감지한 현실세계의 장면 및 객체, 그리고 가상 태그를 포함하는 증강현실 뷰(AR view)를 표시할 수 있다. 예를 들어, 증강현실 장치(100)가 AR 글래스인 경우 디스플레이(160)는 AR 글래스에 부착된 시스루(see-through) 디스플레이일 수 있고, 증강현실 장치(100)가 스마트폰인 경우 디스플레이(160)는 스마트폰 전면에 부착된 (LCD, OLED 등의) 디스플레이일 수 있다.In one embodiment, the display 160 may display an augmented reality view (AR view) including real world scenes and objects detected by the first camera, and virtual tags. For example, if the augmented reality device 100 is AR glasses, the display 160 may be a see-through display attached to the AR glasses, and if the augmented reality device 100 is a smartphone, the display 160 may be a see-through display attached to the AR glasses. ) may be a display (LCD, OLED, etc.) attached to the front of the smartphone.

이하에서는 도 2 내지 도 6을 참조하여 제1 내지 제3 프로세스에 관해 설명하기로 한다.Hereinafter, the first to third processes will be described with reference to FIGS. 2 to 6.

도 2는 일 실시예에 따른 제1 내지 제3 프로세스를 개략적으로 도시하고, 도 3은 일 실시예에서 프로세서가 제1 프로세스에 따라 증강현실 장치의 이동 벡터를 생성하는 것을 개략적으로 도시하고, 도 4는 일 실시예에서 프로세서가 증강현실 뷰에 가상 태그를 배치하고 장면 인식을 수행하는 과정을 개략적으로 도시하고, 도 5는 일 실시예에서 제2 카메라가 증강현실 장치와 객체 사이의 제1 거리를 측정하는 방법을 도시하고, 도 6은 UWB 레이더가 증강현실 장치와 객체 사이의 제2 거리를 측정하는 방법을 도시한다.FIG. 2 schematically shows first to third processes according to an embodiment, and FIG. 3 schematically shows a processor generating a movement vector of an augmented reality device according to a first process according to an embodiment. 4 schematically shows a process in which a processor places a virtual tag in an augmented reality view and performs scene recognition in one embodiment, and FIG. 5 shows a process in which a second camera measures a first distance between an augmented reality device and an object in one embodiment. 6 shows a method for measuring a second distance between an augmented reality device and an object using a UWB radar.

도 2를 참조하면, 일 실시예에서, 제1 내지 제3 프로세스(220, 230, 240)는 증강현실 장치(100)의 이동을 감지하는 것에 의해 시작된다. 제1 내지 제3 프로세스(220, 230, 240)의 목표는 객체에 배치된 가상 태그를 식별하고, 증강현실 장치(100)의 이동 방향(즉, 사용자의 이동 방향)을 결정하는 것이다. 증강현실 장치(100)는 제1 내지 제3 프로세스(220, 230, 240)에 의해 결정된 이동 방향을 크로스-체크(cross-check)하고(250), 증강현실 장치(100)(즉, 사용자)가 객체를 향해 이동하는 것으로 확인된 경우 객체에 배치된 가상 태그를 활성화할 수 있다(260). 일 실시예에서, 제1 내지 제3 프로세스(220, 230, 240)는 동시에 수행될 수 있다.Referring to FIG. 2 , in one embodiment, the first to third processes 220, 230, and 240 begin by detecting movement of the augmented reality device 100. The goal of the first to third processes 220, 230, and 240 is to identify the virtual tag placed on the object and determine the movement direction of the augmented reality device 100 (i.e., the user's movement direction). The augmented reality device 100 cross-checks the movement direction determined by the first to third processes 220, 230, and 240 (250), and the augmented reality device 100 (i.e., the user) If it is confirmed that is moving toward the object, the virtual tag placed on the object can be activated (260). In one embodiment, the first to third processes 220, 230, and 240 may be performed simultaneously.

일 실시예에 따른 증강현실 장치(100)는 3 가지 프로세스의 결과를 크로스-체크하여 증강현실 장치(100)(즉, 사용자)가 객체를 향해 이동하는지 여부를 확인하므로 현실세계의 객체에 별도의 UWB 칩을 설치하지 않고도 강인한 가상 태그 시스템 또는 가상 센서 시스템을 구축할 수 있다. The augmented reality device 100 according to one embodiment cross-checks the results of the three processes to determine whether the augmented reality device 100 (i.e., the user) is moving toward the object, and thus separate A robust virtual tag system or virtual sensor system can be built without installing a UWB chip.

일 실시예에서, 제1 프로세스(220)에 따라, 프로세서(150)는 삼각 측량(triangulation)에 의해 증강현실 장치(100)의 위치를 결정할 수 있다(221). 예를 들어, 삼각 측량은 기준점으로부터 신호의 도착 각도에 기초하여 증강현실 장치(100)의 위치를 결정하는 AoA(Angle of Arrival) 방식, 기준점으로부터 신호의 도착 시간에 기초하여 증강현실 장치(100)의 위치를 결정하는 ToA(Time of Arrival) 방식, 또는 기준점으로부터 신호의 도착 시차에 기초하여 증강현실 장치(100)의 위치를 결정하는 TDoA(Time Difference of Arrival) 방식 등에 의해 수행될 수 있으나, 이에 제한되지 않고, 다양한 삼각 측량 방식들이 사용될 수 있다. 예를 들어, AoA 방식에 의해 효과적으로 증강현실 장치(100)의 위치를 결정하기 위해서는 적어도 2 개의 앵커(anchor)가 필요하고, ToA 방식 또는 TDoA 방식에 의해 효과적으로 증강현실 장치(100)의 위치를 결정하기 위해서는 적어도 3개의 앵커가 필요하다. 앵커는 삼각 측량 시 기준점이 되는 것으로서, 예를 들어 UWB 송신기일 수 있다.In one embodiment, according to the first process 220, the processor 150 may determine the location of the augmented reality device 100 by triangulation (221). For example, triangulation is an AoA (Angle of Arrival) method that determines the position of the augmented reality device 100 based on the angle of arrival of the signal from the reference point, and the augmented reality device 100 based on the arrival time of the signal from the reference point. It may be performed by a Time of Arrival (ToA) method that determines the location of the device, or a Time Difference of Arrival (TDoA) method that determines the location of the augmented reality device 100 based on the time difference of arrival of the signal from the reference point. Without being limited, various triangulation methods may be used. For example, in order to effectively determine the position of the augmented reality device 100 by the AoA method, at least two anchors are required, and to effectively determine the position of the augmented reality device 100 by the ToA method or the TDoA method. To do this, you need at least 3 anchors. The anchor serves as a reference point during triangulation and may be, for example, a UWB transmitter.

일 실시예에서, 제1 프로세스(220)에 따라, 프로세서(150)는 증강현실 장치(100)의 이동 벡터를 실시간으로 생성할 수 있다(222). 이동 벡터는 사용자가 증강현실 장치(100)를 착용하거나 손에 든 채로 가상 태그를 향해 앞뒤로 이동하면서 생성될 수 있다. 프로세서(150)는 삼각 측량에 의해 짧은 시간 간격마다 결정된 증강현실 장치(100)의 위치의 좌표를 이용하여 증강현실 장치(100)의 이동 벡터를 생성할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, T1부터 T3까지의 시간 간격 동안 각 시간에 대해 삼각 측량(예: AoA, ToA, TDoA)에 의해 결정된 위치((x1, y1, z1), (x2, y2, z2), (x3, y3, z3))를 이용하여 증강현실 장치(100)의 이동 벡터를 생성할 수 있다.In one embodiment, according to the first process 220, the processor 150 may generate a movement vector of the augmented reality device 100 in real time (222). The movement vector may be generated as the user moves back and forth toward the virtual tag while wearing or holding the augmented reality device 100 in his/her hand. The processor 150 may generate a movement vector of the augmented reality device 100 using the coordinates of the position of the augmented reality device 100 determined at short time intervals through triangulation. For example, as shown in Figure 3, the position ((x 1 , y 1 , z 1 ) determined by triangulation (e.g. AoA, ToA, TDoA) for each time during the time interval from T1 to T3 , (x 2 , y 2 , z 2 ), (x 3 , y 3 , z 3 )) can be used to generate a movement vector of the augmented reality device 100.

일 실시예에서, 제1 프로세스(220)에 따라, 프로세서(150)는 이동 벡터에 기초하여 증강현실 장치(100)가 객체를 향해 이동하는지 여부를 확인할 수 있다(223). 제1 이동 방향은 이동 벡터의 방향과 동일할 수 있다. 일 실시예에서, 사용자가 가상 태그를 향해 이동하면서 이동 벡터를 생성한 경우 프로세서(150)는 이동 벡터에 기초하여 가상 태그의 위치를 결정할 수 있다. 결정된 가상 태그의 위치는 메모리(170)에 저장되어 다른 프로세스에서 사용될 수 있으며, 이로 인해 다른 프로세스가 장면 또는 객체를 인식할 때 제한된 데이터만을 비교하도록 할 수 있으므로 전체 시스템이 더 빠른 속도로 동작할 수 있으며 효율을 향상시킬 수 있다.In one embodiment, according to the first process 220, the processor 150 may check whether the augmented reality device 100 is moving toward the object based on the movement vector (223). The first movement direction may be the same as the direction of the movement vector. In one embodiment, when the user generates a movement vector while moving toward the virtual tag, the processor 150 may determine the location of the virtual tag based on the movement vector. The location of the determined virtual tag can be stored in memory 170 and used by other processes, which allows other processes to compare only limited data when recognizing a scene or object, allowing the overall system to operate at a faster speed. And efficiency can be improved.

일 실시예에서, 제2 프로세스(230)에 따라, 프로세서(150)는 제1 카메라(120)가 감지한 장면을 인식(recognize)할 수 있다(231). 장면을 인식한다는 것은 증강현실 뷰(AR view)에 표시된 장면 및 객체에서 특징(feature)을 추출함으로써 장면에 포함된 각각의 객체를 구분하는 것을 의미할 수 있다. 특징은 장면에 포함된 어느 객체를 다른 객체와 구분할 수 있는 부분으로서, 예를 들어, 객체의 꼭지점 부분을 포함할 수 있다. 장면 인식이 완료되면 증강현실 장치(100)는 장면에 포함된 각 객체를 구분할 수 있고, 객체 간 거리를 계산할 수 있다.In one embodiment, according to the second process 230, the processor 150 may recognize the scene detected by the first camera 120 (231). Recognizing a scene may mean distinguishing each object included in the scene by extracting features from the scene and objects displayed in the augmented reality view (AR view). A feature is a part that can distinguish an object included in a scene from other objects, and may include, for example, the vertex of the object. Once scene recognition is completed, the augmented reality device 100 can distinguish each object included in the scene and calculate the distance between the objects.

도 4를 참조하면, 증강현실 뷰(AR view)에는 제1 카메라(120)가 탐지한 현실세계의 장면 및 객체가 표시된다. 사용자는 증강현실 뷰(AR view)에서 임의로 가상 태그(410)를 배치할 수 있다. 이후 프로세서(150)는 가상 태그(410)가 배치된 전체 장면을 분석하고, 장면에서 특징(420)을 추출한다. 장면을 인식한 결과는 메모리(170)에 저장될 수 있다. 프로세서(150)는 증강현실을 더 효과적으로 구현하고, 추후 동일한 장면을 용이하게 식별할 수 있도록 최대한 많은 특징을 추출할 수 있다. 특징이 추출되어 장면 인식이 완료되면 가상 태그가 증강현실 뷰(AR view)에 표시될 수 있다.Referring to FIG. 4, scenes and objects in the real world detected by the first camera 120 are displayed in the augmented reality view (AR view). The user can arbitrarily place the virtual tag 410 in the augmented reality view (AR view). Afterwards, the processor 150 analyzes the entire scene where the virtual tag 410 is placed and extracts the feature 420 from the scene. The result of recognizing the scene may be stored in the memory 170. The processor 150 can implement augmented reality more effectively and extract as many features as possible to easily identify the same scene in the future. Once the features are extracted and scene recognition is completed, the virtual tag can be displayed in the augmented reality view (AR view).

일 실시예에서, 제2 프로세스(230)에 따라, 제2 카메라(130)는 증강현실 장치(100)와 가상 태그가 배치된 객체 사이의 제1 거리를 측정할 수 있다(232). 예를 들어, 제2 카메라(130)는 ToF 카메라일 수 있다. 도 5(a)에 도시된 바와 같이, 사용자가 증강현실 장치(100)를 착용한 채로 가상 태그가 배치된 객체(510)를 향해 이동하면 증강현실 장치(100)에 포함된 제2 카메라(130)는 증강현실 장치(100)와 객체(510) 사이의 제1 거리를 측정할 수 있다. 제1 거리는 사용자가 객체를 향해 이동함에 따라 점점 줄어들 수 있다(D1 -> D2 -> D3). 도 5(b)에 도시된 바와 같이, 제2 카메라(130)는 레이저 송신기(laser transmitter)를 이용하여 객체(A, B, C)를 향해 레이저를 방출하고 레이저가 객체(A, B, C)에서 반사되어 수신기(receiver)에 도달한 시간(tA, tB, tC)을 측정하여 객체(A, B, C)와의 거리를 측정할 수 있다.In one embodiment, according to the second process 230, the second camera 130 may measure the first distance between the augmented reality device 100 and the object on which the virtual tag is placed (232). For example, the second camera 130 may be a ToF camera. As shown in FIG. 5(a), when the user moves toward the object 510 on which the virtual tag is placed while wearing the augmented reality device 100, the second camera 130 included in the augmented reality device 100 ) can measure the first distance between the augmented reality device 100 and the object 510. The first distance may gradually decrease as the user moves toward the object (D1 -> D2 -> D3). As shown in FIG. 5(b), the second camera 130 emits a laser toward the objects (A, B, C) using a laser transmitter, and the laser emits a laser toward the objects (A, B, C). ), the distance to the object (A, B, C) can be measured by measuring the time (tA, tB, tC) that it reflects from and reaches the receiver.

일 실시예에서, 제2 프로세스(230)에 따라, 프로세서(150)는 제2 카메라(130)가 측정한 제1 거리에 기초하여 증강현실 장치(100)가 객체를 향해 이동하는지 여부를 확인할 수 있다(2330). 예를 들어, 도 5(a)에 도시된 바와 같이, 프로세서(150)는 제2 카메라(130)가 측정한 제1 거리가 점점 줄어드는 것(D1 -> D2 -> D3)을 통해 증강현실 장치(100)가 객체를 향해 이동하는지 여부를 확인할 수 있다.In one embodiment, according to the second process 230, the processor 150 may determine whether the augmented reality device 100 moves toward the object based on the first distance measured by the second camera 130. There is (2330). For example, as shown in FIG. 5(a), the processor 150 uses the augmented reality device as the first distance measured by the second camera 130 gradually decreases (D1 -> D2 -> D3). You can check whether (100) is moving toward the object.

일 실시예에서, 제3 프로세스(240)에 따라, 프로세서(150)는 UWB 레이더(140)가 감지한 증강현실 장치(100) 주변의 객체를 인식할 수 있다(241). 프로세서(150)는 제1 프로세스(220) 및 제2 프로세스(230)에 따라 메모리(170)에 저장된 가상 태그의 위치 및/또는 장면 인식 결과에 대한 정보를 이용하여 주변의 객체를 신속하게 인식할 수 있다. 증강현실 장치(100)는 UWB 레이더(140)가 감지한 객체와 메모리(170)에 저장된 정보를 크로스-체크하여 사용자가 의도한 객체를 제대로 인식한 것인지 확인할 수 있다.In one embodiment, according to the third process 240, the processor 150 may recognize objects around the augmented reality device 100 detected by the UWB radar 140 (241). The processor 150 can quickly recognize surrounding objects using information about the location of the virtual tag and/or the scene recognition result stored in the memory 170 according to the first process 220 and the second process 230. You can. The augmented reality device 100 can cross-check the object detected by the UWB radar 140 and the information stored in the memory 170 to confirm whether the user's intended object has been properly recognized.

일 실시예에서, 제3 프로세스(240)에 따라, UWB 레이더(140)는 증강현실 장치(100)와 가상 태그가 배치된 객체 사이의 제2 거리를 측정할 수 있다(242). 도 6(a)에 도시된 바와 같이, 사용자가 증강현실 장치(100)를 착용한 채로 가상 태그가 배치된 객체(610)를 향해 이동하면 증강현실 장치(100)에 포함된 UWB 레이더(140)는 증강현실 장치(100)와 객체(610) 사이의 제2 거리를 측정할 수 있다. 도 6(b)에 도시된 바와 같이, 사용자가 계속 이동하면 객체의 상대적인 위치는 증강현실 장치(100) 방향으로 이동하게 되고, 따라서 제2 거리는 사용자가 객체를 향해 이동함에 따라 점점 줄어들 수 있다(D1 -> D2 -> D3).In one embodiment, according to the third process 240, the UWB radar 140 may measure the second distance between the augmented reality device 100 and the object on which the virtual tag is placed (242). As shown in FIG. 6(a), when a user moves toward an object 610 on which a virtual tag is placed while wearing the augmented reality device 100, the UWB radar 140 included in the augmented reality device 100 Can measure the second distance between the augmented reality device 100 and the object 610. As shown in FIG. 6(b), if the user continues to move, the relative position of the object moves in the direction of the augmented reality device 100, and therefore the second distance may gradually decrease as the user moves toward the object ( D1 -> D2 -> D3).

일 실시예에서, 제3 프로세스(240)에 따라, 프로세서(150)는 UWB 레이더(140)가 측정한 제2 거리에 기초하여 증강현실 장치(100)가 객체를 향해 이동하는지 여부를 확인할 수 있다(243). 예를 들어, 도 6(b)에 도시된 바와 같이, 프로세서(150)는 UWB 레이더(140)가 측정한 제2 거리가 점점 줄어드는 것(D1 -> D2 -> D3)을 통해 증강현실 장치(100)가 객체를 향해 이동하는지 여부를 확인할 수 있다.In one embodiment, according to the third process 240, the processor 150 may check whether the augmented reality device 100 is moving toward the object based on the second distance measured by the UWB radar 140. (243). For example, as shown in FIG. 6(b), the processor 150 uses the augmented reality device (D1 -> D2 -> D3) as the second distance measured by the UWB radar 140 gradually decreases. 100) can be checked whether it is moving toward the object.

도 7은 일 실시예에서 증강현실 장치가 제1 프로세스만을 수행하여 가상 태그를 활성화시키는 방법을 개략적으로 도시한다.Figure 7 schematically shows a method in which an augmented reality device activates a virtual tag by performing only the first process in one embodiment.

일 실시예에서, 증강현실 장치(100)는 제1 프로세스(220)에 따라 가상 태그를 활성화시킬 수 있다. 전술한 바와 같이, 증강현실 장치(100)는 제1 내지 제3 프로세스(220, 230, 240)에 따라 제1 카메라(120)가 감지한 장면 및 객체를 인식하고 인식한 객체에 가상 태그를 배치할 수 있다. 이 과정에서 제1 프로세스(220)에 따른 삼각 측량에 의해 이동 벡터를 생성하면서 가상 태그가 배치된 객체의 방향을 계산할 수 있고, 제2 프로세스(230)에 따른 제1 거리 측정을 통해 증강현실 장치(100)와 가상 태그가 배치된 객체 사이의 거리를 계산할 수 있다. 이렇게 계산된 가상 태그가 배치된 객체의 방향 및 증강현실 장치(100)와 가상 태그가 배치된 객체 사이의 거리는 메모리(170)에 저장될 수 있다.In one embodiment, the augmented reality device 100 may activate a virtual tag according to the first process 220. As described above, the augmented reality device 100 recognizes the scene and object detected by the first camera 120 according to the first to third processes 220, 230, and 240 and places a virtual tag on the recognized object. can do. In this process, the direction of the object on which the virtual tag is placed can be calculated while generating a movement vector by triangulation according to the first process 220, and the augmented reality device through the first distance measurement according to the second process 230. The distance between (100) and the object on which the virtual tag is placed can be calculated. The calculated direction of the object on which the virtual tag is placed and the distance between the augmented reality device 100 and the object on which the virtual tag is placed may be stored in the memory 170.

도 7을 참조하면, 증강현실 장치(100)는 가상 태그가 배치된 객체의 방향 및 증강현실 장치(100)와 가상 태그가 배치된 객체 사이의 거리를 이용하여 가상 태그가 배치된 객체의 위치 벡터를 생성할 수 있다. 제1 프로세스에 따라, 증강현실 장치(100)가 이동하면 증강현실 장치(100)의 이동 벡터를 생성할 수 있다. 예를 들어, 이동 벡터(710)가 생성되면 증강현실 장치(100)는 이동 벡터(710)의 방향으로 이동한다는 것을 알 수 있고, 이동 벡터(720)가 생성되면 증강현실 장치(100)는 이동 벡터(720)의 방향으로 이동한다는 것을 알 수 있다. 생성된 증강현실 장치(100)의 이동 벡터(710 또는 720)와 가상 태그가 배치된 객체의 위치 벡터가 정렬되면(즉, 두 벡터의 방향이 일치하면) 증강현실 장치는 상기 객체에 배치된 가상 태그를 활성화시킬 수 있다.Referring to FIG. 7, the augmented reality device 100 uses the direction of the object on which the virtual tag is placed and the distance between the augmented reality device 100 and the object on which the virtual tag is placed to create a position vector of the object on which the virtual tag is placed. can be created. According to the first process, when the augmented reality device 100 moves, a movement vector of the augmented reality device 100 may be generated. For example, when the movement vector 710 is generated, the augmented reality device 100 can be seen to move in the direction of the movement vector 710, and when the movement vector 720 is created, the augmented reality device 100 moves. It can be seen that it moves in the direction of vector 720. When the movement vector (710 or 720) of the generated augmented reality device 100 and the position vector of the object on which the virtual tag is placed are aligned (i.e., if the directions of the two vectors match), the augmented reality device moves the virtual tag placed on the object. Tags can be activated.

도 8은 일 실시예에 따른 증강현실 장치의 동작 방법(800)의 순서도이다.Figure 8 is a flowchart of a method 800 of operating an augmented reality device according to an embodiment.

단계 810에서, 증강현실 장치(100)는 증강현실 장치(100)의 이동을 감지할 수 있다.In step 810, the augmented reality device 100 may detect movement of the augmented reality device 100.

단계 820에서, 증강현실 장치(100)는 현실세계의 장면 및 객체를 감지할 수 있다.In step 820, the augmented reality device 100 can detect scenes and objects in the real world.

단계 830에서, 증강현실 장치(100)는 증강현실 장치(100)와 객체 사이의 제1 거리를 측정할 수 있다.In step 830, the augmented reality device 100 may measure the first distance between the augmented reality device 100 and the object.

단계 840에서, 증강현실 장치(100)는 증강현실 장치(100)와 객체 사이의 제2 거리를 측정할 수 있다.In step 840, the augmented reality device 100 may measure a second distance between the augmented reality device 100 and the object.

단계 850에서, 증강현실 장치(100)는 증강현실 장치(100)가 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화할 수 있다.In step 850, the augmented reality device 100 may activate a virtual tag placed on the object when it is confirmed that the augmented reality device 100 is moving toward the object.

일 실시예에서, 증강현실 장치(100)는 삼각 측량에 의해 증강현실 장치(100)의 위치를 결정하는 단계, 증강현실 장치(100)의 이동 벡터를 실시간으로 생성하는 단계, 및 이동 벡터에 기초하여 증강현실 장치(100)가 객체를 향해 이동하는지 여부를 확인하는 단계를 포함하는 제1 프로세스(220)를 수행할 수 있다.In one embodiment, the augmented reality device 100 includes determining the position of the augmented reality device 100 by triangulation, generating a movement vector of the augmented reality device 100 in real time, and based on the movement vector. Thus, the first process 220 including the step of checking whether the augmented reality device 100 is moving toward the object can be performed.

일 실시예에서, 증강현실 장치(100)는 장면 및 객체를 인식하는 단계, 및 제1 거리에 기초하여 증강현실 장치(100)가 객체를 향해 이동하는지 여부를 확인하는 단계를 포함하는 제2 프로세스(230)를 수행할 수 있다.In one embodiment, the augmented reality device 100 performs a second process that includes recognizing a scene and an object, and determining whether the augmented reality device 100 is moving toward the object based on the first distance. (230) can be performed.

일 실시예에서, 증강현실 장치(100)는 제2 거리에 기초하여 증강현실 장치(100)가 객체를 향해 이동하는지 여부를 확인하는 단계를 포함하는 제3 프로세스를 수행할 수 있다.In one embodiment, the augmented reality device 100 may perform a third process that includes determining whether the augmented reality device 100 is moving toward the object based on the second distance.

일 실시예에서, 증강현실 장치(100)는 제1 내지 제3 프로세스(220, 230, 240)의 결과를 크로스-체크(cross-check) 함으로써 증강현실 장치(100)가 객체를 향해 이동하는지 여부를 확인할 수 있다.In one embodiment, the augmented reality device 100 cross-checks the results of the first to third processes 220, 230, and 240 to determine whether the augmented reality device 100 moves toward the object. You can check.

일 실시예에서, 증강현실 장치(100)는 장면, 객체 및 가상 태그를 포함하는 증강현실 뷰(AR view)를 표시할 수 있다.In one embodiment, the augmented reality device 100 may display an augmented reality view (AR view) including scenes, objects, and virtual tags.

일 실시예에서, 증강현실 장치(100)는 제1 프로세스(220)에 따라 계산된 증강현실 장치(100)의 상기 이동벡터, 및 가상 태그가 배치된 객체 및 장면에 관한 정보를 메모리에 저장할 수 있다.In one embodiment, the augmented reality device 100 may store the movement vector of the augmented reality device 100 calculated according to the first process 220 and information about the object and scene on which the virtual tag is placed in the memory. there is.

일 실시예에서, 가상 태그는 상기 가상 태그가 배치된 상기 객체의 기능에 관한 정보를 포함할 수 있다.In one embodiment, a virtual tag may include information about the function of the object on which the virtual tag is placed.

일 실시예에서, 객체의 기능은 사용자가 정의한 규칙에 따라 결정될 수 있다.In one embodiment, the function of an object may be determined according to user-defined rules.

기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적 저장매체'는 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다. 예로, '비일시적 저장매체'는 데이터가 임시적으로 저장되는 버퍼를 포함할 수 있다.A storage medium that can be read by a device may be provided in the form of a non-transitory storage medium. Here, 'non-transitory storage medium' simply means that it is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is semi-permanently stored in a storage medium and temporary storage media. It does not distinguish between cases where it is stored as . For example, a 'non-transitory storage medium' may include a buffer where data is temporarily stored.

일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 애플리케이션 스토어를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품(예: 다운로더블 앱(downloadable app))의 적어도 일부는 제조사의 서버, 애플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.According to one embodiment, methods according to various embodiments disclosed in this document may be provided and included in a computer program product. Computer program products are commodities and can be traded between sellers and buyers. A computer program product may be distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store or between two user devices (e.g. smartphones). It may be distributed in person or online (e.g., downloaded or uploaded). In the case of online distribution, at least a portion of the computer program product (e.g., a downloadable app) may be stored on a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server. It can be temporarily stored or created temporarily.

일 실시예에서, 증강현실(augmented reality, AR) 장치는 센서, 제1 카메라, 제2 카메라, UWB(ultra-wide band) 레이더, 적어도 하나의 인스트럭션(instruction)이 저장된 메모리, 및 상기 적어도 하나의 인스트럭션을 실행하는 적어도 하나의 프로세서를 포함할 수 있다.In one embodiment, an augmented reality (AR) device includes a sensor, a first camera, a second camera, an ultra-wide band (UWB) radar, a memory storing at least one instruction, and the at least one It may include at least one processor executing instructions.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 센서를 이용하여 상기 증강현실 장치의 이동을 감지할 수 있다.In one embodiment, the at least one processor may detect movement of the augmented reality device using the sensor.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 제1 카메라를 이용하여 현실세계의 장면 및 객체를 감지할 수 있다.In one embodiment, the at least one processor may detect scenes and objects in the real world using the first camera.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 제2 카메라를 이용하여 상기 증강현실 장치와 상기 객체 사이의 제1 거리를 측정할 수 있다.In one embodiment, the at least one processor may measure a first distance between the augmented reality device and the object using the second camera.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 UWB 레이더를 이용하여 상기 증강현실 장치와 상기 객체 사이의 제2 거리를 측정할 수 있다.In one embodiment, the at least one processor may measure a second distance between the augmented reality device and the object using the UWB radar.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 증강현실 장치가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화할 수 있다.In one embodiment, the at least one processor may activate a virtual tag placed on the object when it is confirmed that the augmented reality device is moving toward the object.

일 실시예에서, 상기 적어도 하나의 프로세서는 삼각 측량에 의해 상기 증강현실 장치의 위치를 결정하는 것을 포함하는 제1 프로세스를 수행할 수 있다.In one embodiment, the at least one processor may perform a first process including determining the location of the augmented reality device by triangulation.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 증강현실 장치의 이동 벡터를 실시간으로 생성하는 것을 포함하는 제1 프로세스를 수행할 수 있다.In one embodiment, the at least one processor may perform a first process including generating a movement vector of the augmented reality device in real time.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 이동 벡터에 기초하여 상기 증강현실 장치가 상기 객체를 향해 이동하는지 여부를 확인하는 것을 포함하는 제1 프로세스를 수행할 수 있다.In one embodiment, the at least one processor may perform a first process that includes determining whether the augmented reality device moves toward the object based on the movement vector.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 장면 및 상기 객체를 인식하는 것을 포함하는 제2 프로세스를 수행할 수 있다.In one embodiment, the at least one processor may perform a second process including recognizing the scene and the object.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 제1 거리에 기초하여 상기 증강현실 장치가 상기 객체를 향해 이동하는지 여부를 확인하는 것을 포함하는 제2 프로세스를 수행할 수 있다.In one embodiment, the at least one processor may perform a second process including determining whether the augmented reality device moves toward the object based on the first distance.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 제2 거리에 기초하여 상기 증강현실 장치가 상기 객체를 향해 이동하는지 여부를 확인하는 것을 포함하는 제3 프로세스를 수행할 수 있다.In one embodiment, the at least one processor may perform a third process including determining whether the augmented reality device moves toward the object based on the second distance.

일 실시예에서, 상기 적어도 하나의 프로세서는 상기 제1 내지 제3 프로세스의 결과를 크로스-체크(cross-check) 함으로써 상기 증강현실 장치가 상기 객체를 향해 이동하는지 여부를 확인할 수 있다.In one embodiment, the at least one processor can check whether the augmented reality device is moving toward the object by cross-checking the results of the first to third processes.

일 실시예에서, 상기 증강현실 장치는 상기 장면, 상기 객체 및 상기 가상 태그를 포함하는 증강현실 뷰(AR view)를 표시하는 디스플레이를 더 포함할 수 있다.In one embodiment, the augmented reality device may further include a display that displays an augmented reality view (AR view) including the scene, the object, and the virtual tag.

일 실시예에서, 상기 메모리는 상기 제1 프로세스에 따라 계산된 상기 증강현실 장치의 상기 이동벡터 및 상기 가상 태그가 배치된 상기 객체 및 상기 장면에 관한 정보를 저장할 수 있다.In one embodiment, the memory may store information about the object and the scene on which the movement vector and the virtual tag of the augmented reality device calculated according to the first process are placed.

일 실시예에서, 상기 가상 태그는 상기 가상 태그가 배치된 상기 객체의 기능에 관한 정보를 포함할 수 있다.In one embodiment, the virtual tag may include information about the function of the object on which the virtual tag is placed.

일 실시예에서, 상기 객체의 기능은 사용자가 정의한 규칙에 따라 결정될 수 있다.In one embodiment, the function of the object may be determined according to user-defined rules.

일 실시예에서, 증강현실(augmented reality, AR) 장치의 동작 방법은 상기 증강현실 장치의 이동을 감지하는 단계를 포함할 수 있다.In one embodiment, a method of operating an augmented reality (AR) device may include detecting movement of the augmented reality device.

일 실시예에서, 상기 방법은 현실세계의 장면 및 객체를 감지하는 단계를 포함할 수 있다.In one embodiment, the method may include detecting real-world scenes and objects.

일 실시예에서, 상기 방법은 상기 증강현실 장치와 상기 객체 사이의 제1 거리를 측정하는 단계를 포함할 수 있다.In one embodiment, the method may include measuring a first distance between the augmented reality device and the object.

일 실시예에서, 상기 방법은 상기 증강현실 장치와 상기 객체 사이의 제2 거리를 측정하는 단계를 포함할 수 있다.In one embodiment, the method may include measuring a second distance between the augmented reality device and the object.

일 실시예에서, 상기 방법은 상기 증강현실 장치가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화하는 단계를 포함할 수 있다.In one embodiment, the method may include activating a virtual tag placed on the object when the augmented reality device is confirmed to be moving toward the object.

일 실시예에서, 상기 증강현실 장치가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화하는 단계는 제1 프로세스를 포함할 수 있다. In one embodiment, activating a virtual tag placed on the object when it is confirmed that the augmented reality device is moving toward the object may include a first process.

일 실시예에서, 상기 제1 프로세스는 삼각 측량에 의해 상기 증강현실 장치(100)의 위치를 결정하는 단계를 포함할 수 있다.In one embodiment, the first process may include determining the location of the augmented reality device 100 by triangulation.

일 실시예에서, 상기 제1 프로세스는 상기 증강현실 장치의 이동 벡터를 실시간으로 생성하는 단계를 포함할 수 있다.In one embodiment, the first process may include generating a movement vector of the augmented reality device in real time.

일 실시예에서, 상기 제1 프로세스는 상기 이동 벡터에 기초하여 상기 증강현실 장치가 상기 객체를 향해 이동하는지 여부를 확인하는 단계를 포함할 수 있다.In one embodiment, the first process may include determining whether the augmented reality device is moving toward the object based on the movement vector.

일 실시예에서, 상기 증강현실 장치가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화하는 단계는 제2 프로세스를 포함할 수 있다. In one embodiment, activating a virtual tag placed on the object when it is confirmed that the augmented reality device is moving toward the object may include a second process.

일 실시예에서, 상기 제2 프로세스는 상기 장면 및 상기 객체를 인식하는 단계를 포함할 수 있다.In one embodiment, the second process may include recognizing the scene and the object.

일 실시예에서, 상기 제2 프로세스는 상기 제1 거리에 기초하여 상기 증강현실 장치가 상기 객체를 향해 이동하는지 여부를 확인하는 단계를 포함할 수 있다.In one embodiment, the second process may include determining whether the augmented reality device is moving toward the object based on the first distance.

일 실시예에서, 상기 증강현실 장치가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화하는 단계는 제3 프로세스를 포함할 수 있다.In one embodiment, activating a virtual tag placed on the object when it is confirmed that the augmented reality device is moving toward the object may include a third process.

일 실시예에서, 상기 제3 프로세스는 상기 제2 거리에 기초하여 상기 증강현실 장치가 상기 객체를 향해 이동하는지 여부를 확인하는 단계를 포함할 수 있다.In one embodiment, the third process may include checking whether the augmented reality device is moving toward the object based on the second distance.

일 실시예에서, 상기 증강현실 장치가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화하는 단계는, 상기 제1 내지 제3 프로세스의 결과를 크로스-체크(cross-check) 함으로써 상기 증강현실 장치가 상기 객체를 향해 이동하는지 여부를 확인하는 단계를 더 포함할 수 있다.In one embodiment, the step of activating a virtual tag placed on the object when it is confirmed that the augmented reality device is moving toward the object includes cross-checking the results of the first to third processes. ) may further include the step of checking whether the augmented reality device is moving toward the object.

일 실시예에서, 상기 방법은 상기 장면, 상기 객체 및 상기 가상 태그를 포함하는 증강현실 뷰(AR view)를 표시하는 단계를 더 포함할 수 있다.In one embodiment, the method may further include displaying an augmented reality view (AR view) including the scene, the object, and the virtual tag.

일 실시예에서, 상기 방법은 상기 제1 프로세스에 따라 계산된 상기 증강현실 장치의 상기 이동벡터, 및 상기 가상 태그가 배치된 상기 객체 및 상기 장면에 관한 정보를 저장하는 단계를 더 포함할 수 있다.In one embodiment, the method may further include the step of storing the movement vector of the augmented reality device calculated according to the first process, and information about the object and the scene where the virtual tag is placed. .

일 실시예에서, 상기 가상 태그는 상기 가상 태그가 배치된 상기 객체의 기능에 관한 정보를 포함할 수 있다.In one embodiment, the virtual tag may include information about the function of the object on which the virtual tag is placed.

일 실시예에서, 상기 객체의 기능은 사용자가 정의한 규칙에 따라 결정될 수 있다.In one embodiment, the function of the object may be determined according to user-defined rules.

본 개시에 따른 증강현실 장치 및 이의 동작 방법에 의하면 현실세계의 객체에 별도의 하드웨어(예: UWB 칩)을 장착하지 않고도 강인한 가상 태그 시스템 또는 가상 센서 시스템을 구축할 수 있다.According to the augmented reality device and its operating method according to the present disclosure, it is possible to build a robust virtual tag system or virtual sensor system without installing separate hardware (eg, UWB chip) on objects in the real world.

Claims (15)

증강현실(augmented reality, AR) 장치(100)에 있어서,
센서(110);
제1 카메라(120);
제2 카메라(130);
UWB(ultra-wide band) 레이더(140);
적어도 하나의 인스트럭션(instruction)이 저장된 메모리(170); 및
적어도 하나의 프로세서(150)를 포함하고,
상기 적어도 하나의 프로세서(150)는 상기 적어도 하나의 인스트럭션을 실행하여,
상기 센서(110)를 이용하여 상기 증강현실 장치(100)의 이동을 감지하고,
상기 제1 카메라(120)를 이용하여 현실세계의 장면 및 객체를 감지하고,
상기 제2 카메라(130)를 이용하여 상기 증강현실 장치(100)와 상기 객체 사이의 제1 거리를 측정하고,
상기 UWB 레이더(140)를 이용하여 상기 증강현실 장치(100)와 상기 객체 사이의 제2 거리를 측정하고, 그리고
상기 증강현실 장치(100)가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화하는, 증강현실 장치.In the augmented reality (AR) device 100,
sensor 110;
first camera 120;
second camera 130;
ultra-wide band (UWB) radar 140;
a memory 170 in which at least one instruction is stored; and
Comprising at least one processor 150,
The at least one processor 150 executes the at least one instruction,
Detect the movement of the augmented reality device 100 using the sensor 110,
Detect scenes and objects in the real world using the first camera 120,
Measure a first distance between the augmented reality device 100 and the object using the second camera 130,
Measure a second distance between the augmented reality device 100 and the object using the UWB radar 140, and
An augmented reality device that activates a virtual tag placed on the object when it is confirmed that the augmented reality device 100 is moving toward the object. 제1항에 있어서,
상기 적어도 하나의 프로세서(150)는,
삼각 측량에 의해 상기 증강현실 장치(100)의 위치를 결정하고,
상기 증강현실 장치(100)의 이동 벡터를 실시간으로 생성하고,
상기 이동 벡터에 기초하여 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는 것을 포함하는 제1 프로세스(220)를 수행하는, 증강현실 장치.According to paragraph 1,
The at least one processor 150,
Determine the location of the augmented reality device 100 by triangulation,
Generating a movement vector of the augmented reality device 100 in real time,
An augmented reality device that performs a first process (220) including checking whether the augmented reality device (100) moves toward the object based on the movement vector. 제1항 내지 제2항 중 어느 한 항에 있어서,
상기 적어도 하나의 프로세서(150)는,
상기 장면 및 상기 객체를 인식하고,
상기 제1 거리에 기초하여 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는 것을 포함하는 제2 프로세스(230)를 수행하는, 증강현실 장치.According to any one of claims 1 and 2,
The at least one processor 150,
Recognize the scene and the object,
An augmented reality device that performs a second process (230) including checking whether the augmented reality device (100) moves toward the object based on the first distance. 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 적어도 하나의 프로세서(150)는,
상기 제2 거리에 기초하여 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는 것을 포함하는 제3 프로세스(240)를 수행하는, 증강현실 장치.According to any one of claims 1 to 3,
The at least one processor 150,
An augmented reality device that performs a third process (240) including checking whether the augmented reality device (100) moves toward the object based on the second distance. 제1항 내지 제4항 중 어느 한 항에 있어서,
상기 적어도 하나의 프로세서(150)는,
삼각 측량에 의해 상기 증강현실 장치(100)의 위치를 결정하고, 상기 증강현실 장치(100)의 이동 벡터를 실시간으로 생성하고, 상기 이동 벡터에 기초하여 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는 것을 포함하는 제1 프로세스(220)와, 상기 장면 및 상기 객체를 인식하고, 상기 제1 거리에 기초하여 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는 것을 포함하는 제2 프로세스(230)와,
상기 제2 거리에 기초하여 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는 것을 포함하는 제3 프로세스(240)를 수행하고,
상기 제1 내지 제3 프로세스(220, 230, 240)의 결과를 크로스-체크(cross-check) 함으로써 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는, 증강현실 장치.According to any one of claims 1 to 4,
The at least one processor 150,
Determine the position of the augmented reality device 100 by triangulation, generate a movement vector of the augmented reality device 100 in real time, and based on the movement vector, the augmented reality device 100 moves the object. A first process 220 including checking whether the augmented reality device 100 is moving toward the object, recognizing the scene and the object, and determining whether the augmented reality device 100 is moving toward the object based on the first distance. a second process 230 including confirming;
Performing a third process 240 including checking whether the augmented reality device 100 moves toward the object based on the second distance,
An augmented reality device that checks whether the augmented reality device 100 moves toward the object by cross-checking the results of the first to third processes 220, 230, and 240. 제1항 내지 제5항 중 어느 한 항에 있어서,
상기 증강현실 장치(100)는 상기 장면, 상기 객체 및 상기 가상 태그를 포함하는 증강현실 뷰(AR view)를 표시하는 디스플레이(160)를 더 포함하고,
상기 메모리(170)는 상기 제1 프로세스(220)에 따라 계산된 상기 증강현실 장치(100)의 상기 이동벡터 및 상기 가상 태그가 배치된 상기 객체 및 상기 장면에 관한 정보를 저장하는, 증강현실 장치.According to any one of claims 1 to 5,
The augmented reality device 100 further includes a display 160 that displays an augmented reality view (AR view) including the scene, the object, and the virtual tag,
The memory 170 stores the movement vector of the augmented reality device 100 calculated according to the first process 220 and information about the object and the scene where the virtual tag is placed. . 제1항 내지 제6항 중 어느 한 항에 있어서,
상기 가상 태그는 상기 가상 태그가 배치된 상기 객체의 기능에 관한 정보를 포함하고,
상기 객체의 기능은 사용자가 정의한 규칙에 따라 결정되는, 증강현실 장치.According to any one of claims 1 to 6,
The virtual tag includes information about the function of the object on which the virtual tag is placed,
An augmented reality device in which the function of the object is determined according to rules defined by the user. 증강현실(augmented reality, AR) 장치(100)의 동작 방법에 있어서,
상기 증강현실 장치(100)의 이동을 감지하는 단계;
현실세계의 장면 및 객체를 감지하는 단계;
상기 증강현실 장치(100)와 상기 객체 사이의 제1 거리를 측정하는 단계;
상기 증강현실 장치(100)와 상기 객체 사이의 제2 거리를 측정하는 단계; 및
상기 증강현실 장치(100)가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화하는 단계;
를 포함하는, 증강현실 장치의 동작 방법.In the method of operating the augmented reality (AR) device 100,
Detecting movement of the augmented reality device 100;
Detecting scenes and objects in the real world;
Measuring a first distance between the augmented reality device 100 and the object;
measuring a second distance between the augmented reality device 100 and the object; and
activating a virtual tag placed on the object when it is confirmed that the augmented reality device 100 is moving toward the object;
A method of operating an augmented reality device, including. 제8항에 있어서,
상기 증강현실 장치(100)가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화하는 단계는 제1 프로세스(220)를 포함하고,
상기 제1 프로세스(220)는,
삼각 측량에 의해 상기 증강현실 장치(100)의 위치를 결정하는 단계,
상기 증강현실 장치(100)의 이동 벡터를 실시간으로 생성하는 단계, 및
상기 이동 벡터에 기초하여 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는 단계를 포함하는, 증강현실 장치의 동작 방법.According to clause 8,
When it is confirmed that the augmented reality device 100 is moving toward the object, activating a virtual tag placed on the object includes a first process 220,
The first process 220 is,
Determining the location of the augmented reality device 100 by triangulation,
Generating a movement vector of the augmented reality device 100 in real time, and
A method of operating an augmented reality device, including the step of checking whether the augmented reality device 100 is moving toward the object based on the movement vector. 제8항 내지 제9항 중 어느 한 항에 있어서,
상기 증강현실 장치(100)가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화하는 단계는 제2 프로세스(230)를 포함하고,
상기 제2 프로세스(230)는,
상기 장면 및 상기 객체를 인식하는 단계, 및
상기 제1 거리에 기초하여 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는 단계를 포함하는, 증강현실 장치의 동작 방법.According to any one of claims 8 to 9,
When it is confirmed that the augmented reality device 100 is moving toward the object, activating a virtual tag placed on the object includes a second process 230,
The second process 230 is,
recognizing the scene and the object, and
A method of operating an augmented reality device, including the step of checking whether the augmented reality device 100 is moving toward the object based on the first distance. 제8항 내지 제10항 중 어느 한 항에 있어서,
상기 증강현실 장치(100)가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화하는 단계는 제3 프로세스(240)를 포함하고,
상기 제3 프로세스(240)는,
상기 제2 거리에 기초하여 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는 단계를 포함하는, 증강현실 장치의 동작 방법.According to any one of claims 8 to 10,
When it is confirmed that the augmented reality device 100 is moving toward the object, activating a virtual tag placed on the object includes a third process 240,
The third process 240 is,
A method of operating an augmented reality device, including the step of checking whether the augmented reality device 100 is moving toward the object based on the second distance. 제8항 내지 제11항 중 어느 한 항에 있어서,
상기 증강현실 장치(100)가 상기 객체를 향해 이동하는 것으로 확인된 경우 상기 객체에 배치된 가상 태그를 활성화하는 단계는,
삼각 측량에 의해 상기 증강현실 장치(100)의 위치를 결정하고, 상기 증강현실 장치(100)의 이동 벡터를 실시간으로 생성하고, 상기 이동 벡터에 기초하여 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는 것을 포함하는 제1 프로세스(220)와, 상기 장면 및 상기 객체를 인식하고, 상기 제1 거리에 기초하여 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는 것을 포함하는 제2 프로세스(230)와, 상기 제2 거리에 기초하여 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는 것을 포함하는 제3 프로세스(240)를 수행하는 단계를 포함하고,
상기 제1 내지 제3 프로세스(220, 230, 240)의 결과를 크로스-체크(cross-check) 함으로써 상기 증강현실 장치(100)가 상기 객체를 향해 이동하는지 여부를 확인하는 단계를 더 포함하는, 증강현실 장치의 동작 방법.According to any one of claims 8 to 11,
When it is confirmed that the augmented reality device 100 is moving toward the object, activating the virtual tag placed on the object includes:
Determine the position of the augmented reality device 100 by triangulation, generate a movement vector of the augmented reality device 100 in real time, and based on the movement vector, the augmented reality device 100 moves the object. A first process 220 including checking whether the augmented reality device 100 is moving toward the object, recognizing the scene and the object, and determining whether the augmented reality device 100 is moving toward the object based on the first distance. Performing a second process 230 including checking, and a third process 240 including checking whether the augmented reality device 100 is moving toward the object based on the second distance. Includes steps,
Further comprising checking whether the augmented reality device 100 is moving toward the object by cross-checking the results of the first to third processes 220, 230, and 240, How to operate an augmented reality device. 제8항 내지 제12항 중 어느 한 항에 있어서,
상기 장면, 상기 객체 및 상기 가상 태그를 포함하는 증강현실 뷰(AR view)를 표시하는 단계, 및
상기 제1 프로세스(220)에 따라 계산된 상기 증강현실 장치(100)의 상기 이동벡터, 및 상기 가상 태그가 배치된 상기 객체 및 상기 장면에 관한 정보를 저장하는 단계를 더 포함하는, 증강현실 장치의 동작 방법.According to any one of claims 8 to 12,
Displaying an augmented reality view (AR view) including the scene, the object, and the virtual tag, and
Augmented reality device further comprising the step of storing the movement vector of the augmented reality device 100 calculated according to the first process 220, and information about the object and the scene where the virtual tag is placed. How it works. 제8항 내지 제13항 중 어느 한 항에 있어서,
상기 가상 태그는 상기 가상 태그가 배치된 상기 객체의 기능에 관한 정보를 포함하고,
상기 객체의 기능은 사용자가 정의한 규칙에 따라 결정되는, 증강현실 장치의 동작 방법.According to any one of claims 8 to 13,
The virtual tag includes information about the function of the object on which the virtual tag is placed,
A method of operating an augmented reality device in which the function of the object is determined according to rules defined by the user. 제8항 내지 제14항 중 어느 한 항의 방법을 수행하도록 하는 컴퓨터 프로그램을 기록한 컴퓨터-판독 가능한 기록매체.A computer-readable recording medium recording a computer program for performing the method of any one of claims 8 to 14.
KR1020220126513A 2022-10-04 2022-10-04 Augmented reality apparatus and operating method thereof KR20240047186A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020220126513A KR20240047186A (en) 2022-10-04 2022-10-04 Augmented reality apparatus and operating method thereof
PCT/KR2023/012432 WO2024075974A1 (en) 2022-10-04 2023-08-22 Augmented reality apparatus and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220126513A KR20240047186A (en) 2022-10-04 2022-10-04 Augmented reality apparatus and operating method thereof

Publications (1)

Publication Number Publication Date
KR20240047186A true KR20240047186A (en) 2024-04-12

Family

ID=90608578

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220126513A KR20240047186A (en) 2022-10-04 2022-10-04 Augmented reality apparatus and operating method thereof

Country Status (2)

Country Link
KR (1) KR20240047186A (en)
WO (1) WO2024075974A1 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101125981B1 (en) * 2009-09-07 2012-03-19 삼성에스디에스 주식회사 Function Display System and Method for electronic device mop-up using Augmentation-reality
KR101519353B1 (en) * 2013-11-12 2015-05-13 현대오트론 주식회사 Method and apparatus for displaying information of smart curse device using head-up display
EP3411779A4 (en) * 2016-02-05 2019-02-20 Magic Leap, Inc. Systems and methods for augmented reality
KR101860026B1 (en) * 2017-07-06 2018-05-21 주식회사 로로아트플랜 System for psychological aptitude test using user’s moving information on multi maze zone
CN113918015B (en) * 2021-10-08 2024-04-19 三星电子（中国）研发中心 Interaction method and device for augmented reality

Also Published As

Publication number Publication date
WO2024075974A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
KR101554797B1 (en) Context aware augmentation interactions
US10109065B2 (en) Using occlusions to detect and track three-dimensional objects
US9563265B2 (en) Augmented reality with sound and geometric analysis
US9679199B2 (en) Fusing device and image motion for user identification, tracking and device association
US9785836B2 (en) Dataset creation for tracking targets with dynamically changing portions
KR20210076185A (en) Systems and methods for simultaneous localization and mapping
US20120195461A1 (en) Correlating areas on the physical object to areas on the phone screen
US20160350811A1 (en) Measurements of earth's magnetic field indoors
KR20140090159A (en) Information processing apparatus, information processing method, and program
US10621787B2 (en) Method and apparatus for overlaying a picture of a real scene with a virtual image, and mobile device
US20200201513A1 (en) Systems and methods for rfid tag locationing in augmented reality display
EP3066543B1 (en) Face tracking for additional modalities in spatial interaction
US9025823B2 (en) Tracking texture rich objects using rank order filtering
WO2023028449A2 (en) Systems and methods for generating three-dimensional maps of an indoor space
US20230141870A1 (en) Information processing apparatus, information processing method, and program
US20200326402A1 (en) An apparatus and associated methods
KR20240047186A (en) Augmented reality apparatus and operating method thereof
US20130083972A1 (en) Method, System and Computer Program Product for Identifying a Location of an Object Within a Video Sequence
EP4078089B1 (en) Localization using sensors that are tranportable with a device