KR101320683B1 - Display correction method and module based on augmented reality, object information display method and system using the same - Google Patents
Display correction method and module based on augmented reality, object information display method and system using the same Download PDFInfo
- Publication number
- KR101320683B1 KR101320683B1 KR1020120081914A KR20120081914A KR101320683B1 KR 101320683 B1 KR101320683 B1 KR 101320683B1 KR 1020120081914 A KR1020120081914 A KR 1020120081914A KR 20120081914 A KR20120081914 A KR 20120081914A KR 101320683 B1 KR101320683 B1 KR 101320683B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- display
- tracking
- displacement
- displacement amount
- Prior art date
Links
- 238000012937 correction Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 63
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 60
- 238000006073 displacement reaction Methods 0.000 claims abstract description 159
- 238000012545 processing Methods 0.000 claims abstract description 39
- 239000011159 matrix material Substances 0.000 claims description 47
- 230000009466 transformation Effects 0.000 claims description 24
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 4
- 238000003702 image correction Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템에 관한 것으로서, 보다 상세하게는 투명 디스플레이에 특정 물체에 대한 객체정보를 디스플레이함에 있어, 객체정보가 해당 물체에 매칭되어 디스플레이될 수 있도록 한 것이다.The present invention relates to a display correction method and module based on augmented reality, and a method and system for displaying object information using the same. More particularly, in displaying object information about a specific object on a transparent display, the object information is matched to the corresponding object. To be displayed.
특히, 본 발명은 사용자의 이동에 따른 사용자의 시선변화에 대응하여 해당 객체정보가 특정 물체에 지속적으로 매칭되어 디스플레이될 수 있도록 한 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템에 관한 것이다.
In particular, the present invention provides an augmented reality-based display correction method and module, the object information display method using the same so that the corresponding object information can be displayed continuously matched to a specific object in response to the user's gaze changes according to the movement of the user and It's about the system.
증강현실(Augmented Reality)는 가상현실의 한 분야로서, 실제 환경에 가상의 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽스 기법이다. 이러한 증강현실 기술은 현실 세계를 바탕으로 사용자가 가상의 물체와 상호 작용하여 향상된 현실감을 줄 수 있다는 특징을 가지며, 현실세계와 가상세계의 결합, 상호작용, 3차원 공간의 성질을 가진 시스템을 포함할 수 있다. 최근에는, 모바일 기기들의 발달로 인해 다양한 연구가 진행되고 있는 분야이며, 항공기, 자동차 및 선박 등 여러 산업 분야에의 적용 기술도 다양하게 개발되고 있다.Augmented Reality (Augmented Reality) is a field of virtual reality, a computer graphics technique that synthesizes virtual objects or information in the real environment to look like objects in the original environment. The augmented reality technology has a feature that the user can interact with a virtual object to give an enhanced reality based on the real world, and includes a system having a property of combining, interacting, and three-dimensional space of the real world and the virtual world. can do. Recently, due to the development of mobile devices, various researches are being conducted, and various applications of various technologies such as aircraft, automobiles, and ships have been developed.
이러한 증강현실은, 디지털 정보를 보다 직관적으로 제공하는 특징을 가지고 있어서, 빠르고 정확한 정보의 제공이 필요한 분야에 활용되고 있다. 예를 들어, 항공기 분야에서 사용되는 HUD(Head Up Display) 시스템은 증강현실 기술을 응용한 장비이며, 조종사의 시계 확보와 조종 수행능력 향상에 큰 도움을 주고 있다.Such augmented reality has a feature of providing digital information more intuitively, and thus is used in a field that needs to provide fast and accurate information. For example, the HUD (Head Up Display) system used in the aircraft field is a device that uses augmented reality technology, and helps the pilot to secure the watch and improve the performance of the pilot.
최근에는, 자동차 분야에서 증강현실을 적용하여, 주행에 필요한 정보를 제공함에 있어, 운전자의 전방시야 확보를 지속적으로 유지하면서도 운전자의 시각적 간섭을 최소화할 수 있는 차량용 HUD 시스템이 개발되고 있다.Recently, in applying augmented reality in the automobile field, in providing information necessary for driving, a vehicle HUD system has been developed that can minimize the visual interference of the driver while continuously maintaining the driver's front view.
특히, 투명 디스플레이 기술이 사용화되면서, 다양한 분야에서 투명 디스플레이가 적용된 증강현실 시스템을 이용하려는 노력을 하고 있다. 이러한 투명 디스플레이는 현실과 가상의 결합이라는 관점에서 가장 자연스럽고, 증강현실의 장점을 극대화 할 수 있는 유용한 디스플레이 장치이다.In particular, as transparent display technology is used, efforts are being made to use an augmented reality system to which a transparent display is applied in various fields. The transparent display is the most natural and the most useful display device that can maximize the advantages of augmented reality in terms of the combination of reality and virtual.
한편, 증강현실을 구현함에 있어, 현실과 가상의 위치를 일치시키기 위한 기술을 정합이라고 한다. 이러한 정합은 현실의 물체에 대한 정보를 디스플레이상에 자연스럽게 매칭하기 위하여 사용된다.On the other hand, in implementing augmented reality, a technique for matching the reality with the virtual position is called matching. This matching is used to naturally match information on real objects on the display.
이와 관련된 기술 중 하나인 대한민국 등록특허공보 제10-0911376호 "투명 디스플레이를 이용한 증강 현실 구현 방법 및 장치"는, 고글형태의 투명 디스플레이를 사용자가 착용하고 사용자의 시선에 따라 디스플레이되는 정보를 보정하는 기술이 나타나 있다.Korean Patent Publication No. 10-0911376 "Augmented Reality Implementation Method and Apparatus Using a Transparent Display", which is one of related technologies, wears a goggle-shaped transparent display and corrects information displayed according to a user's gaze. Technique is shown.
그러나 이와 같은 정합 방법은 사용자가 착용하지 않고 고정된 투명 디스플레이를 이용하는 증강현실 시스템에는 적합하지 않다. 이는 투명 디스플레이의 특성상 사용자의 위치와 응시 방향에 따라 정합 오차가 발생하기 때문이다.However, this matching method is not suitable for augmented reality system using a fixed transparent display without the user wearing. This is because a matching error occurs according to the position of the user and the gaze direction due to the characteristics of the transparent display.
대한민국 등록특허공보 제10-0911376호 "투명 디스플레이를 이용한 증강 현실 구현 방법 및 장치"에서도, 디스플레이의 움직임에 따라 정합하는 방법만이 나타나 있을 뿐, 사용자의 움직임에 따른 정합기술은 나타나 있지 않다.
Republic of Korea Patent Publication No. 10-0911376 "Augmented reality implementation method and apparatus using a transparent display" also, only the method of matching according to the movement of the display is shown, the matching technology according to the movement of the user does not appear.
상기와 같은 문제점을 해결하기 위해서, 본 발명은 고정된 투명 디스플레이를 사용하는 증강현실 시스템에 있어서, 투명 디스플레이에 특정 물체에 대한 객체정보가 해당 물체에 매칭되어 정확한 정보를 디스플레이할 수 있는 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템을 제공하는데 목적이 있다.In order to solve the above problems, the present invention is an augmented reality system that uses a fixed transparent display, the augmented reality based on the object information for a specific object on the transparent display to match the corresponding object to display accurate information An object of the present invention is to provide a display correction method and module, and an object information display method and system using the same.
특히, 본 발명은 해당 물체와 사용자의 움직임(예를 들어, 사용자의 얼굴 움직임)을 추적하고, 이에 기초하여 디스플레이되는 객체정보의 위치를 이동시킴으로써, 사용자의 이동에 따른 사용자의 시선변화에 대응하여 해당 객체정보가 특정 물체에 지속적으로 매칭되어 디스플레이될 수 있도록 한 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템을 제공하는데 목적이 있다.
In particular, the present invention tracks the movement of the object and the user (for example, the movement of the user's face), and moves the position of the displayed object information based on this, thereby responding to a change in the user's gaze according to the movement of the user. It is an object of the present invention to provide a method and module for augmented reality-based display correction and module, and a method and system for displaying object information using the same so that the corresponding object information can be continuously displayed on a specific object.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 증강현실 기반의 디스플레이 보정 방법은, a) 추적대상물체의 움직임에 대한 제1 객체추적정보 및 사용자의 움직임에 대한 제2 객체추적정보를 수신하는 단계; b) 상기 수신된 제1 및 제2 객체추적정보를 분석하고 기준좌표계의 기준점에 대한 해당 추적대상물체의 움직임에 대응하는 제1 객체변위량 및 해당 사용자의 움직임에 대응하는 제2 객체변위량을 산출하는 단계; c) 상기 산출된 제1 및 제2 객체변위량에 기초하여 기준좌표계에 대한 매칭변위량을 산출하는 단계; 및 d) 상기 산출된 매칭변위량에 기초하여 디스플레이평면에 디스플레이되는 해당 추적대상물체에 대한 객체정보의 디스플레이좌표를 산출하는 단계를 포함한다.In order to achieve the above object, the augmented reality-based display correction method according to the present invention, a) receiving the first object tracking information for the movement of the tracking object and the second object tracking information for the user's movement step; b) analyzing the received first and second object tracking information and calculating a first object displacement corresponding to the movement of the corresponding tracking object with respect to the reference point of the reference coordinate system and a second object displacement corresponding to the movement of the corresponding user; step; c) calculating a matching displacement with respect to a reference coordinate system based on the calculated first and second object displacements; And d) calculating display coordinates of the object information on the corresponding tracking object displayed on the display plane based on the calculated displacement amount.
일 실시예에서, 상기 단계 b)는, b-1) 상기 수신된 객체추적정보를 분석하는 단계; b-2) 기준좌표계를 호출하는 단계; 및 b-3) 상기 호출된 기준좌표계 상에서 상기 수신된 객체추적정보에 기초하여 해당 추적대상물체 및 사용자 중 적어도 하나를 포함하는 객체의 움직임에 대응하는 객체변위량을 산출하는 단계를 포함할 수 있다. 예를 들어, 상기 단계 b-3)은, b-3-1) 상기 객체추적정보에 기초하여 해당 객체의 변환성분을 확인하는 단계; 및 b-3-2) 상기 변환성분을 포함하는 변환행렬을 산출하는 단계를 포함할 수 있다. 또한, 상기 단계 b-3-1)은, 상기 변환성분 중 회전성분 및 직선성분 중 적어도 하나를 확인하고, 상기 단계 b-3-2)는, 상기 회전성분 및 직선성분 중 적어도 하나를 포함하는 4×4 변환행렬을 산출할 수 있다.In an embodiment, the step b) may include b-1) analyzing the received object tracking information; b-2) calling a reference coordinate system; And b-3) calculating an object displacement amount corresponding to a movement of an object including at least one of a corresponding tracking object and a user based on the received object tracking information on the called reference coordinate system. For example, the step b-3) may include b-3-1) identifying a transform component of the object based on the object tracking information; And b-3-2) calculating a transform matrix including the transform component. In addition, the step b-3-1), at least one of the rotational component and the linear component of the conversion component, and the step b-3-2) comprises at least one of the rotation component and the linear component A 4x4 transformation matrix can be calculated.
일 실시예에서, 상기 단계 c)는, 상기 제1 객체변위량으로 산출된 제1 변환행렬과 상기 제2 객체변위량으로 산출된 제2 변환행렬의 곱에 의해 매칭변위량을 산출할 수 있다.In an embodiment, the step c) may calculate a matching displacement amount by multiplying the first transformation matrix calculated as the first object displacement amount and the second transformation matrix calculated as the second object displacement amount.
일 실시예에서, 상기 단계 d)는, d-1) 상기 디스플레이평면의 위치를 확인하는 단계; d-2) 상기 확인된 디스플레이평면의 위치를 상기 기준좌표계에 적용하는 단계; d-3) 상기 기준좌표계가 적용된 디스플레이평면 상에서, 해당 객체정보의 이전 위치를 확인하는 단계; d-4) 상기 산출된 매칭변위량을 적용하는 단계; d-5) 상기 매칭변위량이 적용된 해당 객체정보의 이동방향 및 이동거리를 산출하는 단계; 및 d-6) 상기 산출된 해당 객체정보의 이동방향 및 이동거리에 기초하여, 상기 기준좌표계가 적용된 디스플레이평면 상에서 해당 객체정보의 디스플레이좌표를 산출하는 단계를 포함할 수 있다.In one embodiment, the step d), d-1) confirming the position of the display plane; d-2) applying the identified position of the display plane to the reference coordinate system; d-3) identifying a previous position of the object information on the display plane to which the reference coordinate system is applied; d-4) applying the calculated matching displacement; d-5) calculating a moving direction and a moving distance of the corresponding object information to which the matching displacement is applied; And d-6) calculating display coordinates of the object information on the display plane to which the reference coordinate system is applied, based on the calculated movement direction and distance of the object information.
또한, 본 발명에 따른 증강현실 기반의 디스플레이 보정 방법을 이용한 객체정보 디스플레이 방법은, a) 추적대상물체 및 사용자에 대한 영상을 수신하여 분석하고, 해당 추적대상물체 및 사용자의 움직임을 추적하는 단계; b) 상기 추적된 해당 추적대상물체의 움직임에 대한 제1 객체변위량 및 해당 사용자의 움직임에 대한 제2 객체변위량을 산출하는 단계; c) 상기 산출된 제1 및 제2 객체변위량에 기초하여 디스플레이평면에 대한 매칭변위량을 산출하는 단계; 및 d) 상기 산출된 매칭변위량에 대응하여 해당 추적대상물체에 대한 객체정보의 디스플레이위치를 이동시키는 단계를 포함한다.In addition, the object information display method using the augmented reality-based display correction method according to the present invention, a) receiving and analyzing the image of the tracking object and the user, and tracking the movement of the tracking object and the user; b) calculating a first object displacement amount for the movement of the tracked target object and a second object displacement amount for the movement of the user; c) calculating a matching displacement amount for a display plane based on the calculated first and second object displacement amounts; And d) moving the display position of the object information on the tracking object in correspondence with the calculated matching displacement.
일 실시예에서, 상기 단계 a)는, a-1) 추적대상물체 및 사용자 중 적어도 하나를 포함하는 객체의 영상을 수신하는 단계; a-2) 상기 수신된 영상에 포함된 잡음 및 왜곡 중 적어도 하나를 제거하는 보정을 수행하는 단계; a-3) 상기 보정된 영상에서 객체영역을 추출하는 단계; a-4) 상기 추출된 객체영역을 이전 객체영역과 비교하는 단계; 및 a-5) 상기 비교결과에 기초하여 해당 객체의 이동정보를 산출하는 단계를 포함할 수 있다.In an embodiment, the step a) may include: a-1) receiving an image of an object including at least one of a tracking object and a user; a-2) performing correction to remove at least one of noise and distortion included in the received image; a-3) extracting an object region from the corrected image; a-4) comparing the extracted object area with a previous object area; And a-5) calculating movement information of the object based on the comparison result.
일 실시예에서, 상기 단계 b)는, b-1) 상기 수신된 객체추적정보를 분석하는 단계; b-2) 기준좌표계를 호출하는 단계; b-3) 상기 객체추적정보에 기초하여 해당 객체의 변환성분을 확인하는 단계; 및 b-4) 상기 변환성분을 포함하는 변환행렬을 산출하는 단계를 포함할 수 있다. 예를 들어, 상기 단계 b-3)은 상기 변환성분 중 회전성분 및 직선성분 중 적어도 하나를 확인하고, 상기 단계 b-4)는 상기 회전성분 및 직선성분 중 적어도 하나를 포함하는 4×4 변환행렬을 산출하며, 상기 단계 c)는 상기 제1 객체변위량으로 산출된 제1 변환행렬과 상기 제2 객체변위량으로 산출된 제2 변환행렬의 곱에 의해 매칭변위량을 산출할 수 있다.In an embodiment, the step b) may include b-1) analyzing the received object tracking information; b-2) calling a reference coordinate system; b-3) identifying a transform component of the object based on the object tracking information; And b-4) calculating a transform matrix including the transform component. For example, step b-3) identifies at least one of a rotational component and a linear component of the transform component, and step b-4) converts a 4x4 to include at least one of the rotational component and a linear component. Computing a matrix, the step c) may calculate the matching displacement amount by the product of the first transform matrix calculated as the first object displacement amount and the second transform matrix calculated as the second object displacement amount.
일 실시예에서, 상기 단계 d)는, d-1) 상기 산출된 매칭변위량에 기초하여 디스플레이평면에 디스플레이되는 해당 추적대상물체에 대한 객체정보의 디스플레이좌표를 산출하는 단계; 및 d-2) 상기 산출된 디스플레이좌표에 대응하여 해당 추적대상물체에 대한 객체정보의 디스플레이위치를 이동시키는 단계를 포함할 수 있다. 예를 들어, 상기 단계 d-1)는, d-1-1) 상기 디스플레이평면의 위치를 확인하고 기준좌표계에 적용하는 단계; d-1-2) 상기 기준좌표계가 적용된 디스플레이평면 상에서, 해당 객체정보의 이전 위치를 확인하는 단계; 및 d-1-3) 상기 산출된 매칭변위량을 적용하여, 이동시키고자 하는 해당 객체정보의 디스플레이좌표를 산출하는 단계를 포함할 수 있다.In an embodiment, the step d) may include: d-1) calculating display coordinates of the object information on the corresponding tracking target object displayed on the display plane based on the calculated displacement amount; And d-2) moving the display position of the object information on the tracking object in correspondence with the calculated display coordinates. For example, step d-1) may include d-1-1) identifying a position of the display plane and applying the reference coordinate system; d-1-2) identifying a previous position of the object information on the display plane to which the reference coordinate system is applied; And d-1-3) calculating the display coordinates of the object information to be moved by applying the calculated matching displacement amount.
또한, 본 발명에 따른 증강현실 기반의 디스플레이 보정 모듈은, 추적대상물체의 움직임에 대한 제1 객체추적정보를 수신하여 제1 객체변위량을 산출하는 제1 객체처리부; 사용자의 움직임에 대한 제2 객체추적정보를 수신하여 제2 객체변위량을 산출하는 제2 객체처리부; 상기 제1 및 제2 객체처리부에서 산출된 제1 및 제2 객체변위량에 기초하여 매칭변위량을 산출하는 매칭변위량산출부; 및 상기 매칭변위량산출부에서 산출된 매칭변위량에 기초하여 객체정보의 디스플레이좌표를 산출하는 디스플레이좌표산출부를 포함한다.In addition, the augmented reality-based display correction module according to the present invention, the first object processing unit for receiving the first object tracking information on the movement of the tracking object to calculate the first object displacement amount; A second object processor configured to receive second object tracking information on a user's movement and calculate a second object displacement amount; A matching displacement calculation unit for calculating a matching displacement amount based on the first and second object displacement amounts calculated by the first and second object processing units; And a display coordinate calculation unit configured to calculate display coordinates of the object information based on the matching displacement amount calculated by the matching displacement calculation unit.
일 실시예에서, 상기 제1 객체처리부 및 제2 객체처리부는, 추적대상물체 및 사용자 중 적어도 하나를 포함하는 객체의 움직임에 대한 객체추적정보를 수신하는 추적정보입력부; 상기 추적정보입력부로 수신된 객체추적정보를 분석하여 변환성분 중 회전성분 및 직선성분 중 적어도 하나를 확인하는 데이터처리부; 및 상기 데이터처리부에서 확인된 변환성분 중 회전성분 및 직선성분 중 적어도 하나에 기초하여 해당 객체의 변위량을 산출하는 변위량산출부를 포함할 수 있다. 예를 들어, 상기 변위량산출부는, 상기 회전성분 및 직선성분 중 적어도 하나를 포함하는 4×4 변환행렬을 해당 객체의 변위량으로 산출할 수 있다. 또한, 상기 매칭변위량산출부는, 상기 제1 객체처리부에서 제1 객체변위량으로 산출된 제1 변환행렬과 상기 제2 객체처리부에서 제2 객체변위량으로 산출된 제2 변환행렬의 곱에 의해 매칭변위량을 산출할 수 있다.In one embodiment, the first object processing unit and the second object processing unit, tracking information input unit for receiving the object tracking information about the movement of the object including at least one of the tracking object and the user; A data processor which analyzes the object tracking information received by the tracking information input unit and identifies at least one of a rotation component and a linear component among the transform components; And a displacement amount calculation unit calculating a displacement amount of the object based on at least one of a rotation component and a linear component among the transform components identified by the data processing unit. For example, the displacement calculation unit may calculate a 4 × 4 transformation matrix including at least one of the rotation component and the linear component as the displacement amount of the object. The matching displacement calculation unit may further determine a matching displacement amount by multiplying a first transformation matrix calculated as the first object displacement amount by the first object processing unit and a second transformation matrix calculated as the second object displacement amount by the second object processing unit. Can be calculated.
일 실시예에서, 상기 증강현실 기반의 디스플레이 보정 모듈은, 추적대상물체 및 사용자의 움직임을 촬영하는 촬영장치가 설치된 위치를 원점으로 하는 기준좌표계 및 상기 원점을 포함하는 기준점에 대한 정보를 저장하는 설정값저장부를 더 포함하고, 상기 변위량산출부는, 상기 설정값저장부로부터 상기 기준점에 대한 정보를 수신하고, 수신된 기준점에 기초하여 상기 객체의 변위량을 산출할 수 있다. 예를 들어, 상기 매칭변위량산출부는, 상기 설정값저장부로부터 상기 기준좌표계에 대한 정보를 수신하고, 수신된 기준좌표계에 기초하여 상기 매칭변위량을 산출할 수 있다. 일 실시예에서, 상기 설정값저장부는, 객체정보가 디스플레이되는 디스플레이평면의 위치정보를 더 포함하고, 상기 디스플레이좌표산출부는, 상기 설정값저장부로부터 상기 디스플레이평면의 위치정보를 수신하고, 상기 매칭변위량산출부에서 산출된 매칭변위량 및 수신된 디스플레이평면의 위치정보에 기초하여 상기 기준좌표계가 적용된 디스플레이평면 상에서 해당 객체정보의 디스플레이좌표를 산출할 수 있다.In one embodiment, the augmented reality-based display correction module, a setting for storing the reference coordinate system and the reference point including the reference point to the origin of the location where the target device and the photographing device for photographing the movement of the user is installed The apparatus may further include a value storage unit, and the displacement calculation unit may receive information on the reference point from the set value storage unit and calculate a displacement amount of the object based on the received reference point. For example, the matching displacement calculation unit may receive information on the reference coordinate system from the set value storage unit, and calculate the matching displacement amount based on the received reference coordinate system. The setting value storage unit may further include position information of the display plane on which the object information is displayed, and the display coordinate calculation unit receives the position information of the display plane from the setting value storage unit, and the matching is performed. The display coordinates of the corresponding object information may be calculated on the display plane to which the reference coordinate system is applied based on the matching displacement amount calculated by the displacement calculation unit and the position information of the received display plane.
또한, 본 발명에 따른 증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템은, 추적대상물체를 촬영하고, 촬영된 영상을 분석하여 해당 추적대상물체의 움직임을 추적하는 제1 객체추적모듈; 사용자를 촬영하고, 촬영된 영상을 분석하여 해당 사용자의 움직임을 추적하는 제2 객체추적모듈; 상기 제1 및 제2 객체추적모듈로부터 상기 촬영된 추적대상물체 및 사용자 중 적어도 하나를 포함하는 객체의 객체추적정보를 수신하고, 설정된 기준좌표계 정보 및 기준점 정보 중 적어도 하나에 기초하여 해당 객체변위량 및 매칭변위량을 산출하며, 설정된 디스플레이평면의 위치정보에 기초하여 해당 추적대상물체의 객체정보에 대한 디스플레이좌표를 산출하는 디스플레이 보정 모듈; 및 상기 디스플레이 보정 모듈에서 산출된 디스플레이좌표에 대응하여 해당 객체정보를 디스플레이하도록 디스플레이모듈을 제어하는 디스플레이제어모듈을 포함한다.In addition, the object information display system using the augmented reality-based display correction module according to the present invention, the first object tracking module for tracking the movement of the tracking object by photographing the tracking object, analyzing the captured image; A second object tracking module that photographs a user and analyzes the photographed image to track a user's movement; Receiving object tracking information of an object including at least one of the captured tracking object and a user from the first and second object tracking modules, and based on at least one of reference coordinate system information and reference point information, a corresponding object displacement amount and A display correction module configured to calculate a matching displacement and calculate display coordinates of the object information of the tracking object based on the set position information of the display plane; And a display control module for controlling the display module to display corresponding object information corresponding to the display coordinates calculated by the display correction module.
일 실시예에서, 상기 증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템은, 해당 추적대상물체 및 사용자의 움직임을 촬영하는 촬영장치가 설치된 위치를 원점으로 하는 기준좌표계 정보, 상기 원점을 포함하는 기준점 정보 및 객체정보가 디스플레이되는 디스플레이평면의 위치정보 중 적어도 하나를 상기 디스플레이 보정 모듈에 제공하는 설정값입력모듈을 더 포함할 수 있다.In one embodiment, the object information display system using the augmented reality-based display correction module, the reference coordinate information including the reference point system information, the origin of the location where the target device and the photographing device for photographing the movement of the user is included; The apparatus may further include a setting value input module configured to provide the display correction module with at least one of position information of a display plane on which reference point information and object information are displayed.
일 실시예에서, 상기 증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템은, 해당 추적대상물체에 대한 정보를 포함하는 객체정보를 수신하여 상기 디스플레이제어모듈에 제공하는 객체정보수신모듈을 더 포함할 수 있다.In one embodiment, the object information display system using the augmented reality-based display correction module, further comprises an object information receiving module for receiving the object information including the information on the object to be tracked to provide to the display control module. can do.
예를 들어, 상기 제1 객체추적모듈 및 제2 객체추적모듈은, 추적대상물체 및 사용자 중 적어도 하나를 포함하는 객체를 촬영하는 영상촬영부; 상기 영상촬영부에서 촬영된 객체의 영상에 포함된 잡음 및 왜곡 중 적어도 하나를 제거하는 보정을 수행하는 영상보정부; 상기 영상보정부에서 보정된 영상에서 객체영역을 추출하는 영상추출부; 및 상기 영상추출부에서 추출된 객체영역의 이동을 확인하여 해당 객체의 이동정보를 산출하는 영상추적부를 포함할 수 있다.
For example, the first object tracking module and the second object tracking module may include an image photographing unit photographing an object including at least one of a tracking object and a user; An image correction unit for correcting at least one of noise and distortion included in an image of an object photographed by the image photographing unit; An image extractor extracting an object region from the image corrected by the image corrector; And an image tracker which checks the movement of the object region extracted by the image extractor and calculates movement information of the object.
상기와 같은 해결수단에 의해, 본 발명은 고정된 투명 디스플레이를 사용하는 증강현실 시스템에 있어서, 사용자의 이동에 따른 사용자의 시선변화에 대응하여 해당 객체정보가 특정 물체에 지속적으로 매칭되어 디스플레이될 수 있도록 함으로써, 정확한 정보전달이 지속적으로 이루어질 수 있도록 하는 장점이 있다.According to the above solution, the present invention in the augmented reality system using a fixed transparent display, the corresponding object information can be displayed continuously matched to a specific object in response to the user's gaze changes according to the user's movement By doing so, there is an advantage to ensure that accurate information delivery is made continuously.
특히, 본 발명은 해당 물체와 사용자의 움직임(예를 들어, 사용자의 얼굴 움직임)을 추적하여 디스플레이되는 객체정보의 위치를 이동함에 있어, 회전행렬과 병진행렬로 구성되는 4×4 형태의 행렬을 이용하여 해당 객체정보의 이동위치를 산출함으로써, 증강현실에서의 정합처리를 위한 데이터산출시간을 최소화할 수 있는 효과가 있다.In particular, the present invention tracks the movement of the object and the user (for example, the movement of the user's face) and moves the position of the displayed object information. The matrix includes a 4 × 4 matrix consisting of a rotation matrix and a translation matrix. By calculating the moving position of the object information by using, it is possible to minimize the data generation time for matching processing in augmented reality.
결과적으로, 본 발명은 사용자와 물체 및 객체정보 간의 실시간 상호작용을 요구하는 분야에서 매우 유용하게 이용될 수 있는 기술을 제공할 수 있다.As a result, the present invention can provide a technique that can be very usefully used in the field requiring real-time interaction between the user and the object and object information.
따라서, 본 발명은 증강현실 기술을 이용한 의료분야, 건설분야, 항공기분야, 자동차분야 및 선박분야를 포함하는 증강현실 시스템 분야에서 정보전달의 신속성 및 정확성, 제공되는 정보의 신뢰성 및 증강현실시스템의 경쟁력을 향상시킬 수 있다.
Accordingly, the present invention provides rapid and accurate information transmission, reliability of information provided, and competitiveness of augmented reality system in augmented reality system field including medical field, construction field, aircraft field, automobile field and ship field using augmented reality technology. Can improve.
도 1은 본 발명에 의한 증강현실 기반의 디스플레이 보정 방법을 설명하는 개념도이다.
도 2는 본 발명에 의한 증강현실 기반의 디스플레이 보정 모듈에 대한 일 실시예를 설명하는 블록도이다.
도 3은 본 발명에 의한 증강현실 기반의 디스플레이 보정 방법에 대한 일 실시예를 설명하는 흐름도이다.
도 4는 도 3의 단계 "S120"에 대한 구체적인 일 실시예를 설명하는 순서도이다.
도 5는 도 3의 단계 "S130"에 대한 구체적인 일 실시예를 설명하는 수식이다.
도 6은 도 3의 단계 "S130"을 기하학적으로 설명하는 도면이다.
도 7은 도 3의 단계 "S140"에 대한 구체적인 일 실시예를 설명하는 순서도이다.
도 8은 본 발명에 의한 증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템에 대한 일 실시예를 설명하는 블록도이다.
도 9는 본 발명에 의한 증강현실 기반의 디스플레이 보정 방법을 이용한 객체정보 디스플레이 방법에 대한 일 실시예를 설명하는 흐름도이다.
도 10은 도 9의 단계 "S210"에 대한 구체적인 일 실시예를 설명하는 순서도이다.1 is a conceptual diagram illustrating a method for correcting display based on augmented reality according to the present invention.
2 is a block diagram illustrating an embodiment of an augmented reality based display correction module according to the present invention.
3 is a flowchart illustrating an embodiment of an augmented reality based display correction method according to the present invention.
4 is a flowchart for describing a specific embodiment of step "S120" of FIG. 3.
FIG. 5 is a formula for describing a specific embodiment of step S130 of FIG. 3.
FIG. 6 is a view for explaining geometrically the step "S130" of FIG.
FIG. 7 is a flowchart for describing a specific embodiment of step S140 of FIG. 3.
8 is a block diagram illustrating an embodiment of an object information display system using the augmented reality-based display correction module according to the present invention.
9 is a flowchart illustrating an embodiment of an object information display method using the augmented reality-based display correction method according to the present invention.
FIG. 10 is a flowchart for describing a specific embodiment of step "S210" of FIG. 9.
본 발명에 따른 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.Examples of the augmented reality-based display correction method and module, an object information display method and system using the same can be applied in various ways, hereinafter with reference to the accompanying drawings to describe the most preferred embodiment do.
도 1은 본 발명에 의한 증강현실 기반의 디스플레이 보정 방법을 설명하는 개념도이다.1 is a conceptual diagram illustrating a method for correcting display based on augmented reality according to the present invention.
도 1을 참조하면, 투명 디스플레이(D)의 일측에는 사용자(U)를 촬영하는 제1 카메라(C1)와 추적대상물체(Obj)를 촬영하는 제2 카메라(C2)가 구성된다.Referring to FIG. 1, one side of the transparent display D includes a first camera C1 for photographing a user U and a second camera C2 for photographing a tracking object Obj.
제1 카메라(C1)를 통해 촬영된 사용자(U)의 위치가 (a)인 경우, 추적대상물체(Obj)에 대한 객체정보(Obj-info)인 "Target"은, 추적대상물체(Obj)를 바라보는 사용자(U)의 제1 시선(E1)과 투명 디스플레이(D)의 디스플레이평면(d)이 만나는 교차점에 디스플레이된다.When the position of the user U photographed through the first camera C1 is (a), "Target", which is object information (Obj-info) for the tracking object Obj, is the tracking object Obj. The first visual line E1 of the user U looking at and the display plane d of the transparent display D meet each other.
이후, 사용자(U)가 (b)지점으로 이동하게 되면, 제1 카메라(C1)를 통해 사용자(U)의 이동을 감지하고, 해당 사용자(U)의 이동량에 대응하여 추적대상물체(Obj)에 대한 객체정보(Obj-info)의 위치를 보정한다. 다시 말해, 사용자(U)의 이동에 따른 추적대상물체(Obj)에 대한 객체정보(Obj-info)는, 추적대상물체(Obj)를 바라보는 사용자(U)의 제2 시선(E2)과 투명 디스플레이(D)의 디스플레이평면(d)이 만나는 교차점으로 이동되어 디스플레이된다.Thereafter, when the user U moves to the point (b), the movement of the user U is detected through the first camera C1, and the tracking object Obj corresponds to the movement amount of the user U. Correct the position of object information (Obj-info) with respect to. In other words, the object information Obj-info of the tracking object Obj according to the movement of the user U is transparent to the second eye E2 of the user U looking at the tracking object Obj. The display plane d of the display D is moved to the intersection where it meets and displayed.
이러한 보정은 추적대상물체(Obj)가 이동한 경우에도 동일하게 적용될 수 있다.This correction may be equally applied even when the tracking object Obj moves.
따라서, 사용자(U)는 투명 디스플레이(D)를 통해 추적대상물체(Obj)의 객체정보를 정확하게 확인할 수 있다.Therefore, the user U can accurately check the object information of the tracking object Obj through the transparent display D. FIG.
도 2는 본 발명에 의한 증강현실 기반의 디스플레이 보정 모듈에 대한 일 실시예를 설명하는 블록도이다.2 is a block diagram illustrating an embodiment of an augmented reality based display correction module according to the present invention.
도 2를 참조하면, 증강현실 기반의 디스플레이 보정 모듈(100)은, 제1 객체처리부(110), 제2 객체처리부(120), 매칭변위량산출부(130) 및 디스플레이좌표산출부(140)를 포함한다.Referring to FIG. 2, the augmented reality-based
제1 객체처리부(110)는 추적대상물체의 움직임에 대한 제1 객체추적정보를 수신하여 제1 객체변위량을 산출한다. 예를 들어, 제1 객체추적정보는 추적대상물체를 촬영한 영상 중 인접된 두 정지영상에서 해당 객체(추적대상물체)가 이동된 방향 및 거리와 회전된 방향 및 각도를 포함할 수 있다.The
일 실시예에서, 제1 객체처리부(110)는 제1 추적정보입력부(111), 제1 데이터처리부(112) 및 제1 변위량산출부(113)를 포함할 수 있다.In an embodiment, the first
제1 추적정보입력부(111)는 추적대상물체 및 사용자 중 적어도 하나를 포함하는 객체의 움직임에 대한 객체추적정보를 수신할 수 있다. 예를 들어, 제1 추적정보입력부(111)는 3차원 공간상에서 해당 객체(추적대상물체)가 이동한 방향 및 거리와 회전방향 및 회전각을 포함하는 객체추적정보를 수신할 수 있다.The first tracking
제1 데이터처리부(112)는 제1 추적정보입력부(111)로 수신된 객체추적정보를 분석하여 변환성분 중 회전성분 및 직선성분 중 적어도 하나를 확인할 수 있다. 예를 들어, 제1 데이터처리부(112)는 해당 객체(추적대상물체)가 이동한 방향 및 거리를 포함하는 직선성분과 해당 객체(추적대상물체)가 회전한 회전방향 및 회전각을 포함하는 회전성분을 확인할 수 있다.The
제1 변위량산출부(113)는 제1 데이터처리부(112)에서 확인된 변환성분 중 회전성분 및 직선성분 중 적어도 하나에 기초하여 해당 객체의 변위량을 산출할 수 있다. 예를 들어, 제1 변위량산출부(113)는 도 5의 (a)와 같은 행렬의 형태로 해당 객체의 변위량을 산출할 수 있다. 일 실시예에서, 제1 변위량산출부(113)는 도 5의 (b)에 나타난 바와 같이 제1 데이터처리부(112)에서 확인된 회전성분(R) 및 직선성분(T) 중 적어도 하나를 포함하는 4×4 변환행렬을 해당 객체의 변위량으로 산출할 수 있다.The first
제2 객체처리부(120)는 사용자의 움직임에 대한 제2 객체추적정보를 수신하여 제2 객체변위량을 산출한다. 여기서, 제2 객체처리부(120)는 그 대상을 사용자로 한다는 점에서 제1 객체처리부(110)와 차이가 있고, 해당 객체(사용자)에 대한 추적정보를 처리하여 변위량을 산출하기 위하여 구성되는 제2 추적정보입력부(121), 제2 데이터처리부(122) 및 제2 변위량산출부(123)의 기능은 제1 객체처리부(110)와 동일 내지 유사함은 물론이다. 이에 따라, 제2 객체처리부(120)는 도 5의 (C)와 같은 4×4 변환행렬을 해당 객체의 변위량으로 산출할 수 있다.The second
매칭변위량산출부(130)는 제1 및 제2 객체처리부(110)(120)에서 산출된 제1 및 제2 객체변위량에 기초하여 매칭변위량을 산출한다. 예를 들어, 매칭변위량산출부(130)는, 도 5의 (d)에 나타난 바와 같이 제1 객체처리부(110)에서 산출된 제1 변환행렬(추적대상물체의 변위량)과, 제2 객체처리부(120)에서 산출된 제2 변환행렬(사용자의 변위량)의 곱에 의해 매칭변위량을 산출할 수 있다.The matching
디스플레이좌표산출부(140)는 매칭변위량산출부(130)에서 산출된 매칭변위량에 기초하여 객체정보의 디스플레이좌표를 산출한다. 예를 들어, 디스플레이좌표산출부(140)는 추적대상물체 및 사용자의 움직임을 촬영하는 촬영장치가 설치된 위치를 원점으로 하는 기준좌표계에 기초하여 디스플레이좌표를 산출할 수 있다.The display coordinate
일 실시예에서, 증강현실 기반의 디스플레이 보정 모듈(100)은 설정값저장부(150)를 더 포함할 수 있다.In one embodiment, the AR-based
설정값저장부(150)는 도 6에 나타난 바와 같이, 추적대상물체 및 사용자의 움직임을 촬영하는 촬영장치가 설치된 위치를 원점으로 하는 기준좌표계에 대한 정보, 원점을 포함하는 기준점에 대한 정보 및 객체정보가 디스플레이되는 디스플레이평면의 위치정보를 저장할 수 있다.As shown in FIG. 6, the setting
이러한 설정값저장부(150)에 의해, 제1 및 제2 변위량산출부(113)(123)는 설정값저장부(150)로부터 설정된 기준좌표계의 기준점(원점)에 대한 정보를 수신하고, 수신된 기준점에 기초하여 해당 객체의 변위량을 산출할 수 있다. 또한, 매칭변위량산출부(130)는 설정값저장부(150)로부터 설정된 기준좌표계에 대한 정보를 수신하고, 수신된 기준좌표계에 기초하여 매칭변위량을 산출할 수 있다. 더불어, 디스플레이좌표산출부(140)는 설정값저장부(150)로부터 디스플레이평면의 위치정보를 수신하고, 매칭변위량산출부(130)에서 산출된 매칭변위량 및 수신된 디스플레이평면의 위치정보에 기초하여, 설정된 기준좌표계가 적용된 디스플레이평면 상에서 해당 객체정보의 디스플레이좌표를 산출할 수 있다.By the setting
도 3은 본 발명에 의한 증강현실 기반의 디스플레이 보정 방법에 대한 일 실시예를 설명하는 흐름도이다.3 is a flowchart illustrating an embodiment of an augmented reality based display correction method according to the present invention.
도 3을 참조하면, 디스플레이 보정 모듈(100)은 추적대상물체의 움직임에 대한 제1 객체추적정보 및 사용자의 움직임에 대한 제2 객체추적정보를 수신한다(단계 S110). 일 실시예에서, 제2 객체추적정보는 사용자의 얼굴을 추적한 정보를 포함할 수 있다. 예를 들어, 사용자 얼굴 추적은 카메라 기반의 얼굴 추적 라이브러리인 "Face Tracking(FaceAPI)"를 통해 이루어질 수 있다. 이와 같이, 사용자의 시선을 확인하는 방법으로 얼굴 추적을 이용하는 이유는, 사용자의 눈동자를 추적하는 방법은 공간의 제약이 있을 뿐만 아니라, 사용하는 적외선 방식의 카메라 시스템이 해당 사용자에게 거부감을 줄 수 있기 때문이다. 또한, 사용자의 눈동자를 추적하는 방법은 다소 복잡한 교정과정을 거처야 하기 때문에, 개방된 공간이나 사용자가 빈번하게 바뀌는 경우에는 적합하지 않기 때문이다. 다만, 향후 이러한 문제점을 해결한 눈동자 추적 방법이 제시될 경우, 이를 본 발명에 적용할 수 있음은 물론이다.Referring to FIG. 3, the
디스플레이 보정 모듈(100)은 수신된 제1 및 제2 객체추적정보를 분석하고 기준좌표계의 기준점에 대한 해당 추적대상물체의 움직임에 대응하는 제1 객체변위량 및 해당 사용자의 움직임에 대응하는 제2 객체변위량을 산출한다(단계 S120). 일 실시예에서, 추적대상물체가 실외에 위치하고 사용자가 실내에 위치하는 경우, 제1 객체변위량은 3차원 공간에서의 회전성분을 포함하는 회전행렬 요소와 3차원 공간에서의 직선성분을 포함하는 병진행렬 요소를 포함할 수 있고, 제2 객체변위량은 3차원 공간에서의 직선성분을 포함하는 병진행렬 요소만 포함할 수 있다.The
디스플레이 보정 모듈(100)은 산출된 제1 및 제2 객체변위량에 기초하여 기준좌표계에 대한 매칭변위량을 산출한다(단계 S130). 일 실시예에서, 제1 객체변위량은 3차원 공간에서의 회전성분을 포함하는 회전행렬 요소와 3차원 공간에서의 직선성분을 포함하는 병진행렬 요소를 포함하고, 제2 객체변위량은 3차원 공간에서의 직선성분을 포함하는 병진행렬 요소만 포함한 경우, 매칭변위량은 제1 객체변위량의 회전행렬 요소와, 제1 및 제2 객체변위량의 병진행렬의 합행렬 요소를 포함할 수 있다.The
디스플레이 보정 모듈(100)은 산출된 매칭변위량에 기초하여 디스플레이평면에 디스플레이되는 해당 추적대상물체에 대한 객체정보의 디스플레이좌표를 산출한다(단계 S140). 일 실시예에서, 객체정보의 디스플레이좌표는 설정된 기준좌표계를 적용한 디스플레이화면에 대응하는 평면좌표 상에서 사용자의 시선과 디스플레이화면이 만나는 위치를 포함할 수 있다.The
도 4는 도 3의 단계 "S120"에 대한 구체적인 일 실시예를 설명하는 순서도이다.4 is a flowchart for describing a specific embodiment of step "S120" of FIG. 3.
도 4를 참조하면, 디스플레이 보정 모듈(100)은 추적정보입력부(111)(121)로 수신된 객체추적정보를 데이터처리부(112)(122)에서 분석하면(단계 S121), 설정값저장부(150)에 기준좌표계를 호출할 수 있다(단계 S122).Referring to FIG. 4, when the
이후, 디스플레이 보정 모듈(100)의 데이터처리부(112)(122)는 수신되어 분석된 객체추적정보에 기초하여 해당 객체의 변환성분을 확인할 수 있다(단계 S123).Thereafter, the
그리고, 디스플레이 보정 모듈(100)의 변위량산출부(113)(123)는 확인된 변환성분에 대하여 회전성분의 포함여부를 확인할 수 있고(단계 S124), 회전성분 및 직선성분 중 적어도 하나를 포함하는 4×4 변환행렬을 산출할 수 있다.In addition, the
예를 들어, 제1 변위량산출부(113)는 확인된 변환성분에 회전성분이 포함된 경우(단계 S124), 회전성분 및 직선성분을 포함하는 4×4 변환행렬을 산출할 수 있다(단계 S125).For example, the first
다른 예로, 제2 변위량산출부(123)는 확인된 변환성분에 회전성분이 포함되지 않은 경우(단계 S124), 직선성분을 포함하는 4×4 변환행렬을 산출할 수 있다(단계 S126).As another example, if the rotation component is not included in the identified transform component (step S124), the second
도 5는 도 3의 단계 "S130"에 대한 구체적인 일 실시예를 설명하는 수식이다.FIG. 5 is a formula for describing a specific embodiment of step S130 of FIG. 3.
도 5를 참조하면, 본 발명에 의한 객체변위량 및 매칭변위량은 도 5의 (a)와 같은 4×4 변환행렬로 정의될 수 있다.Referring to FIG. 5, the object displacement amount and the matching displacement amount according to the present invention may be defined as a 4 × 4 transformation matrix as shown in FIG. 5A.
이를 기초로, 회전성분과 직선성분을 갖는 제1 객체변위량은 도 5의 (b)와 같은 4×4 변환행렬로 정의될 수 있고, 직선성분만을 갖는 제2 객체변위량은 도 5의 (c)와 같은 4×4 변환행렬로 정의될 수 있으며, 이러한 두 행렬의 곱인 매칭변위량은 도 5의 (d)와 같은 4×4 변환행렬로 정의될 수 있다.Based on this, the first object displacement amount having a rotational component and a linear component may be defined as a 4 × 4 transformation matrix as shown in FIG. 5B, and the second object displacement amount having only a linear component is shown in FIG. 5C. It can be defined as a 4 × 4 transform matrix, and the matching displacement, which is the product of these two matrices can be defined as a 4 × 4 transform matrix as shown in (d) of FIG.
도 6은 도 3의 단계 "S130"을 기하학적으로 설명하는 도면이다.FIG. 6 is a view for explaining geometrically the step "S130" of FIG.
도 6을 참조하면, 도 5의 (b)에 의하여 추적대상물체와 카메라간의 객체변위량을 나타내고 있으며, 5의 (c)에 의하여 사용자의 얼굴과 카메라간의 객체변위량을 나타내고 있다. 그리고, 이러한 두 행렬의 곱인 도 5의 (d)는 추적대상물체와 사용자의 얼굴 간의 변위량을 나타낸다.Referring to FIG. 6, an object displacement amount between a tracking object and a camera is illustrated in FIG. 5B, and an object displacement amount between a user's face and a camera is illustrated in FIG. 5C. 5 (d), which is the product of these two matrices, shows the displacement amount between the tracking object and the user's face.
도 7은 도 3의 단계 "S140"에 대한 구체적인 일 실시예를 설명하는 순서도이다.FIG. 7 is a flowchart for describing a specific embodiment of step S140 of FIG. 3.
도 7을 참조하면, 디스플레이 보정 모듈(100)의 디스플레이좌표산출부(140)는, 디스플레이평면의 위치를 확인할 수 있고(단계 S141), 확인된 디스플레이평면의 위치를 기준좌표계에 적용할 수 있다(단계 S142). 일 실시예에서, 디스플레이좌표산출부(140)는 디스플레이평면의 위치 및 기준좌표계의 정보를 설정값저장부(150)로부터 수신할 수 있다.Referring to FIG. 7, the display coordinate
디스플레이좌표산출부(140)는 기준좌표계가 적용된 디스플레이평면 상에서, 해당 객체정보의 이전 위치를 확인한 후(단계 S143), 산출된 매칭변위량을 적용하여(단계 S144), 해당 객체정보의 이동방향 및 이동거리를 산출할 수 있다 (단계 S145).The display coordinate
디스플레이좌표산출부(140)는 산출된 해당 객체정보의 이동방향 및 이동거리에 기초하여, 기준좌표계가 적용된 디스플레이평면 상에서 해당 객체정보의 디스플레이좌표를 산출할 수 있다(단계 S146).The display coordinate
상기와 같이 산출된 디스플레이좌표는 도 6에서 추적대상물체(Objcet)를 바라보는 사용자의 시선과 투명 디스플레이(D)가 만나는 위치에 해당함은 당연하다.The display coordinate calculated as described above corresponds to the position where the user's gaze looking at the object to be tracked (Objcet) and the transparent display (D) meet in FIG. 6.
이후, 디스플레이 보정 모듈(100)은 추적대상물체 및 사용자 중 적어도 하나의 객체가 이동하면(단계 S147), 도 7의 단계 "S143" 내지 단계 "S146"을 반복수행할 수 있다.Thereafter, when at least one object of the tracking object and the user moves (step S147), the
이하에서 도 8 내지 도 10을 설명함에 있어, 상기에서 설명된 내용과 중복되는 내용은 생략하기로 한다.In the following description with reference to FIGS. 8 to 10, the descriptions overlapping with the above description will be omitted.
도 8은 본 발명에 의한 증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템에 대한 일 실시예를 설명하는 블록도이다.8 is a block diagram illustrating an embodiment of an object information display system using the augmented reality-based display correction module according to the present invention.
도 8을 참조하면, 증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템(A)은 디스플레이 보정 모듈(100), 제1 객체추적모듈(200), 제2 객체추적모듈(300), 디스플레이제어모듈(400), 디스플레이모듈(500), 설정값입력모듈(600) 및 객체정보수신모듈(700)을 포함한다.Referring to FIG. 8, the object information display system A using the augmented reality-based display correction module A may include a
디스플레이 보정 모듈(100)은, 제1 및 제2 객체추적모듈(200)(300)로부터 촬영된 추적대상물체 및 사용자 중 적어도 하나를 포함하는 객체의 객체추적정보를 수신하고, 설정된 기준좌표계 정보 및 기준점 정보 중 적어도 하나에 기초하여 해당 객체변위량 및 매칭변위량을 산출하며, 설정된 디스플레이평면의 위치정보에 기초하여 해당 추적대상물체의 객체정보에 대한 디스플레이좌표를 산출한다. 여기서, 디스플레이 보정 모듈(100)은 도 2에 나타난 구성을 포함할 수 있다.The
제1 객체추적모듈(200)은 추적대상물체를 촬영하고, 촬영된 영상을 분석하여 해당 추적대상물체의 움직임을 추적한다.The first
일 실시예에서, 제1 객체추적모듈(200)은 제1 영상촬영부(210), 제1 영상보정부(220), 제1 영상추출부(230) 및 제1 영상추적부(240)를 포함할 수 있다.In an exemplary embodiment, the first
제1 영상촬영부(210)는 추적대상물체(객체)를 촬영할 수 있다. 예를 들어, 제1 영상촬영부(210)는 추적대상물체를 향하도록 디스플레이모듈(500)의 일측에 설치될 수 있다.The first
제1 영상보정부(220)는 제1 영상촬영부(210)에서 촬영된 객체의 영상에 포함된 잡음 및 왜곡 중 적어도 하나를 제거하는 보정을 수행할 수 있다. 예를 들어, 잡음 및 왜곡의 보정은 추적대상물체를 촬영하는 카메라에 대한 보정파라미터를 통해 수행될 수 있다.The
제1 영상추출부(230)는 제1 영상보정부(220)에서 보정된 영상에서 객체영역을 추출할 수 있다. 예를 들어, 제1 영상추출부(230)는 추적대상물체를 촬영한 영상에서 추적대상물체의 특징점을 추출하고, 추출된 특징점에 기초하여 해당 추적대상물체에 대한 객체영역을 추출할 수 있다.The
제1 영상추적부(240)는 제1 영상추출부(230)에서 추출된 객체영역의 이동을 확인하여 해당 객체의 이동정보를 산출할 수 있다. 예를 들어, 제1 영상추적부(240)는 추적대상물체를 촬영한 영상 중 인접된 두 정지영상에서 해당 객체(추적대상물체)의 변화여부 및 이동방향, 이동거리, 회전방향, 회전각도를 분석하여 해당 객체의 이동정보를 산출할 수 있다.The
제2 객체추적모듈(300)은 사용자를 촬영하고, 촬영된 영상을 분석하여 해당 사용자의 움직임을 추적한다. 여기서, 제2 객체추적모듈(300)은 그 대상을 사용자의 얼굴로 한다는 점에서 제1 객체처리부(110)와 차이가 있고, 해당 객체(사용자)에 대한 추정정보를 산출하기 위하여 구성되는 제2 영상촬영부(310), 제2 영상보정부(320), 제2 영상추출부(330) 및 제2 영상추적부(340)의 기능은 제1 객체추적모듈(200)과 동일 내지 유사함은 물론이다.The second
디스플레이제어모듈(400)은 디스플레이 보정 모듈(100)에서 산출된 디스플레이좌표에 대응하여 해당 객체정보를 디스플레이하도록 디스플레이모듈(500)을 제어한다. 여기서, 디스플레이제어모듈(400)이 디스플레이모듈(500)을 제어하는 구체적인 방법은 디스플레이모듈(500)의 구성 및 데이처처리방법과 당업자의 요구에 따라 다양한 변형이 가능함은 물론이다.The
설정값입력모듈(600)은 해당 추적대상물체 및 사용자의 움직임을 촬영하는 촬영장치(도 8에서는 영상촬영부)가 설치된 위치를 원점으로 하는 기준좌표계 정보, 원점을 포함하는 기준점 정보 및 객체정보가 디스플레이되는 디스플레이평면의 위치정보 중 적어도 하나를 상기 디스플레이 보정 모듈(100)에 제공할 수 있다. 예를 들어, 설정값입력모듈(600)은 해당 정보를 외부장치로부터 전송받는 유무선통신부(도시하지 않음)를 포함할 수 있다. 다른 예로, 설정값입력모듈(600)은 해당 정보를 사용자에 의해 입력 또는 변경할 수 있는 키입력부(도시하지 않음)를 포함할 수 있다.The setting
객체정보수신모듈(700)은 해당 추적대상물체에 대한 정보를 포함하는 객체정보를 수신하여, 디스플레이제어모듈(400)에 제공할 수 있다. 예를 들어, 객체정보수신모듈(700)은 해당 정보를 외부장치로부터 전송받는 유무선통신부(도시하지 않음)를 포함할 수 있다.The object
도 9는 본 발명에 의한 증강현실 기반의 디스플레이 보정 방법을 이용한 객체정보 디스플레이 방법에 대한 일 실시예를 설명하는 흐름도이고, 도 10은 도 9의 단계 "S210"에 대한 구체적인 일 실시예를 설명하는 순서도이다.9 is a flowchart illustrating an embodiment of an object information display method using the augmented reality-based display correction method according to the present invention, and FIG. 10 illustrates a specific embodiment of step “S210” of FIG. 9. Flowchart.
도 9를 참조하면, 증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템(A)은, 추적대상물체 및 사용자에 대한 영상을 수신하여 분석하고, 해당 추적대상물체 및 사용자의 움직임을 추적한다(단계 S210).Referring to FIG. 9, the object information display system A using the augmented reality-based display correction module receives and analyzes images of a tracking object and a user, and tracks movements of the tracking object and the user ( Step S210).
일 실시예에서, 증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템(A)은, 도 10에 나타난 바와 같이, 추적대상물체 및 사용자 중 적어도 하나를 포함하는 객체의 영상을 수신하면(단계 S211), 해당 카메라 파라미터에 의해 수신된 영상에 포함된 잡음 및 왜곡 중 적어도 하나를 제거하는 보정을 수행할 수 있고(단계 S212), 보정된 영상에서 객체영역을 추출할 수 있다(단계 S214). 예를 들어, 객체가 사용자의 얼굴인 경우, 객체영역의 추출은 얼굴 인식 라이브러리(FaceAPI)를 기반으로 추출될 수 있다.In an embodiment, when the object information display system A using the augmented reality-based display correction module receives an image of an object including at least one of a tracking object and a user, as shown in FIG. 10, step S211 ), Correction may be performed to remove at least one of noise and distortion included in the image received by the corresponding camera parameter (step S212), and an object region may be extracted from the corrected image (step S214). For example, when the object is a user's face, the extraction of the object area may be extracted based on the face recognition library (FaceAPI).
증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템(A)은, 추출된 객체영역을 이전 객체영역과 비교하여(단계 S215), 해당 객체의 이동정보를 산출할 수 있다(단계 S216). 예를 들어, 객체가 사용자의 얼굴인 경우, 객체의 이동정보는 얼굴 인식 라이브러리(FaceAPI)를 기반으로 추적된 정보를 포함할 수 있다.The object information display system A using the augmented reality-based display correction module may compare the extracted object area with the previous object area (step S215) and calculate movement information of the corresponding object (step S216). For example, when the object is a user's face, the movement information of the object may include information tracked based on a face recognition library (FaceAPI).
증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템(A)은, 추적된 해당 추적대상물체의 움직임에 대한 제1 객체변위량 및 해당 사용자의 움직임에 대한 제2 객체변위량을 산출하고(단계 S220), 산출된 제1 및 제2 객체변위량에 기초하여 디스플레이평면에 대한 매칭변위량을 산출하며(단계 S230), 산출된 매칭변위량에 대응하여 해당 추적대상물체에 대한 객체정보의 디스플레이위치를 이동시킬 수 있다(단계 S240).The object information display system A using the augmented reality-based display correction module calculates a first object displacement amount for the tracked movement of the tracking object and a second object displacement amount for the movement of the user (step S220). Based on the calculated first and second object displacements, a matching displacement with respect to the display plane may be calculated (step S230), and the display position of the object information with respect to the tracking object may be shifted in correspondence with the calculated matching displacement. (Step S240).
상기한 단계 "S220" 내지 단계 "S240"은 도 4 내지 도 7에 나타난 바와 동일 내지 유사할 수 있고, 이에 기초하여 수행될 수 있음은 당연하다.It should be understood that the above steps "S220" to "S240" may be the same as or similar to those shown in FIGS. 4 to 7, and may be performed based on the above.
이상에서 본 발명에 의한 증강현실 기반의 디스플레이 보정 방법 및 모듈, 이를 이용한 객체정보 디스플레이 방법 및 시스템에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.The augmented reality-based display correction method and module according to the present invention, the object information display method and system using the same have been described. It will be understood by those skilled in the art that the technical features of the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 전술한 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지는 것이므로, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Therefore, the above-described embodiments are to be understood in all respects as illustrative and not restrictive, and the scope of the present invention is indicated by the appended claims rather than the foregoing description, and therefore the meaning of the claims. And all changes or modifications derived from the scope and equivalent concept thereof should be construed as being included in the scope of the present invention.
A : 객체정보 디스플레이 시스템
100 : 디스플레이 보정 모듈
110 : 제1 객체처리부 120 : 제2 객체처리부
130 : 매칭변위량산출부 140 : 디스플레이좌표산출부
150 : 설정값저장부
200 : 제1 객체추적모듈 300 : 제2 객체추적모듈
400 : 디스플레이제어모듈 500 : 디스플레이모듈
600 : 설정값입력모듈 700 : 객체정보수신모듈A: Object Information Display System
100: display calibration module
110: first object processing unit 120: second object processing unit
130: matching displacement calculation unit 140: display coordinate calculation unit
150: setting value storage unit
200: first object tracking module 300: second object tracking module
400: display control module 500: display module
600: set value input module 700: object information receiving module
Claims (24)
b) 상기 수신된 제1 및 제2 객체추적정보를 분석하고 기준좌표계의 기준점에 대한 해당 추적대상물체의 움직임에 대응하는 제1 객체변위량 및 해당 사용자의 움직임에 대응하는 제2 객체변위량을 산출하는 단계;
c) 상기 산출된 제1 및 제2 객체변위량에 기초하여 기준좌표계에 대한 매칭변위량을 산출하는 단계; 및
d) 상기 산출된 매칭변위량에 기초하여 디스플레이평면에 디스플레이되는 해당 추적대상물체에 대한 객체정보의 디스플레이좌표를 산출하는 단계;를 포함하고,
상기 단계 b)는,
b-1) 상기 수신된 객체추적정보를 분석하는 단계;
b-2) 기준좌표계를 호출하는 단계; 및
b-3) 상기 호출된 기준좌표계 상에서 상기 수신된 객체추적정보에 기초하여 해당 추적대상물체 및 사용자 중 적어도 하나를 포함하는 객체의 움직임에 대응하는 객체변위량을 산출하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 방법.
a) receiving first object tracking information on a movement of a tracking object and second object tracking information on a user's movement;
b) analyzing the received first and second object tracking information and calculating a first object displacement corresponding to the movement of the corresponding tracking object with respect to the reference point of the reference coordinate system and a second object displacement corresponding to the movement of the corresponding user; step;
c) calculating a matching displacement with respect to a reference coordinate system based on the calculated first and second object displacements; And
and d) calculating display coordinates of the object information on the corresponding tracking target object displayed on the display plane based on the calculated displacement amount.
The step b)
b-1) analyzing the received object tracking information;
b-2) calling a reference coordinate system; And
b-3) calculating an object displacement amount corresponding to a movement of an object including at least one of a corresponding tracking object and a user based on the received object tracking information on the called reference coordinate system; Augmented reality based display correction method.
상기 단계 b-3)은,
b-3-1) 상기 객체추적정보에 기초하여 해당 객체의 변환성분을 확인하는 단계; 및
b-3-2) 상기 변환성분을 포함하는 변환행렬을 산출하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 방법.
The method of claim 1,
Step b-3),
b-3-1) identifying a transform component of the object based on the object tracking information; And
b-3-2) calculating a transformation matrix including the transformation component.
상기 단계 b-3-1)은, 상기 변환성분 중 회전성분 및 직선성분 중 적어도 하나를 확인하고,
상기 단계 b-3-2)는, 상기 회전성분 및 직선성분 중 적어도 하나를 포함하는 4×4 변환행렬을 산출하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 방법.
The method of claim 3, wherein
Step b-3-1) is, at least one of the rotation component and the linear component of the conversion component,
In step b-3-2), the 4 × 4 transformation matrix including at least one of the rotation component and the linear component is calculated.
상기 단계 c)는,
상기 제1 객체변위량으로 산출된 제1 변환행렬과 상기 제2 객체변위량으로 산출된 제2 변환행렬의 곱에 의해 매칭변위량을 산출하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 방법.
The method according to claim 3 or 4,
The step c)
And a matching displacement amount is calculated by multiplying the first transformation matrix calculated as the first object displacement amount and the second transformation matrix calculated as the second object displacement amount.
상기 단계 d)는,
d-1) 상기 디스플레이평면의 위치를 확인하는 단계;
d-2) 상기 확인된 디스플레이평면의 위치를 상기 기준좌표계에 적용하는 단계;
d-3) 상기 기준좌표계가 적용된 디스플레이평면 상에서, 해당 객체정보의 이전 위치를 확인하는 단계;
d-4) 상기 산출된 매칭변위량을 적용하는 단계;
d-5) 상기 매칭변위량이 적용된 해당 객체정보의 이동방향 및 이동거리를 산출하는 단계; 및
d-6) 상기 산출된 해당 객체정보의 이동방향 및 이동거리에 기초하여, 상기 기준좌표계가 적용된 디스플레이평면 상에서 해당 객체정보의 디스플레이좌표를 산출하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 방법.
The method of claim 1,
The step d)
d-1) confirming the position of the display plane;
d-2) applying the identified position of the display plane to the reference coordinate system;
d-3) identifying a previous position of the object information on the display plane to which the reference coordinate system is applied;
d-4) applying the calculated matching displacement;
d-5) calculating a moving direction and a moving distance of the corresponding object information to which the matching displacement is applied; And
d-6) calculating display coordinates of the object information on the display plane to which the reference coordinate system is applied, based on the calculated movement direction and distance of the corresponding object information. Calibration method.
b) 상기 추적된 해당 추적대상물체의 움직임에 대한 제1 객체변위량 및 해당 사용자의 움직임에 대한 제2 객체변위량을 산출하는 단계;
c) 상기 산출된 제1 및 제2 객체변위량에 기초하여 디스플레이평면에 대한 매칭변위량을 산출하는 단계; 및
d) 상기 산출된 매칭변위량에 대응하여 해당 추적대상물체에 대한 객체정보의 디스플레이위치를 이동시키는 단계;를 포함하고,
상기 단계 a)는,
a-1) 추적대상물체 및 사용자 중 적어도 하나를 포함하는 객체의 영상을 수신하는 단계;
a-2) 상기 수신된 영상에 포함된 잡음 및 왜곡 중 적어도 하나를 제거하는 보정을 수행하는 단계;
a-3) 상기 보정된 영상에서 객체영역을 추출하는 단계;
a-4) 상기 추출된 객체영역을 이전 객체영역과 비교하는 단계; 및
a-5) 상기 비교결과에 기초하여 해당 객체의 이동정보를 산출하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 방법을 이용한 객체정보 디스플레이 방법.
a) receiving and analyzing images of the tracking object and the user and tracking the movement of the tracking object and the user;
b) calculating a first object displacement amount for the movement of the tracked target object and a second object displacement amount for the movement of the user;
c) calculating a matching displacement amount for a display plane based on the calculated first and second object displacement amounts; And
and d) moving the display position of the object information on the tracking object in correspondence with the calculated matching displacement.
The step a)
a-1) receiving an image of an object including at least one of a tracking object and a user;
a-2) performing correction to remove at least one of noise and distortion included in the received image;
a-3) extracting an object region from the corrected image;
a-4) comparing the extracted object area with a previous object area; And
a-5) calculating the movement information of the corresponding object based on the comparison result; and displaying the object information using the augmented reality-based display correction method.
상기 단계 b)는,
b-1) 상기 수신된 객체추적정보를 분석하는 단계;
b-2) 기준좌표계를 호출하는 단계;
b-3) 상기 객체추적정보에 기초하여 해당 객체의 변환성분을 확인하는 단계; 및
b-4) 상기 변환성분을 포함하는 변환행렬을 산출하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 방법을 이용한 객체정보 디스플레이 방법.
8. The method of claim 7,
The step b)
b-1) analyzing the received object tracking information;
b-2) calling a reference coordinate system;
b-3) identifying a transform component of the object based on the object tracking information; And
b-4) calculating a transform matrix including the transform component.
상기 단계 b-3)은,
상기 변환성분 중 회전성분 및 직선성분 중 적어도 하나를 확인하고,
상기 단계 b-4)는,
상기 회전성분 및 직선성분 중 적어도 하나를 포함하는 4×4 변환행렬을 산출하며,
상기 단계 c)는,
상기 제1 객체변위량으로 산출된 제1 변환행렬과 상기 제2 객체변위량으로 산출된 제2 변환행렬의 곱에 의해 매칭변위량을 산출하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 방법을 이용한 객체정보 디스플레이 방법.
The method of claim 9,
Step b-3),
Identifying at least one of a rotation component and a linear component among the conversion components;
Step b-4),
Calculating a 4 × 4 transformation matrix including at least one of the rotation component and the linear component,
The step c)
Displaying the object information using the augmented reality-based display correction method characterized in that the matching displacement amount is calculated by multiplying the first transformation matrix calculated as the first object displacement amount and the second transformation matrix calculated as the second object displacement amount. Way.
상기 단계 d)는,
d-1) 상기 산출된 매칭변위량에 기초하여 디스플레이평면에 디스플레이되는 해당 추적대상물체에 대한 객체정보의 디스플레이좌표를 산출하는 단계; 및
d-2) 상기 산출된 디스플레이좌표에 대응하여 해당 추적대상물체에 대한 객체정보의 디스플레이위치를 이동시키는 단계를 포함하는 증강현실 기반의 디스플레이 보정 방법을 이용한 객체정보 디스플레이 방법.
8. The method of claim 7,
The step d)
d-1) calculating display coordinates of the object information on the corresponding tracking object displayed on the display plane based on the calculated displacement amount; And
d-2) moving the display position of the object information on the tracking object in response to the calculated display coordinates.
상기 단계 d-1)는,
d-1-1) 상기 디스플레이평면의 위치를 확인하고 기준좌표계에 적용하는 단계;
d-1-2) 상기 기준좌표계가 적용된 디스플레이평면 상에서, 해당 객체정보의 이전 위치를 확인하는 단계; 및
d-1-3) 상기 산출된 매칭변위량을 적용하여, 이동시키고자 하는 해당 객체정보의 디스플레이좌표를 산출하는 단계를 포함하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 방법을 이용한 객체정보 디스플레이 방법.
12. The method of claim 11,
Step d-1),
d-1-1) checking the position of the display plane and applying it to a reference coordinate system;
d-1-2) identifying a previous position of the object information on the display plane to which the reference coordinate system is applied; And
d-1-3) calculating the display coordinates of the object information to be moved by applying the calculated matching displacement, and displaying the object information using the augmented reality-based display correction method.
사용자의 움직임에 대한 제2 객체추적정보를 수신하여 제2 객체변위량을 산출하는 제2 객체처리부;
상기 제1 및 제2 객체처리부에서 산출된 제1 및 제2 객체변위량에 기초하여 매칭변위량을 산출하는 매칭변위량산출부; 및
상기 매칭변위량산출부에서 산출된 매칭변위량에 기초하여 객체정보의 디스플레이좌표를 산출하는 디스플레이좌표산출부;를 포함하고,
상기 제1 객체처리부 및 제2 객체처리부는,
추적대상물체 및 사용자 중 적어도 하나를 포함하는 객체의 움직임에 대한 객체추적정보를 수신하는 추적정보입력부;
상기 추적정보입력부로 수신된 객체추적정보를 분석하여 변환성분 중 회전성분 및 직선성분 중 적어도 하나를 확인하는 데이터처리부; 및
상기 데이터처리부에서 확인된 변환성분 중 회전성분 및 직선성분 중 적어도 하나에 기초하여 해당 객체의 변위량을 산출하는 변위량산출부를 포함하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 모듈.
A first object processor configured to receive first object tracking information on a movement of a tracking object and calculate a first object displacement amount;
A second object processor configured to receive second object tracking information on a user's movement and calculate a second object displacement amount;
A matching displacement calculation unit for calculating a matching displacement amount based on the first and second object displacement amounts calculated by the first and second object processing units; And
And a display coordinate calculation unit configured to calculate display coordinates of the object information based on the matching displacement amount calculated by the matching displacement calculation unit.
The first object processing unit and the second object processing unit,
A tracking information input unit configured to receive object tracking information about a movement of an object including at least one of a tracking object and a user;
A data processor which analyzes the object tracking information received by the tracking information input unit and identifies at least one of a rotation component and a linear component among the transform components; And
And a displacement amount calculator configured to calculate a displacement amount of the object based on at least one of a rotation component and a linear component among the transform components identified by the data processor.
상기 변위량산출부는,
상기 회전성분 및 직선성분 중 적어도 하나를 포함하는 4×4 변환행렬을 해당 객체의 변위량으로 산출하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 모듈.
The method of claim 13,
The displacement calculation unit,
And a 4 × 4 transformation matrix including at least one of the rotation component and the linear component as a displacement amount of the corresponding object.
상기 매칭변위량산출부는,
상기 제1 객체처리부에서 제1 객체변위량으로 산출된 제1 변환행렬과 상기 제2 객체처리부에서 제2 객체변위량으로 산출된 제2 변환행렬의 곱에 의해 매칭변위량을 산출하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 모듈.
16. The method of claim 15,
The matching displacement calculation unit,
Augmented reality, characterized in that for calculating the matching displacement by the product of the first transform matrix calculated as the first object displacement amount in the first object processing unit and the second transform matrix calculated as the second object displacement amount in the second object processing unit. Based display calibration module.
상기 증강현실 기반의 디스플레이 보정 모듈은,
추적대상물체 및 사용자의 움직임을 촬영하는 촬영장치가 설치된 위치를 원점으로 하는 기준좌표계 및 상기 원점을 포함하는 기준점에 대한 정보를 저장하는 설정값저장부를 더 포함하고,
상기 변위량산출부는,
상기 설정값저장부로부터 상기 기준점에 대한 정보를 수신하고, 수신된 기준점에 기초하여 상기 객체의 변위량을 산출하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 모듈.
The method according to any one of claims 13, 15 and 16,
The augmented reality-based display correction module,
The apparatus further includes a reference coordinate system having a home position at which the tracking object and a photographing apparatus for photographing a user's movement are installed, and a setting value storage unit for storing information about the reference point including the reference point.
The displacement calculation unit,
And receiving information about the reference point from the set value storage unit and calculating a displacement amount of the object based on the received reference point.
상기 매칭변위량산출부는,
상기 설정값저장부로부터 상기 기준좌표계에 대한 정보를 수신하고, 수신된 기준좌표계에 기초하여 상기 매칭변위량을 산출하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 모듈.
18. The method of claim 17,
The matching displacement calculation unit,
And receiving the information on the reference coordinate system from the set value storage unit, and calculating the matching displacement based on the received reference coordinate system.
상기 설정값저장부는,
객체정보가 디스플레이되는 디스플레이평면의 위치정보를 더 포함하고,
상기 디스플레이좌표산출부는,
상기 설정값저장부로부터 상기 디스플레이평면의 위치정보를 수신하고,
상기 매칭변위량산출부에서 산출된 매칭변위량 및 수신된 디스플레이평면의 위치정보에 기초하여 상기 기준좌표계가 적용된 디스플레이평면 상에서 해당 객체정보의 디스플레이좌표를 산출하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 모듈.
19. The method of claim 18,
The set value storage unit,
It further includes location information of the display plane on which the object information is displayed,
The display coordinate calculation unit,
Receive position information of the display plane from the setting value storage unit,
And a display coordinate of the corresponding object information on the display plane to which the reference coordinate system is applied, based on the matching displacement amount calculated by the matching displacement calculation unit and the position information of the received display plane.
사용자를 촬영하고, 촬영된 영상을 분석하여 해당 사용자의 움직임을 추적하는 제2 객체추적모듈;
상기 제1 및 제2 객체추적모듈로부터 상기 촬영된 추적대상물체 및 사용자 중 적어도 하나를 포함하는 객체의 객체추적정보를 수신하고, 설정된 기준좌표계 정보 및 기준점 정보 중 적어도 하나에 기초하여 해당 객체변위량 및 매칭변위량을 산출하며, 설정된 디스플레이평면의 위치정보에 기초하여 해당 추적대상물체의 객체정보에 대한 디스플레이좌표를 산출하는 디스플레이 보정 모듈; 및
상기 디스플레이 보정 모듈에서 산출된 디스플레이좌표에 대응하여 해당 객체정보를 디스플레이하도록 디스플레이모듈을 제어하는 디스플레이제어모듈;을 포함하고,
해당 추적대상물체 및 사용자의 움직임을 촬영하는 촬영장치가 설치된 위치를 원점으로 하는 기준좌표계 정보, 상기 원점을 포함하는 기준점 정보 및 객체정보가 디스플레이되는 디스플레이평면의 위치정보 중 적어도 하나를 상기 디스플레이 보정 모듈에 제공하는 설정값입력모듈을 더 포함하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템.
A first object tracking module that photographs the tracking object and analyzes the photographed image to track the movement of the tracking object;
A second object tracking module that photographs a user and analyzes the photographed image to track a user's movement;
Receiving object tracking information of an object including at least one of the captured tracking object and a user from the first and second object tracking modules, and based on at least one of reference coordinate system information and reference point information, a corresponding object displacement amount and A display correction module configured to calculate a matching displacement and calculate display coordinates of the object information of the tracking object based on the set position information of the display plane; And
And a display control module for controlling the display module to display corresponding object information corresponding to the display coordinates calculated by the display correction module.
The display correction module may include at least one of reference coordinate system information based on a location where a corresponding target object and a photographing apparatus for photographing a user's movement are installed, reference point information including the origin point, and position information of a display plane on which object information is displayed. Object information display system using the augmented reality-based display correction module, characterized in that it further comprises a setting value input module to provide.
상기 증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템은,
해당 추적대상물체에 대한 정보를 포함하는 객체정보를 수신하여 상기 디스플레이제어모듈에 제공하는 객체정보수신모듈을 더 포함하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템.
The method of claim 20
The object information display system using the augmented reality-based display correction module,
Object information display system using the augmented reality-based display correction module, characterized in that it further comprises an object information receiving module for receiving the object information including the information on the tracking object to provide to the display control module.
상기 제1 객체추적모듈 및 제2 객체추적모듈은,
추적대상물체 및 사용자 중 적어도 하나를 포함하는 객체를 촬영하는 영상촬영부;
상기 영상촬영부에서 촬영된 객체의 영상에 포함된 잡음 및 왜곡 중 적어도 하나를 제거하는 보정을 수행하는 영상보정부;
상기 영상보정부에서 보정된 영상에서 객체영역을 추출하는 영상추출부; 및
상기 영상추출부에서 추출된 객체영역의 이동을 확인하여 해당 객체의 이동정보를 산출하는 영상추적부를 포함하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템.
The method of claim 20 or 22,
The first object tracking module and the second object tracking module,
An image photographing unit photographing an object including at least one of a tracking object and a user;
An image correction unit for correcting at least one of noise and distortion included in an image of an object photographed by the image photographing unit;
An image extractor extracting an object region from the image corrected by the image corrector; And
And an image tracker for checking movement of the object region extracted by the image extractor and calculating movement information of the corresponding object.
상기 디스플레이 보정 모듈은,
상기 청구항 13, 청구항 15 및 청구항 16 중 어느 한 항에 따른 증강현실 기반의 디스플레이 보정 모듈을 포함하는 것을 특징으로 하는 증강현실 기반의 디스플레이 보정 모듈을 이용한 객체정보 디스플레이 시스템.
24. The method of claim 23,
The display correction module,
Claim 1, claim 15, and the object information display system using the augmented reality-based display correction module comprising a display correction module based on any one of claims 16.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120081914A KR101320683B1 (en) | 2012-07-26 | 2012-07-26 | Display correction method and module based on augmented reality, object information display method and system using the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020120081914A KR101320683B1 (en) | 2012-07-26 | 2012-07-26 | Display correction method and module based on augmented reality, object information display method and system using the same |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101320683B1 true KR101320683B1 (en) | 2013-10-18 |
Family
ID=49638975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020120081914A KR101320683B1 (en) | 2012-07-26 | 2012-07-26 | Display correction method and module based on augmented reality, object information display method and system using the same |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101320683B1 (en) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015108232A1 (en) * | 2014-01-16 | 2015-07-23 | Lg Electronics Inc. | Portable device and method for controlling the same |
| KR101575954B1 (en) * | 2014-04-30 | 2015-12-11 | 인하대학교 산학협력단 | Apparatus for augmented reality using 3d reconstruction and mehhod thereof |
| KR101592444B1 (en) | 2013-12-16 | 2016-02-05 | 서울대학교산학협력단 | Medical image augmentation device using transparent display and method thereof |
| KR101799643B1 (en) * | 2014-10-11 | 2017-11-20 | 수퍼디 컴퍼니 리미티드 | Calibration device of stereoscopic display device |
| KR101809558B1 (en) * | 2016-05-20 | 2017-12-22 | 이동현 | System and method for 3D modeling |
| WO2018026247A1 (en) * | 2016-08-05 | 2018-02-08 | 삼성전자 주식회사 | Vehicle display device and control method thereof |
| CN108153502A (en) * | 2017-12-22 | 2018-06-12 | 长江勘测规划设计研究有限责任公司 | Hand-held augmented reality display methods and device based on transparent screen |
| KR20220026139A (en) * | 2020-08-25 | 2022-03-04 | (주) 사이언스쇼 | Mixed reality experience system and control method thereof |
| KR102642392B1 (en) * | 2022-12-15 | 2024-02-29 | (주) 다음기술단 | System for maintenance of facilities using augmented reality technology |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110117966A (en) * | 2010-04-22 | 2011-10-28 | 한국전자통신연구원 | Apparatus and method of user interface for manipulating multimedia contents in vehicle |
| KR20110136013A (en) * | 2010-06-14 | 2011-12-21 | 주식회사 비즈모델라인 | Augmented reality device to display hologram object using the law of gravity |
-
2012
- 2012-07-26 KR KR1020120081914A patent/KR101320683B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110117966A (en) * | 2010-04-22 | 2011-10-28 | 한국전자통신연구원 | Apparatus and method of user interface for manipulating multimedia contents in vehicle |
| KR20110136013A (en) * | 2010-06-14 | 2011-12-21 | 주식회사 비즈모델라인 | Augmented reality device to display hologram object using the law of gravity |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101592444B1 (en) | 2013-12-16 | 2016-02-05 | 서울대학교산학협력단 | Medical image augmentation device using transparent display and method thereof |
| WO2015108232A1 (en) * | 2014-01-16 | 2015-07-23 | Lg Electronics Inc. | Portable device and method for controlling the same |
| US9423872B2 (en) | 2014-01-16 | 2016-08-23 | Lg Electronics Inc. | Portable device for tracking user gaze to provide augmented reality display |
| KR101575954B1 (en) * | 2014-04-30 | 2015-12-11 | 인하대학교 산학협력단 | Apparatus for augmented reality using 3d reconstruction and mehhod thereof |
| KR101799643B1 (en) * | 2014-10-11 | 2017-11-20 | 수퍼디 컴퍼니 리미티드 | Calibration device of stereoscopic display device |
| KR101809558B1 (en) * | 2016-05-20 | 2017-12-22 | 이동현 | System and method for 3D modeling |
| WO2018026247A1 (en) * | 2016-08-05 | 2018-02-08 | 삼성전자 주식회사 | Vehicle display device and control method thereof |
| CN108153502A (en) * | 2017-12-22 | 2018-06-12 | 长江勘测规划设计研究有限责任公司 | Hand-held augmented reality display methods and device based on transparent screen |
| KR20220026139A (en) * | 2020-08-25 | 2022-03-04 | (주) 사이언스쇼 | Mixed reality experience system and control method thereof |
| KR102430464B1 (en) * | 2020-08-25 | 2022-08-09 | (주) 사이언스쇼 | Mixed reality experience system and control method thereof |
| KR102642392B1 (en) * | 2022-12-15 | 2024-02-29 | (주) 다음기술단 | System for maintenance of facilities using augmented reality technology |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101320683B1 (en) | Display correction method and module based on augmented reality, object information display method and system using the same | |
| Memo et al. | Head-mounted gesture controlled interface for human-computer interaction | |
| KR102334139B1 (en) | Eye gaze tracking based upon adaptive homography mapping | |
| Itoh et al. | Interaction-free calibration for optical see-through head-mounted displays based on 3d eye localization | |
| CN108805917B (en) | Method, medium, apparatus and computing device for spatial localization | |
| KR101865655B1 (en) | Method and apparatus for providing service for augmented reality interaction | |
| US11222471B2 (en) | Implementing three-dimensional augmented reality in smart glasses based on two-dimensional data | |
| CN109801379B (en) | Universal augmented reality glasses and calibration method thereof | |
| CN110322500A (en) | Immediately optimization method and device, medium and the electronic equipment of positioning and map structuring | |
| JP6008397B2 (en) | AR system using optical see-through HMD | |
| CN111709973B (en) | Target tracking method, device, equipment and storage medium | |
| WO2015026645A1 (en) | Automatic calibration of scene camera for optical see-through head mounted display | |
| JP6744747B2 (en) | Information processing apparatus and control method thereof | |
| CN111723716B (en) | Method, device, system, medium and electronic equipment for determining target object orientation | |
| CN110349212A (en) | Immediately optimization method and device, medium and the electronic equipment of positioning and map structuring | |
| CN113505694B (en) | Man-machine interaction method and device based on sight tracking and computer equipment | |
| JP2017123087A (en) | Program, device and method for calculating normal vector of planar object reflected in continuous photographic images | |
| JP6061334B2 (en) | AR system using optical see-through HMD | |
| Perra et al. | Adaptive eye-camera calibration for head-worn devices | |
| WO2019022829A1 (en) | Human feedback in 3d model fitting | |
| CN112200917A (en) | High-precision augmented reality method and system | |
| CN116012459A (en) | Mouse positioning method based on three-dimensional sight estimation and screen plane estimation | |
| Qian et al. | Reduction of interaction space in single point active alignment method for optical see-through head-mounted display calibration | |
| Guan et al. | Near-infrared composite pattern projection for continuous motion hand–computer interaction | |
| CN116686006A (en) | Three-dimensional scan registration based on deformable model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160928 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20170927 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20181002 Year of fee payment: 6 |