KR20170142968A

KR20170142968A - Method for Displaying Hologram Object by the Law of Gravity

Info

Publication number: KR20170142968A
Application number: KR1020170173660A
Authority: KR
Inventors: 김재형; 권봉기
Original assignee: 주식회사 비즈모델라인
Priority date: 2017-12-15
Filing date: 2017-12-15
Publication date: 2017-12-28

Abstract

The present invention relates to a method for displaying a hologram object by using the gravity. According to an embodiment of the present invention, the method for displaying the hologram object by using the gravity comprises: a first step of constructing an integrated coordinate system; a second step of determining the gravity direction on the law of gravity; a third step of confirming a virtual material state value; a fourth step of displaying the hologram object in a state of being touched with at least one tracked real object in the gravity direction; a fifth step of calculating a position value on the integrated coordinate system for a moving object; a sixth step of confirming whether or not the moving object is touched with the hologram object; and a seventh step of determining a display state of the hologram object, and displaying the same on a hologram displaying device. The method for displaying a hologram object by using the gravity according to the present invention can display the hologram object just like a real object.

Description

[0001] The present invention relates to a method of displaying a hologram object using gravity,

본 발명은, 현실세계에 홀로그램을 표시하는 홀로그램 표시 장치와 연결되며, 현실세계에 존재하는 현실 객체를 센싱하는 현실 객체 추적 센서와 상기 홀로그램 표시 장치를 통해 표시되는 홀로그램 객체를 센싱하는 홀로그램 객체 추적 센서와 현실세계에서 이동하는 이동 객체를 센싱하는 이동 객체 추적 센서를 구비한 장치를 통해 실행되는 방법에 있어서, 상기 현실 객체 추적 센서를 통해 센싱되는 현실 객체의 위치 값과 상기 홀로그램 객체 추적 센서를 통해 센싱되는 홀로그램 객체의 위치 값과 이동 객체 추적 센서를 통해 센싱되는 이동 객체의 위치 값을 통합 좌표 처리하기 위한 통합 좌표계를 구성하고, 상기 통합 좌표계 상에서 현실 객체에 적용되는 중력 법칙의 중력 방향을 결정하고, 상기 홀로그램 표시 장치를 통해 표시될 홀로그램 객체에 대한 가상의 질량과 재질을 포함하는 가상 물질 상태 값을 확인하고, 상기 홀로그램 표시 장치를 통해 홀로그램 객체를 표시하는 경우 상기 홀로그램 객체 추적 센서를 통해 상기 홀로그램 객체에 대한 통합 좌표계 상의 위치 좌표 값을 추적하고 상기 현실 객체 추적 센서를 통해 상기 홀로그램 객체의 근처에 존재하는 현실 객체에 대한 통합 좌표계 상의 위치 좌표 값을 추적한 후 상기 홀로그램 객체에 중력 법칙을 적용하여 상기 홀로그램 객체를 상기 추적된 적어도 하나의 현실 객체와 중력 방향으로 접촉한 상태로 표시하고, 상기 이동 객체 추적 센서를 통해 상기 통합 좌표계 상의 공간을 이동하는 이동 객체의 위치를 추적하여 주기적으로 상기 이동 객체에 대한 통합 좌표계 상의 위치 값을 산출하고, 상기 이동 객체의 위치 값과 홀로그램 객체의 위치 값을 비교하여 상기 이동 객체와 홀로그램 객체가 접촉하는지 확인하며, 상기 이동 객체와 홀로그램 객체가 접촉하는 경우 상기 이동 객체가 이동하는 이동 방향의 힘과 상기 홀로그램 객체의 가상 물질 상태 값 및 상기 중력 방향의 중력 법칙을 통합 적용하여 상기 이동 객체에 접촉한 홀로그램 객체를 이동 표시할 방향이나 상기 홀로그램 객체의 표시 상태를 결정하여 상기 홀로그램 표시 장치를 통해 표시되도록 처리하는 중력을 이용한 홀로그램 객체 표시 방법에 관한 것이다.A hologram object tracking sensor connected to the hologram display device for displaying a hologram in a real world and configured to sense a hologram object displayed through the hologram display device, And a moving object tracking sensor that senses a moving object moving in a real world, the method comprising: sensing a position of a real object sensed by the real object tracking sensor, A gravity direction of the gravity law applied to the real object is determined on the integrated coordinate system, and a gravity direction of the gravity force applied to the real object is determined on the integrated coordinate system. The hologram display device according to claim 1, When a hologram object is displayed through the hologram display device, a position coordinate value on the integrated coordinate system for the hologram object is detected through the hologram object tracking sensor, Tracking a position coordinate value on an integrated coordinate system of a real object existing in the vicinity of the hologram object through the real object tracking sensor, applying a gravity law to the hologram object, The position of the moving object moving in the space on the integrated coordinate system is tracked through the moving object tracking sensor to periodically calculate the position value on the integrated coordinate system for the moving object, , The position value of the moving object and the hologram A virtual object state value of the hologram object, a virtual object state value of the hologram object, and a virtual object state value of the hologram object when the moving object and the hologram object are in contact with each other, A gravitational object display method using gravity in which a gravitational direction gravitational law is integrated to determine a direction in which a hologram object in contact with the moving object is moved and displayed or a display state of the hologram object is displayed through the hologram display device .

디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.The reality displayed through the display device is divided into a real reality (real reality) shot through a camera and a virtual reality (virtual reality) that does not exist in the real world but represents a virtual world created through a computer. Fiction) There is Chroma-Key Reality, which is a combination of virtual reality and actual reality shot in front of blue screen according to predetermined scenarios such as movie. Chroma-key reality belongs to virtual reality in classification.

최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.Recently, the Augmented Reality which displays real-time virtual reality data on real-world objects by the progress of continuous information technology has been proposed. The augmented reality is distinguished from the reality of chroma key in that there is no predefined scene scenario like SF movie and reality reality is not shot in front of blue screen.

상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.As a method of determining an object to display virtual reality data on an actual reality in the augmented reality, there is a method of displaying a marker on an actual reality, then recognizing the marker and displaying a virtual reality data on the marker There are augmented reality and a markerless augmented reality in which virtual reality data is displayed by directly recognizing an actual real object without displaying a marker in actual reality. Currently, a number of trial services are provided using each marker, but there is no standardization of the marker configuration at all. Markerless augmented reality is a case in which realistic reality in which a predetermined object is photographed in a studio is used But it is not demonstrated due to the instability of object recognition.

또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글, 유리창 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다.In addition, as a method of displaying virtual reality data in an actual reality in the augmented reality, there is a method of recognizing an object in a marker / markerless manner from an actual reality photographed through a camera and stored in a storage medium, There is a method of displaying an object in a marker / markerless manner from an actual reality photographed in real time through a camera and displaying virtual reality data on the recognized object. In addition to the above-mentioned method, Using transparent objects (such as glasses, goggles, glass windows, etc.) that look at the actual reality beyond the eyes of the human being as a transparent display without photographing the reality, and the sensor technology allows the human eye to see an object There is theoretically a method for recognizing and displaying the virtual reality data on the transparent display .

한편, 상기와 같은 증강현실은 현실세계의 공간에 홀로그램을 표시하는 것도 포함할 수 있다. 상기 증강현실이 홀로그램을 포함하는 경우, 상기 홀로그램은 현실세계의 환경을 고려하여 표시되어야 한다. 그러나 불확정 요소가 많은 현실세계의 환경을 홀로그램에 적용하는 것은 매우 난해하다.The augmented reality may include displaying a hologram in a real world space. When the augmented reality includes a hologram, the hologram should be displayed in consideration of the environment of the real world. However, it is very difficult to apply the environment of the real world with many indeterminate factors to the hologram.

본 발명의 목적은, 현실세계에 홀로그램을 표시하는 홀로그램 표시 장치와 연결되며, 현실세계에 존재하는 현실 객체를 센싱하는 현실 객체 추적 센서와 상기 홀로그램 표시 장치를 통해 표시되는 홀로그램 객체를 센싱하는 홀로그램 객체 추적 센서와 현실세계에서 이동하는 이동 객체를 센싱하는 이동 객체 추적 센서를 구비한 장치를 통해 실행되는 방법에 있어서, 상기 현실 객체 추적 센서를 통해 센싱되는 현실 객체의 위치 값과 상기 홀로그램 객체 추적 센서를 통해 센싱되는 홀로그램 객체의 위치 값과 이동 객체 추적 센서를 통해 센싱되는 이동 객체의 위치 값을 통합 좌표 처리하기 위한 통합 좌표계를 구성하는 제1 단계와 상기 통합 좌표계 상에서 현실 객체에 적용되는 중력 법칙의 중력 방향을 결정하는 제2 단계와 상기 홀로그램 표시 장치를 통해 표시될 홀로그램 객체에 대한 가상의 질량과 재질을 포함하는 가상 물질 상태 값을 확인하는 제3 단계와 상기 홀로그램 표시 장치를 통해 홀로그램 객체를 표시하는 경우 상기 홀로그램 객체 추적 센서를 통해 상기 홀로그램 객체에 대한 통합 좌표계 상의 위치 좌표 값을 추적하고 상기 현실 객체 추적 센서를 통해 상기 홀로그램 객체의 근처에 존재하는 현실 객체에 대한 통합 좌표계 상의 위치 좌표 값을 추적한 후 상기 홀로그램 객체에 중력 법칙을 적용하여 상기 홀로그램 객체를 상기 추적된 적어도 하나의 현실 객체와 중력 방향으로 접촉한 상태로 표시하는 제4 단계와 상기 이동 객체 추적 센서를 통해 상기 통합 좌표계 상의 공간을 이동하는 이동 객체의 위치를 추적하여 주기적으로 상기 이동 객체에 대한 통합 좌표계 상의 위치 값을 산출하는 제5 단계와 상기 이동 객체의 위치 값과 홀로그램 객체의 위치 값을 비교하여 상기 이동 객체와 홀로그램 객체가 접촉하는지 확인하는 제6 단계 및 상기 이동 객체와 홀로그램 객체가 접촉하는 경우 상기 이동 객체가 이동하는 이동 방향의 힘과 상기 홀로그램 객체의 가상 물질 상태 값 및 상기 중력 방향의 중력 법칙을 통합 적용하여 상기 이동 객체에 접촉한 홀로그램 객체를 이동 표시할 방향이나 상기 홀로그램 객체의 표시 상태를 결정하여 상기 홀로그램 표시 장치를 통해 표시되도록 처리하는 제7 단계를 포함하는 중력을 이용한 홀로그램 객체 표시 방법을 제공함에 있다.An object of the present invention is to provide a hologram display device which is connected to a hologram display device for displaying a hologram in a real world and includes a real object tracking sensor for sensing a real object existing in the real world and a hologram object for sensing a hologram object displayed through the hologram display device A method for executing a tracking method using a tracking sensor and a moving object tracking sensor for sensing a moving object moving in a real world, the method comprising: detecting a positional value of a real object sensed by the real object tracking sensor, A first step of constructing an integrated coordinate system for processing a coordinate value of a position value of a hologram object sensed by the moving object and a position value of the moving object sensed by the moving object tracking sensor, A second step of determining a direction of the hologram display sheet A third step of identifying a virtual material state value including a virtual mass and a material of a hologram object to be displayed through the hologram display device; Tracking coordinate values on an integrated coordinate system for a real object located near the hologram object through the real object tracking sensor, and applying a gravity law to the hologram object, Displaying the object in a state of being in contact with the tracked at least one real object in a gravitational direction; and tracking the position of the moving object moving in the space on the integrated coordinate system through the moving object tracking sensor, The position value in the integrated coordinate system for the object Comparing the position value of the moving object with the position value of the hologram object to confirm whether the moving object and the hologram object are in contact with each other; and if the moving object is in contact with the hologram object, A hologram object moving in a moving direction, a virtual material state value of the hologram object and a gravitational law in the gravity direction are integrated to determine a moving direction and a display state of the hologram object in contact with the moving object, And a seventh step of displaying the hologram object by using the grayscale display device.

본 발명에 따른 중력을 이용한 홀로그램 객체 표시 방법은, 현실세계에 홀로그램을 표시하는 홀로그램 표시 장치와 연결되며, 현실세계에 존재하는 현실 객체를 센싱하는 현실 객체 추적 센서와 상기 홀로그램 표시 장치를 통해 표시되는 홀로그램 객체를 센싱하는 홀로그램 객체 추적 센서와 현실세계에서 이동하는 이동 객체를 센싱하는 이동 객체 추적 센서를 구비한 장치를 통해 실행되는 방법에 있어서, 상기 현실 객체 추적 센서를 통해 센싱되는 현실 객체의 위치 값과 상기 홀로그램 객체 추적 센서를 통해 센싱되는 홀로그램 객체의 위치 값과 이동 객체 추적 센서를 통해 센싱되는 이동 객체의 위치 값을 통합 좌표 처리하기 위한 통합 좌표계를 구성하는 제1 단계와 상기 통합 좌표계 상에서 현실 객체에 적용되는 중력 법칙의 중력 방향을 결정하는 제2 단계와 상기 홀로그램 표시 장치를 통해 표시될 홀로그램 객체에 대한 가상의 질량과 재질을 포함하는 가상 물질 상태 값을 확인하는 제3 단계와 상기 홀로그램 표시 장치를 통해 홀로그램 객체를 표시하는 경우 상기 홀로그램 객체 추적 센서를 통해 상기 홀로그램 객체에 대한 통합 좌표계 상의 위치 좌표 값을 추적하고 상기 현실 객체 추적 센서를 통해 상기 홀로그램 객체의 근처에 존재하는 현실 객체에 대한 통합 좌표계 상의 위치 좌표 값을 추적한 후 상기 홀로그램 객체에 중력 법칙을 적용하여 상기 홀로그램 객체를 상기 추적된 적어도 하나의 현실 객체와 중력 방향으로 접촉한 상태로 표시하는 제4 단계와 상기 이동 객체 추적 센서를 통해 상기 통합 좌표계 상의 공간을 이동하는 이동 객체의 위치를 추적하여 주기적으로 상기 이동 객체에 대한 통합 좌표계 상의 위치 값을 산출하는 제5 단계와 상기 이동 객체의 위치 값과 홀로그램 객체의 위치 값을 비교하여 상기 이동 객체와 홀로그램 객체가 접촉하는지 확인하는 제6 단계 및 상기 이동 객체와 홀로그램 객체가 접촉하는 경우 상기 이동 객체가 이동하는 이동 방향의 힘과 상기 홀로그램 객체의 가상 물질 상태 값 및 상기 중력 방향의 중력 법칙을 통합 적용하여 상기 이동 객체에 접촉한 홀로그램 객체를 이동 표시할 방향이나 상기 홀로그램 객체의 표시 상태를 결정하여 상기 홀로그램 표시 장치를 통해 표시되도록 처리하는 제7 단계를 포함하는 것을 특징으로 한다.A method of displaying a hologram object using gravity according to the present invention includes: a real object tracking sensor connected to a hologram display device for displaying a hologram in a real world and sensing a real object existing in the real world; A method for executing a method using a hologram object tracking sensor for sensing a hologram object and a moving object tracking sensor for sensing a moving object moving in a real world, A first step of constructing an integrated coordinate system for integrating the position value of the hologram object sensed by the hologram object tracking sensor and the position value of the moving object sensed by the moving object tracking sensor, Determine gravity direction of gravity law applied to A third step of confirming a virtual material state value including a virtual mass and a material of the hologram object to be displayed through the hologram display device, and a third step of displaying the hologram object through the hologram display device, Tracking position coordinate values on the integrated coordinate system for the hologram object through an object tracking sensor, tracking position coordinate values on an integrated coordinate system for a real object existing near the hologram object through the real object tracking sensor, Displaying the hologram object in a gravitational direction with the at least one tracked reality object by applying a gravity law to the object; and displaying the hologram object in a moving object To periodically < RTI ID = 0.0 > A fifth step of calculating a position value on an integrated coordinate system with respect to the object, a sixth step of comparing whether the moving object and the hologram object are in contact with each other by comparing the position value of the moving object with the position value of the hologram object, A hologram object contacted with the moving object is moved and displayed by applying a force in a moving direction in which the moving object moves, an imaginary material state value of the hologram object, and a gravity law in the gravity direction, And a seventh step of determining the display state of the hologram object and displaying the hologram object through the hologram display device.

본 발명에 따른 중력을 이용한 홀로그램 객체 표시 방법에 있어서, 상기 제2 단계는, 상기 현실 객체 추적 센서를 통해 센싱되는 둘 이상의 현실 객체의 상호 관계를 판독하여 중력 방향을 결정하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the hologram object displaying method using gravity according to the present invention, the second step includes determining a direction of gravity by reading a correlation between two or more real objects sensed through the real object tracking sensor .

본 발명에 따른 중력을 이용한 홀로그램 객체 표시 방법에 있어서, 상기 제7 단계는, 상기 이동 객체에 의해 홀로그램 객체에 가해진 이동 방향과 상기 중력 법칙의 중력 방향을 통합 적용하여 상기 홀로그램 객체를 이동하는 상태로 표시하도록 처리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the hologram object displaying method using gravity according to the present invention, in the seventh step, the moving direction applied to the hologram object by the moving object and the gravity direction of the gravity law are integrated to move the hologram object And displaying the displayed information.

본 발명에 따른 중력을 이용한 홀로그램 객체 표시 방법에 있어서, 상기 제7 단계는, 상기 이동 객체에 의해 상기 홀로그램 객체에 가해지는 힘을 근거로 상기 홀로그램 객체에 가해지는 충격량을 계산하고 상기 홀로그램 객체의 가상 물질 상태 값에 상기 충격량을 적용하여 상기 홀로그램 객체의 상태를 변화시켜 표시하도록 처리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the method of displaying a hologram object using gravity according to the present invention, the seventh step may include calculating an amount of impact applied to the hologram object based on a force applied to the hologram object by the moving object, And processing the hologram object to change the state of the hologram object by applying the impact amount to the material state value.

본 발명에 따른 중력을 이용한 홀로그램 객체 표시 방법은, 현실세계에 존재하는 현실 객체의 근처에 홀로그램을 표시하는 홀로그램 표시 장치와 연결되며, 현실세계에 존재하는 현실 객체의 위치를 센싱하는 현실 객체 추적 센서와, 상기 홀로그램 표시 장치를 통해 현실세계의 현실 객체의 근처에 출력되는 홀로그램 객체의 위치를 센싱하는 홀로그램 객체 추적 센서를 구비한 장치를 통해 실행되는 방법에 있어서, 상기 현실 객체 추적 센서를 통해 추적되는 현실 객체의 위치 값과 상기 홀로그램 객체 추적 센서를 통해 추적되는 홀로그램 객체의 위치 값을 좌표 값으로 설정하기 위한 통합 좌표계를 구성하는 제1 단계와 상기 통합 좌표계 상에서 상기 현실 객체에 적용되는 중력 법칙을 상기 홀로그램 객체에 적용하기 위한 중력 방향을 결정하는 제2 단계와 상기 통합 좌표계 상에 표시할 홀로그램 객체에 대한 가상의 질량과 재질을 포함하는 가상 물질 상태 값을 확인하는 제3 단계와 상기 홀로그램 객체 추적 센서를 통해 홀로그램 객체에 대한 통합 좌표계 상의 홀로그램 객체 위치 좌표 값을 추적하고 상기 현실 객체 추적 센서를 통해 현실 객체에 대한 통합 좌표계 상의 현실 객체 위치 좌표 값을 추적하는 제4 단계 및 상기 추적된 홀로그램 객체 위치 좌표 값과 현실 객체 위치 좌표 값을 비교하여 상기 통합 좌표계 상의 중력 방향을 기준으로 상기 현실 객체의 위에 상기 홀로그램 객체의 접촉 상태를 확인하고 상기 홀로그램 객체가 상기 현실 객체의 위에 접촉한 경우 상기 현실 객체의 접촉 면 구조와 상기 홀로그램 객체의 가상 물질 상태 값과 상기 중력 방향의 중력을 근거로 상기 홀로그램 객체의 표시 상태를 결정하여 표시하도록 처리하는 제5 단계를 포함하는 것을 특징으로 한다.A method of displaying a hologram object using gravity according to the present invention is a method for displaying a hologram object using gravity, which is connected to a hologram display device displaying a hologram near a real object existing in the real world, And a hologram object tracking sensor for sensing a position of a hologram object output in the vicinity of a real object in the real world through the hologram display device, the method comprising the steps of: A first step of constructing an integrated coordinate system for setting a position value of a real object and a position value of a hologram object traced through the hologram object tracking sensor to a coordinate value and a second step of setting a gravity law applied to the real object on the integrated coordinate system The second determining the direction of gravity for applying to the hologram object A third step of confirming a virtual material state value including a virtual mass and a material for a hologram object to be displayed on the integrated coordinate system, and a third step of detecting a virtual material state value including a virtual mass state and a material of the hologram object position coordinate on the integrated coordinate system for the hologram object through the hologram object tracking sensor And tracking the actual object position coordinate value on the integrated coordinate system with respect to the real object through the real object tracking sensor; and a fourth step of comparing the traced hologram object position coordinate value with the real object position coordinate value, A contact state of the hologram object is checked on the basis of the gravity direction of the hologram object, and when the hologram object is in contact with the real object, a contact surface structure of the real object, a virtual material state value of the hologram object, Based on gravity in the direction of gravity, And a fifth step of determining and displaying the display state of the object.

본 발명에 따른 중력을 이용한 홀로그램 객체 표시 방법에 있어서, 상기 장치는, 현실세계에서 이동하는 이동 객체의 위치를 센싱하는 이동 객체 추적 센서를 더 구비하고, 상기 이동 객체 추적 센서를 통해 상기 통합 좌표계 상의 공간을 이동하는 이동 객의 위치를 추적하여 주기적으로 상기 이동 객체 위치 값을 산출하는 단계와 상기 이동 객체 위치 값과 홀로그램 객체 위치 값을 비교하여 상기 이동 객체와 홀로그램 객체가 접촉하는지 확인하는 단계를 더 포함하며, 상기 제5 단계는, 상기 이동 객체와 홀로그램 객체가 접촉하는 경우 상기 이동 객체가 이동하는 이동 방향의 힘과 상기 홀로그램 객체의 가상 물질 상태 값과 상기 중력 방향의 중력을 근거로 상기 홀로그램 객체의 표시 상태를 결정하여 표시하도록 처리하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the method of displaying a hologram object using gravity according to the present invention, the apparatus further includes a moving object tracking sensor for sensing a position of a moving object moving in the real world, Calculating the position value of the moving object periodically by tracking the position of the moving object moving in the space and comparing the moving object position value and the position value of the hologram object to check whether the moving object and the hologram object are in contact with each other And when the hologram object is in contact with the moving object, the fifth step is a step of moving the hologram object based on the force in the moving direction in which the moving object moves, the virtual material state value of the hologram object, Further comprising the step of determining and displaying the display state It characterized by that.

본 발명에 따른 중력을 이용한 홀로그램 객체 표시 방법에 있어서, 제 1항에 있어서, 상기 제5 단계는, 상기 현실 객체의 접촉 면 구조와 상기 홀로그램 객체의 가상 물질 상태 값과 상기 중력 방향의 중력을 근거로 상기 홀로그램 객체를 상기 현실 객체의 위에 접촉한 상태로 표시하도록 처리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.The hologram object display method of gravity according to the present invention is characterized in that, in the fifth step, the contact surface structure of the real object, the virtual material state value of the hologram object, And displaying the hologram object in a state in which the hologram object is in contact with the real object.

본 발명에 따른 중력을 이용한 홀로그램 객체 표시 방법에 있어서, 상기 제5 단계는, 상기 현실 객체의 접촉 면 구조와 상기 홀로그램 객체의 가상 물질 상태 값과 상기 중력 방향의 중력을 근거로 상기 홀로그램 객체에 상기 중력 방향의 중력 법칙을 적용하여 이동하는 상태로 표시하도록 처리하는 단계를 포함하여 이루어지는 것을 특징으로 한다.In the hologram object displaying method using gravity according to the present invention, in the fifth step, the hologram object is displayed on the hologram object based on the contact surface structure of the real object, the virtual material state value of the hologram object, And applying a gravity law of the gravity direction so as to display the moving state.

본 발명에 따른 중력을 이용한 홀로그램 객체 표시 방법에 있어서, 상기 제5 단계는, 상기 홀로그램 객체가 이동하여 다른 현실 객체와 접촉하는지 확인하여 이동 접촉한 경우 상기 이동 접촉한 홀로그램 객체에 가해지는 힘을 근거로 상기 홀로그램 객체에 가해지는 충격량을 계산하고 상기 홀로그램 객체의 가상 물질 상태 값에 상기 충격량을 적용하여 상기 홀로그램 객체의 상태를 변화시켜 출력하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the method of displaying a hologram object using gravity according to the present invention, in the fifth step, when the hologram object is moved and checked whether it is in contact with another real object, the force applied to the hologram object moving- Calculating an amount of an impulse applied to the hologram object and outputting the hologram object while changing the state of the hologram object by applying the impulse amount to a virtual material state value of the hologram object.

본 발명에 따른 중력을 이용한 홀로그램 객체 표시 방법은, 현실세계에 존재하는 현실 객체의 근처에 홀로그램을 표시하는 홀로그램 표시 장치와 연결되며, 현실세계에 존재하는 현실 객체의 위치를 센싱하는 현실 객체 추적 센서와, 상기 홀로그램 표시 장치를 통해 현실세계의 현실 객체의 근처에 출력되는 홀로그램 객체의 위치를 센싱하는 홀로그램 객체 추적 센서를 구비한 증강현실장치에서 실행되는 방법에 있어서, 상기 현실 객체 추적 센서를 통해 추적되는 현실 객체의 위치 값과 상기 홀로그램 객체 추적 센서를 통해 추적되는 홀로그램 객체의 위치 값을 좌표계 상의 좌표 값으로 설정하기 위한 통합 좌표계를 구성하는 제1 단계와 상기 통합 좌표계 상에서 상기 현실 객체에 적용되는 중력 법칙을 상기 홀로그램 객체에 적용하기 위한 중력 방향을 결정하는 제2 단계와 상기 홀로그램 객체 추적 센서를 통해 홀로그램 객체에 대한 홀로그램 객체 위치 좌표 값을 추적하고 상기 현실 객체 추적 센서를 통해 현실 객체에 대한 현실 객체 위치 좌표 값을 추적하는 제3 단계 및 상기 홀로그램 객체에 상기 중력 방향에 대한 중력 법칙을 적용하여 출력하되 상기 홀로그램 객체 위치 좌표 값과 현실 객체 위치 좌표 값을 비교하여 상기 홀로그램 객체의 중력 방향에 상기 현실 객체가 존재하고 접촉하는 경우에 상기 현실 객체에 상기 홀로그램 객체를 접촉하여 출력하는 제4 단계를 포함하는 것을 특징으로 한다.A method of displaying a hologram object using gravity according to the present invention is a method for displaying a hologram object using gravity, which is connected to a hologram display device displaying a hologram near a real object existing in the real world, And a hologram object tracking sensor for sensing a position of a hologram object output in the vicinity of a real object in the real world through the hologram display device, the method comprising: A first step of constructing an integrated coordinate system for setting a position value of a real object and a position value of a hologram object traced through the hologram object tracking sensor to a coordinate value on a coordinate system; Gravity for applying the law to the hologram object A third step of tracking a hologram object positional coordinate value of the hologram object through the hologram object tracking sensor and tracking the positional coordinate value of the real object with respect to the real object through the real object tracking sensor, The hologram object position coordinate value is compared with the hologram object position coordinate value and the hologram object position coordinate value is compared with the hologram object position coordinate value, And a fourth step of contacting and outputting the hologram object to an object.

본 발명에 따른 중력을 이용한 홀로그램 객체 표시 방법에 있어서, 상기 증강현실장치는, 현실세계에서 이동하는 이동 객체의 위치를 센싱하는 이동 객체 추적 센서를 더 구비하고, 상기 이동 객체 추적 센서를 통해 상기 통합 좌표계 상의 공간을 이동하는 이동 객의 위치를 추적하여 주기적으로 상기 이동 객체 위치 값을 산출하는 단계와 상기 이동 객체 위치 값과 홀로그램 객체 위치 값을 비교하여 상기 이동 객체와 홀로그램 객체가 접하는지 확인하는 단계를 더 포함하며, 상기 제4 단계는, 상기 이동 객체와 홀로그램 객체가 접하는 경우 상기 홀로그램 객체에 상기 이동 객체가 이동하는 이동 방향의 힘을 적용하여 이동 출력하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the hologram object display method using gravity according to the present invention, the augmented reality device further includes a moving object tracking sensor for sensing a position of the moving object moving in the real world, Calculating a moving object position value periodically by tracking a moving object moving in a space on a coordinate system and comparing the moving object position value with a hologram object position value to confirm whether the moving object and the hologram object are in contact with each other The fourth step further includes a step of applying a force in a moving direction in which the moving object moves to the hologram object when the moving object and the hologram object are in contact with each other.

본 발명에 따른 중력을 이용한 홀로그램 객체 표시 방법에 있어서, 상기 제4 단계는, 상기 이동 객체가 이동하는 이동 방향의 힘과 상기 중력 방향의 힘을 결합하여 상기 홀로그램 객체를 이동 출력하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the hologram object displaying method using gravity according to the present invention, the fourth step further includes moving and outputting the hologram object by combining the force in the moving direction in which the moving object moves with the force in the gravity direction .

본 발명에 따른 중력을 이용한 홀로그램 객체 표시 방법에 있어서, 상기 제4 단계는, 상기 홀로그램 객체에 가해지는 힘에 대응하는 충격량을 근거로 상기 홀로그램 객체의 상태를 변화시켜 출력하는 단계를 더 포함하여 이루어지는 것을 특징으로 한다.In the method of displaying a hologram object using gravity according to the present invention, the fourth step may further include changing a state of the hologram object based on an amount of impact corresponding to a force applied to the hologram object, .

본 발명에 따른 중력을 적용하여 홀로그램 객체를 표시하는 증강현실 장치는, 홀로그램 표시 장치와 연결되며, 현실세계의 고정 객체의 위치를 센싱하는 고정 객체 추적 센서와, 현실세계의 이동 객체의 위치를 센싱하는 이동 객체 추적 센서와, 현실세계에 출력되는 홀로그램 객체의 위치를 센싱하는 홀로그램 객체 추적 센서를 구비한 증강현실 장치에 있어서, 상기 고정 객체 추적 센서와 이동 객체 추적 센서 및 홀로그램 객체 추적 센서를 통해 추적되는 위치 값을 하나의 좌표계 상의 좌표 값으로 표시하는 통합 좌표계를 구성하는 좌표계 구성부와, 상기 통합 좌표계 상의 중력 방향을 결정하는 중력 방향 결정부와, 상기 고정 추적 센서를 통해 제1 내지 제N(N>1) 고정 객체의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 제1 내지 제N 고정 객체 위치 값을 산출하는 고정 객체 위치 산출부와, 상기 홀로그램 객체 추적 센서를 통해 상기 홀로그램 표시 장치를 통해 표시되는 홀로그램 객체의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 홀로그램 객체 위치 값을 산출하는 홀로그램 객체 위치 산출부와, 상기 홀로그램 객체 위치 값과 제1 고정 객체 위치 값을 비교하여 상기 홀로그램 객체 위치 값과 제1 고정 객체 위치 값이 접하여 표시되는지 확인하는 고정 위치 값 확인부와, 상기 홀로그램 객체 위치 값과 제1 고정 객체 위치 값이 접하지 않으면, 상기 홀로그램 객체를 중력 방향으로 이동하여 상기 제1 고정 객체의 면에 상기 홀로그램 객체를 접하여 표시하는 홀로그램 표시부를 구비한다.The augmented reality device for displaying a hologram object by applying gravity according to the present invention includes a fixed object tracking sensor connected to a hologram display device and sensing a position of a fixed object in a real world, And a hologram object tracking sensor for sensing a position of a hologram object output to the real world, wherein the hologram object tracking device includes a moving object tracking sensor, a moving object tracking sensor, and a hologram object tracking sensor A gravity direction determination unit for determining a gravity direction on the integrated coordinate system, and a gravity direction determination unit for determining a gravity direction of the first to Nth ( N > 1) tracking the position of the stationary object and outputting first to N < th > A hologram object tracking unit for tracking a position of a hologram object displayed on the hologram display unit through the hologram object tracking sensor to calculate a hologram object position value corresponding to a coordinate value on the integrated coordinate system, A fixed position value determiner for comparing the hologram object position value with a first fixed object position value to determine whether the hologram object position value and the first fixed object position value are displayed in contact with each other, And a hologram display unit for moving the hologram object in a gravitational direction and displaying the hologram object in contact with the surface of the first fixed object when the hologram object position value and the first fixed object position value are not in contact with each other.

본 발명에 따른 중력을 적용하여 홀로그램 객체를 표시하는 증강현실 장치는, 상기 이동 객체 추적 센서를 통해 상기 통합 좌표계 상의 공간을 이동하는 이동 객의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 이동 객체 위치 값을 주기적으로 산출하는 이동 객체 위치 산출부와, 상기 이동 객체 위치 값과 홀로그램 객체 위치 값을 비교하여 상기 이동 객체 위치 값과 홀로그램 객체 위치 값이 접하여 표시되는지 확인하는 이동 위치 값 확인부를 구비하며, 상기 홀로그램 표시부는, 상기 이동 객체 위치 값과 홀로그램 객체 위치 값이 접하면, 상기 홀로그램 표시 장치를 통해 상기 이동 객체 좌표 값의 제1 이동방향으로 상기 홀로그램 객체를 이동시켜 표시한다.The augmented reality apparatus for displaying a hologram object by applying gravity according to the present invention includes a movement object tracking unit for tracking a position of a moving object moving in a space on the integrated coordinate system through the moving object tracking sensor, And a movement position value verifying unit for comparing the moving object position value and the hologram object position value to check whether the moving object position value and the hologram object position value are displayed in contact with each other, The hologram display unit moves the hologram object in a first movement direction of the moving object coordinate value through the hologram display unit when the moving object position value and the hologram object position value are touched.

본 발명에 따른 중력을 적용하여 홀로그램 객체를 표시하는 증강현실 장치에 있어서, 상기 제1 이동방향은, 상기 홀로그램 객체가 위치한 제1 고정 객체의 면과 평행한 방향을 포함한다.In the augmented reality device for displaying a hologram object by applying gravity according to the present invention, the first movement direction includes a direction parallel to a plane of the first fixed object where the hologram object is located.

본 발명에 따른 중력을 적용하여 홀로그램 객체를 표시하는 증강현실 장치에 있어서, 상기 홀로그램 표시부는, 상기 홀로그램 객체가 상기 제1 고정 객체의 면을 벗어나는 경우, 상기 홀로그램 객체를 이동객체의 이동방향과 상기 중력 방향을 결합한 제2 이동방향으로 이동시켜 표시한다.In the augmented reality apparatus for displaying a hologram object by applying gravity according to the present invention, the hologram display unit displays, when the hologram object is out of the plane of the first fixed object, And moves in the second movement direction in which the gravity direction is combined.

본 발명에 따른 중력을 적용하여 홀로그램 객체를 표시하는 증강현실 장치는, 상기 홀로그램 객체에 대한 가상의 물질 상태 값-질량, 재질-을 확인하는 물질 상태 값 확인부를 더 구비하며, 상기 홀로그램 표시부는, 상기 홀로그램 객체가 상기 제1 고정 객체의 면을 벗어나는 경우, 상기 이동객체의 이동방향과 상기 중력 방향을 결합한 제2 이동방향으로 이동시켜 표시하고, 상기 제2 이동방향으로 이동하는 객체가 제2 고정 객체의 면과 접하는 경우, 상기 홀로그램 객체의 물질 상태 값을 기반으로 상기 홀로그램 객체의 상태를 유지시켜 상기 제2 고정 객체의 면에 고정하여 표시하거나, 또는 상기 홀로그램 객체의 상태를 변화시켜 상기 제2 고정 객체의 면에 고정하여 표시한다. The augmented reality apparatus for displaying a hologram object by applying gravity according to the present invention further includes a material state value verifying unit for confirming a virtual material state value - mass, material - of the hologram object, Wherein when the hologram object moves out of the plane of the first fixed object, the moving object moves in a second moving direction in which the moving direction of the moving object is combined with the gravity direction and displays the moving object in the second moving direction, The method comprising the steps of: maintaining a state of the hologram object based on a material state value of the hologram object, fixing the hologram object on a surface of the second fixed object, or changing a state of the hologram object, Fixed to the face of the fixed object.

본 발명에 따르면, 홀로그램 표시 장치를 통해 표시되는 홀로그램 객체에 중력 법칙을 적용하여 홀로그램 객체가 현실세계의 실물 객체처럼 표시되도록 하는 이점이 있다.According to the present invention, there is an advantage that a hologram object is displayed as a real object in a real world by applying a gravity law to a hologram object displayed through a hologram display device.

도 1은 본 발명의 실시 방법에 따른 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시 방법에 따라 홀로그램 객체 표시 과정을 도시한 도면이다.
도 3은 본 발명의 다른 일 실시 방법에 따라 홀로그램 객체 표시 과정을 도시한 도면이다.
도 4는 본 발명의 또다른 일 실시 방법에 따라 홀로그램 객체 표시 과정을 도시한 도면이다.
도 5는 본 발명의 실시 방법에 따라 홀로그램 객체를 표시하는 과정을 예시한 도면이다.1 is a diagram illustrating a configuration of an augmented reality apparatus according to an embodiment of the present invention.
2 is a diagram illustrating a process of displaying a hologram object according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a process of displaying a hologram object according to another embodiment of the present invention.
4 is a diagram illustrating a process of displaying a hologram object according to another embodiment of the present invention.
5 is a view illustrating a process of displaying a hologram object according to an embodiment of the present invention.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다. The operation principle of the preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings and description. It should be understood, however, that the drawings and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention, and are not to be construed as limiting the present invention. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The terms used below are defined in consideration of the functions of the present invention, which may vary depending on the user, intention or custom of the operator. Therefore, the definition should be based on the contents throughout the present invention.

아울러 하기에 도시되는 실시예에서 본 발명의 기술적 특징을 보다 명확하게 설명하기 위해 각 용어의 서두에 "제1" 또는 "제2"와 같은 형태의 식별부호를 첨부하여 설명할 것이나, 상기 식별부호는 각 용어를 식별하기 위한 것일 뿐 상기 식별부호에 의해 각 용어가 다른 기능과 역할을 수행하는 것으로 구별 또는 한정되는 것은 결코 아님을 명백하게 밝혀두는 바이다.Furthermore, in order to more clearly describe the technical features of the present invention in the embodiments shown below, an explanation will be given with an identification code of a form such as "first" or "second & Is intended to identify each term only and should not be construed as a distinction or limitation as to each of the terms serving as a different function and role by the identification code.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.As a result, the technical idea of the present invention is determined by the claims, and the following embodiments are merely means for effectively explaining the technical idea of the present invention to a person having ordinary skill in the art to which the present invention belongs Only.

도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.1 is a diagram illustrating a configuration of an augmented reality device 100 according to an embodiment of the present invention.

보다 상세하게 본 도면1은 홀로그램 표시 장치(150)와 연결된 증강현실 장치(100)에서 상기 홀로그램 객체에 중력 법칙을 적용하여 현실세계의 고정 객체에 표시하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다. In more detail, FIG. 1 illustrates a configuration in which a gravity rule is applied to the hologram object in an augmented reality device 100 connected to the hologram display device 150 to display the hologram object on a fixed object in the real world. One of ordinary skill in the art will be able to refer to and / or modify the FIGURE 1 for various implementations of the augmented reality device 100 configuration (e.g., some configuration portions may be omitted, or fragmented, However, the present invention includes all of the above-described embodiments, and the technical features of the present invention are not limited only by the method shown in FIG.

본 발명의 증강현실 장치(100)는 홀로그램 데이터를 획득하는 기능, 홀로그램 표시 장치(150)를 통해 상기 홀로그램 데이터를 표시하여 출력하는 기능을 구비한 장치의 총칭으로서, 상기 홀로그램 데이터를 획득하는 방식, 상기 홀로그램 데이터를 표시하는 방식에 의해 한정되지 아니한다. The augmented reality device 100 of the present invention collectively refers to a device having a function of acquiring hologram data and a function of displaying and outputting the hologram data through the hologram display device 150. The method of acquiring the hologram data, But is not limited to a method of displaying the hologram data.

또한, 상기 증강현실 장치(100)는 장치를 구성하는 구조에 의해 한정되지 아니한다. 예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.In addition, the augmented reality device 100 is not limited by the structure constituting the apparatus. For example, the augmented reality device 100 may be configured as an independent device in which each component is integrated in one case, an interlock device in which each component is separately provided in two or more connected devices, And the like.

도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(105), 메모리부(120), 출력부(125) 및 센서부(130)를 구비하며, 상기 홀로그램 데이터를 획득하는 방식에 따라 통신부(115)를 더 구비하고, 사용자 조작을 위한 조작부(110)를 더 구비할 수 있다.1, the augmented reality device 100 includes a control unit 105, a memory unit 120, an output unit 125, and a sensor unit 130, A communication unit 115, and may further include an operation unit 110 for user operation.

상기 제어부(105)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(105) 내에 도시하여 설명하기로 한다.The control unit 105 physically includes a processor, an execution memory, and a bus, and functions as a recording medium that processes a program included in the augmented reality device 100 so as to be functionally loaded into the execution memory and operated by the processor . FIG. 1 is a block diagram illustrating the configuration of a program unit included in the augmented reality system 100 according to an embodiment of the present invention.

상기 메모리부(120)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(105)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.The memory unit 120 includes a nonvolatile memory and functions as a storage medium for storing / retaining program codes to be loaded into the controller 105 functionally and a data set used by the program codes. The program code includes system program code for operating / controlling the basic operation of the augmented reality device 100 and application program code for providing various application services included in the augmented reality device 100. [

본 발명의 실시 방법에 따르면, 상기 메모리부(120)는 상기 홀로그램 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(120)는 상기 홀로그램 데이터를 획득하는 홀로그램 획득수단의 기능을 수행할 수 있다.According to the embodiment of the present invention, the memory unit 120 may store the hologram data. In this case, the memory unit 120 may perform the function of hologram acquiring means for acquiring the hologram data.

본 발명의 실시 방법에 따르면, 상기 메모리부(120)는 상기 홀로그램 데이터의 물질 상태 값을 상기 홀로그램 데이터와 연결하여 저장할 수 있다.According to the embodiment of the present invention, the memory unit 120 may store the material state value of the hologram data in connection with the hologram data.

여기서, 상기 물질 상태 값은, 상기 홀로그램 데이터가 형상화하는 물질의 질량, 재질, 상태 변화 충격량 및 상기 상태 변화 충격량에 따라 상기 홀로그램 데이터의 상태를 변화시키는 상태변화 조건을 포함할 수 있다.Here, the material state value may include a state change condition that changes the state of the hologram data according to a mass, a material, a state change impact amount, and the state change impact amount of the material that the hologram data forms.

만약 상기 물질 상태 값에 하나 이상의 상태 변화 충격량과 상태변화 조건이 포함된 경우, 상기 홀로그램 데이터는 상태 변화 전의 원본 홀로그램 데이터와, 각 상태 변화 충격량과 상태변화 조건에 대응하는 상태 변화 후 홀로그램 데이터를 포함할 수 있다.If the material state value includes at least one state change amount and a state change condition, the hologram data includes original hologram data before state change and hologram data after state change corresponding to each state change amount and state change condition can do.

상기 출력부(125)는 홀로그램 표시 장치(150)를 통해 연결되어 현실세계의 공간에 홀로그램 객체를 출력하는 홀로그램 출력모듈을 포함하며, 실시 방법에 따라 상기 출력부(125)와 홀로그램 표시 장치(150)는 일체형으로 구현될 수 있다.The output unit 125 includes a hologram output module connected through the hologram display device 150 to output a hologram object in a real world space and is connected to the output unit 125 and the hologram display device 150 May be implemented as an integral unit.

상기 통신부(115)는 어느 하나의 통신 규격과 프로토콜에 따라 유선 통신망과 무선 통신망 중 어느 하나의 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망을 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.The communication unit 115 includes a communication module for connecting to any one of a wired communication network and a wireless communication network according to any communication standard and protocol. The communication unit 115 connects the communication network with a server (or a device) And performs a function of connecting the augmented reality device 100 to a communication channel.

본 발명의 실시 방법에 따르면, 상기 통신부(115)는 통신망 상의 서버(또는 장치)에 저장된 홀로그램 데이터를 수신하는 홀로그램 획득수단의 기능을 수행할 수 있다.According to the embodiment of the present invention, the communication unit 115 can perform the function of the hologram acquiring unit that receives the hologram data stored in the server (or device) on the communication network.

상기 센서부(130)는 상기 홀로그램 표시 장치(150)를 통해 홀로그램 객체가 표시되는 현실세계 공간에 고정되어 잇는 고정 객체의 위치를 센싱하는 고정 객체 추적 센서(140)와, 현실세계의 이동 객체의 위치를 센싱하는 이동 객체 추적 센서(145)와, 현실세계에 출력되는 홀로그램 객체의 위치를 센싱하는 홀로그램 객체 추적 센서(135)로부터 센서 신호를 획득하는 센서 모듈을 포함한다.The sensor unit 130 includes a fixed object tracking sensor 140 for sensing the position of a fixed object fixed in a real world space in which a hologram object is displayed through the hologram display device 150, And a sensor module for acquiring a sensor signal from a hologram object tracking sensor 135 for sensing the position of a hologram object output to the real world.

본 발명의 실시 방법에 따르면, 상기 고정 객체 추적 센서(140)와 이동 객체 추적 센서(145)와 홀로그램 객체 추적 센서(135)는 하나의 센서로 통합되어 구성될 수 있으며, 별도의 센서로 구성될 수 있다. According to the embodiment of the present invention, the fixed object tracking sensor 140, the moving object tracking sensor 145, and the hologram object tracking sensor 135 may be integrated into one sensor, .

**

또는, 상기 홀로그램 객체 추적 센서(135)는 별도의 센서를 이용하지 않고 상기 홀로그램 표시 장치(150)가 현실세계의 공간에 홀로그램 객체를 표시하는 홀로그램 표시 정보를 판독하여 상기 현실세계에 출력되는 홀로그램 객체의 위치를 센싱하는 것이 가능하다.Alternatively, the hologram object tracking sensor 135 may read the hologram display information indicating the hologram object in the real world space without using a separate sensor, and may output the hologram object It is possible to sense the position of the object.

본 발명의 실시 방법에 따르면, 상기 고정 객체 추적 센서(140)와 이동 객체 추적 센서(145)와 홀로그램 객체 추적 센서(135)(단, 상기 홀로그램 객체 추적 센서(135)가 홀로그램 표시 장치(150)와 연동하는 경우 생략)는, 광학 방식, 화상 입력 방식, 전자파 방식, 사운드 판독 방식 중 어느 하나의 센서 방식을 통해 고정 객체, 이동 객체, 홀로그램 객체 중 어느 하나의 객체 위치를 추적한다.According to the embodiment of the present invention, the fixed object tracking sensor 140, the moving object tracking sensor 145 and the hologram object tracking sensor 135 (provided that the hologram object tracking sensor 135 detects the hologram object tracking sensor 135, ) Tracks an object position of a fixed object, a moving object, or a hologram object through any one of an optical system, an image input system, an electromagnetic wave system, and a sound reading system.

여기서, 상기 광학 방식 객체 추적은 상기 객체 추적 센서에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 현실세계 공간에 주사하고, 상기 현실세계 공간 내 객체를 통해 반사되는 광선을 인식하여 객체의 위치를 추적하는 방식이다.In the optical object tracking, the object tracking sensor scans a light ray (for example, infrared rays) which is difficult to be visually recognized and harmless to the human body, and recognizes a light ray reflected through the object in the real world space It is a method of tracking the position of an object.

상기 화상 입력 방식 객체 추적은 상기 객체 추적 센서에서 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 현실세계 공간 내 화상 데이터를 입력하고, 상기 화상 데이터를 판독하여 객체의 위치를 추적하는 방식이다.The image input method object tracking is a method of inputting image data in a real world space through a camera including a CCD (Charge Coupled Device) element in the object tracking sensor, and reading the image data to track the position of the object.

상기 전자파 방식 객체 추적은 상기 현실세계 공간 내 고정 객체와 이동 객체에 구비된 전자파 송출장치에서 송출되는 전자파 신호를 수신하고, 삼각측량 방식으로 상기 객체의 위치를 추적하는 방식이다. 단, 홀로그램은 전자파 송출이 불가함으로 제외된다.The electromagnetic wave object tracking is a method of receiving an electromagnetic wave signal transmitted from an electromagnetic wave emitting apparatus provided in a fixed object and a moving object in the real world space and tracking the position of the object by a triangulation method. However, holograms are excluded because they can not transmit electromagnetic waves.

상기 사운드 판독 방식 객체 추적은 사람의 귀에는 들리지 않는 사운드(예컨대, 초음파)를 현실세계 공간에 주사하고, 상기 현실세계 공간 내 객체를 통해 반사되는 사운드를 인식하여 객체의 위치를 추적하는 방식이다. 단, 홀로그램은 사운드 반사가 불가함으로 제외된다.The sound reading method object tracking is a method of scanning a sound (e.g., an ultrasonic wave) that can not be heard by the human ear into a real world space and recognizing a sound reflected through the object in the real world space to track the position of the object. However, holograms are excluded because they can not reflect sound.

그러나, 상기 각 객체 추적 센서가 객체의 위치를 추적하는 방식이 상술된 방식으로 한정되는 것은 결코 아니며, 당업자에 따라 다양하게 변형하여 실시할 수 있으며, 본 발명은 상기 변형 가능한 모든 실시예를 포함한다.However, the manner in which each object tracking sensor tracks the position of the object is not limited in the above-described manner, and various modifications may be made by those skilled in the art, and the present invention includes all the modifications .

상기 조작부(110)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 장치를 포함한다. 상기 조작부(110)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(125)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함한다.The operation unit 110 includes a device that receives the user operation when a user operation is required to the augmented reality device 100. [ The operation unit 110 includes a key input module having a key button for inputting key information necessary for a user operation and a touch screen module for inputting information necessary for a user operation in cooperation with the output unit 125. [

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 고정 객체 추적 센서(140)와 이동 객체 추적 센서(145) 및 홀로그램 객체 추적 센서(135)를 통해 추적되는 위치 값을 하나의 좌표계 상의 좌표 값으로 표시하는 통합 좌표계를 구성하는 좌표계 구성부(155)와, 상기 통합 좌표계 상의 중력 방향을 결정하는 중력 방향 결정부(160)와, 상기 고정 추적 센서를 통해 제1 내지 제N(N>1) 고정 객체의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 제1 내지 제N 고정 객체 위치 값을 산출하는 고정 객체 위치 산출부(165)와, 상기 홀로그램 객체 추적 센서(135)를 통해 상기 홀로그램 표시 장치(150)를 통해 표시되는 홀로그램 객체의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 홀로그램 객체 위치 값을 산출하는 홀로그램 객체 위치 산출부(170)와, 상기 홀로그램 객체 위치 값과 제1 고정 객체 위치 값을 비교하여 상기 홀로그램 객체 위치 값과 제1 고정 객체 위치 값이 접하여 표시되는지 확인하는 고정 위치 값 확인부(175)와, 상기 홀로그램 객체 위치 값과 제1 고정 객체 위치 값이 접하지 않으면, 상기 홀로그램 객체를 중력 방향으로 이동하여 상기 제1 고정 객체의 면에 상기 홀로그램 객체를 접하여 표시하는 홀로그램 표시부(180)를 구비한다. 본 발명의 실시 방법에 따르면, 상기 좌표계 구성부(155), 중력 방향 결정부(160), 고정 객체 위치 산출부(165), 홀로그램 객체 위치 산출부(170), 고정 위치 값 확인부(175), 홀로그램 표시부(180) 중 하나 이상의 구성부는 상기 제어부(105), 메모리부(120), 출력부(125), 센서부(130), 및 통신부(115)를 구비한 증강현실 장치(100)와 연결된 서버에 구비될 수 있으며, 실시 방법에 따라 일부 구성요소는 증강현실 장치(100)에 구비되고 나머지 구성부는 상기 서버에 구비될 수 있다.Referring to FIG. 1, the augmented reality device 100 receives a positional value traced through the fixed object tracking sensor 140, the moving object tracking sensor 145, and the hologram object tracking sensor 135 in one coordinate system A gravity direction determination unit (160) for determining a gravity direction on the integrated coordinate system, and a first to an Nth (N > 1) a fixed object position calculation unit 165 for tracking the position of the fixed object and calculating the first to N-th fixed object position values corresponding to the coordinate values on the integrated coordinate system, and a hologram object tracking unit A hologram object position calculation unit 170 for tracking the position of a hologram object displayed through the hologram display unit 150 and calculating a hologram object position value corresponding to a coordinate value on the integrated coordinate system, A fixed position value determiner 175 for comparing the hologram object position value and the first fixed object position value to check whether the hologram object position value and the first fixed object position value are displayed in contact with each other, And a hologram display 180 for moving the hologram object in a gravitational direction and displaying the hologram object in contact with the surface of the first fixed object when the fixed object position value is not in contact with the hologram object. The gravitational direction determination unit 160, the fixed object position calculation unit 165, the hologram object position calculation unit 170, the fixed position value determination unit 175, And the hologram display unit 180 are connected to the augmented reality device 100 having the control unit 105, the memory unit 120, the output unit 125, the sensor unit 130, and the communication unit 115 And some components may be included in the augmented reality device 100 according to an embodiment of the present invention, and the remaining components may be provided in the server.

상기 좌표계 구성부(155)는, 상기 고정 객체 추적 센서(140)와 이동 객체 추적 센서(145) 및 홀로그램 객체 추적 센서(135) 중 어느 하나의 센서를 통해 상기 홀로그램 표시 장치(150)를 통해 홀로그램 객체가 표시되는 현실세계의 3차원 공간을 검출하고(또는 사용자 조작에 의해 설정 가능), 상기 3차원 공간의 어느 한 특이점을 원점으로 결정하여 상기 고정 객체 추적 센서(140)와 이동 객체 추적 센서(145) 및 홀로그램 객체 추적 센서(135)를 통해 추적되는 각 위치 값을 하나의 좌표계 상의 좌표 값으로 표시하는 통합 좌표계를 구성한다.The coordinate system construction unit 155 generates a coordinate system based on the hologram display device 150 through the hologram display device 150 through the sensor of the fixed object tracking sensor 140, the moving object tracking sensor 145 and the hologram object tracking sensor 135. [ Dimensional space in which the object is displayed (or can be set by user's manipulation), determines the origin of one of the singularities in the three-dimensional space and transmits the fixed object tracking sensor 140 and the moving object tracking sensor 145 and the hologram object tracking sensor 135 as coordinate values on one coordinate system.

상기 통합 좌표계가 구성되면, 상기 중력 방향 결정부(160)는 상기 통합 좌표계 상에서 어느 한 방향을 중력 방향으로 결정한다. 상기 중력 방향은 사용자 조작에 의해 결정되거나, 또는 상기 고객 객체 추적 센서를 통해 센싱되는 두개 이상의 고객 객체 위치를 비교(예컨대, 바닥 면과 바닥 위의 책상 등)하여 자동 결정될 수 있다.When the integrated coordinate system is constructed, the gravity direction determination unit 160 determines one direction on the integrated coordinate system as the gravity direction. The gravity direction may be determined automatically by a user operation or by comparing two or more customer object locations sensed through the customer object tracking sensor (e.g., a desk on the floor and floor, etc.).

상기 통합 좌표계가 구성되면, 상기 고정 객체 위치 산출부(165)는 상기 고정 추적 센서를 통해 현실세계 공간에 존재하는 제1 내지 제N(N>1) 고정 객체의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 제1 내지 제N 고정 객체 위치 값을 산출한다. 상기 산출된 제1 내지 제N 고정 객체 위치 값은 메모리부(120)에 저장될 수 있다.If the integrated coordinate system is configured, the fixed object position calculation unit 165 tracks the positions of the first to Nth (N > 1) fixed objects existing in the real world space through the fixed tracking sensor, The first to N-th fixed object position values corresponding to the coordinate values are calculated. The calculated first to N-th fixed object position values may be stored in the memory unit 120.

상기 통합 좌표계가 구성된 후, 상기 홀로그램 표시 장치(150)가 현실세계의 공간에 홀로그램 객체를 표시하면, 상기 홀로그램 객체 위치 산출부(170)는 상기 홀로그램 객체 추적 센서(135)를 통해 상기 홀로그램 표시 장치(150)를 통해 표시되는 홀로그램 객체의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 홀로그램 객체 위치 값을 산출한다. 본 발명의 실시 방법에 따르면, 상기 홀로그램 객체 위치 산출부(170)는 상기 홀로그램 표시 장치(150)로부터 홀로그램 표시 정보를 수신 및 판독하여 상기 통합 좌표계 상의 좌표 값에 대응하는 홀로그램 객체 위치 값을 산출할 수 있다.If the hologram display device 150 displays the hologram object in the space of the real world after the integrated coordinate system is configured, the hologram object position calculation unit 170 calculates the hologram object position using the hologram object tracking sensor 135, The position of the hologram object displayed through the coordinate system 150 is tracked to calculate the hologram object position value corresponding to the coordinate value on the integrated coordinate system. According to an embodiment of the present invention, the hologram object position calculation unit 170 receives and reads the hologram display information from the hologram display device 150 and calculates a hologram object position value corresponding to the coordinate value on the integrated coordinate system .

상기 홀로그램 표시 장치(150)가 현실세계의 공간에 홀로그램 객체를 표시한 후, 상기 제1 내지 제N 고정 객체 위치 값과 홀로그램 객체 위치 값이 산출되면, 상기 고정 위치 값 확인부(175)는 상기 홀로그램 객체 위치 값과 제1 고정 객체 위치 값을 비교하여 상기 홀로그램 객체 위치 값과 제1 고정 객체 위치 값이 접하여 표시되는지 확인한다.When the hologram display device 150 displays the hologram object in the space of the real world and then the first to Nth fixed object position values and hologram object position values are calculated, The hologram object position value and the first fixed object position value are compared to determine whether the hologram object position value and the first fixed object position value are displayed in contact with each other.

만약 상기 홀로그램 객체 위치 값과 제1 고정 객체 위치 값이 접하지 않으면, 상기 홀로그램 표시부(180)는 상기 홀로그램 객체를 중력 방향으로 이동하여 상기 제1 고정 객체의 면에 상기 홀로그램 객체를 접하여 표시되도록 처리한다.If the hologram object position value and the first fixed object position value are not in contact with each other, the hologram display unit 180 moves the hologram object in the gravitational direction to contact the hologram object on the surface of the first fixed object do.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 이동 객체 추적 센서(145)를 통해 상기 통합 좌표계 상의 공간을 이동하는 이동 객의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 이동 객체 위치 값을 주기적으로 산출하는 이동 객체 위치 산출부(185)와, 상기 이동 객체 위치 값과 홀로그램 객체 위치 값을 비교하여 상기 이동 객체 위치 값과 홀로그램 객체 위치 값이 접하여 표시되는지 확인하는 이동 위치 값 확인부(190)를 구비하며, 상기 홀로그램 표시부(180)는, 상기 홀로그램 표시 장치(150)를 통해 상기 이동 객체 좌표 값의 제1 이동방향으로 상기 홀로그램 객체를 이동시켜 표시한다.Referring to FIG. 1, the augmented reality device 100 tracks the position of a moving object moving in a space on the integrated coordinate system through the moving object tracking sensor 145, detects a moving object corresponding to a coordinate value on the integrated coordinate system, A moving object position calculation unit 185 for periodically calculating a position value of the moving object and a position value of the hologram object to compare the moving object position value with the hologram object position value, And the hologram display unit 180 displays the hologram object by moving the hologram object in a first movement direction of the moving object coordinate value through the hologram display device 150. [

상기 통합 좌표계가 구성되면, 상기 이동 객체 위치 산출부(185)는 상기 이동 객체 추적 센서(145)를 통해 상기 현실세계 공간을 주기적으로 스캔하여 상기 현실세계 공간에서 이동하는 이동객체를 검출하고, 상기 이동 객체 추적 센서(145)를 통해 상기 통합 좌표계 상의 공간을 이동하는 이동 객의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 이동 객체 위치 값을 주기적으로 산출한다.When the integrated coordinate system is configured, the moving object position calculation unit 185 periodically scans the real world space through the moving object tracking sensor 145 to detect a moving object moving in the real world space, The position of the moving object moving in the space on the integrated coordinate system is tracked through the moving object tracking sensor 145 to periodically calculate the moving object position value corresponding to the coordinate value on the integrated coordinate system.

상기 홀로그램 표시 장치(150)가 현실세계의 공간에 홀로그램 객체를 표시한 후, 상기 이동 객체 위치 값과 홀로그램 객체 위치 값이 산출되면, 상기 이동 위치 값 확인부(190)는 상기 이동 객체 위치 값과 홀로그램 객체 위치 값을 비교하여 상기 이동 객체 위치 값과 홀로그램 객체 위치 값이 접하여 표시되는지 확인한다.When the hologram display device 150 displays the hologram object in the real world space and then calculates the hologram object position value and the hologram object position value, the movement position value determiner 190 determines the moving object position value And compares the position value of the hologram object with the position value of the hologram object to check whether the position of the moving object is adjacent to the position of the hologram object.

만약 상기 이동 객체 위치 값과 홀로그램 객체 위치 값이 접하면, 상기 홀로그램 표시부(180)는, 상기 홀로그램 표시 장치(150)를 통해 상기 이동 객체 좌표 값의 제1 이동방향으로 상기 홀로그램 객체를 이동시켜 표시한다.If the moving object position value and the hologram object position value are in contact with each other, the hologram display unit 180 moves the hologram object in the first moving direction of the moving object coordinate value through the hologram display device 150 do.

여기서, 상기 제1 이동방향은, 상기 홀로그램 객체가 위치한 제1 고정 객체의 면과 평행한 방향을 포함한다.Here, the first movement direction includes a direction parallel to a plane of the first fixed object at which the hologram object is located.

상기 이동 위치 값 확인부(190)는 상기 홀로그램 객체가 상기 제1 고정 객체의 면을 벗어나는지 주기적으로 확인하며, 만약 상기 홀로그램 객체가 상기 제1 고정 객체의 면을 벗어나면, 상기 홀로그램 표시부(180)는, 상기 이동객체의 이동방향과 상기 중력 방향을 결합한 제2 이동방향으로 이동시켜 표시한다.The movement position value determiner 190 periodically checks whether the hologram object is out of the plane of the first fixed object, and if the hologram object is out of the plane of the first fixed object, the hologram display 180 Moves in a second movement direction in which the moving direction of the moving object is combined with the gravity direction and displays the moving object.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 메모리부(120)에 상기 홀로그램 표시 장치(150)를 통해 표시되는 홀로그램 객체에 대한 가상의 물질 상태 값이 저장된 경우, 상기 홀로그램 객체에 대한 가상의 물질 상태 값을 확인하는 물질 상태 값 확인부(195)를 더 구비할 수 있다.Referring to FIG. 1, when a virtual material state value for a hologram object displayed through the hologram display device 150 is stored in the memory unit 120, the augmented reality device 100 stores the hologram object state value And a material state value verifying unit 195 for verifying the virtual material state value for the virtual object.

상기 이동 위치 값 확인부(190)에 의해 상기 홀로그램 객체가 상기 제1 고정 객체의 면을 벗어나는 것으로 확인되면, 상기 물질 상태 값 확인부(195)는 상기 홀로그램 객체에 대한 가상의 물질 상태 값을 확인하고, 상기 홀로그램 표시부(180)는 상기 홀로그램 객체가 상기 제1 고정 객체의 면을 벗어나는 경우, 상기 이동객체의 이동방향과 상기 중력 방향을 결합한 제2 이동방향으로 이동시켜 표시하되, 상기 제2 이동방향으로 이동하는 객체가 제2 고정 객체의 면과 접하는 경우, 상기 홀로그램 객체의 물질 상태 값을 기반으로 상기 홀로그램 객체의 상태를 유지시켜 상기 제2 고정 객체의 면에 고정하여 표시하거나, 또는 상기 홀로그램 객체의 상태를 변화시켜 상기 제2 고정 객체의 면에 고정하여 표시한다. 예를들어, 상기 고정 객체가 책상이고, 상기 홀로그램 객체가 상기 책상 위에 놓인 화분이라면, 상기 화분이 사람의 손(=이동 객체)에 의해 밀려 바닥에 떨어지는 경우, 상기 홀로그램 표시부(180)는 바닥에 떨어진 화분을 모양을 그대로 유지하여 표시하거나, 또는 상기 화분이 깨진 상태로 상태를 변화시켜 표시할 수 있다. 이 때 상기 화분이 깨지지 않더라도 옆으로 넘어진 상태도 상기 상태 변화의 범주에 포함된다.If it is confirmed by the movement position value checking unit 190 that the hologram object is out of the plane of the first fixed object, the material state value checking unit 195 may check a virtual material state value for the hologram object The hologram display unit 180 displays the hologram object 180 in a second movement direction in which the moving direction of the moving object is combined with the gravity direction when the hologram object is out of the plane of the first fixed object, The state of the hologram object is fixed based on the material state value of the hologram object to fix the hologram object on the surface of the second fixed object to display the hologram object, The state of the object is changed and fixed on the surface of the second fixed object. For example, if the stationary object is a desk and the hologram object is a flowerpot placed on the desk, if the flowerpot is pushed by the hand of a person (= moving object) to fall on the floor, The dropped pollen can be displayed while maintaining its shape, or the pollen can be displayed in a state in which the pollen is broken. At this time, even if the flowerpot is not broken, the state in which the flowerpot falls sideways is included in the category of the state change.

도면2는 본 발명의 일 실시 방법에 따라 홀로그램 객체 표시 과정을 도시한 도면이다.2 is a diagram illustrating a process of displaying a hologram object according to an embodiment of the present invention.

보다 상세하게 본 도면2는 홀로그램 표시 장치(150)와 연결된 증강현실 장치(100)에서 상기 홀로그램 객체에 중력 법칙을 적용하여 현실세계의 고정 객체에 표시하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 홀로그램 객체 표시 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 2 illustrates a process of applying a gravitational law to the hologram object in augmented reality device 100 connected to the hologram display device 150 and displaying the hologram object on a fixed object in the real world. Those skilled in the art will be able to refer to and / or modify Figure 2 to infer various implementations of the hologram object presentation process (e.g., omitting some of the steps or changing the order) However, the present invention is not limited to the above-described embodiments, and the technical features of the present invention are not limited only by the method shown in FIG.

도면2를 참조하면, 증강현실 장치(100)는 상기 고정 객체 추적 센서(140)와 이동 객체 추적 센서(145) 및 홀로그램 객체 추적 센서(135)를 통해 추적되는 위치 값을 하나의 좌표계 상의 좌표 값으로 표시하는 통합 좌표계를 구성하고(200), 상기 통합 좌표계 상의 중력 방향을 결정한다(205).Referring to FIG. 2, the augmented reality device 100 calculates a position value traced through the fixed object tracking sensor 140, the moving object tracking sensor 145, and the hologram object tracking sensor 135, (200), and determines a gravity direction on the integrated coordinate system (205).

이후, 상기 증강현실 장치(100)는 상기 고정 추적 센서를 통해 제1 내지 제N(N>1) 고정 객체의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 제1 내지 제N 고정 객체 위치 값을 산출하여 메모리에 저장하고(210), 상기 홀로그램 표시 장치(150)를 통해 상기 통합 좌표계가 구성된 현실세계의 공간에 홀로그램 객체가 표시되는지 확인한다(215).Thereafter, the augmented reality device 100 tracks the positions of the first through N-th (N > 1) fixed objects through the fixed tracking sensor and outputs the first through N-th fixed object positions corresponding to the coordinate values on the integrated coordinate system (210), and the hologram display device (150) checks whether a hologram object is displayed in a space of the real world where the integrated coordinate system is configured (215).

만약 상기 현실세계의 공간에 홀로그램 객체가 표시되면(220), 상기 증강현실 장치(100)는 상기 홀로그램 객체 추적 센서(135)를 통해 상기 홀로그램 표시 장치(150)를 통해 표시되는 홀로그램 객체의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 홀로그램 객체 위치 값을 산출하고(225)홀로그램 객체 위치 값과 제1 고정 객체 위치 값을 비교하여 상기 홀로그램 객체 위치 값과 제1 고정 객체 위치 값이 접하여 표시되는지 확인한다(230).If a hologram object is displayed in the space of the real world 220, the augmented reality device 100 displays the position of the hologram object displayed through the hologram display device 150 through the hologram object tracking sensor 135 A hologram object position value corresponding to the coordinate value on the integrated coordinate system is calculated (225), and the hologram object position value and the first fixed object position value are compared to compare the hologram object position value and the first fixed object position value. (230).

만약 상기 홀로그램 객체 위치 값과 제1 고정 객체 위치 값이 접하지 않으면(235), 상기 증강현실 장치(100)는 상기 홀로그램 객체를 중력 방향으로 이동하여 상기 제1 고정 객체의 면에 접하여 표시한다(240).If the hologram object position value and the first fixed object position value are not in contact with each other (235), the augmented reality device 100 moves the hologram object in the gravity direction and displays the hologram object in contact with the surface of the first fixed object 240).

반면 상기 홀로그램 객체 위치 값과 제1 고정 객체 위치 값이 접하면(235), 상기 증강현실 장치(100)는 상기 제1 고정 객체의 면에 상기 홀로그램 객체를 접하여 표시한다(245).If the hologram object position value and the first fixed object position value are in contact with each other (235), the augmented reality device 100 displays the hologram object in contact with the surface of the first fixed object (245).

도면3은 본 발명의 다른 일 실시 방법에 따라 홀로그램 객체 표시 과정을 도시한 도면이다.3 is a diagram illustrating a process of displaying a hologram object according to another embodiment of the present invention.

보다 상세하게 본 도면3은 홀로그램 표시 장치(150)와 연결된 증강현실 장치(100)에서 상기 홀로그램 객체에 중력 법칙을 적용하여 현실세계의 고정 객체에 표시하되, 이동 객체의 이동방향으로 상기 홀로그램 객체를 이동시켜 표시하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 홀로그램 객체 표시 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, in FIG. 3, a gravitational rule is applied to the hologram object in the augmented reality device 100 connected to the hologram display device 150 to display the hologram object in a moving object moving direction, 3 is a flowchart illustrating a process of moving and displaying a hologram object according to an exemplary embodiment of the present invention. Referring to FIG. 3, The present invention is not limited to the above-described embodiments, and the present invention is not limited to the above-described embodiments.

도면3을 참조하면, 상기 도면2에 도시된 과정을 통해 통합 좌표계가 구성되고 중력 방향이 결정되면, 상기 증강현실 장치(100)는 현실세계의 공간을 이동하는 이동 객체를 검출하고(300), 상기 이동 객체가 검출되면(305), 상기 이동 객체 추적 센서(145)를 통해 상기 통합 좌표계 상의 공간을 이동하는 이동 객의 위치를 추적하여 상기 통합 좌표계 상의 좌표 값에 대응하는 이동 객체 위치 값을 주기적으로 산출한다(310).Referring to FIG. 3, when the integrated coordinate system is configured through the process shown in FIG. 2 and the direction of gravity is determined, the augmented reality device 100 detects (300) a moving object moving in a real world space, When the moving object is detected (305), the position of the moving object moving in the space on the integrated coordinate system is tracked through the moving object tracking sensor 145, and the moving object position value corresponding to the coordinate value on the integrated coordinate system is periodically (310).

만약 상기 이동 객체 위치 좌표 값이 산출되면(315), 상기 증강현실 장치(100)는 상기 이동 객체 위치 값과 홀로그램 객체 위치 값을 비교하여 상기 이동 객체 위치 값과 홀로그램 객체 위치 값이 접하는지 확인하고(320), 만약 상기 이동 객체 위치 값과 홀로그램 객체 위치 값이 접하면(325), 상기 홀로그램 표시 장치(150)를 통해 상기 이동 객체 좌표 값의 제1 이동방향으로 상기 홀로그램 객체를 이동시켜 표시한다(330).If the moving object position coordinate value is calculated 315, the augmented reality device 100 compares the moving object position value and the hologram object position value to check whether the moving object position value and the hologram object position value are in contact with each other (Step 320). If the moving object position value and the hologram object position value are in contact with each other (step 325), the hologram object is moved and displayed in the first moving direction of the moving object coordinate value through the hologram display device 150 (330).

도면4는 본 발명의 또다른 일 실시 방법에 따라 홀로그램 객체 표시 과정을 도시한 도면이다.4 is a diagram illustrating a process of displaying a hologram object according to another embodiment of the present invention.

보다 상세하게 본 도면4는 홀로그램 표시 장치(150)와 연결된 증강현실 장치(100)에서 상기 홀로그램 객체에 중력 법칙을 적용하여 현실세계의 고정 객체에 표시하되, 이동 객체의 이동방향으로 상기 홀로그램 객체를 이동시키는 중 상기 중력 법칙에 따라 상기 홀로그램 객체의 상태를 변화시키는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면4를 참조 및/또는 변형하여 상기 홀로그램 객체 표시 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면4에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.In more detail, FIG. 4 illustrates a method of displaying a hologram object on a fixed object in a real world by applying a gravity law to the hologram object in an augmented reality device 100 connected to the hologram display device 150, 4 is a flow chart illustrating a process of changing the state of the hologram object according to the gravitational law while moving the hologram object. Referring to FIG. 4, It will be appreciated that various implementations of the display process (e.g., omitting some of the steps or changing the order) can be inferred, but the present invention includes all of the above- The technical features thereof are not limited only by the method of implementation.

도면4를 참조하면, 상기 도면3에 도시된 과정을 통해 홀로그램 객체가 이동 객체 좌표 값의 제1 이동방향으로 이동하면, 상기 증강현실 장치(100)는 상기 홀로그램 객체가 상기 제1 고정 객체의 면을 벗어나는지 확인한다(400).Referring to FIG. 4, when a hologram object moves in a first movement direction of a moving object coordinate value through the process shown in FIG. 3, the augmented reality device 100 determines that the hologram object is a face of the first fixed object (400).

**

만약 상기 홀로그램 객체가 상기 제1 고정 객체의 면을 벗어나면(405), 상기 증강현실 장치(100)는 상기 이동 객체의 이동방향과 중력 방향을 결합한 제2 이동방향으로 상기 홀로그램 객체를 이동시켜 표시하고(410), 상기 홀로그램 객체의 위치 값과 제2 고정 객체 위치 값을 비교하여 상기 홀로그램 객체가 제2 고정 객체와 접하는지 확인한다(415).If the hologram object is out of the plane of the first fixed object (405), the augmented reality device 100 moves the hologram object in a second movement direction in which the moving direction of the moving object is combined with the gravity direction (Step 410). In step 415, it is determined whether the hologram object is in contact with the second fixed object by comparing the position value of the hologram object with the second fixed object position value.

만약 상기 제2 이동방향으로 이동하는 홀로그램 객체가 상기 제2 고정 객체와 접하면(420), 상기 증강현실 장치(100)는 상기 홀로그램 객체에 대한 가상의 물질 상태 값을 확인하고(425), 상기 물질 상태 값을 기반으로 상기 홀로그램 객체가 제2 고정 객체와 접하는 시점의 홀로그램 객체의 상태를 변화시킬지 결정한다(430).If the hologram object moving in the second moving direction contacts the second fixed object 420, the augmented reality device 100 checks the virtual material state value for the hologram object 425, (430) whether to change the state of the hologram object at the time when the hologram object contacts the second fixed object based on the material state value.

만약 상기 홀로그램 객체의 상태를 변화시키지 않는다면(435), 상기 증강현실 장치(100)는 상기 홀로그램 객체를 제2 고정 객체에 접하여 표시한다(440).If the state of the hologram object is not changed (435), the augmented reality device 100 displays the hologram object in contact with the second fixed object (step 440).

반면 상기 홀로그램 객체의 상태를 변화시킨다면(435), 상기 증강현실 장치(100)는 상기 물질 상태 값을 기반으로 상기 홀로그램 객체의 상태를 변화시켜 상기 제2 고정 객체에 접하여 표시한다(445).On the other hand, if the state of the hologram object is changed (435), the augmented reality device 100 changes the state of the hologram object based on the material state value and displays it in contact with the second fixed object (445).

도면5는 본 발명의 실시 방법에 따라 홀로그램 객체를 표시하는 과정을 예시한 도면이다.5 is a diagram illustrating a process of displaying a hologram object according to an embodiment of the present invention.

보다 상세하게 도면5의 (a)는 상기 도면2와 같이 홀로그램 객체에 중력 법칙을 적용하여 현실세계의 고정 객체 위에 홀로그램 객체를 표시하는 것을 예시한 것이고, 도면5의 (b)는 상기 도면3과 같이 현실세계의 고정 객체 위에 표시된 홀로그램 객체와 이동 객체가 접하는지 확인하고, 상기 이동 객체와 홀로그램 객체가 접하는 경우에 상기 홀로그램 객체를 이동 객체의 이동 방향으로 이동시켜 표시하는 것을 예시한 것이고, 도면5의 (c)는 상기 도면4와 같이 이동 객체의 이동 방향으로 이동하는 홀로그램 객체가 고정 객체를 벗어나는 경우에 중력 법칙을 적용하여 상기 이동 객체를 상기 이동 객체의 이동 방향과 중력 방향을 결합한 방향으로 이동시켜 표시하는 것을 예시한 것이다.5 (a) illustrates an example of displaying a hologram object on a fixed object in the real world by applying a gravitational law to the hologram object as shown in FIG. 2, and FIG. 5 (b) It is confirmed that the hologram object and the moving object displayed on the fixed object of the real world are in contact with each other, and when the moving object and the hologram object are in contact, the hologram object is moved and displayed in the moving direction of the moving object. When the hologram object moving in the moving direction of the moving object deviates from the fixed object as shown in FIG. 4, the gravitational law is applied to move the moving object in the direction of combining the moving direction of the moving object and the gravity direction As shown in FIG.

100 : 증강현실 장치 135 : 홀로그램 객체 추적 센서
140 : 고정 객체 추적 센서 145 : 이동 객체 추적 센서
150 : 홀로그램 표시 장치 155 : 좌표계 구성부
160 : 중력 방향 결정부 165 : 고정 객체 위치 산출부
170 : 홀로그램 객체 위치 산출부 175 : 고정 위치 값 확인부
180 : 홀로그램 표시부 185 : 이동 객체 위치 산출부
190 : 이동 위치 값 확인부 195 : 물질 상태 값 확인부100: augmented reality device 135: hologram object tracking sensor
140: fixed object tracking sensor 145: moving object tracking sensor
150: Hologram display device 155: Coordinate system constituent part
160: gravity direction determination unit 165: fixed object position calculation unit
170: hologram object position calculation unit 175: fixed position value verification unit
180: Hologram display part 185: Moving object position calculation part
190: Moving position value verifying unit 195: Material state value verifying unit

Claims

A hologram object tracking sensor connected to a hologram display device for displaying a hologram in a real world and sensing a hologram object displayed through the hologram display device, CLAIMS What is claimed is: 1. A method executed via an apparatus having a moving object tracking sensor for sensing moving moving objects,
A positional value of a hologram object sensed by the hologram object tracking sensor and a position value of a moving object sensed by the moving object tracking sensor are integrated A first step of constructing a coordinate system;
A second step of determining a direction of gravity of a gravity law applied to a real object on the integrated coordinate system;
A third step of confirming a virtual material state value including a virtual mass and a material of a hologram object to be displayed through the hologram display device;
Wherein when the hologram object is displayed through the hologram display device, the position coordinate value on the integrated coordinate system for the hologram object is tracked through the hologram object tracking sensor, and the position of the real object And displaying the hologram object in a state in which the hologram object is in contact with the tracked at least one real object in a gravitational direction, according to a gravity law applied to the hologram object;
A fifth step of periodically tracking the position of the moving object moving in the space on the integrated coordinate system through the moving object tracking sensor and calculating a position value on the integrated coordinate system for the moving object;
A sixth step of comparing whether the moving object and the hologram object are in contact with each other by comparing the position value of the moving object with the position value of the hologram object; And
When the moving object is in contact with the hologram object, the hologram object in contact with the moving object is moved by applying the force in the moving direction in which the moving object moves, the virtual material state value of the hologram object and the gravity law in the gravity direction, Determining a display direction and a display state of the hologram object, and processing the hologram object to be displayed through the hologram display device.

2. The method according to claim 1,
And determining a direction of gravity by reading a correlation between two or more real objects sensed by the real object tracking sensor.

The method as claimed in claim 1,
And displaying the hologram object in a moving state by applying a moving direction applied to the hologram object by the moving object and a gravitational direction of the gravitational law so as to display the hologram object in a moving state. .

The method as claimed in claim 1,
Calculating an impulse amount applied to the hologram object based on a force applied to the hologram object by the moving object and applying the impulse amount to a virtual material state value of the hologram object to change the state of the hologram object And displaying the hologram object on the screen.