KR101397214B1 - System and method for generating virtual object using augmented reality - Google Patents

System and method for generating virtual object using augmented reality Download PDF

Info

Publication number
KR101397214B1
KR101397214B1 KR1020070055245A KR20070055245A KR101397214B1 KR 101397214 B1 KR101397214 B1 KR 101397214B1 KR 1020070055245 A KR1020070055245 A KR 1020070055245A KR 20070055245 A KR20070055245 A KR 20070055245A KR 101397214 B1 KR101397214 B1 KR 101397214B1
Authority
KR
South Korea
Prior art keywords
virtual object
marker
pattern
information
recognized
Prior art date
Application number
KR1020070055245A
Other languages
Korean (ko)
Other versions
KR20080107211A (en
Inventor
김정년
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070055245A priority Critical patent/KR101397214B1/en
Publication of KR20080107211A publication Critical patent/KR20080107211A/en
Application granted granted Critical
Publication of KR101397214B1 publication Critical patent/KR101397214B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for creating virtual objects using augmented reality technology.

이를 위해 본 발명은 사람의 눈으로 인지할 수 없는 신호를 발생시키는 복수개의 유닛으로 구성되고, 소정의 마커 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 하기 위한 정보를 가지는 마커 패턴 표시 모듈을 구비한 후 마커 패턴 표시 모듈이 소정의 마커 패턴을 표시하기 위한 선택이 있으면 선택된 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 시키고, 이동 통신 단말기가 실사를 촬영하기 위한 요청에 따라 카메라를 통해서 입력된 실사(Real World)를 통해 마커 패턴 표시 모듈의 패턴을 인식하고, 인식된 패턴에서 패턴 정보를 인지한 후 이동 통신 단말기가 상기 인지된 패턴 정보를 이용하여 가상 객체를 생성할 수 있게 된다.To this end, the present invention provides a marker pattern display apparatus comprising a plurality of units for generating an unrecognizable signal by a human eye, and having information for turning on / off units corresponding to a predetermined marker pattern, (ON / OFF) the units corresponding to the selected pattern if the marker pattern display module has a selection for displaying a predetermined marker pattern, and when the mobile communication terminal requests the camera The mobile communication terminal recognizes the pattern of the marker pattern display module through the real world inputted through the real world, recognizes the pattern information in the recognized pattern, and then generates the virtual object using the recognized pattern information do.

적외선 LED, 적외선 발광 다이오드, 가상 현실, AR Infrared LED, Infrared Light Emitting Diode, Virtual Reality, AR

Description

증강 현실 기술을 이용하여 가상 객체를 생성하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR GENERATING VIRTUAL OBJECT USING AUGMENTED REALITY}[0001] SYSTEM AND METHOD FOR GENERATING VIRTUAL OBJECT USING AUGMENTED REALITY [0002]

도 1은 본 발명의 실시 예에 따른 증강 현실 구현 시스템의 구성도,1 is a configuration diagram of an augmented reality implementation system according to an embodiment of the present invention;

도 2는 본 발명의 실시 예에 따라 마커로 사용되는 적외선 LED 마커의 블록 구성도,2 is a block diagram of an infrared LED marker used as a marker according to an embodiment of the present invention;

도 3은 본 발명의 실시 예에 따른 이동 통신 단말기의 블록 구성도,3 is a block diagram of a mobile communication terminal according to an embodiment of the present invention.

도 4는 본 발명의 실시 예에 따른 가상 객체 데이터 서버의 블록 구성도,4 is a block diagram of a virtual object data server according to an embodiment of the present invention;

도 5는 본 발명의 실시 예에 따른 적외선 LED로 구성된 마커의 예시도,FIG. 5 is an illustration of a marker made up of an infrared LED according to an embodiment of the present invention;

도 6은 본 발명의 실시 예에 따라 이동 통신 단말기에서 인식된 적외선 LED의 마커 인식 정보에 대응되는 가상 객체를 요청 및 제공하기 위한 이동 통신 단말기와 가상 객체 데이터 서버간의 신호 흐름도,6 is a signal flow diagram between a mobile communication terminal and a virtual object data server for requesting and providing a virtual object corresponding to marker recognition information of an infrared LED recognized by a mobile communication terminal according to an embodiment of the present invention;

도 7은 본 발명의 실시 예에 따라 이동 통신 단말기에서 적외선 LED 마커를 이용하여 증강 현실을 구현하기 위한 과정을 나타내는 제어 흐름도,FIG. 7 is a control flowchart illustrating a process for implementing an augmented reality using an infrared LED marker in a mobile communication terminal according to an embodiment of the present invention;

도 8은 본 발명의 실시 예에 따라 가상 객체 데이터 서버에서 수신된 마커 패턴 정보에 대응되는 가상 객체를 생성하여 이동 통신 단말기로 제공하기 위한 과정을 나타내는 제어 흐름도.FIG. 8 is a flowchart illustrating a process for generating a virtual object corresponding to marker pattern information received from a virtual object data server and providing the generated virtual object to a mobile communication terminal according to an exemplary embodiment of the present invention.

본 발명은 증강 현실(Augmented Reality) 기술을 이용하여 가상 객체를 생성하기 위한 시스템 및 방법에 관한 것으로, 특히 사람의 눈으로 인지할 수 없는 마커를 구현하고, 이러한 마커를 이용하여 가상 객체를 생성하기 위한 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for generating a virtual object using Augmented Reality technology. More particularly, the present invention implements a marker that can not be recognized by a human eye, and generates a virtual object using the marker And more particularly,

일반적으로 증강 현실 기술은 실사(Real World)를 배경으로 가상 객체를 합성하여 디스플레이 하는 기술이다. 이러한 증강 현실 기술은 주로 GPS를 이용하여 위치 정보를 검색하는 위치 정보 시스템에 사용되거나 게임 컨텐츠를 구현하는데 사용된다. 이와 같은 증강 현실 기술을 이용하여 실사를 배경으로 가상 객체를 합성하기 위해서는 미리 설정된 패턴을 가지는 마커 또는 실제 현실에 존재하는 건물이나 조형물과 같은 현실 객체를 인식하는 과정이 필요하다. 이때, 마커 또는 현실 객체를 인식하는 방법에 대해서 하기에서 살펴보도록 한다.In general, augmented reality technology is a technique of synthesizing and displaying virtual objects in the background of a real world. These augmented reality technologies are mainly used in a location information system for searching for location information by using GPS or for realizing game contents. In order to synthesize a virtual object using the augmented reality technology, it is necessary to recognize a marker having a predetermined pattern or a real object such as a building or a sculpture existing in a real world. At this time, a method of recognizing a marker or a real object will be described below.

첫째로 마커를 인식하는 방법은 카메라를 통해서 흑색의 바탕에 흰색의 패턴으로 이루어진 마커를 포함하는 실사에서 마커의 흰색 패턴을 인식한다. 이후, 인식된 패턴에 대응되는 가상 객체를 생성하고, 생성된 가상 객체를 마커의 위치에 표시되도록 실사와 합성한 후 화면에 디스플레이한다. First, the recognition method of the marker recognizes the white pattern of the marker in the real image including the marker made of the white pattern on the black background through the camera. Thereafter, a virtual object corresponding to the recognized pattern is generated, and the generated virtual object is synthesized with the real image so as to be displayed at the position of the marker, and displayed on the screen.

두 번째로 현실 객체를 인식하는 방법은 일반적으로 GPS를 이용한 위치 정보 시스템에서 자주 사용되는 방법으로, 이에 대해서는 예를 들어 설명하도록 한다. 먼저, 사용자가 단말기의 네비게이션 서비스를 이용하여 은행을 목적지로 설정하 면, 단말기는 카메라를 통해서 주변의 실사를 실시간으로 화면에 디스플레이한다. 이후, 단말기는 디스플레이된 화면에서 실시간으로 특정 건물들을 인식하고, 인식된 특정 건물들의 정보를 실시간으로 위치 정보 데이터 베이스와 통신을 통해서 전송한다. 그리고, 특정 건물들의 정보를 수신한 위치 정보 데이터 베이스는 수신된 특정 정보와 목적지 사이의 방향 정보를 실시간으로 단말기에 제공한다. 이후, 단말기는 실시간으로 수신된 특정 정보와 목적지 사이의 방향 정보에 대응되도록 가상 객체를 생성한 후 생성된 가상 객체를 이용하여 목적지에 대한 방향 정보를 표시한다. Secondly, a method of recognizing a real object is generally used in a position information system using GPS. First, when a user sets a bank as a destination by using a navigation service of the terminal, the terminal displays the real image of the surrounding real time on the screen through the camera. Then, the terminal recognizes specific buildings in real time on the displayed screen, and transmits the information of the recognized specific buildings in real time to the location information database through communication. The location information database receiving the information of the specific buildings provides the terminal with the direction information between the received specific information and the destination in real time. Then, the terminal generates a virtual object corresponding to the specific information received in real time and the direction information between the destination, and displays the direction information on the destination using the generated virtual object.

상기와 같은 증강 현실 기술은 실제 현실을 배경으로 마커 또는 현실 객체를 인식하여 가상 객체를 합성하는 기술이다. 그러나, 이러한 증강 현실 기술에서 마커를 인식할 시 조명의 밝기가 너무 어두워서 화면에 디스플레이된 마커의 패턴이 정확하게 인식되지 않을 수 있다. 또한, 현실 객체를 인식할 시 인식하려는 현실 객체의 유사성에 의해서 실제로 인식되어야 하는 객체가 아닌 다른 객체가 인식될 수 있다. 예를 들어, 직육면체 모양의 건물을 인식할 시 인식하려는 건물 주위에 직육면체 모양의 다른 건물이 존재한다면 건물 간의 유사성으로 인해 실제로 인식되어야 하는 건물이 아닌 다른 건물이 인식될 수 있는 문제점이 있다.The augmented reality technology as described above is a technique of recognizing a marker or a real object and synthesizing a virtual object based on a real world. However, in such augmented reality technology, when the marker is recognized, the brightness of the illumination is too dark, so that the pattern of the marker displayed on the screen may not be accurately recognized. Also, when recognizing a real object, an object other than an object to be actually recognized can be recognized by the similarity of a real object to be recognized. For example, when a rectangular parallelepiped-like building is recognized, if there is another rectangular parallelepiped-like building around the building to be recognized, there is a problem that a building other than a building to be actually recognized due to similarity between the buildings can be recognized.

그리고, 마커를 인식하기 위해 사용자가 단말기로 마커를 촬영할 때 사용자의 눈으로 화면에 디스플레이된 마커를 직접 보기 때문에 이러한 마커의 패턴을 본 사용자는 마커의 패턴에 대해 거부감을 느낄 수 있다. 또한, 미리 설정된 패턴으로 마커가 제작된 후에는 패턴의 변경이 불가능하기 때문에 하나의 마커는 하나의 패턴을 가질 뿐 다수개의 패턴을 가질 수 없었다. 예를 들어, 운동화를 판매하는 매장에서 판매대에 운동화를 전시하고, 증강 현실 기술을 이용하여 전시된 운동화 정보를 제공하기 위해 운동화 판매대에 미리 설정된 패턴을 가지는 마커를 설치하였다고 가정한다. 만약, 전시된 운동화 대신 다른 운동화를 판매대에 전시할 경우 매장에서는 이전에 설치된 마커를 다른 운동화 정보를 제공하기 위한 마커로 변경하여 다시 설치해야 하는 번거로움이 있다.In addition, since the user directly sees the marker displayed on the screen with the user's eyes when the user photographs the marker with the terminal in order to recognize the marker, the user who views the pattern of the marker can feel a sense of rejection of the pattern of the marker. Further, since the pattern can not be changed after the markers are formed in the predetermined pattern, one marker has only one pattern and can not have a plurality of patterns. For example, suppose that a sneaker is displayed on a sling at a store selling sneakers, and a marker having a predetermined pattern is installed at a sneaker store to provide information about the sneakers displayed using the augmented reality technology. If other sneakers are displayed on the counter instead of the displayed sneakers, it is troublesome to change the previously installed markers to markers for providing other sneaker information and reinstall them.

따라서, 본 발명에서는 사용자가 마커 패턴을 인지할 수 없도록 하기 위한 마커를 이용하여 가상 객체를 생성하기 위한 시스템 및 방법을 제공한다. Accordingly, the present invention provides a system and method for creating a virtual object using a marker to prevent a user from recognizing a marker pattern.

또한, 본 발명에서는 다수개의 마커 패턴으로 변경 가능한 마커를 구현하고, 이와 같은 마커를 이용하여 가상 객체를 생성하기 위한 시스템 및 방법을 제공한다.The present invention also provides a system and method for implementing a marker that can be changed into a plurality of marker patterns and generating a virtual object using the marker.

상술한 바를 달성하기 위한 본 발명은 증강 현실(Augmented Reality: AR) 기술을 이용하여 가상 객체를 생성하기 위한 시스템에 있어서, 사람의 눈으로 인지할 수 없는 신호를 발생시키는 복수개의 유닛으로 구성되고, 소정의 마커 패턴을 표시하기 위한 선택이 있으면 상기 선택된 마커 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 하기 위한 정보를 확인한 후 상기 확인된 정보에 따라 상기 복수개의 유닛을 온/오프(ON/OFF) 시켜 상기 선택된 마커 패턴을 표시하는 마커 패턴 표시 모듈과, 카메라를 통해서 입력된 실사(Real World)에서 상기 마커 패턴 표시 모듈 의 패턴을 인식하고, 상기 인식한 패턴에서 패턴 정보를 인지한 후 상기 인지한 패턴 정보에 대응되는 가상 객체를 생성하는 이동 통신 단말기를 구비함을 특징으로 한다.According to an aspect of the present invention, there is provided a system for generating a virtual object using Augmented Reality (AR) technology, the system comprising: a plurality of units for generating a signal that can not be recognized by a human eye, When there is a selection for displaying a predetermined marker pattern, information for turning on / off units corresponding to the selected marker pattern is confirmed and then the plurality of units are turned on / off (ON A marker pattern display module for displaying the marker pattern selected by the marker pattern display module on the real world inputted through a camera, and recognizing the pattern information in the recognized pattern, And a mobile communication terminal for generating a virtual object corresponding to the recognized pattern information.

또한, 본 발명은 증강 현실(Augmented Reality: AR) 기술을 이용하여 가상 객체를 생성하기 위한 시스템에서 상기 가상 객체를 생성하기 위한 방법에 있어서,The present invention also provides a method for creating virtual objects in a system for creating virtual objects using Augmented Reality (AR)

사람의 눈으로 인지할 수 없는 신호를 발생시키는 복수개의 유닛으로 구성되고, 소정의 마커 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 하기 위한 정보를 가지는 마커 패턴 표시 모듈을 구비하는 과정과, 상기 마커 패턴 표시 모듈이 소정의 마커 패턴을 표시하기 위한 선택이 있으면 상기 선택된 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 시키는 과정과, 이동 통신 단말기가 실사를 촬영하기 위한 요청에 따라 카메라를 통해서 입력된 실사(Real World)를 통해 상기 마커 패턴 표시 모듈의 패턴을 인식하고, 상기 인식된 패턴에서 패턴 정보를 인지하는 과정과, 상기 이동 통신 단말기가 상기 인지된 패턴 정보를 이용하여 가상 객체를 생성하는 과정을 포함하는 것을 특징으로 한다.A marker pattern display module including a plurality of units for generating a signal that can not be recognized by a human eye and having information for turning on / off units corresponding to a predetermined marker pattern; (ON / OFF) units corresponding to the selected pattern if the marker pattern display module has a selection for displaying a predetermined marker pattern; Recognizing a pattern of the marker pattern display module through a real world input through a camera and recognizing pattern information in the recognized pattern; And generating an object.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and drawings, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention unnecessarily obscure.

본 발명에서는 증강 현실 기술을 이용하는 시스템에서 가상 객체 생성 시 기존과 같이 사람의 눈으로 인식될 수 밖에 없었던 흰색 패턴으로 구성되는 마커 대신 사람의 눈에 인식되지 않는 마커를 구현하기 위한 방안을 제안하도록 한다.The present invention proposes a method for implementing a marker which is not recognized by a human eye instead of a marker constituted by a white pattern that can only be recognized by a human eye when a virtual object is created in a system using augmented reality technology .

또한, 본 발명에서는 한 개의 마커로 한 개의 패턴만을 표시할 수 있었던 기존과는 달리 복수개의 패턴을 표시할 수 있는 마커를 구현하고, 이러한 마커를 인식하여 해당 가상 객체를 생성하기 위한 방안을 제안하도록 한다.In the present invention, a marker capable of displaying a plurality of patterns can be displayed unlike the conventional one in which only one pattern can be displayed with one marker, and a method for generating a corresponding virtual object by recognizing such a marker is proposed do.

본 발명의 실시 예에서는 마커 패턴 표시 모듈을 기존의 마커 패턴을 다수개의 적외선 LED로 구성한 적외선 LED 마커로 예를 들어 설명하도록 한다. In the embodiment of the present invention, the marker pattern display module will be described as an infrared LED marker in which a conventional marker pattern is composed of a plurality of infrared LEDs.

또한, 본 발명의 실시 예에서는 적외선 LED 마커을 인식하여 가상 객체를 디스플레이하기 위해 카메라를 구비하는 이동 통신 단말기를 이용하여 가상 객체를 생성하기 위한 시스템과 방법을 살펴보도록 한다.In addition, in the embodiment of the present invention, a system and a method for generating a virtual object using a mobile communication terminal equipped with a camera for recognizing an infrared LED marker and displaying a virtual object will be described.

그러면 이제 본 발명의 실시 예에 따라 도 1을 참조하여 사람의 눈으로 인지되지 않는 적외선 LED로 이루어진 적외선 LED 마커를 이용하여 증강 현실 구현 시스템의 구성에 대해서 살펴보도록 한다.Now, a configuration of an augmented reality system using an infrared LED marker made of an infrared LED, which is not recognized by a human eye, will be described with reference to FIG. 1 according to an embodiment of the present invention.

본 발명의 실시 예에서는 마커 패턴이 사람의 눈에 인지되지 않도록 하기 위한 마커로서 적외선 LED 마커로 적용하여 설명하였지만, 사람의 눈에 인지되지 않는 마커 패턴을 표시할 수 있는 모든 모듈을 마커로서 사용할 수 있다. 또한, 본 발명에서 마커를 인식하여 가상 객체를 생성하는 이동 통신 단말기는 적외선 LED 마커를 인식하기 위해 카메라 모듈을 구비하여야 한다. 그러나, 만약 사람의 눈으로 인지되지 않도록 하기 위한 마커로서 본 발명의 실시 예에서 사용되는 적외선 LED 마커와 다른 모듈이 사용되는 경우에는 사용되는 모듈을 인식할 수 있는 구성이 필요할 것이다.In the embodiment of the present invention, infrared LED markers are used as markers for preventing the marker pattern from being recognized by the human eye. However, all the modules capable of displaying marker patterns that are not recognized by the human eye can be used as markers have. Also, in the present invention, a mobile communication terminal for recognizing a marker and generating a virtual object must include a camera module for recognizing an infrared LED marker. However, if a module other than the infrared LED marker used in the embodiment of the present invention is used as a marker for not being perceived by the human eye, a configuration capable of recognizing the module to be used will be needed.

먼저, 적외선 LED 마커(100)는 미리 설정된 패턴에 대응되도록 위치한 다수 개의 적외선 LED를 온(ON) 시킨다. 그리고, 이동 통신 단말기(101)는 카메라를 통해서 입력된 적외선 LED 마커(100)를 포함하는 실사를 화면에 디스플레이하고, 디스플레이된 화면에서 적외선 LED 마커(100)의 패턴을 인식한다. 이후, 이동 통신 단말기(101)는 인식된 적외선 LED 마커(100)의 마커 패턴 정보를 포함하는 메시지를 이동 통신망을 통해서 가상 객체 데이터 서버(102)로 전송한다. 그리고, 가상 객체 데이터 서버(102)는 이동 통신 단말기(101)로부터 수신된 마커 패턴 정보에 대응되는 가상 객체를 생성하고, 생성된 가상 객체를 데이터화 시킨 후 데이터화 시킨 가상 객체 데이터를 이동 통신 단말기(101)로 송신한다. First, the infrared LED marker 100 turns on a plurality of infrared LEDs positioned corresponding to a preset pattern. Then, the mobile communication terminal 101 displays the real image including the infrared LED marker 100 input through the camera on the screen, and recognizes the pattern of the infrared LED marker 100 on the displayed screen. Then, the mobile communication terminal 101 transmits a message including the marker pattern information of the recognized infrared LED marker 100 to the virtual object data server 102 through the mobile communication network. The virtual object data server 102 generates a virtual object corresponding to the marker pattern information received from the mobile communication terminal 101 and converts the generated virtual object into data, ).

또한, 이동 통신 단말기(101)는 가상 객체 데이터 서버(102)로부터 수신된 가상 객체 데이터를 이용하여 가상 객체를 실사와 합성한 후 적외선 LED 마커의 위치에 겹치도록 화면에 디스플레이한다. In addition, the mobile communication terminal 101 synthesizes virtual objects with virtual objects using the virtual object data received from the virtual object data server 102, and displays the virtual objects on the screen so as to overlap the positions of the infrared LED markers.

그러면 이제 도 1과 같이 구성된 증강 현실 구현 시스템의 각 구성에 대해서 도 2 내지 도 4를 참조하여 구체적으로 살펴보도록 한다.Now, each configuration of the augmented reality realization system configured as shown in FIG. 1 will be described in detail with reference to FIG. 2 to FIG.

먼저, 적외선 LED 마커(100)의 구성에 대해서 도 2를 참조하여 살펴보면, 메모리부(202)는 미리 설정된 다수개의 패턴을 저장하고, 저장된 다수개의 패턴에 대응되도록 적외선 LED들을 온/오프(ON/OFF)하기 위한 정보를 저장하고 있다. 이러한 메모리부(202)를 구비하는 적외선 LED 마커(100)는 키 입력과 같은 인터페이스를 통해서 사용자가 패턴의 종류를 선택하도록 할 수 있다. 또한, 다른 실시 예로 적외선 LED 마커(100)는 무선부를 더 구비하여 다수개의 패턴과 다수개의 패턴에 대응되는 적외선 LED들을 온/오프(ON/OFF)하기 위한 적외선 LED 온/오프(ON/OFF) 정 보를 저장하고 있는 네트워크로부터 하나의 패턴과 그 패턴에 대응되는 적외선 LED 온/오프(ON/OFF) 정보를 수신할 수 있다. 이에 따라, 메모리부(202)는 네트워크로부터 수신된 하나의 패턴과 그 패턴에 대응되는 적외선 LED 온/오프(ON/OFF) 정보를 저장할 수도 있다. 2, the memory unit 202 stores a plurality of preset patterns, and turns on / off infrared LEDs corresponding to a plurality of patterns stored in the memory unit 202. For example, OFF). The infrared LED marker 100 including the memory unit 202 may allow a user to select a pattern type through an interface such as a key input. In another embodiment, the infrared LED marker 100 further includes a radio unit to turn on / off an infrared LED for turning on / off infrared LEDs corresponding to a plurality of patterns and a plurality of patterns. It is possible to receive one pattern from the network storing the information and the infrared LED on / off information corresponding to the pattern. Accordingly, the memory unit 202 may store one pattern received from the network and infrared LED on / off information corresponding to the pattern.

한편, 제어부(200)는 전반적으로 적외선 LED 마커(100)의 동작을 제어한다. 그리고, 제어부(200)는 메모리부(202)에 저장된 패턴 정보 중 사용자에 의해서 선택된 패턴에 대응되는 적외선 LED 온/오프(ON/OFF) 정보를 독출하여 적외선 LED들을 온/오프(ON/OFF) 되도록 제어한다. 또한, 다른 실시 예로 제어부(200)는 네트워크에서 하나의 패턴과 그 패턴에 대응되는 적외선 LED 온/오프(ON/OFF) 정보가 수신되면 수신된 하나의 패턴과 그 패턴에 대응되는 적외선 LED 온/오프(ON/OFF) 정보를 저장하고 있는 메모리부(202)로부터 패턴에 대응되는 적외선 LED 온/오프(ON/OFF) 정보를 독출하여 적외선 LED들을 온/오프(ON/OFF) 되도록 제어한다.On the other hand, the control unit 200 controls the operation of the infrared LED marker 100 as a whole. The control unit 200 reads the infrared LED on / off information corresponding to the pattern selected by the user from the pattern information stored in the memory unit 202 and turns on / off the infrared LEDs, Respectively. In addition, in another embodiment, when the controller 200 receives one pattern in the network and infrared LED on / off information corresponding to the pattern, the controller 200 receives one received pattern and the infrared LED on / (ON / OFF) information corresponding to the pattern from the memory unit 202 storing the ON / OFF information and controls the infrared LEDs to be turned on / off.

그리고, 적외선 발광 다이오드부(201)는 다수개의 적외선 LED로 구성되고, 제어부(200)의 제어 하에 다수개의 적외선 LED를 온/오프(ON/OFF) 한다.The infrared light emitting diode unit 201 is composed of a plurality of infrared LEDs, and turns on / off a plurality of infrared LEDs under the control of the control unit 200.

다음으로 이동 통신 단말기(101)의 구성에 대해서 도 3을 참조하여 살펴보면, 제어부(300)는 전반적인 이동 통신 단말기의 동작을 제어한다. 그리고 제어부(300)는 카메라부(301)로부터 입력된 적외선 LED 마커(100)를 포함하는 실사를 표시부(304)에 디스플레이한다. 이후, 제어부(300)는 마커 인식부(302)를 통해서 적외선 LED 마커(100)의 패턴을 인식한다. Next, referring to FIG. 3, the configuration of the mobile communication terminal 101 controls the overall operation of the mobile communication terminal. The control unit 300 displays the real image including the infrared LED marker 100 input from the camera unit 301 on the display unit 304. Then, the control unit 300 recognizes the pattern of the infrared LED marker 100 through the marker recognition unit 302.

여기서, 제어부(300)가 마커 인식부(302)를 통해서 적외선 LED 마커(100)의 패턴을 인식하는 과정을 도 5를 참조하여 구체적으로 설명하도록 한다. 이때, 적외선 LED 마커(100)의 패턴은 도 5와 같이 마커 레퍼런스(Maker Reference)(500), 마커 식별자(Maker Identifier)(501), 마커 데이터 패턴(Maker Data Pattern)(502)으로 구성된다. Here, the process of the control unit 300 recognizing the pattern of the infrared LED marker 100 through the marker recognition unit 302 will be described in detail with reference to FIG. At this time, the pattern of the infrared LED marker 100 is composed of a marker reference 500, a marker identifier 501 and a marker data pattern 502 as shown in FIG.

먼저, 마커 인식부(302)는 표시부(304)에 디스플레이된 실사에서 마커의 영역을 나타내는 마커 레퍼런스 (500)를 인식한다. 그리고, 마커 인식부(302)는 미리 설정된 위치에 자리하는 4개의 마커 레퍼런스가 인식되면 마커 레퍼런스(500) 내의 영역을 마커의 영역으로 설정한다. 이때, 마커 레퍼런스(500)를 나타내는 개수와 모양은 시스템에 따라 변경할 수 있다.First, the marker recognizing unit 302 recognizes the marker reference 500 indicating the area of the marker in the real image displayed on the display unit 304. [ The marker recognizing unit 302 sets an area within the marker reference 500 as a marker area when four marker references located at preset positions are recognized. At this time, the number and shape of the marker reference 500 can be changed according to the system.

이후, 마커 인식부(302)는 설정된 마커 영역 내에서 신발 또는 자동차와 같은 가상 객체의 타입을 나타내는 마커 식별자(Maker Identifier)(501)를 인식하여 가상 객체의 타입을 인지한다. 그리고, 마커 인식부(302)는 특정 브랜드의 특정 신발이나 자동차와 같은 특정 가상 객체의 상세 정보를 나타내는 마커 데이터 (502)를 인식하여 가상 객체의 상세 정보를 인지한다. 이와 같은 마커 레퍼런스(500), 마커 식별자(501), 마커 데이터 패턴(502)은 미리 설정된 위치에 표시되고, 미리 설정된 위치에 따라 마커 인식부(302)는 마커 레퍼런스(500), 마커 식별자(501), 마커 데이터 패턴(502)을 각각 인식할 수 있게 된다.Thereafter, the marker recognizing unit 302 recognizes a type of a virtual object by recognizing a marker identifier (Maker Identifier) 501 indicating the type of a virtual object such as a shoe or an automobile in a set marker region. The marker recognizing unit 302 recognizes the detailed information of the virtual object by recognizing the marker data 502 indicating detailed information of a specific virtual object such as a specific shoe or automobile of a specific brand. The marker reference 500, the marker identifier 501 and the marker data pattern 502 are displayed at preset positions and the marker recognition unit 302 recognizes the marker reference 500 and the marker identifier 501 ) And the marker data pattern 502, respectively.

한편, 제어부(300)는 상기와 같이 인식된 마커 식별자(501)를 통해서 인지된 가상 객체의 타입과 마커 데이터 패턴(502)을 통해서 인지된 가상 객체 데이터와 같은 마커 패턴 정보를 포함하는 마커 패턴 정보 메시지를 생성한다. 그리고, 제어 부(300)는 무선부(303)를 통해서 생성된 마커 패턴 정보 메시지를 가상 객체 데이터 서버(102)로 송신한다. The controller 300 determines the type of the virtual object recognized through the marker identifier 501 and the marker pattern information including the marker pattern information such as the recognized virtual object data through the marker data pattern 502 Message. The control unit 300 transmits the marker pattern information message generated through the radio unit 303 to the virtual object data server 102.

그리고, 가상 객체 데이터 서버(102)로부터 마커 패턴 정보에 대응되는 가상 객체 데이터가 수신되면 제어부(300)는 수신된 가상 객체 데이터를 이용하여 가상 객체를 가상 객체를 마커의 위치에 표시되도록 실사와 합성한 후 표시부(304)에 디스플레이한다. When the virtual object data corresponding to the marker pattern information is received from the virtual object data server 102, the control unit 300 displays the virtual object using the received virtual object data, And displays it on the display unit 304. [

한편, 카메라부(301)는 적외선을 인식할 수 있는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor)와 같은 카메라를 구비하고, 카메라로부터 입력된 광신호를 영상으로 변환하여 출력한다.On the other hand, the camera unit 301 includes a camera such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) capable of recognizing infrared light, and converts the optical signal input from the camera into an image and outputs the converted image.

그리고, 마커 인식부(302)는 카메라부(301)를 통해서 입력된 실사에서 적외선 LED 마커 패턴을 인식하는데, 즉, 상기에서 제어부(300)를 설명하면서 함께 설명한 적외선 LED 마커 패턴 인식 방법과 같이 적외선 LED 마커(100)의 패턴을 구성하는 마커 레퍼런스(500), 마커 식별자(501), 마커 데이터 패턴(502)을 각각 인식한다. The marker recognition unit 302 recognizes the infrared LED marker pattern in the real image input through the camera unit 301. That is, Recognizes the marker reference 500, the marker identifier 501, and the marker data pattern 502 constituting the pattern of the LED marker 100, respectively.

한편, 무선부(303)는 마커 인식부(302)에서 인식된 마커 패턴 정보를 포함하는 마커 패턴 정보 메시지를 가상 객체 데이터 서버(102)로 송신한다. 또한, 무선부(303)는 가상 객체 데이터 서버(102)로부터 전송된 가상 객체 데이터를 수신한다.Meanwhile, the radio unit 303 transmits a marker pattern information message including the marker pattern information recognized by the marker recognition unit 302 to the virtual object data server 102. In addition, the radio unit 303 receives the virtual object data transmitted from the virtual object data server 102.

그리고, 표시부(304)는 머리에 착용 가능한 안경 타입의 헤드 마운트 디스플레이(Head Mounted Display: HMD) 또는 액정표시장치(Liquid Crystal Display: LCD)로 구성된다. 그리하여, 표시부(304)는 카메라부(301)를 통해서 입력된 실사를 화면에 디스플레이한다. 또한, 표시부(304)는 가상 객체 데이터 서버(102)로부터 수신된 가상 객체 데이터를 이용하여 가상 객체를 적외선 LED 마커(100)의 위치에 표시되도록 실사와 합성한 후 화면에 디스플레이한다.The display unit 304 includes a head-mounted display (HMD) or a liquid crystal display (LCD) that can be worn on the head. Thus, the display unit 304 displays the real image inputted through the camera unit 301 on the screen. In addition, the display unit 304 synthesizes the virtual object with the real image so that the virtual object is displayed at the position of the infrared LED marker 100 using the virtual object data received from the virtual object data server 102, and displays the resultant on the screen.

그리고, 메모리부(305)는 가상 객체 데이터 서버(102)로부터 수신된 가상 객체 데이터를 저장한다. 이때, 다른 실시 예로 가상 객체 데이터 서버(102)는 가상 객체 데이터가 아닌 가상 객체를 생성하기 위한 가상 객체 소스 데이터를 이동 통신 단말기(101)로 전송할 수 있다. 만약 가상 객체 소스 데이터를 수신하는 경우 이동 통신 단말기(101)는 가상 객체를 생성하기 위한 가상 객체 생성부를 더 구비할 수 있다.The memory unit 305 stores the virtual object data received from the virtual object data server 102. In this case, in another embodiment, the virtual object data server 102 may transmit the virtual object source data for creating the virtual object, not the virtual object data, to the mobile communication terminal 101. If the virtual object source data is received, the mobile communication terminal 101 may further include a virtual object creation unit for creating a virtual object.

마지막으로 가상 객체 데이터 서버(102)에 대해서 도 4를 참조하여 살펴보면, 제어부(400)는 이동 통신 단말기(101)로부터 수신된 마커 패턴 정보 메시지에 포함된 마커 패턴 정보를 확인한다. 그리고, 제어부(400)는 확인된 마커 패턴 정보에 대응되는 가상 객체를 생성하기 위한 가상 객체 소스 데이터를 이용하여 가상 객체 생성부(403)를 통해서 가상 객체를 생성한다. 이후, 제어부(400)는 생성된 가상 객체를 데이터화 시킨 후 해당 가상 객체 데이터를 무선부(401)를 통해서 이동 통신 단말기(101)로 송신한다. Finally, referring to FIG. 4, the controller 400 checks the marker pattern information included in the marker pattern information message received from the mobile communication terminal 101. FIG. The control unit 400 generates a virtual object through the virtual object generation unit 403 using the virtual object source data for generating the virtual object corresponding to the identified marker pattern information. Then, the control unit 400 converts the generated virtual object into data, and transmits the virtual object data to the mobile communication terminal 101 through the radio unit 401.

또한, 무선부(401)는 이동 통신 단말기(101)로부터 마커 패턴 정보를 포함하는 마커 패턴 정보 메시지를 수신한다. 그리고, 무선부(401)는 마커 패턴 정보와 대응되는 가상 객체 데이터를 이동 통신 단말기(101)로 송신한다.In addition, the radio unit 401 receives a marker pattern information message including the marker pattern information from the mobile communication terminal 101. Then, the radio unit 401 transmits the virtual object data corresponding to the marker pattern information to the mobile communication terminal 101.

그리고, 가상 객체 생성부(403)는 제어부(400)의 제어 하에 수신된 가상 객체 소스 데이터를 저장하는 메모리부(402)로부터 가상 객체 소스 데이터를 독출하여 가상 객체를 생성한다. The virtual object generation unit 403 reads the virtual object source data from the memory unit 402 storing the received virtual object source data under the control of the control unit 400 to generate a virtual object.

또한, 메모리부(402)는 마커 패턴 정보에 대응하는 가상 객체를 생성하기 위한 가상 객체 소스 데이터를 저장한다. 이때, 가상 객체 데이터 서버(102)는 다른 실시 예로 가상 객체 생성부(403)를 구비하지 않고, 메모리부(402)에 저장된 가상 객체 소스 데이터들 중 이동 통신 단말기(101)로부터 수신된 마커 패턴 정보에 대응되는 가상 객체 소스 데이터를 이동 통신 단말기(101)로 전송할 수도 있다. In addition, the memory unit 402 stores virtual object source data for creating a virtual object corresponding to the marker pattern information. In this case, the virtual object data server 102 does not have the virtual object generation unit 403 as an alternative embodiment, and instead of the virtual object source data stored in the memory unit 402, To the mobile communication terminal (101).

또한, 가상 객체 데이터 서버(102)는 또 다른 실시 예로 가상 객체 생성부(403)를 구비하지 않고, 메모리부(402)에 적어도 한 개의 가상 객체 데이터를 저장할 수도 있다. 그리하여 이동 통신 단말기(101)로부터 마커 패턴 정보 메시지가 수신되면 가상 객체 데이터 서버(102)는 메모리부(402)에 저장된 가상 객체 데이터들 중 마커 패턴 정보에 대응되는 가상 객체 데이터를 독출하여 이동 통신 단말기(101)로 독출된 가상 객체 데이터를 전송할 수도 있다.In addition, the virtual object data server 102 may store at least one virtual object data in the memory unit 402 without providing the virtual object creating unit 403 in another embodiment. When the marker pattern information message is received from the mobile communication terminal 101, the virtual object data server 102 reads the virtual object data corresponding to the marker pattern information among the virtual object data stored in the memory unit 402, And transmits the virtual object data read out to the storage unit 101.

그러면 상기와 같이 구성되는 증강 현실 구현 시스템에서 이동 통신 단말기(101)와 가상 객체 데이터 서버(102) 간의 신호 흐름에 대해서 도 6를 참조하여 살펴보도록 한다.Hereinafter, a signal flow between the mobile communication terminal 101 and the virtual object data server 102 in the augmented reality realization system constructed as above will be described with reference to FIG.

먼저, 이동 통신 단말기(101)는 600단계에서 카메라를 통해서 입력된 실사에서 적외선 LED 마커의 패턴을 인식하고, 인식된 패턴에서 적외선 LED 마커 패턴 정보를 인지한다. 그리고, 이동 통신 단말기(101)는 601단계에서 인지된 마커 패턴 정보를 가상 객체 데이터 서버(102)로 송신한다. 그러면, 가상 객체 데이터 서버(102)는 602단계에서 수신된 마커 패턴 정보에 대응되는 가상 객체를 생성한다. 그리고, 가상 객체 데이터 서버(102)는 생성된 가상 객체를 데이터화 시킨 후 603단계에서 해당 가상 객체 데이터를 이동 통신 단말기(101)로 송신한다. 이후, 이동 통신 단말기(101)는 604단계에서 수신된 가상 객체 데이터를 이용하여 가상 객체를 적외선 LED 마커의 위치에 표시되도록 실사와 합성한 후 화면에 디스플레이한다. First, in step 600, the mobile communication terminal 101 recognizes the pattern of the infrared LED marker in the real image input through the camera and recognizes the infrared LED marker pattern information in the recognized pattern. Then, the mobile communication terminal 101 transmits the marker pattern information recognized in step 601 to the virtual object data server 102. Then, the virtual object data server 102 creates a virtual object corresponding to the received marker pattern information in step 602. [ Then, the virtual object data server 102 converts the generated virtual object into data, and transmits the virtual object data to the mobile communication terminal 101 in step 603. Then, the mobile communication terminal 101 synthesizes the virtual object with the real image so as to be displayed at the position of the infrared LED marker using the virtual object data received in step 604, and displays the virtual object on the screen.

이제 도 3와 같이 구성되는 이동 통신 단말기(101)에서 적외선 LED 마커를 이용하여 증강 현실을 구현하기 위한 과정을 도 7을 참조하여 살펴보도록 한다. Now, a process for implementing an augmented reality using the infrared LED marker in the mobile communication terminal 101 configured as shown in FIG. 3 will be described with reference to FIG.

먼저, 제어부(300)는 700단계에서 대기 상태를 유지하다가 진행한 702단계에서 적외선 LED 마커(100)를 인식하기 위한 요청이 있는지 검사하여 요청이 있으면 704단계를 진행하고, 그렇지 않으면 700단계에서 계속적으로 대기 상태를 유지한다.In step 700, the control unit 300 determines whether there is a request to recognize the infrared LED marker 100 in step 702. If there is a request, the controller 300 proceeds to step 704. Otherwise, As shown in FIG.

이후, 제어부(300)는 704단계에서 카메라부(401)를 통해서 입력된 적외선 LED 마커를 포함하는 실사를 표시부(304)에 디스플레이한다. 그리고, 제어부(300)는 706단계에서 디스플레이된 화면에서 마커 레퍼런스(500)가 인식되는지 검사하여 인식되면 708단계를 진행하고, 그렇지 않으면 706단계에서 마커 레퍼런스(500)가 계속적으로 인식되는지 검사한다. 이때, 마커 레퍼런스(500)를 인식하는 방법은 상기 도 3에서 이동 통신 단말기(101)의 제어부(300)를 설명하면서 함께 설명한 인식 방법을 이용하여 인식할 수 있다.In step 704, the control unit 300 displays an actual photograph including the infrared LED marker input through the camera unit 401 on the display unit 304. If the marker reference 500 is recognized in step 706, the controller 300 proceeds to step 708. Otherwise, in step 706, the controller 300 determines whether the marker reference 500 is continuously recognized. At this time, the method of recognizing the marker reference 500 can be recognized using the recognition method described with reference to the control unit 300 of the mobile communication terminal 101 in FIG.

이후, 제어부(300)는 708단계에서 인식된 마커 레퍼런스(500)로부터 마커 영 역을 설정하고, 설정된 마커 영역에서 미리 설정된 위치에 표시된 마커 식별자(501)를 인식하여 가상 객체의 타입을 인지한다. 그리고, 제어부(300)는 710단계로 진행하여 설정된 마커 영역에서 미리 설정된 위치에 표시된 마커 데이터 패턴(502)을 인식하여 가상 객체의 데이터를 인지한다. The controller 300 sets the marker area from the marker reference 500 recognized in step 708 and recognizes the type of the virtual object by recognizing the marker identifier 501 displayed at the predetermined position in the set marker area. Then, the controller 300 proceeds to step 710 and recognizes the marker data pattern 502 displayed at the predetermined position in the set marker area to recognize the virtual object data.

이후, 712단계에서 제어부(400)는 인식된 마커 식별자(501)를 통해서 인지된 가상 객체의 타입과 마커 데이터 패턴(502)을 통해서 인지된 가상 객체의 데이터와 같은 마커 패턴 정보를 포함하는 마커 패턴 정보 메시지를 생성한다. 그리고, 제어부(400)는 714단계로 진행하여 무선부(403)를 통해서 마커 패턴 정보 메시지를 가상 객체 데이터 서버(102)로 송신한다. Then, in step 712, the control unit 400 determines the type of the virtual object recognized through the recognized marker identifier 501 and the marker pattern information including the marker pattern information such as the virtual object data recognized through the marker data pattern 502 And generates an information message. The controller 400 proceeds to step 714 and transmits a marker pattern information message to the virtual object data server 102 through the radio unit 403. [

이후, 제어부(300)는 716단계에서 가상 객체 데이터 서버(102)로부터 마커 패턴 정보에 대응하는 가상 객체 데이터의 수신이 있는지 검사하여 수신이 있으면 718단계로 진행하고, 그렇지 않으면 716단계에서 계속적으로 가상 객체의 수신이 있는지 검사한다.In step 716, the control unit 300 checks whether the virtual object data corresponding to the marker pattern information is received from the virtual object data server 102. If the virtual object data is received, the control unit 300 proceeds to step 718. Otherwise, Checks for the receipt of the object.

그리고, 제어부(300)는 718단계에서 가상 객체를 실사와 합성한 후 디스플레이된 적외선 LED 마커(100)의 위치에 겹치도록 표시부(404)에 디스플레이하고, 적외선 LED 마커(100)에 대응되는 가상 객체를 화면에 디스플레이 하기 위한 과정을 종료한다.In step 718, the controller 300 synthesizes the virtual object with the virtual object and displays the synthesized virtual object on the display unit 404 so as to overlap the displayed position of the infrared LED marker 100. Then, the controller 300 displays the virtual object corresponding to the infrared LED marker 100 Is displayed on the screen.

그러면 이제 도 4과 같이 구성되는 가상 객체 데이터 서버(102)에서 수신된 마커 패턴 정보에 대응되는 가상 객체를 생성하여 이동 통신 단말기(101)로 제공하기 위한 과정을 도 8를 참조하여 살펴보도록 한다.A process for generating a virtual object corresponding to the marker pattern information received from the virtual object data server 102 configured as shown in FIG. 4 and providing the generated virtual object to the mobile communication terminal 101 will now be described with reference to FIG.

먼저, 제어부(400)는 800단계에서 대기 상태를 유지하다가 802단계에서 마커 패턴 정보 메시지의 수신이 있는지 검사하여 수신이 있으면 804단계로 진행하고, 그렇지 않으면 800단계로 진행하여 대기 상태를 유지한다. 이후, 제어부(400)는 804단계에서 마커 패턴 정보 메시지에 포함된 마커 패턴 정보에 대응되는 가상 객체를 확인한다. 그리고, 제어부(400)는 806단계에서 메모리부(502)에 저장된 가상 객체 소스 데이터를 독출하여 가상 객체 생성부(403)를 통해서 가상 객체를 생성한다.First, the controller 400 maintains the standby state in step 800. In step 802, the controller 400 checks whether there is a marker pattern information message. If the marker pattern information message is received, the controller 400 proceeds to step 804, otherwise proceeds to step 800 to maintain the standby state. In step 804, the controller 400 checks the virtual object corresponding to the marker pattern information included in the marker pattern information message. In step 806, the control unit 400 reads the virtual object source data stored in the memory unit 502 and generates a virtual object through the virtual object creating unit 403.

이후, 제어부(400)는 808단계에서 생성된 가상 객체를 데이터화 시키고, 해당 가상 객체 데이터를 무선부(501)를 통해서 이동 통신 단말기(101)로 전송한 후 이동 통신 단말기(101)로부터 수신된 마커 패턴 정보에 대응하는 가상 객체 데이터를 이동 통신 단말기(101)로 제공하는 과정을 종료한다. 이때, 가상 객체 데이터 서버(102)는 다른 실시 예로 가상 객체 데이터가 아닌 가상 객체를 생성하기 위한 가상 객체 소스 데이터를 이동 통신 단말기(101)로 전송할 수도 있다.The control unit 400 converts the virtual object generated in operation 808 into data and transmits the virtual object data to the mobile communication terminal 101 through the radio unit 501. Then, The process of providing the virtual object data corresponding to the pattern information to the mobile communication terminal 101 is terminated. At this time, the virtual object data server 102 may transmit the virtual object source data for creating the virtual object, not the virtual object data, to the mobile communication terminal 101 according to another embodiment.

상술한 바와 같이 본 발명은 사람의 눈에 인식되지 않은 마커를 구현하고, 구현된 마커의 패턴을 인식하여 가상 객체를 생성함으로써 사람의 눈으로 마커를 인지하지 않고도 생성된 가상 객체를 통해 사용자에게 정보를 전달할 수 있는 이점이 있다.As described above, the present invention implements an unrecognized marker in a human eye, generates a virtual object by recognizing a pattern of an implemented marker, and generates a virtual object by notifying the user of the generated virtual object And the like.

또한, 본 발명은 복수개의 패턴으로 변경이 가능한 마커를 구현함으로써 하나의 마커에 다수개의 가상 객체를 대응시킬 수 있는 이점이 있다.In addition, the present invention has an advantage that a plurality of virtual objects can be associated with one marker by implementing a marker that can be changed into a plurality of patterns.

Claims (8)

증강 현실(Augmented Reality) 기술을 이용하여 가상 객체를 생성하기 위한 이동통신 단말기에 있어서,1. A mobile communication terminal for creating a virtual object using Augmented Reality technology, 카메라를 통해서 입력된 실사(Real World)에서 복수의 유닛으로 구성되어 상기 복수의 유닛을 온오프하는 것에 의해 복수의 마커 패턴을 표시하는 마커 패턴 표시 모듈의 상기 복수의 마커 패턴 중 적어도 하나의 마커 패턴을 인식하고, 상기 인식한 적어도 하나의 마커 패턴에서 패턴 정보를 인지하는 마커 인식부와,A marker pattern display apparatus comprising a plurality of units in a real world input through a camera and on and off the plurality of units to display a plurality of marker patterns in at least one of the plurality of marker patterns A marker recognition unit for recognizing pattern information in at least one recognized marker pattern, 상기 인지한 패턴 정보에 대응되는 가상 객체를 생성하는 제어부를 포함하고,And a control unit for generating a virtual object corresponding to the recognized pattern information, 상기 적어도 하나의 마커 패턴은 상기 마커 패턴의 영역을 나타내는 마커 레퍼런스, 가상 객체의 타입을 나타내는 마커 식별자, 상기 가상 객체의 상세 정보를 나타내는 마커 데이터 패턴으로 구성되고,Wherein the at least one marker pattern comprises a marker reference indicating an area of the marker pattern, a marker identifier indicating a type of a virtual object, and a marker data pattern indicating detailed information of the virtual object, 상기 패턴 정보는 상기 가상 객체의 타입 및 상기 가상 객체의 상세 정보를 포함하는 것을 특징으로 하는 이동 통신 단말기.Wherein the pattern information includes a type of the virtual object and detailed information of the virtual object. 제 1항에 있어서, 상기 제어부는,The apparatus of claim 1, 상기 인지한 패턴 정보를 포함하는 패턴 정보 메시지를 가상 객체 데이터 서버로 전송하고, 가상 객체 데이터를 수신하면 상기 수신한 가상 객체 데이터를 이용하여 상기 가상 객체를 생성하는 것을 특징으로 하는 이동 통신 단말기.And transmits the pattern information message including the recognized pattern information to the virtual object data server, and upon receipt of the virtual object data, generates the virtual object using the received virtual object data. 제 2항에 있어서, 상기 가상 객체 데이터 서버는,The virtual object data server according to claim 2, 상기 패턴 정보 메시지가 수신되면 상기 수신된 패턴 정보 메시지에 포함된 패턴 정보와 대응되는 가상 객체를 생성하고, 상기 생성된 가상 객체를 데이터화 시킨 후 상기 데이터화 시킨 가상 객체 데이터를 상기 이동 통신 단말기로 전송하는 것을 특징으로 하는 이동 통신 단말기.When the pattern information message is received, a virtual object corresponding to the pattern information included in the received pattern information message is generated, and the generated virtual object is converted into data, and then the virtual object data is transmitted to the mobile communication terminal The mobile communication terminal comprising: 증강 현실(Augmented Reality) 기술을 이용하여 가상 객체를 생성하기 위한 이동통신 단말기에서 상기 가상 객체를 생성하기 위한 방법에 있어서,A method for creating a virtual object in a mobile communication terminal for creating a virtual object using Augmented Reality technology, 실사(Real World)를 촬영하기 위한 요청에 따라 카메라를 통해서 상기 실사가 입력되는 과정과,A step of inputting the real image through a camera in response to a request for shooting a real world, 상기 입력된 실사(Real World)를 통해 복수의 유닛으로 구성되어 상기 복수의 유닛을 온오프하는 것에 의해 복수의 마커 패턴을 표시하는 마커 패턴 표시 모듈의 패턴을 인식하고, 상기 인식된 패턴에서 패턴 정보를 인지하는 과정과,Recognizing a pattern of a marker pattern display module that displays a plurality of marker patterns by turning on and off the plurality of units through the input real world, , ≪ / RTI > 상기 인지된 패턴 정보를 이용하여 가상 객체를 생성하는 과정을 포함하고,And generating a virtual object using the recognized pattern information, 상기 적어도 하나의 마커 패턴은 상기 마커 패턴의 영역을 나타내는 마커 레퍼런스, 가상 객체의 타입을 나타내는 마커 식별자, 상기 가상 객체의 상세 정보를 나타내는 마커 데이터 패턴으로 구성되고,Wherein the at least one marker pattern comprises a marker reference indicating an area of the marker pattern, a marker identifier indicating a type of a virtual object, and a marker data pattern indicating detailed information of the virtual object, 상기 패턴 정보는 상기 가상 객체의 타입 및 상기 가상 객체의 상세 정보를 포함하는 것을 특징으로 하는 가상 객체를 생성하기 위한 방법.Wherein the pattern information includes a type of the virtual object and detailed information of the virtual object. 제 4항에 있어서, 상기 가상 객체를 생성하는 과정은, 5. The method of claim 4, wherein the generating of the virtual object comprises: 상기 인지한 패턴 정보를 포함하는 패턴 정보 메시지를 가상 객체 데이터 서버로 전송하는 과정과,Transmitting a pattern information message including the recognized pattern information to a virtual object data server; 가상 객체 데이터가 수신되면 상기 수신한 가상 객체 데이터를 이용하여 상기 가상 객체를 생성하는 과정을 포함하는 것을 특징으로 하는 가상 객체를 생성하기 위한 방법.And generating the virtual object using the received virtual object data when the virtual object data is received. 제 5항에 있어서, 상기 가상 객체 서버는,6. The virtual object server according to claim 5, 상기 패턴 정보 메시지가 수신되면 상기 수신한 패턴 정보 메시지에 포함된 패턴 정보와 대응되는 가상 객체를 생성하고, 상기 생성된 가상 객체를 데이터화 시킨 후 상기 데이터화 시킨 가상 객체 데이터를 상기 이동 통신 단말기로 전송하는 것을 특징으로 하는 가상 객체를 생성하기 위한 방법.When the pattern information message is received, a virtual object corresponding to the pattern information included in the received pattern information message is generated, and the generated virtual object is converted into data, and the virtual object data obtained by the data conversion is transmitted to the mobile communication terminal ≪ / RTI > 제1항에 있어서, 상기 마커 패턴 표시 모듈은,The marker pattern display module according to claim 1, 사람의 눈으로 인지할 수 없는 신호를 발생시키는 복수개의 유닛으로 구성되고, 소정의 마커 패턴을 표시하기 위한 선택이 있으면 상기 선택된 마커 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 하기 위한 정보를 확인한 후 상기 확인된 정보에 따라 상기 복수개의 유닛을 온/오프(ON/OFF) 시켜 상기 선택된 마커 패턴을 표시하는 것을 특징으로 하는 이동 통신 단말기.(ON / OFF) of units corresponding to the selected marker pattern if there is a selection for displaying a predetermined marker pattern, and a plurality of units for generating a signal that can not be recognized by the human eye And displays the selected marker pattern by turning on / off the plurality of units according to the determined information. 제4항에 있어서,5. The method of claim 4, 사람의 눈으로 인지할 수 없는 신호를 발생시키는 복수개의 유닛으로 구성되고, 소정의 마커 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 하기 위한 정보를 가지는 마커 패턴 표시 모듈이 소정의 마커 패턴을 표시하기 위한 선택이 있으면 상기 선택된 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 시키는 과정을 더 포함하는 것을 특징으로 하는 가상 객체를 생성하기 위한 방법.A marker pattern display module including a plurality of units for generating a signal that can not be recognized by a human eye and having information for turning on / off units corresponding to a predetermined marker pattern, (ON / OFF) the units corresponding to the selected pattern if there is a selection for displaying the virtual object.
KR1020070055245A 2007-06-05 2007-06-05 System and method for generating virtual object using augmented reality KR101397214B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070055245A KR101397214B1 (en) 2007-06-05 2007-06-05 System and method for generating virtual object using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070055245A KR101397214B1 (en) 2007-06-05 2007-06-05 System and method for generating virtual object using augmented reality

Publications (2)

Publication Number Publication Date
KR20080107211A KR20080107211A (en) 2008-12-10
KR101397214B1 true KR101397214B1 (en) 2014-05-20

Family

ID=40367623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070055245A KR101397214B1 (en) 2007-06-05 2007-06-05 System and method for generating virtual object using augmented reality

Country Status (1)

Country Link
KR (1) KR101397214B1 (en)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101040253B1 (en) * 2009-02-03 2011-06-09 광주과학기술원 Method of producing and recognizing marker for providing augmented reality
KR101082285B1 (en) * 2010-01-29 2011-11-09 주식회사 팬택 Terminal and method for providing augmented reality
KR101107525B1 (en) * 2010-03-11 2012-01-31 주식회사 이엠따블유에너지 Server for determining whether the counterfeit and system for determining whether the counterfeit using the same
KR101321022B1 (en) * 2011-02-25 2013-10-22 (주)아펙스씨앤에스 Computing device, method and system for embodying augmented reality
KR101274334B1 (en) * 2011-04-08 2013-06-13 순천대학교 산학협력단 Augmented reallity system based on vision
KR101274301B1 (en) * 2011-05-03 2013-06-13 순천대학교 산학협력단 Augmented reality system using the restoration of the image of infrared led area
KR101236644B1 (en) * 2011-06-08 2013-03-25 에스알시 주식회사 Method of using Infrared marker based on augmented reality for providing Marker information with real-time changing and producing multiple markers
KR101407670B1 (en) 2011-09-15 2014-06-16 주식회사 팬택 Mobile terminal, server and method for forming communication channel using augmented reality
KR20130056529A (en) * 2011-11-22 2013-05-30 삼성전자주식회사 Apparatus and method for providing augmented reality service in portable terminal
KR101315433B1 (en) * 2012-02-01 2013-10-07 에스알시 주식회사 Augmented reality system using the morse code
KR20140045653A (en) * 2012-10-09 2014-04-17 국립암센터 Recognition appartus for noncontact marker, apparatus and method for image registration based on noncontact marker
KR101535593B1 (en) * 2013-02-05 2015-07-09 상명대학교서울산학협력단 Method and Device for recognizing frontal object by using NIR illuminator and camera
CN105488312A (en) * 2014-09-15 2016-04-13 吴旻升 Game system
KR102117510B1 (en) * 2019-07-25 2020-06-03 주식회사 비즈모델라인 Method for Displaying Selectable Virtual-Object Data of Augmented Reality

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344617A (en) * 2000-03-31 2001-12-14 Hitachi Zosen Corp Composite reality realizing system
JP2006033329A (en) * 2004-07-15 2006-02-02 Advanced Telecommunication Research Institute International Optical marker system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001344617A (en) * 2000-03-31 2001-12-14 Hitachi Zosen Corp Composite reality realizing system
JP2006033329A (en) * 2004-07-15 2006-02-02 Advanced Telecommunication Research Institute International Optical marker system

Also Published As

Publication number Publication date
KR20080107211A (en) 2008-12-10

Similar Documents

Publication Publication Date Title
KR101397214B1 (en) System and method for generating virtual object using augmented reality
US11270114B2 (en) AR device and method for controlling the same
US11231897B2 (en) Display system, display device, information display method, and program
JP6476643B2 (en) Head-mounted display device, information system, head-mounted display device control method, and computer program
CN105850148B (en) Video display system and connection method
JP6632979B2 (en) Methods and systems for augmented reality
US10642564B2 (en) Display system, display device, information display method, and program
RU2670784C2 (en) Orientation and visualization of virtual object
JP7047394B2 (en) Head-mounted display device, display system, and control method for head-mounted display device
US20170287228A1 (en) Head mounted display device, control method thereof, and computer program
US10645374B2 (en) Head-mounted display device and display control method for head-mounted display device
CN104280884B (en) The control method of head-mount type display unit and head-mount type display unit
JP6705124B2 (en) Head-mounted display device, information system, head-mounted display device control method, and computer program
CN103917913A (en) Method to autofocus on near-eye display
CN103984097A (en) Head mounted display, control method for head mounted display, and image display system
US20170308157A1 (en) Head-mounted display device, display system, control method for head-mounted display device, and computer program
CN106537227A (en) Display device, control method for display device, and program
JP2015192436A (en) Transmission terminal, reception terminal, transmission/reception system and program therefor
JP6590050B2 (en) Display device, display system, display device control method, and program
JP2016130985A (en) Head-mounted type display device, method of controlling head-mounted type display device, and computer program
JP2016212345A (en) Head-mounted type display device and control method of the same, and computer program
JP6828235B2 (en) Head-mounted display device, how to share the display of the head-mounted display device, computer program
CN111343449A (en) Augmented reality-based display method and intelligent wearable device
JP2016075735A (en) Head-mounted type display device and control method of the same, and computer program
JP2019020738A (en) Head-mounted type display device and control method of the same, and computer program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee