KR20080107211A - System and method for generating virtual object using augmented reality - Google Patents

System and method for generating virtual object using augmented reality Download PDF

Info

Publication number
KR20080107211A
KR20080107211A KR1020070055245A KR20070055245A KR20080107211A KR 20080107211 A KR20080107211 A KR 20080107211A KR 1020070055245 A KR1020070055245 A KR 1020070055245A KR 20070055245 A KR20070055245 A KR 20070055245A KR 20080107211 A KR20080107211 A KR 20080107211A
Authority
KR
South Korea
Prior art keywords
virtual object
pattern
marker
recognized
pattern information
Prior art date
Application number
KR1020070055245A
Other languages
Korean (ko)
Other versions
KR101397214B1 (en
Inventor
김정년
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070055245A priority Critical patent/KR101397214B1/en
Publication of KR20080107211A publication Critical patent/KR20080107211A/en
Application granted granted Critical
Publication of KR101397214B1 publication Critical patent/KR101397214B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

A system and a method for generating a virtual object by using the technique of augmented reality are provided to transmit information to a user through the virtual object without recognizing a marker by generating the virtual object and recognizing the pattern of the marker. A marker pattern display module indicates a marker pattern by turning on/off a plurality of units according to confirmed information after confirming information for turning on/off units corresponding to the selected marker pattern in case of selecting the marker pattern. A mobile terminal(101) recognizes the pattern of the marker pattern display module in a real world inputted through a camera, and produces the virtual object corresponding to the pattern information after recognizing the pattern information.

Description

증강 현실 기술을 이용하여 가상 객체를 생성하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR GENERATING VIRTUAL OBJECT USING AUGMENTED REALITY}SYSTEM AND METHOD FOR GENERATING VIRTUAL OBJECT USING AUGMENTED REALITY}

도 1은 본 발명의 실시 예에 따른 증강 현실 구현 시스템의 구성도,1 is a block diagram of an augmented reality implementation system according to an embodiment of the present invention,

도 2는 본 발명의 실시 예에 따라 마커로 사용되는 적외선 LED 마커의 블록 구성도,2 is a block diagram of an infrared LED marker used as a marker according to an embodiment of the present invention;

도 3은 본 발명의 실시 예에 따른 이동 통신 단말기의 블록 구성도,3 is a block diagram of a mobile communication terminal according to an embodiment of the present invention;

도 4는 본 발명의 실시 예에 따른 가상 객체 데이터 서버의 블록 구성도,4 is a block diagram of a virtual object data server according to an embodiment of the present invention;

도 5는 본 발명의 실시 예에 따른 적외선 LED로 구성된 마커의 예시도,5 is an exemplary view of a marker composed of an infrared LED according to an embodiment of the present invention;

도 6은 본 발명의 실시 예에 따라 이동 통신 단말기에서 인식된 적외선 LED의 마커 인식 정보에 대응되는 가상 객체를 요청 및 제공하기 위한 이동 통신 단말기와 가상 객체 데이터 서버간의 신호 흐름도,6 is a signal flow diagram between a mobile communication terminal and a virtual object data server for requesting and providing a virtual object corresponding to marker recognition information of an infrared LED recognized by a mobile communication terminal according to an embodiment of the present invention;

도 7은 본 발명의 실시 예에 따라 이동 통신 단말기에서 적외선 LED 마커를 이용하여 증강 현실을 구현하기 위한 과정을 나타내는 제어 흐름도,7 is a control flowchart illustrating a process for implementing augmented reality using an infrared LED marker in a mobile communication terminal according to an embodiment of the present invention;

도 8은 본 발명의 실시 예에 따라 가상 객체 데이터 서버에서 수신된 마커 패턴 정보에 대응되는 가상 객체를 생성하여 이동 통신 단말기로 제공하기 위한 과정을 나타내는 제어 흐름도.8 is a control flowchart illustrating a process for generating a virtual object corresponding to marker pattern information received from a virtual object data server and providing the same to a mobile communication terminal according to an embodiment of the present invention.

본 발명은 증강 현실(Augmented Reality) 기술을 이용하여 가상 객체를 생성하기 위한 시스템 및 방법에 관한 것으로, 특히 사람의 눈으로 인지할 수 없는 마커를 구현하고, 이러한 마커를 이용하여 가상 객체를 생성하기 위한 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for creating a virtual object using Augmented Reality technology, in particular to implement a marker that cannot be recognized by the human eye, and to create a virtual object using such a marker A system and method for the same.

일반적으로 증강 현실 기술은 실사(Real World)를 배경으로 가상 객체를 합성하여 디스플레이 하는 기술이다. 이러한 증강 현실 기술은 주로 GPS를 이용하여 위치 정보를 검색하는 위치 정보 시스템에 사용되거나 게임 컨텐츠를 구현하는데 사용된다. 이와 같은 증강 현실 기술을 이용하여 실사를 배경으로 가상 객체를 합성하기 위해서는 미리 설정된 패턴을 가지는 마커 또는 실제 현실에 존재하는 건물이나 조형물과 같은 현실 객체를 인식하는 과정이 필요하다. 이때, 마커 또는 현실 객체를 인식하는 방법에 대해서 하기에서 살펴보도록 한다.In general, augmented reality technology is a technology for synthesizing and displaying virtual objects in the background of a real world. Such augmented reality technology is mainly used in a location information system for retrieving location information using GPS or to implement game content. In order to synthesize a virtual object on the background of real-life using such an augmented reality technology, a process of recognizing a real object such as a marker having a predetermined pattern or a building or a sculpture existing in the real world is required. In this case, a method of recognizing a marker or a real object will be described below.

첫째로 마커를 인식하는 방법은 카메라를 통해서 흑색의 바탕에 흰색의 패턴으로 이루어진 마커를 포함하는 실사에서 마커의 흰색 패턴을 인식한다. 이후, 인식된 패턴에 대응되는 가상 객체를 생성하고, 생성된 가상 객체를 마커의 위치에 표시되도록 실사와 합성한 후 화면에 디스플레이한다. First, a method of recognizing a marker recognizes a white pattern of a marker in a live action including a marker having a white pattern on a black background through a camera. Subsequently, a virtual object corresponding to the recognized pattern is generated, and the generated virtual object is synthesized with the real picture to be displayed at the position of the marker and then displayed on the screen.

두 번째로 현실 객체를 인식하는 방법은 일반적으로 GPS를 이용한 위치 정보 시스템에서 자주 사용되는 방법으로, 이에 대해서는 예를 들어 설명하도록 한다. 먼저, 사용자가 단말기의 네비게이션 서비스를 이용하여 은행을 목적지로 설정하 면, 단말기는 카메라를 통해서 주변의 실사를 실시간으로 화면에 디스플레이한다. 이후, 단말기는 디스플레이된 화면에서 실시간으로 특정 건물들을 인식하고, 인식된 특정 건물들의 정보를 실시간으로 위치 정보 데이터 베이스와 통신을 통해서 전송한다. 그리고, 특정 건물들의 정보를 수신한 위치 정보 데이터 베이스는 수신된 특정 정보와 목적지 사이의 방향 정보를 실시간으로 단말기에 제공한다. 이후, 단말기는 실시간으로 수신된 특정 정보와 목적지 사이의 방향 정보에 대응되도록 가상 객체를 생성한 후 생성된 가상 객체를 이용하여 목적지에 대한 방향 정보를 표시한다. Second, a method of recognizing a real object is generally used in a location information system using GPS, which will be described by way of example. First, when a user sets a bank as a destination using a navigation service of a terminal, the terminal displays real-time due diligence on a screen through a camera. Then, the terminal recognizes the specific buildings in real time on the displayed screen, and transmits the information of the recognized specific buildings in real time through communication with the location information database. The location information database which receives the information of the specific buildings provides the terminal with the direction information between the received specific information and the destination in real time. Thereafter, the terminal generates a virtual object so as to correspond to the specific information received in real time and the direction information between the destination, and then displays the direction information on the destination using the generated virtual object.

상기와 같은 증강 현실 기술은 실제 현실을 배경으로 마커 또는 현실 객체를 인식하여 가상 객체를 합성하는 기술이다. 그러나, 이러한 증강 현실 기술에서 마커를 인식할 시 조명의 밝기가 너무 어두워서 화면에 디스플레이된 마커의 패턴이 정확하게 인식되지 않을 수 있다. 또한, 현실 객체를 인식할 시 인식하려는 현실 객체의 유사성에 의해서 실제로 인식되어야 하는 객체가 아닌 다른 객체가 인식될 수 있다. 예를 들어, 직육면체 모양의 건물을 인식할 시 인식하려는 건물 주위에 직육면체 모양의 다른 건물이 존재한다면 건물 간의 유사성으로 인해 실제로 인식되어야 하는 건물이 아닌 다른 건물이 인식될 수 있는 문제점이 있다.The augmented reality technology as described above is a technology for synthesizing a virtual object by recognizing a marker or a real object against a background of real reality. However, when the marker is recognized in the augmented reality technology, the brightness of the illumination may be too dark to accurately recognize the pattern of the marker displayed on the screen. Also, when recognizing the real object, an object other than the object to be actually recognized may be recognized by the similarity of the real object to be recognized. For example, when there is another cube-shaped building around the building to be recognized when recognizing the cube-shaped building, there is a problem that other buildings other than the building to be actually recognized due to the similarity between the buildings may be recognized.

그리고, 마커를 인식하기 위해 사용자가 단말기로 마커를 촬영할 때 사용자의 눈으로 화면에 디스플레이된 마커를 직접 보기 때문에 이러한 마커의 패턴을 본 사용자는 마커의 패턴에 대해 거부감을 느낄 수 있다. 또한, 미리 설정된 패턴으로 마커가 제작된 후에는 패턴의 변경이 불가능하기 때문에 하나의 마커는 하나의 패턴을 가질 뿐 다수개의 패턴을 가질 수 없었다. 예를 들어, 운동화를 판매하는 매장에서 판매대에 운동화를 전시하고, 증강 현실 기술을 이용하여 전시된 운동화 정보를 제공하기 위해 운동화 판매대에 미리 설정된 패턴을 가지는 마커를 설치하였다고 가정한다. 만약, 전시된 운동화 대신 다른 운동화를 판매대에 전시할 경우 매장에서는 이전에 설치된 마커를 다른 운동화 정보를 제공하기 위한 마커로 변경하여 다시 설치해야 하는 번거로움이 있다.In addition, when the user photographs the marker with the terminal to recognize the marker, the user directly sees the marker displayed on the screen with the eyes of the user, and thus the user who sees the pattern of the marker may feel rejection about the pattern of the marker. In addition, since the pattern cannot be changed after the marker is manufactured with the preset pattern, one marker has only one pattern and cannot have multiple patterns. For example, it is assumed that a store having sneakers is displayed on a sales stand and a marker having a preset pattern is installed on a sneaker stand to provide sneaker information displayed using augmented reality technology. If, instead of the displayed sneakers to display other sneakers on the sales desk, there is a hassle to change the previously installed markers to markers for providing other sneaker information and install again.

따라서, 본 발명에서는 사용자가 마커 패턴을 인지할 수 없도록 하기 위한 마커를 이용하여 가상 객체를 생성하기 위한 시스템 및 방법을 제공한다. Accordingly, the present invention provides a system and method for creating a virtual object using a marker to prevent a user from recognizing a marker pattern.

또한, 본 발명에서는 다수개의 마커 패턴으로 변경 가능한 마커를 구현하고, 이와 같은 마커를 이용하여 가상 객체를 생성하기 위한 시스템 및 방법을 제공한다.In addition, the present invention provides a system and method for implementing a marker that can be changed to a plurality of marker patterns, and creating a virtual object using such a marker.

상술한 바를 달성하기 위한 본 발명은 증강 현실(Augmented Reality: AR) 기술을 이용하여 가상 객체를 생성하기 위한 시스템에 있어서, 사람의 눈으로 인지할 수 없는 신호를 발생시키는 복수개의 유닛으로 구성되고, 소정의 마커 패턴을 표시하기 위한 선택이 있으면 상기 선택된 마커 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 하기 위한 정보를 확인한 후 상기 확인된 정보에 따라 상기 복수개의 유닛을 온/오프(ON/OFF) 시켜 상기 선택된 마커 패턴을 표시하는 마커 패턴 표시 모듈과, 카메라를 통해서 입력된 실사(Real World)에서 상기 마커 패턴 표시 모듈 의 패턴을 인식하고, 상기 인식한 패턴에서 패턴 정보를 인지한 후 상기 인지한 패턴 정보에 대응되는 가상 객체를 생성하는 이동 통신 단말기를 구비함을 특징으로 한다.The present invention for achieving the above is a system for creating a virtual object using Augmented Reality (AR) technology, comprising a plurality of units for generating a signal that can not be recognized by the human eye, If there is a selection for displaying a predetermined marker pattern, after confirming information for turning on / off units corresponding to the selected marker pattern, the plurality of units are turned on / off according to the identified information. The marker pattern display module displaying the selected marker pattern and a pattern of the marker pattern display module in a real world input through a camera, and recognizing pattern information in the recognized pattern. And a mobile communication terminal for generating a virtual object corresponding to the recognized pattern information.

또한, 본 발명은 증강 현실(Augmented Reality: AR) 기술을 이용하여 가상 객체를 생성하기 위한 시스템에서 상기 가상 객체를 생성하기 위한 방법에 있어서,The present invention also provides a method for creating a virtual object in a system for creating a virtual object using Augmented Reality (AR) technology,

사람의 눈으로 인지할 수 없는 신호를 발생시키는 복수개의 유닛으로 구성되고, 소정의 마커 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 하기 위한 정보를 가지는 마커 패턴 표시 모듈을 구비하는 과정과, 상기 마커 패턴 표시 모듈이 소정의 마커 패턴을 표시하기 위한 선택이 있으면 상기 선택된 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 시키는 과정과, 이동 통신 단말기가 실사를 촬영하기 위한 요청에 따라 카메라를 통해서 입력된 실사(Real World)를 통해 상기 마커 패턴 표시 모듈의 패턴을 인식하고, 상기 인식된 패턴에서 패턴 정보를 인지하는 과정과, 상기 이동 통신 단말기가 상기 인지된 패턴 정보를 이용하여 가상 객체를 생성하는 과정을 포함하는 것을 특징으로 한다.Comprising a plurality of units for generating a signal that can not be recognized by the human eye, comprising a marker pattern display module having information for turning on / off units corresponding to a predetermined marker pattern and If the marker pattern display module has a selection for displaying a predetermined marker pattern, turning on / off units corresponding to the selected pattern, and requesting the mobile communication terminal to photograph the live action. Recognizing a pattern of the marker pattern display module through a real world input through a camera, recognizing pattern information in the recognized pattern, and virtually using the recognized pattern information by the mobile communication terminal. It characterized in that it comprises a process of creating an object.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the annexed drawings, detailed descriptions of well-known functions and configurations that may unnecessarily obscure the subject matter of the present invention will be omitted.

본 발명에서는 증강 현실 기술을 이용하는 시스템에서 가상 객체 생성 시 기존과 같이 사람의 눈으로 인식될 수 밖에 없었던 흰색 패턴으로 구성되는 마커 대신 사람의 눈에 인식되지 않는 마커를 구현하기 위한 방안을 제안하도록 한다.The present invention proposes a method for implementing a marker that is not recognized by the human eye instead of a marker composed of a white pattern that was inevitably recognized by the human eye when creating a virtual object in a system using augmented reality technology. .

또한, 본 발명에서는 한 개의 마커로 한 개의 패턴만을 표시할 수 있었던 기존과는 달리 복수개의 패턴을 표시할 수 있는 마커를 구현하고, 이러한 마커를 인식하여 해당 가상 객체를 생성하기 위한 방안을 제안하도록 한다.In addition, the present invention implements a marker that can display a plurality of patterns, unlike the conventional one that can display only one pattern with a single marker, and proposes a method for generating a corresponding virtual object by recognizing such a marker. do.

본 발명의 실시 예에서는 마커 패턴 표시 모듈을 기존의 마커 패턴을 다수개의 적외선 LED로 구성한 적외선 LED 마커로 예를 들어 설명하도록 한다. In an embodiment of the present invention, the marker pattern display module will be described as an infrared LED marker composed of a plurality of infrared LEDs of an existing marker pattern.

또한, 본 발명의 실시 예에서는 적외선 LED 마커을 인식하여 가상 객체를 디스플레이하기 위해 카메라를 구비하는 이동 통신 단말기를 이용하여 가상 객체를 생성하기 위한 시스템과 방법을 살펴보도록 한다.In addition, the embodiment of the present invention to look at the system and method for creating a virtual object using a mobile communication terminal having a camera to display the virtual object to recognize the infrared LED marker.

그러면 이제 본 발명의 실시 예에 따라 도 1을 참조하여 사람의 눈으로 인지되지 않는 적외선 LED로 이루어진 적외선 LED 마커를 이용하여 증강 현실 구현 시스템의 구성에 대해서 살펴보도록 한다.Then, with reference to Figure 1 according to an embodiment of the present invention to look at the configuration of the augmented reality implementation system using an infrared LED marker made of infrared LED not recognized by the human eye.

본 발명의 실시 예에서는 마커 패턴이 사람의 눈에 인지되지 않도록 하기 위한 마커로서 적외선 LED 마커로 적용하여 설명하였지만, 사람의 눈에 인지되지 않는 마커 패턴을 표시할 수 있는 모든 모듈을 마커로서 사용할 수 있다. 또한, 본 발명에서 마커를 인식하여 가상 객체를 생성하는 이동 통신 단말기는 적외선 LED 마커를 인식하기 위해 카메라 모듈을 구비하여야 한다. 그러나, 만약 사람의 눈으로 인지되지 않도록 하기 위한 마커로서 본 발명의 실시 예에서 사용되는 적외선 LED 마커와 다른 모듈이 사용되는 경우에는 사용되는 모듈을 인식할 수 있는 구성이 필요할 것이다.In the exemplary embodiment of the present invention, the marker pattern is applied as an infrared LED marker as a marker for not recognizing the human eye, but any module capable of displaying a marker pattern not recognized by the human eye may be used as a marker. have. In addition, the mobile communication terminal for generating a virtual object by recognizing the marker in the present invention should be provided with a camera module to recognize the infrared LED marker. However, if the infrared LED marker used in the embodiment of the present invention and another module is used as a marker for not being recognized by the human eye, a configuration capable of recognizing the module to be used will be required.

먼저, 적외선 LED 마커(100)는 미리 설정된 패턴에 대응되도록 위치한 다수 개의 적외선 LED를 온(ON) 시킨다. 그리고, 이동 통신 단말기(101)는 카메라를 통해서 입력된 적외선 LED 마커(100)를 포함하는 실사를 화면에 디스플레이하고, 디스플레이된 화면에서 적외선 LED 마커(100)의 패턴을 인식한다. 이후, 이동 통신 단말기(101)는 인식된 적외선 LED 마커(100)의 마커 패턴 정보를 포함하는 메시지를 이동 통신망을 통해서 가상 객체 데이터 서버(102)로 전송한다. 그리고, 가상 객체 데이터 서버(102)는 이동 통신 단말기(101)로부터 수신된 마커 패턴 정보에 대응되는 가상 객체를 생성하고, 생성된 가상 객체를 데이터화 시킨 후 데이터화 시킨 가상 객체 데이터를 이동 통신 단말기(101)로 송신한다. First, the infrared LED marker 100 turns on a plurality of infrared LEDs positioned to correspond to a preset pattern. In addition, the mobile communication terminal 101 displays a live image including the infrared LED marker 100 input through the camera on the screen and recognizes the pattern of the infrared LED marker 100 on the displayed screen. Thereafter, the mobile communication terminal 101 transmits a message including the marker pattern information of the recognized infrared LED marker 100 to the virtual object data server 102 through the mobile communication network. The virtual object data server 102 generates a virtual object corresponding to the marker pattern information received from the mobile communication terminal 101, converts the generated virtual object into data, and converts the virtual object data into data. To send).

또한, 이동 통신 단말기(101)는 가상 객체 데이터 서버(102)로부터 수신된 가상 객체 데이터를 이용하여 가상 객체를 실사와 합성한 후 적외선 LED 마커의 위치에 겹치도록 화면에 디스플레이한다. In addition, the mobile communication terminal 101 synthesizes the virtual object using the virtual object data received from the virtual object data server 102 and the real object and displays it on the screen so as to overlap the position of the infrared LED marker.

그러면 이제 도 1과 같이 구성된 증강 현실 구현 시스템의 각 구성에 대해서 도 2 내지 도 4를 참조하여 구체적으로 살펴보도록 한다.Now, each configuration of the augmented reality implementation system configured as shown in FIG. 1 will be described in detail with reference to FIGS. 2 to 4.

먼저, 적외선 LED 마커(100)의 구성에 대해서 도 2를 참조하여 살펴보면, 메모리부(202)는 미리 설정된 다수개의 패턴을 저장하고, 저장된 다수개의 패턴에 대응되도록 적외선 LED들을 온/오프(ON/OFF)하기 위한 정보를 저장하고 있다. 이러한 메모리부(202)를 구비하는 적외선 LED 마커(100)는 키 입력과 같은 인터페이스를 통해서 사용자가 패턴의 종류를 선택하도록 할 수 있다. 또한, 다른 실시 예로 적외선 LED 마커(100)는 무선부를 더 구비하여 다수개의 패턴과 다수개의 패턴에 대응되는 적외선 LED들을 온/오프(ON/OFF)하기 위한 적외선 LED 온/오프(ON/OFF) 정 보를 저장하고 있는 네트워크로부터 하나의 패턴과 그 패턴에 대응되는 적외선 LED 온/오프(ON/OFF) 정보를 수신할 수 있다. 이에 따라, 메모리부(202)는 네트워크로부터 수신된 하나의 패턴과 그 패턴에 대응되는 적외선 LED 온/오프(ON/OFF) 정보를 저장할 수도 있다. First, referring to FIG. 2 for the configuration of the infrared LED marker 100, the memory unit 202 stores a plurality of preset patterns and turns on / off the infrared LEDs so as to correspond to the stored plurality of patterns. OFF information is stored. The infrared LED marker 100 having the memory unit 202 may allow a user to select a type of pattern through an interface such as a key input. In addition, in another embodiment, the infrared LED marker 100 further includes a wireless unit, and includes an infrared LED on / off (ON / OFF) for turning on / off (ON / OFF) a plurality of patterns and infrared LEDs corresponding to the plurality of patterns. It is possible to receive a pattern and infrared LED ON / OFF information corresponding to the pattern from a network storing the information. Accordingly, the memory unit 202 may store one pattern received from the network and infrared LED ON / OFF information corresponding to the pattern.

한편, 제어부(200)는 전반적으로 적외선 LED 마커(100)의 동작을 제어한다. 그리고, 제어부(200)는 메모리부(202)에 저장된 패턴 정보 중 사용자에 의해서 선택된 패턴에 대응되는 적외선 LED 온/오프(ON/OFF) 정보를 독출하여 적외선 LED들을 온/오프(ON/OFF) 되도록 제어한다. 또한, 다른 실시 예로 제어부(200)는 네트워크에서 하나의 패턴과 그 패턴에 대응되는 적외선 LED 온/오프(ON/OFF) 정보가 수신되면 수신된 하나의 패턴과 그 패턴에 대응되는 적외선 LED 온/오프(ON/OFF) 정보를 저장하고 있는 메모리부(202)로부터 패턴에 대응되는 적외선 LED 온/오프(ON/OFF) 정보를 독출하여 적외선 LED들을 온/오프(ON/OFF) 되도록 제어한다.On the other hand, the control unit 200 controls the operation of the infrared LED marker 100 as a whole. The controller 200 reads the infrared LED ON / OFF information corresponding to the pattern selected by the user among the pattern information stored in the memory unit 202 to turn the infrared LEDs ON / OFF. Control as possible. In another embodiment, when the controller 200 receives one pattern and infrared LED ON / OFF information corresponding to the pattern, the controller 200 receives one pattern and the infrared LED on / off corresponding to the pattern. The infrared LED ON / OFF information corresponding to the pattern is read from the memory unit 202 storing the OFF / ON information, and the infrared LEDs are controlled to be turned ON / OFF.

그리고, 적외선 발광 다이오드부(201)는 다수개의 적외선 LED로 구성되고, 제어부(200)의 제어 하에 다수개의 적외선 LED를 온/오프(ON/OFF) 한다.In addition, the infrared light emitting diode unit 201 includes a plurality of infrared LEDs, and the plurality of infrared LEDs are turned on / off under the control of the controller 200.

다음으로 이동 통신 단말기(101)의 구성에 대해서 도 3을 참조하여 살펴보면, 제어부(300)는 전반적인 이동 통신 단말기의 동작을 제어한다. 그리고 제어부(300)는 카메라부(301)로부터 입력된 적외선 LED 마커(100)를 포함하는 실사를 표시부(304)에 디스플레이한다. 이후, 제어부(300)는 마커 인식부(302)를 통해서 적외선 LED 마커(100)의 패턴을 인식한다. Next, the configuration of the mobile communication terminal 101 will be described with reference to FIG. 3. The controller 300 controls the overall operation of the mobile communication terminal. In addition, the controller 300 displays the live image including the infrared LED marker 100 input from the camera unit 301 on the display unit 304. Thereafter, the controller 300 recognizes the pattern of the infrared LED marker 100 through the marker recognition unit 302.

여기서, 제어부(300)가 마커 인식부(302)를 통해서 적외선 LED 마커(100)의 패턴을 인식하는 과정을 도 5를 참조하여 구체적으로 설명하도록 한다. 이때, 적외선 LED 마커(100)의 패턴은 도 5와 같이 마커 레퍼런스(Maker Reference)(500), 마커 식별자(Maker Identifier)(501), 마커 데이터 패턴(Maker Data Pattern)(502)으로 구성된다. Here, the process of the controller 300 to recognize the pattern of the infrared LED marker 100 through the marker recognition unit 302 will be described in detail with reference to FIG. 5. At this time, the pattern of the infrared LED marker 100 is composed of a marker reference (Maker Reference) 500, a marker identifier (Maker Identifier) 501, a marker data pattern (Maker Data Pattern) 502 as shown in FIG.

먼저, 마커 인식부(302)는 표시부(304)에 디스플레이된 실사에서 마커의 영역을 나타내는 마커 레퍼런스 (500)를 인식한다. 그리고, 마커 인식부(302)는 미리 설정된 위치에 자리하는 4개의 마커 레퍼런스가 인식되면 마커 레퍼런스(500) 내의 영역을 마커의 영역으로 설정한다. 이때, 마커 레퍼런스(500)를 나타내는 개수와 모양은 시스템에 따라 변경할 수 있다.First, the marker recognizing unit 302 recognizes a marker reference 500 representing the area of the marker in the live action displayed on the display unit 304. The marker recognition unit 302 sets an area within the marker reference 500 as an area of the marker when four marker references located at preset positions are recognized. At this time, the number and shape of the marker reference 500 can be changed according to the system.

이후, 마커 인식부(302)는 설정된 마커 영역 내에서 신발 또는 자동차와 같은 가상 객체의 타입을 나타내는 마커 식별자(Maker Identifier)(501)를 인식하여 가상 객체의 타입을 인지한다. 그리고, 마커 인식부(302)는 특정 브랜드의 특정 신발이나 자동차와 같은 특정 가상 객체의 상세 정보를 나타내는 마커 데이터 (502)를 인식하여 가상 객체의 상세 정보를 인지한다. 이와 같은 마커 레퍼런스(500), 마커 식별자(501), 마커 데이터 패턴(502)은 미리 설정된 위치에 표시되고, 미리 설정된 위치에 따라 마커 인식부(302)는 마커 레퍼런스(500), 마커 식별자(501), 마커 데이터 패턴(502)을 각각 인식할 수 있게 된다.Thereafter, the marker recognition unit 302 recognizes a marker identifier 501 indicating a type of a virtual object such as a shoe or a car in the set marker area to recognize the type of the virtual object. The marker recognition unit 302 recognizes the detailed information of the virtual object by recognizing the marker data 502 representing the detailed information of the specific virtual object such as a specific shoe or a car of a specific brand. The marker reference 500, the marker identifier 501, and the marker data pattern 502 are displayed at preset positions, and the marker recognition unit 302 is the marker reference 500 and the marker identifier 501 according to the preset position. ), The marker data pattern 502 can be recognized respectively.

한편, 제어부(300)는 상기와 같이 인식된 마커 식별자(501)를 통해서 인지된 가상 객체의 타입과 마커 데이터 패턴(502)을 통해서 인지된 가상 객체 데이터와 같은 마커 패턴 정보를 포함하는 마커 패턴 정보 메시지를 생성한다. 그리고, 제어 부(300)는 무선부(303)를 통해서 생성된 마커 패턴 정보 메시지를 가상 객체 데이터 서버(102)로 송신한다. Meanwhile, the controller 300 includes marker pattern information including marker pattern information such as the type of the virtual object recognized through the recognized marker identifier 501 and the virtual object data recognized through the marker data pattern 502. Create a message. The controller 300 transmits the marker pattern information message generated through the wireless unit 303 to the virtual object data server 102.

그리고, 가상 객체 데이터 서버(102)로부터 마커 패턴 정보에 대응되는 가상 객체 데이터가 수신되면 제어부(300)는 수신된 가상 객체 데이터를 이용하여 가상 객체를 가상 객체를 마커의 위치에 표시되도록 실사와 합성한 후 표시부(304)에 디스플레이한다. When the virtual object data corresponding to the marker pattern information is received from the virtual object data server 102, the controller 300 uses the received virtual object data to synthesize the virtual object so that the virtual object is displayed at the position of the marker. Display on the display unit 304.

한편, 카메라부(301)는 적외선을 인식할 수 있는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor)와 같은 카메라를 구비하고, 카메라로부터 입력된 광신호를 영상으로 변환하여 출력한다.The camera unit 301 includes a camera such as a charge coupled device (CCD) and a complementary metal oxide semiconductor (CMOS) capable of recognizing infrared rays, and converts and outputs an optical signal input from the camera into an image.

그리고, 마커 인식부(302)는 카메라부(301)를 통해서 입력된 실사에서 적외선 LED 마커 패턴을 인식하는데, 즉, 상기에서 제어부(300)를 설명하면서 함께 설명한 적외선 LED 마커 패턴 인식 방법과 같이 적외선 LED 마커(100)의 패턴을 구성하는 마커 레퍼런스(500), 마커 식별자(501), 마커 데이터 패턴(502)을 각각 인식한다. In addition, the marker recognition unit 302 recognizes the infrared LED marker pattern in the live-action input through the camera unit 301, that is, the infrared LED marker pattern recognition method described in conjunction with the description of the control unit 300 above. The marker reference 500, the marker identifier 501, and the marker data pattern 502 constituting the pattern of the LED marker 100 are respectively recognized.

한편, 무선부(303)는 마커 인식부(302)에서 인식된 마커 패턴 정보를 포함하는 마커 패턴 정보 메시지를 가상 객체 데이터 서버(102)로 송신한다. 또한, 무선부(303)는 가상 객체 데이터 서버(102)로부터 전송된 가상 객체 데이터를 수신한다.Meanwhile, the wireless unit 303 transmits a marker pattern information message including the marker pattern information recognized by the marker recognition unit 302 to the virtual object data server 102. In addition, the wireless unit 303 receives the virtual object data transmitted from the virtual object data server 102.

그리고, 표시부(304)는 머리에 착용 가능한 안경 타입의 헤드 마운트 디스플레이(Head Mounted Display: HMD) 또는 액정표시장치(Liquid Crystal Display: LCD)로 구성된다. 그리하여, 표시부(304)는 카메라부(301)를 통해서 입력된 실사를 화면에 디스플레이한다. 또한, 표시부(304)는 가상 객체 데이터 서버(102)로부터 수신된 가상 객체 데이터를 이용하여 가상 객체를 적외선 LED 마커(100)의 위치에 표시되도록 실사와 합성한 후 화면에 디스플레이한다.In addition, the display unit 304 is configured as a head mounted display (HMD) or a liquid crystal display (LCD) of a glasses type that can be worn on the head. Thus, the display unit 304 displays the live-action input through the camera unit 301 on the screen. In addition, the display unit 304 synthesizes the virtual object to be displayed at the position of the infrared LED marker 100 by using the virtual object data received from the virtual object data server 102 and displays it on the screen.

그리고, 메모리부(305)는 가상 객체 데이터 서버(102)로부터 수신된 가상 객체 데이터를 저장한다. 이때, 다른 실시 예로 가상 객체 데이터 서버(102)는 가상 객체 데이터가 아닌 가상 객체를 생성하기 위한 가상 객체 소스 데이터를 이동 통신 단말기(101)로 전송할 수 있다. 만약 가상 객체 소스 데이터를 수신하는 경우 이동 통신 단말기(101)는 가상 객체를 생성하기 위한 가상 객체 생성부를 더 구비할 수 있다.The memory unit 305 stores the virtual object data received from the virtual object data server 102. In this case, as another embodiment, the virtual object data server 102 may transmit virtual object source data for generating a virtual object, rather than the virtual object data, to the mobile communication terminal 101. If the virtual object source data is received, the mobile communication terminal 101 may further include a virtual object generator for generating a virtual object.

마지막으로 가상 객체 데이터 서버(102)에 대해서 도 4를 참조하여 살펴보면, 제어부(400)는 이동 통신 단말기(101)로부터 수신된 마커 패턴 정보 메시지에 포함된 마커 패턴 정보를 확인한다. 그리고, 제어부(400)는 확인된 마커 패턴 정보에 대응되는 가상 객체를 생성하기 위한 가상 객체 소스 데이터를 이용하여 가상 객체 생성부(403)를 통해서 가상 객체를 생성한다. 이후, 제어부(400)는 생성된 가상 객체를 데이터화 시킨 후 해당 가상 객체 데이터를 무선부(401)를 통해서 이동 통신 단말기(101)로 송신한다. Finally, the virtual object data server 102 will be described with reference to FIG. 4. The controller 400 checks marker pattern information included in the marker pattern information message received from the mobile communication terminal 101. The controller 400 generates the virtual object through the virtual object generator 403 using the virtual object source data for generating the virtual object corresponding to the identified marker pattern information. Thereafter, the controller 400 converts the generated virtual object into data and transmits the virtual object data to the mobile communication terminal 101 through the wireless unit 401.

또한, 무선부(401)는 이동 통신 단말기(101)로부터 마커 패턴 정보를 포함하는 마커 패턴 정보 메시지를 수신한다. 그리고, 무선부(401)는 마커 패턴 정보와 대응되는 가상 객체 데이터를 이동 통신 단말기(101)로 송신한다.In addition, the wireless unit 401 receives a marker pattern information message including marker pattern information from the mobile communication terminal 101. The wireless unit 401 transmits virtual object data corresponding to the marker pattern information to the mobile communication terminal 101.

그리고, 가상 객체 생성부(403)는 제어부(400)의 제어 하에 수신된 가상 객체 소스 데이터를 저장하는 메모리부(402)로부터 가상 객체 소스 데이터를 독출하여 가상 객체를 생성한다. The virtual object generator 403 reads the virtual object source data from the memory unit 402 which stores the received virtual object source data under the control of the controller 400 to generate the virtual object.

또한, 메모리부(402)는 마커 패턴 정보에 대응하는 가상 객체를 생성하기 위한 가상 객체 소스 데이터를 저장한다. 이때, 가상 객체 데이터 서버(102)는 다른 실시 예로 가상 객체 생성부(403)를 구비하지 않고, 메모리부(402)에 저장된 가상 객체 소스 데이터들 중 이동 통신 단말기(101)로부터 수신된 마커 패턴 정보에 대응되는 가상 객체 소스 데이터를 이동 통신 단말기(101)로 전송할 수도 있다. In addition, the memory unit 402 stores virtual object source data for generating a virtual object corresponding to the marker pattern information. At this time, the virtual object data server 102 does not include the virtual object generator 403 as another embodiment, and marker pattern information received from the mobile communication terminal 101 among virtual object source data stored in the memory unit 402. The virtual object source data corresponding to may be transmitted to the mobile communication terminal 101.

또한, 가상 객체 데이터 서버(102)는 또 다른 실시 예로 가상 객체 생성부(403)를 구비하지 않고, 메모리부(402)에 적어도 한 개의 가상 객체 데이터를 저장할 수도 있다. 그리하여 이동 통신 단말기(101)로부터 마커 패턴 정보 메시지가 수신되면 가상 객체 데이터 서버(102)는 메모리부(402)에 저장된 가상 객체 데이터들 중 마커 패턴 정보에 대응되는 가상 객체 데이터를 독출하여 이동 통신 단말기(101)로 독출된 가상 객체 데이터를 전송할 수도 있다.In addition, the virtual object data server 102 may store at least one virtual object data in the memory unit 402 without providing the virtual object generating unit 403 as another embodiment. Thus, when the marker pattern information message is received from the mobile communication terminal 101, the virtual object data server 102 reads out virtual object data corresponding to the marker pattern information among the virtual object data stored in the memory unit 402, and then the mobile communication terminal. The virtual object data read out to 101 may be transmitted.

그러면 상기와 같이 구성되는 증강 현실 구현 시스템에서 이동 통신 단말기(101)와 가상 객체 데이터 서버(102) 간의 신호 흐름에 대해서 도 6를 참조하여 살펴보도록 한다.Next, the signal flow between the mobile communication terminal 101 and the virtual object data server 102 in the augmented reality implementation system configured as described above will be described with reference to FIG. 6.

먼저, 이동 통신 단말기(101)는 600단계에서 카메라를 통해서 입력된 실사에서 적외선 LED 마커의 패턴을 인식하고, 인식된 패턴에서 적외선 LED 마커 패턴 정보를 인지한다. 그리고, 이동 통신 단말기(101)는 601단계에서 인지된 마커 패턴 정보를 가상 객체 데이터 서버(102)로 송신한다. 그러면, 가상 객체 데이터 서버(102)는 602단계에서 수신된 마커 패턴 정보에 대응되는 가상 객체를 생성한다. 그리고, 가상 객체 데이터 서버(102)는 생성된 가상 객체를 데이터화 시킨 후 603단계에서 해당 가상 객체 데이터를 이동 통신 단말기(101)로 송신한다. 이후, 이동 통신 단말기(101)는 604단계에서 수신된 가상 객체 데이터를 이용하여 가상 객체를 적외선 LED 마커의 위치에 표시되도록 실사와 합성한 후 화면에 디스플레이한다. First, the mobile communication terminal 101 recognizes the pattern of the infrared LED marker in the real-time input through the camera in step 600, and recognizes the infrared LED marker pattern information from the recognized pattern. The mobile communication terminal 101 transmits the recognized marker pattern information to the virtual object data server 102 in step 601. Then, the virtual object data server 102 generates a virtual object corresponding to the marker pattern information received in step 602. The virtual object data server 102 converts the generated virtual object into data and transmits the virtual object data to the mobile communication terminal 101 in step 603. Subsequently, the mobile communication terminal 101 synthesizes the virtual object to be displayed at the position of the infrared LED marker by using the virtual object data received in step 604 and displays it on the screen.

이제 도 3와 같이 구성되는 이동 통신 단말기(101)에서 적외선 LED 마커를 이용하여 증강 현실을 구현하기 위한 과정을 도 7을 참조하여 살펴보도록 한다. Now, a process for implementing augmented reality using the infrared LED marker in the mobile communication terminal 101 configured as shown in FIG. 3 will be described with reference to FIG. 7.

먼저, 제어부(300)는 700단계에서 대기 상태를 유지하다가 진행한 702단계에서 적외선 LED 마커(100)를 인식하기 위한 요청이 있는지 검사하여 요청이 있으면 704단계를 진행하고, 그렇지 않으면 700단계에서 계속적으로 대기 상태를 유지한다.First, the control unit 300 maintains the standby state in step 700 and checks whether there is a request for recognizing the infrared LED marker 100 in step 702, and proceeds to step 704 if there is a request, otherwise continues in step 700. To maintain the standby state.

이후, 제어부(300)는 704단계에서 카메라부(401)를 통해서 입력된 적외선 LED 마커를 포함하는 실사를 표시부(304)에 디스플레이한다. 그리고, 제어부(300)는 706단계에서 디스플레이된 화면에서 마커 레퍼런스(500)가 인식되는지 검사하여 인식되면 708단계를 진행하고, 그렇지 않으면 706단계에서 마커 레퍼런스(500)가 계속적으로 인식되는지 검사한다. 이때, 마커 레퍼런스(500)를 인식하는 방법은 상기 도 3에서 이동 통신 단말기(101)의 제어부(300)를 설명하면서 함께 설명한 인식 방법을 이용하여 인식할 수 있다.In operation 704, the control unit 300 displays the live image including the infrared LED marker input through the camera unit 401 on the display unit 304. In addition, the controller 300 checks whether the marker reference 500 is recognized on the screen displayed in step 706 and proceeds to step 708. Otherwise, the controller 300 checks whether the marker reference 500 is continuously recognized in step 706. In this case, the method of recognizing the marker reference 500 may be recognized using the recognition method described with reference to the control unit 300 of the mobile communication terminal 101 in FIG.

이후, 제어부(300)는 708단계에서 인식된 마커 레퍼런스(500)로부터 마커 영 역을 설정하고, 설정된 마커 영역에서 미리 설정된 위치에 표시된 마커 식별자(501)를 인식하여 가상 객체의 타입을 인지한다. 그리고, 제어부(300)는 710단계로 진행하여 설정된 마커 영역에서 미리 설정된 위치에 표시된 마커 데이터 패턴(502)을 인식하여 가상 객체의 데이터를 인지한다. In operation 708, the controller 300 sets a marker area from the recognized marker reference 500 and recognizes the type of the virtual object by recognizing the marker identifier 501 displayed at a preset position in the set marker area. In operation 710, the controller 300 recognizes data of the virtual object by recognizing the marker data pattern 502 displayed at a preset position in the set marker area.

이후, 712단계에서 제어부(400)는 인식된 마커 식별자(501)를 통해서 인지된 가상 객체의 타입과 마커 데이터 패턴(502)을 통해서 인지된 가상 객체의 데이터와 같은 마커 패턴 정보를 포함하는 마커 패턴 정보 메시지를 생성한다. 그리고, 제어부(400)는 714단계로 진행하여 무선부(403)를 통해서 마커 패턴 정보 메시지를 가상 객체 데이터 서버(102)로 송신한다. In operation 712, the controller 400 includes a marker pattern including marker pattern information such as the type of the virtual object recognized through the recognized marker identifier 501 and the data of the virtual object recognized through the marker data pattern 502. Generate an information message. In operation 714, the controller 400 transmits a marker pattern information message to the virtual object data server 102 through the wireless unit 403.

이후, 제어부(300)는 716단계에서 가상 객체 데이터 서버(102)로부터 마커 패턴 정보에 대응하는 가상 객체 데이터의 수신이 있는지 검사하여 수신이 있으면 718단계로 진행하고, 그렇지 않으면 716단계에서 계속적으로 가상 객체의 수신이 있는지 검사한다.Thereafter, the controller 300 checks whether there is a reception of the virtual object data corresponding to the marker pattern information from the virtual object data server 102 in step 716, and proceeds to step 718 if there is a reception, otherwise continues in step 716. Check for receipt of an object.

그리고, 제어부(300)는 718단계에서 가상 객체를 실사와 합성한 후 디스플레이된 적외선 LED 마커(100)의 위치에 겹치도록 표시부(404)에 디스플레이하고, 적외선 LED 마커(100)에 대응되는 가상 객체를 화면에 디스플레이 하기 위한 과정을 종료한다.In operation 718, the controller 300 synthesizes the virtual object with the live action and displays it on the display unit 404 so as to overlap the position of the displayed infrared LED marker 100, and the virtual object corresponding to the infrared LED marker 100. This completes the process for displaying on screen.

그러면 이제 도 4과 같이 구성되는 가상 객체 데이터 서버(102)에서 수신된 마커 패턴 정보에 대응되는 가상 객체를 생성하여 이동 통신 단말기(101)로 제공하기 위한 과정을 도 8를 참조하여 살펴보도록 한다.Next, a process for generating a virtual object corresponding to the marker pattern information received by the virtual object data server 102 configured as shown in FIG. 4 and providing the virtual object to the mobile communication terminal 101 will be described with reference to FIG. 8.

먼저, 제어부(400)는 800단계에서 대기 상태를 유지하다가 802단계에서 마커 패턴 정보 메시지의 수신이 있는지 검사하여 수신이 있으면 804단계로 진행하고, 그렇지 않으면 800단계로 진행하여 대기 상태를 유지한다. 이후, 제어부(400)는 804단계에서 마커 패턴 정보 메시지에 포함된 마커 패턴 정보에 대응되는 가상 객체를 확인한다. 그리고, 제어부(400)는 806단계에서 메모리부(502)에 저장된 가상 객체 소스 데이터를 독출하여 가상 객체 생성부(403)를 통해서 가상 객체를 생성한다.First, the control unit 400 maintains the standby state at step 800 and checks whether there is a reception of the marker pattern information message at step 802, and proceeds to step 804 if there is a reception, otherwise proceeds to step 800 to maintain the standby state. In operation 804, the controller 400 checks a virtual object corresponding to the marker pattern information included in the marker pattern information message. In operation 806, the controller 400 reads the virtual object source data stored in the memory unit 502 and generates a virtual object through the virtual object generator 403.

이후, 제어부(400)는 808단계에서 생성된 가상 객체를 데이터화 시키고, 해당 가상 객체 데이터를 무선부(501)를 통해서 이동 통신 단말기(101)로 전송한 후 이동 통신 단말기(101)로부터 수신된 마커 패턴 정보에 대응하는 가상 객체 데이터를 이동 통신 단말기(101)로 제공하는 과정을 종료한다. 이때, 가상 객체 데이터 서버(102)는 다른 실시 예로 가상 객체 데이터가 아닌 가상 객체를 생성하기 위한 가상 객체 소스 데이터를 이동 통신 단말기(101)로 전송할 수도 있다.After that, the controller 400 converts the virtual object generated in operation 808 into data, transmits the virtual object data to the mobile communication terminal 101 through the wireless unit 501, and then receives the marker received from the mobile communication terminal 101. The process of providing the virtual object data corresponding to the pattern information to the mobile communication terminal 101 ends. In this case, the virtual object data server 102 may transmit virtual object source data for generating a virtual object, rather than the virtual object data, to the mobile communication terminal 101 as another embodiment.

상술한 바와 같이 본 발명은 사람의 눈에 인식되지 않은 마커를 구현하고, 구현된 마커의 패턴을 인식하여 가상 객체를 생성함으로써 사람의 눈으로 마커를 인지하지 않고도 생성된 가상 객체를 통해 사용자에게 정보를 전달할 수 있는 이점이 있다.As described above, the present invention implements a marker that is not recognized by the human eye, and generates a virtual object by recognizing a pattern of the implemented marker, thereby providing information to the user through the created virtual object without recognizing the marker by the human eye. There is an advantage that can be delivered.

또한, 본 발명은 복수개의 패턴으로 변경이 가능한 마커를 구현함으로써 하나의 마커에 다수개의 가상 객체를 대응시킬 수 있는 이점이 있다.In addition, the present invention has an advantage in that a plurality of virtual objects can be mapped to one marker by implementing a marker that can be changed into a plurality of patterns.

Claims (6)

증강 현실(Augmented Reality) 기술을 이용하여 가상 객체를 생성하기 위한 시스템에 있어서,In the system for creating a virtual object using Augmented Reality technology, 사람의 눈으로 인지할 수 없는 신호를 발생시키는 복수개의 유닛으로 구성되고, 소정의 마커 패턴을 표시하기 위한 선택이 있으면 상기 선택된 마커 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 하기 위한 정보를 확인한 후 상기 확인된 정보에 따라 상기 복수개의 유닛을 온/오프(ON/OFF) 시켜 상기 선택된 마커 패턴을 표시하는 마커 패턴 표시 모듈과,Information for turning on / off the units corresponding to the selected marker pattern when the display is composed of a plurality of units for generating a signal that cannot be recognized by the human eye, and there is a selection for displaying a predetermined marker pattern. A marker pattern display module configured to display the selected marker pattern by turning on / off the plurality of units according to the identified information after confirming; 카메라를 통해서 입력된 실사(Real World)에서 상기 마커 패턴 표시 모듈의 패턴을 인식하고, 상기 인식한 패턴에서 패턴 정보를 인지한 후 상기 인지한 패턴 정보에 대응되는 가상 객체를 생성하는 이동 통신 단말기를 구비함을 특징으로 하는 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한 시스템.A mobile communication terminal which recognizes a pattern of the marker pattern display module in a real world input through a camera, recognizes pattern information in the recognized pattern, and generates a virtual object corresponding to the recognized pattern information. A system for creating a virtual object using augmented reality technology characterized in that it comprises. 제 1항에 있어서, 상기 이동 통신 단말기는,The method of claim 1, wherein the mobile communication terminal, 상기 인지한 패턴 정보를 포함하는 패턴 정보 메시지를 가상 객체 데이터 서버로 전송하고, 가상 객체 데이터를 수신하면 상기 수신한 가상 객체 데이터를 이용하여 상기 가상 객체를 생성하는 것을 특징으로 하는 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한 시스템.The pattern information message including the recognized pattern information is transmitted to a virtual object data server, and when the virtual object data is received, the virtual object is generated using the received virtual object data. System for creating virtual objects. 제 2항에 있어서,The method of claim 2, 상기 패턴 정보 메시지가 수신되면 상기 수신된 패턴 정보 메시지에 포함된 패턴 정보와 대응되는 가상 객체를 생성하고, 상기 생성된 가상 객체를 데이터화 시킨 후 상기 데이터화 시킨 가상 객체 데이터를 상기 이동 통신 단말기로 전송하는 상기 가상 객체 데이터 서버를 더 구비함을 특징으로 하는 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한 시스템.When the pattern information message is received, generates a virtual object corresponding to the pattern information included in the received pattern information message, converts the generated virtual object into data, and then transmits the converted virtual object data to the mobile communication terminal. And a virtual object data server further comprising creating a virtual object using augmented reality technology. 증강 현실(Augmented Reality) 기술을 이용하여 가상 객체를 생성하기 위한 시스템에서 상기 가상 객체를 생성하기 위한 방법에 있어서,A method for creating a virtual object in a system for creating a virtual object using Augmented Reality technology, the method comprising: 사람의 눈으로 인지할 수 없는 신호를 발생시키는 복수개의 유닛으로 구성되고, 소정의 마커 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 하기 위한 정보를 가지는 마커 패턴 표시 모듈을 구비하는 과정과,Comprising a plurality of units for generating a signal that can not be recognized by the human eye, comprising a marker pattern display module having information for turning on / off units corresponding to a predetermined marker pattern and , 상기 마커 패턴 표시 모듈이 소정의 마커 패턴을 표시하기 위한 선택이 있으면 상기 선택된 패턴에 대응되는 유닛들을 온/오프(ON/OFF) 시키는 과정과,Turning on / off units corresponding to the selected pattern when the marker pattern display module selects to display a predetermined marker pattern; 이동 통신 단말기가 실사를 촬영하기 위한 요청에 따라 카메라를 통해서 입력된 실사(Real World)를 통해 상기 마커 패턴 표시 모듈의 패턴을 인식하고, 상기 인식된 패턴에서 패턴 정보를 인지하는 과정과,Recognizing a pattern of the marker pattern display module through a real world input through a camera in response to a request for photographing a live-action by a mobile communication terminal, and recognizing pattern information from the recognized pattern; 상기 이동 통신 단말기가 상기 인지된 패턴 정보를 이용하여 가상 객체를 생성하는 과정을 포함하는 것을 특징으로 하는 적외선 발광 다이오드를 이용하여 가상 객체를 생성하기 위한 방법.And generating, by the mobile communication terminal, a virtual object using the recognized pattern information. 제 4항에 있어서, 상기 이동 통신 단말기가 상기 인지된 패턴 정보를 이용하여 가상 객체를 생성하는 과정은, The process of claim 4, wherein the mobile communication terminal generates the virtual object using the recognized pattern information. 상기 인지한 패턴 정보를 포함하는 패턴 정보 메시지를 가상 객체 데이터 서버로 전송하는 과정과,Transmitting a pattern information message including the recognized pattern information to a virtual object data server; 가상 객체 데이터를 수신하면 상기 수신한 가상 객체 데이터를 이용하여 상기 가상 객체를 생성하는 과정을 포함하는 것을 특징으로 하는 적외선 발광 다이오드를 이용하여 가상 객체를 생성하기 위한 방법.And receiving the virtual object data, generating the virtual object using the received virtual object data. 제 5항에 있어서, The method of claim 5, 상기 가상 객체 서버가 상기 패턴 정보 메시지를 수신하면 상기 수신한 패턴 정보 메시지에 포함된 패턴 정보와 대응되는 가상 객체를 생성하고, 상기 생성된 가상 객체를 데이터화 시킨 후 상기 데이터화 시킨 가상 객체 데이터를 상기 이동 통신 단말기로 전송하는 과정을 더 포함하는 것을 특징으로 하는 적외선 발광 다이오드를 이용하여 가상 객체를 생성하기 위한 방법.When the virtual object server receives the pattern information message, the virtual object server generates a virtual object corresponding to the pattern information included in the received pattern information message, converts the generated virtual object data into data after converting the generated virtual object into data. A method for generating a virtual object using an infrared light emitting diode, characterized in that it further comprises transmitting to a communication terminal.
KR1020070055245A 2007-06-05 2007-06-05 System and method for generating virtual object using augmented reality KR101397214B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070055245A KR101397214B1 (en) 2007-06-05 2007-06-05 System and method for generating virtual object using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070055245A KR101397214B1 (en) 2007-06-05 2007-06-05 System and method for generating virtual object using augmented reality

Publications (2)

Publication Number Publication Date
KR20080107211A true KR20080107211A (en) 2008-12-10
KR101397214B1 KR101397214B1 (en) 2014-05-20

Family

ID=40367623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070055245A KR101397214B1 (en) 2007-06-05 2007-06-05 System and method for generating virtual object using augmented reality

Country Status (1)

Country Link
KR (1) KR101397214B1 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101040253B1 (en) * 2009-02-03 2011-06-09 광주과학기술원 Method of producing and recognizing marker for providing augmented reality
WO2011111896A1 (en) * 2010-03-11 2011-09-15 주식회사 이엠따블유에너지 Forgery detection cover, a forgery detection server and a forgery detection system using such cover and server
KR101236644B1 (en) * 2011-06-08 2013-03-25 에스알시 주식회사 Method of using Infrared marker based on augmented reality for providing Marker information with real-time changing and producing multiple markers
WO2013077643A1 (en) * 2011-11-22 2013-05-30 Samsung Electronics Co., Ltd. Apparatus and method for providing augmented reality service for mobile terminal
KR101274301B1 (en) * 2011-05-03 2013-06-13 순천대학교 산학협력단 Augmented reality system using the restoration of the image of infrared led area
KR101274334B1 (en) * 2011-04-08 2013-06-13 순천대학교 산학협력단 Augmented reallity system based on vision
KR101315433B1 (en) * 2012-02-01 2013-10-07 에스알시 주식회사 Augmented reality system using the morse code
KR101321022B1 (en) * 2011-02-25 2013-10-22 (주)아펙스씨앤에스 Computing device, method and system for embodying augmented reality
KR20140045653A (en) * 2012-10-09 2014-04-17 국립암센터 Recognition appartus for noncontact marker, apparatus and method for image registration based on noncontact marker
EP2355009A3 (en) * 2010-01-29 2014-08-06 Pantech Co., Ltd. Terminal and method for providing augmented reality
US8874673B2 (en) 2011-09-15 2014-10-28 Pantech Co., Ltd. Mobile terminal, server, and method for establishing communication channel using augmented reality (AR)
KR101535593B1 (en) * 2013-02-05 2015-07-09 상명대학교서울산학협력단 Method and Device for recognizing frontal object by using NIR illuminator and camera
CN105488312A (en) * 2014-09-15 2016-04-13 吴旻升 Game system
KR20190089829A (en) * 2019-07-25 2019-07-31 주식회사 비즈모델라인 Method for Displaying Selectable Virtual-Object Data of Augmented Reality

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3957468B2 (en) * 2000-03-31 2007-08-15 日立造船株式会社 Mixed reality realization system
JP4418935B2 (en) * 2004-07-15 2010-02-24 株式会社国際電気通信基礎技術研究所 Optical marker system

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101040253B1 (en) * 2009-02-03 2011-06-09 광주과학기술원 Method of producing and recognizing marker for providing augmented reality
EP2355009A3 (en) * 2010-01-29 2014-08-06 Pantech Co., Ltd. Terminal and method for providing augmented reality
WO2011111896A1 (en) * 2010-03-11 2011-09-15 주식회사 이엠따블유에너지 Forgery detection cover, a forgery detection server and a forgery detection system using such cover and server
KR101107525B1 (en) * 2010-03-11 2012-01-31 주식회사 이엠따블유에너지 Server for determining whether the counterfeit and system for determining whether the counterfeit using the same
KR101321022B1 (en) * 2011-02-25 2013-10-22 (주)아펙스씨앤에스 Computing device, method and system for embodying augmented reality
KR101274334B1 (en) * 2011-04-08 2013-06-13 순천대학교 산학협력단 Augmented reallity system based on vision
KR101274301B1 (en) * 2011-05-03 2013-06-13 순천대학교 산학협력단 Augmented reality system using the restoration of the image of infrared led area
KR101236644B1 (en) * 2011-06-08 2013-03-25 에스알시 주식회사 Method of using Infrared marker based on augmented reality for providing Marker information with real-time changing and producing multiple markers
US8874673B2 (en) 2011-09-15 2014-10-28 Pantech Co., Ltd. Mobile terminal, server, and method for establishing communication channel using augmented reality (AR)
WO2013077643A1 (en) * 2011-11-22 2013-05-30 Samsung Electronics Co., Ltd. Apparatus and method for providing augmented reality service for mobile terminal
KR101315433B1 (en) * 2012-02-01 2013-10-07 에스알시 주식회사 Augmented reality system using the morse code
KR20140045653A (en) * 2012-10-09 2014-04-17 국립암센터 Recognition appartus for noncontact marker, apparatus and method for image registration based on noncontact marker
KR101535593B1 (en) * 2013-02-05 2015-07-09 상명대학교서울산학협력단 Method and Device for recognizing frontal object by using NIR illuminator and camera
CN105488312A (en) * 2014-09-15 2016-04-13 吴旻升 Game system
KR20190089829A (en) * 2019-07-25 2019-07-31 주식회사 비즈모델라인 Method for Displaying Selectable Virtual-Object Data of Augmented Reality

Also Published As

Publication number Publication date
KR101397214B1 (en) 2014-05-20

Similar Documents

Publication Publication Date Title
KR101397214B1 (en) System and method for generating virtual object using augmented reality
JP6632979B2 (en) Methods and systems for augmented reality
US11024083B2 (en) Server, user terminal device, and control method therefor
CN108292489B (en) Information processing apparatus and image generating method
US10642564B2 (en) Display system, display device, information display method, and program
CN104469464B (en) Image display device, method for controlling image display device, computer program, and image display system
RU2670784C9 (en) Orientation and visualization of virtual object
US9784976B2 (en) Head mounted display, information processing apparatus, image display apparatus, image display system, method for sharing display of head mounted display, and computer program
JP7047394B2 (en) Head-mounted display device, display system, and control method for head-mounted display device
US20170287228A1 (en) Head mounted display device, control method thereof, and computer program
JP6705124B2 (en) Head-mounted display device, information system, head-mounted display device control method, and computer program
JP2016039599A (en) Head mounted display, information system, control method for head mounted display, and computer program
US9569660B2 (en) Control system, control method and computer program product
JP6634697B2 (en) Head mounted display
KR20180080012A (en) The apparatus and method of musical contents creation and sharing system using social network service
KR20110136026A (en) System for optimizing a augmented reality data
KR20200003291A (en) Master device, slave device and control method thereof
KR100521728B1 (en) Video geographic information system
JP6828235B2 (en) Head-mounted display device, how to share the display of the head-mounted display device, computer program
KR100833616B1 (en) Digital picture frame for using communication network
KR101680124B1 (en) Method for Transferring Augmented Reality between Different Platform
KR101679844B1 (en) Method for Providing Augmented Reality between Different Platform
KR20160022482A (en) Military traning monitoring system
CN111162840B (en) Method and system for setting virtual objects around optical communication device
JP2019020738A (en) Head-mounted type display device and control method of the same, and computer program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170427

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee