KR20110136028A - Augmented reality device to recognize the object using virtual point - Google Patents

Augmented reality device to recognize the object using virtual point Download PDF

Info

Publication number
KR20110136028A
KR20110136028A KR1020100055785A KR20100055785A KR20110136028A KR 20110136028 A KR20110136028 A KR 20110136028A KR 1020100055785 A KR1020100055785 A KR 1020100055785A KR 20100055785 A KR20100055785 A KR 20100055785A KR 20110136028 A KR20110136028 A KR 20110136028A
Authority
KR
South Korea
Prior art keywords
virtual
virtual point
data
reality
combination
Prior art date
Application number
KR1020100055785A
Other languages
Korean (ko)
Other versions
KR101692764B1 (en
Inventor
김재형
홍종철
권봉기
Original Assignee
주식회사 비즈모델라인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비즈모델라인 filed Critical 주식회사 비즈모델라인
Priority to KR1020100055785A priority Critical patent/KR101692764B1/en
Publication of KR20110136028A publication Critical patent/KR20110136028A/en
Application granted granted Critical
Publication of KR101692764B1 publication Critical patent/KR101692764B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: An augmented reality apparatus for recognizing an object through a virtual point is provided to accurately recognize an object within video data even though a part of an object is hidden. CONSTITUTION: An object area recognition unit(145) recognizes an object area. A color space determination unit(150) determines a color space combination value about the recognized object area. A virtual point combination unit(155) configures virtual point combination information. An object area determination unit(160) determines the corresponding object area. The corresponding object area includes a plurality of virtual points.

Description

가상 점을 통해 객체를 인식하는 증강현실 장치{Augmented Reality Device to Recognize the Object using Virtual Point}Augmented Reality Device to Recognize the Object using Virtual Point}

본 발명은 N(N>1)개의 실제현실 데이터 중 제n(1≤n<N) 실제현실 데이터를 판독하여 객체 영역을 인식하고, 상기 인식된 객체 영역에 대한 M(M>1)개의 색상공간 조합 값을 결정하고, 상기 M개의 색상공간 조합 값에 대한 가상 점을 부여하고, 상기 M개의 가상 점 정보와 가상 점 조합 순서 정보를 포함하는 가상 점 조합 정보를 구성한 후, 제(n+1) 내지 제N 실제현실 데이터를 판독하여 상기 가상 점 조합 정보에 대응하는 가상 점을 i(1≤i≤M)개 이상 포함하고, 상기 i개의 가상 점의 조합 순서가 상기 가상 점 조합 정보에 포함된 가상 점 조합 순서와 j(1≤j<M)회 이상 매칭되는 객체 영역을 상기 제n 실제현실 데이터로부터 인식된 객체 영역과 동일한 객체 영역으로 결정하는 증강현실 장치를 제공하는 것이다.
The present invention recognizes an object area by reading nth (1 ≦ n <N) real data among N (N> 1) pieces of real data, and M (M> 1) colors of the recognized object areas. After determining the spatial combination value, giving virtual points to the M color space combination values, and constructing virtual point combination information including the M virtual point information and the virtual point combination order information, the (n + 1) I) (1 ≦ i ≦ M) or more virtual points corresponding to the virtual point combination information by reading N th through N-th reality data, and the combination order of the i virtual points is included in the virtual point combination information. It is to provide an augmented reality device that determines the object region that is matched j or more times j (1≤j <M) times the same as the object region recognized from the n-th real reality data.

디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.
The reality displayed through the display device is divided into real reality, which photographs the real world through a camera, and virtual reality, which does not exist in the real world but represents a virtual world created by a computer. Fiction) Chroma-Key Reality is a combination of virtual reality filmed in front of a blue screen according to a predetermined scene scenario like a movie, and Chroma-key reality belongs to virtual reality by classification.

최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.
Recently, with the continuous development of information and communication technology, Augmented Reality, which displays virtual reality data in real time on objects in real reality, has been proposed. Augmented reality is distinguished from chromakey reality in that there is no pre-determined scene scenario like a science fiction movie, and the real reality is not photographed in front of a blue screen.

상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.
The method of determining an object to display the virtual reality data on the real reality in the augmented reality, a marker method for displaying the virtual reality data on the marker after displaying a marker (Marker) in the real reality to recognize the marker Augmented reality and markerless augmented reality exist for displaying virtual reality data by directly recognizing objects on the reality without displaying a marker on the reality. Currently, there are several demonstration services for marker augmented reality using each marker. However, there is no standardization of marker composition, and markerless augmented reality uses the reality of shooting a predetermined object in a studio. Except for this, the instability of object recognition has not been demonstrated.

또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글, 유리창 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다.
In addition, as a method of displaying virtual reality data in the augmented reality in the augmented reality, the object is recognized in a marker / markerless method from a real reality captured by the camera and stored in the storage medium and the virtual reality data on the recognized object And a method of recognizing an object in a marker / markerless manner and displaying virtual reality data on the recognized object from a real reality photographed in real time through a camera. It uses transparent objects (e.g. glasses, goggles, windows, etc.) that the human eye looks beyond the real reality without photographing the reality as a transparent display, and through the sensor technology, the human eye sees objects beyond the transparent display. There is a theoretical method for recognizing and displaying virtual reality data on the transparent display. .

한편 상기 마커리스 방식으로 객체를 인식하는 경우, 객체를 인식할 수 있는 조건이 설정된 스튜디오에서 촬영된 실제현실 데이터를 판독하는 경우 상기 가상현실 데이터를 출력할 객체를 비교적 용이하게 인식할 수 있지만, 상기와 같은 조건이 설정되지 않은 환경 또는 실제현실 데이터에 노이즈가 발생한 환경에서 촬영된 실제현실 데이터를 판독하여 객체를 인식하는 것은 매우 난해하다. 더구나 상기 실제현실 데이터가 동영상인 경우, 상기 동영상의 비디오 데이터를 마커리스 방식으로 판독하여 객체를 인식하는 것은 더욱더 난해하다.
On the other hand, when the object is recognized in the markerless manner, when reading the real data photographed in the studio in which the condition for recognizing the object is set, the object to output the virtual reality data can be relatively easily recognized. It is very difficult to recognize the object by reading the real data photographed in the environment where the condition is not set or the noise is generated in the real data. Furthermore, when the reality data is a moving picture, it is more difficult to recognize the object by reading the video data of the moving picture in a markerless manner.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, N(N>1)개의 실제현실 데이터에 대한 색상공간 조합을 통해 객체를 인식하는 증강현실 장치에서, 상기 N개의 실제현실 데이터 중 제n(1≤n<N) 실제현실 데이터를 판독하여 객체 영역을 인식하고, 상기 인식된 객체 영역에 대한 M(M>1)개의 색상공간 조합 값을 결정하고, 상기 M개의 색상공간 조합 값에 대한 가상 점을 부여하고, 상기 M개의 가상 점 정보와 가상 점 조합 순서 정보를 포함하는 가상 점 조합 정보를 구성한 후, 제(n+1) 내지 제N 실제현실 데이터를 판독하여 상기 가상 점 조합 정보에 대응하는 가상 점을 i(1≤i≤M)개 이상 포함하고, 상기 i개의 가상 점의 조합 순서가 상기 가상 점 조합 정보에 포함된 가상 점 조합 순서와 j(1≤j<M)회 이상 매칭되는 객체 영역을 상기 제n 실제현실 데이터로부터 인식된 객체 영역과 동일한 객체 영역으로 결정하는 것이다.
An object of the present invention for solving the above problems, in the augmented reality device that recognizes the object through a color space combination for the N (N> 1) real reality data, the n ( 1≤n <N) Reality data is read to recognize the object area, M (M> 1) color space combination values for the recognized object area are determined, and the virtual value of the M color space combination values is determined. After assigning a point and constructing virtual point combination information including the M virtual point information and the virtual point combination order information, the (n + 1) to Nth real reality data are read to correspond to the virtual point combination information. I (1 ≦ i ≦ M) or more virtual points, and the combination order of the i virtual points matches j (1 ≦ j <M) times or more with the virtual point combination order included in the virtual point combination information. The object area to be derived from the n-th real reality data To determine the same object region and object region sikdoen.

본 발명에 따른 가상 점을 통해 객체를 인식하는 증강현실 장치는, N(N>1)개의 실제현실 데이터에 대한 색상공간 조합을 통해 객체를 인식하는 증강현실 장치에 있어서, 상기 N개의 실제현실 데이터 중 제n(1≤n<N) 실제현실 데이터를 판독하여 객체 영역을 인식하는 객체 영역 인식부와, 상기 인식된 객체 영역에 대한 M(M>1)개의 색상공간 조합 값을 결정하는 색상공간 결정부와, 상기 M개의 색상공간 조합 값에 대한 가상 점을 부여하고, 상기 M개의 가상 점 정보와 가상 점 조합 순서 정보를 포함하는 가상 점 조합 정보를 구성하는 가상 점 조합부와, 제(n+1) 내지 제N 실제현실 데이터를 판독하여 상기 가상 점 조합 정보에 대응하는 가상 점을 i(1≤i≤M)개 이상 포함하고, 상기 i개의 가상 점의 조합 순서가 상기 가상 점 조합 정보에 포함된 가상 점 조합 순서와 j(1≤j<M)회 이상 매칭되는 객체 영역을 상기 제n 실제현실 데이터로부터 인식된 객체 영역과 동일한 객체 영역으로 결정하는 객체 영역 결정부를 구비한다.
The augmented reality device for recognizing an object through a virtual point according to the present invention, in the augmented reality device for recognizing the object through a color space combination for N (N> 1) real reality data, the N pieces of reality data An object region recognizing unit for recognizing an object region by reading n th (1 ≦ n <N) real data and a color space for determining M (M> 1) color space combination values for the recognized object region A virtual point combination unit for assigning virtual points to the M color space combination values and constituting virtual point combination information including the M virtual point information and the virtual point combination order information; +1) to N-th actual reality data to include i (1 ≦ i ≦ M) or more virtual points corresponding to the virtual point combination information, and the combination order of the i virtual points is the virtual point combination information. The order of virtual point combinations and an object region determiner configured to determine an object region matched j or more times (1 ≦ j <M) times as an object region identical to the object region recognized from the n-th real reality data.

본 발명에 따른 가상 점을 통해 객체를 인식하는 증강현실 장치에 있어서, 상기 색상공간 결정부는, 상기 인식된 객체 영역의 픽셀을 k개의 픽셀 영역으로 분할한 후, 각 픽셀 영역의 색상 값의 평균 값을 결정하고, 상기 픽셀 영역 별 색상 평균 값을 통해 상기 M개의 색상공간 조합 값을 결정할 수 있다.
In the augmented reality device that recognizes an object through a virtual point according to the present invention, the color space determiner, after dividing the pixel of the recognized object area into k pixel areas, the average value of the color value of each pixel area The M color space combination values may be determined based on the color average value for each pixel region.

본 발명에 따른 가상 점을 통해 객체를 인식하는 증강현실 장치에 있어서, 상기 가상 점 조합부는, 제m(1≤m<M) 가상 점의 색상공간 값에 대응하는 픽셀 중 어느 하나의 픽셀(m)이 제(m+1) 가상 점의 색상공간 값에 대응하는 픽셀 중 어느 하나의 픽셀(m+1)과 중복되도록 셀 결합 방식으로 조합할 수 있다.
In the augmented reality device that recognizes an object through a virtual point according to the present invention, the virtual point combination unit, m (1≤m <M) of any one pixel of the pixel corresponding to the color space value of the virtual point (m) ) May be combined in a cell combining manner so as to overlap with any one pixel m + 1 of the pixel corresponding to the color space value of the (m + 1) th virtual point.

본 발명에 따르면, N(N>1)개의 비디오 데이터로 이루어진 동영상에서 각 비디오 데이터를 판독하는 것이 아니라, 상기 N개의 비디오 데이터 중 제n(1≤n<N) 비디오 데이터에서 객체 영역을 인식한 후, 제(n+1) 내지 제N 비디오 데이터는 상기 제n 비디오 데이터에 포함된 색상공간 조합 값에 대한 가상 점 조합을 판별하여 객체를 인식함으로써, 동영상의 비디오 데이터에 포함된 객체를 마커리스 방식으로 고속 인식하는 이점과, 상기 객체의 일부가 가려지거나 상기 비디오 데이터에서 사라지더라도 상기 제(n+1) 내지 제N 비디오 데이터에 포함된 객체를 정확하게 인식하는 이점이 있다.
According to the present invention, instead of reading each video data from a video composed of N (N> 1) video data, the object region is recognized from the nth (1 ≦ n <N) video data among the N video data. Subsequently, the (n + 1) to N-th video data recognizes the object by determining a virtual point combination with respect to the color space combination value included in the n-th video data, thereby markerless the object included in the video data of the video. Fast recognition in a manner, and even if part of the object is hidden or disappears from the video data has the advantage of accurately recognizing the objects contained in the (n + 1) to N-th video data.

도 1은 본 발명의 실시 방법에 따른 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 색상공간 조합 값을 결정하는 구성을 예시한 것이다.
도 3은 본 발명의 실시 방법에 따른 가상 점 구성을 예시한 것이다.
도 4는 본 발명의 실시 방법에 따른 가상 점을 통해 객체를 인식하는 구성을 예시한 것이다.
도 5는 본 발명의 실시 방법에 따른 색상공간 조합의 변형을 인식하는 구성을 예시한 것이다.
도 6은 본 발명의 실시 방법에 따라 가상 점을 통해 객체를 인식하는 과정을 도시한 도면이다.1 is a view showing a configuration of augmented reality device according to an embodiment of the present invention.
2 illustrates a configuration for determining a color space combination value according to an embodiment of the present invention.
3 illustrates a virtual point configuration according to an embodiment of the present invention.
4 illustrates a configuration of recognizing an object through a virtual point according to an embodiment of the present invention.
Figure 5 illustrates a configuration for recognizing the deformation of the color space combination according to the embodiment of the present invention.
6 is a diagram illustrating a process of recognizing an object through a virtual point according to an exemplary embodiment of the present invention.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
Hereinafter, with reference to the accompanying drawings and description will be described in detail the operating principle of the preferred embodiment of the present invention. However, the drawings and the following description shown below are for the preferred method among various methods for effectively explaining the features of the present invention, the present invention is not limited only to the drawings and description below. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, terms to be described below are terms defined in consideration of functions in the present invention, which may vary according to a user's or operator's intention or custom. Therefore, the definition should be made based on the contents throughout the present invention.

아울러 하기에 도시되는 실시예에서 본 발명의 기술적 특징을 보다 명확하게 설명하기 위해 각 용어의 서두에 "제1" 또는 "제2"와 같은 형태의 식별부호를 첨부하여 설명할 것이나, 상기 식별부호는 각 용어를 식별하기 위한 것일 뿐 상기 식별부호에 의해 각 용어가 다른 기능과 역할을 수행하는 것으로 구별 또는 한정되는 것은 결코 아님을 명백하게 밝혀두는 바이다.
In addition, in the examples shown below, in order to more clearly describe the technical features of the present invention, an identification code of a form such as "first" or "second" will be described at the beginning of each term, but the identification code will be described. Is merely to identify each term, and it is to be clearly understood that the term is not distinguished or limited by each term to perform a different function and role.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
As a result, the technical spirit of the present invention is determined by the claims, and the following examples are one means for efficiently explaining the technical spirit of the present invention to those skilled in the art to which the present invention pertains. It is only.

도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.
1 is a view showing the configuration of augmented reality device 100 according to an embodiment of the present invention.

보다 상세하게 본 도면1은 N(N>1)개의 실제현실 데이터에 대한 색상공간 조합을 통해 객체를 인식하는 증강현실 장치(100)에서, 상기 N개의 실제현실 데이터 중 제n(1≤n<N) 실제현실 데이터를 판독하여 객체 영역을 인식하고, 상기 인식된 객체 영역에 대한 M(M>1)개의 색상공간 조합 값을 결정하고, 상기 M개의 색상공간 조합 값에 대한 가상 점을 부여하고, 상기 M개의 가상 점 정보와 가상 점 조합 순서 정보를 포함하는 가상 점 조합 정보를 구성한 후, 제(n+1) 내지 제N 실제현실 데이터를 판독하여 상기 가상 점 조합 정보에 대응하는 가상 점을 i(1≤i≤M)개 이상 포함하고, 상기 i개의 가상 점의 조합 순서가 상기 가상 점 조합 정보에 포함된 가상 점 조합 순서와 j(1≤j<M)회 이상 매칭되는 객체 영역을 상기 제n 실제현실 데이터로부터 인식된 객체 영역과 동일한 객체 영역으로 결정하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, in FIG. 1, in the augmented reality device 100 that recognizes an object through color space combinations for N (N> 1) pieces of real data, n (1 ≦ n < N) read the real data to recognize the object area, determine M (M> 1) color space combination values for the recognized object area, give virtual points for the M color space combination values, and And constructing virtual point combination information including the M virtual point information and the virtual point combination order information, and reading the (n + 1) to Nth real reality data to obtain a virtual point corresponding to the virtual point combination information. an object region including i (1 ≦ i ≦ M) or more, wherein the combination order of the i virtual points matches j (1 ≦ j <M) times or more with the virtual point combination order included in the virtual point combination information; Same as the object area recognized from the n-th real reality data As the configuration of the object region, a person having ordinary knowledge in the art to which the present invention pertains may refer to and / or modify the drawing 1 and various implementation methods for the augmented reality device 100 configuration ( For example, some components may be omitted, subdivided, or combined). However, the present invention includes all implementation methods inferred from the above description, and only the implementation method illustrated in FIG. Features are not limited.

본 발명의 증강현실 장치(100)는 실제현실 데이터를 획득하는 기능, 가상현실 데이터를 획득하는 기능, 상기 실제현실 데이터로부터 가상현실 데이터를 표시할 객체를 결정하는 기능, 상기 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하여 출력하는 기능을 구비한 장치의 총칭으로서, 상기 실제현실 데이터를 획득하는 방식, 가상현실 데이터를 획득하는 방식, 객체를 결정하는 방식 및 상기 객체에 가상현실 데이터를 표시하는 방식에 의해 한정되지 아니한다. 예를들어, 상기 실제현실 데이터는 카메라를 통해 실시간 입력되거나, 또는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신될 수 있다. 상기 가상현실 데이터는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 미리 준비된 하나 이상의 폴리곤(Polygon) 데이터와 텍스쳐(Texture) 데이터를 조합하여 실시간 생성될 수 있다. 상기 객체에 가상현실 데이터를 표시하는 방식은 실제현실 데이터와 가상현실 데이터를 조합한 하나의 출력 데이터를 생성하여 표시하는 방식, 출력 데이터에 실제현실 계층(Layer)와 가상현실 계층을 구비하고 실제현실 데이터는 실제현실 계층에 표시하고 가상현실 데이터는 가상현실 계층에 표시하는 방식, 투명 디스플레이 너머의 객체 위치에 가상현실 데이터만 표시하는 방식이 사용될 수 있다.
The augmented reality device 100 of the present invention has a function of acquiring the reality data, the function of acquiring the virtual reality data, the function of determining the object to display the virtual reality data from the reality data, the object on the reality data A generic term for a device having a function of displaying and outputting virtual reality data, the method of acquiring the virtual reality data, the method of acquiring the virtual reality data, the method of determining the object, and the method of displaying the virtual reality data on the object. It is not limited by. For example, the reality data may be input in real time through a camera, stored in a memory in the device, or received through a communication network. The virtual reality data may be stored in memory in the device, received through a communication network, or generated in real time by combining one or more polygon data and texture data prepared in advance. The method of displaying virtual reality data on the object is a method of generating and displaying a single output data combining real reality data and virtual reality data, and having a reality layer and a virtual reality layer on the output data. The data may be displayed in the reality layer, the virtual data may be displayed in the virtual reality layer, or the method may be used to display only the virtual data in the position of the object beyond the transparent display.

또한, 상기 증강현실 장치(100)는 장치를 구성하는 구조에 의해 한정되지 아니한다. 예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.
In addition, the augmented reality device 100 is not limited by the structure constituting the device. For example, the augmented reality device 100 is in the form of a stand-alone device with each component unit integrated in one case, the form of an interlocking device provided separately from each component connected to two or more devices, installed in a specific object / building / space It may be implemented in the form and the like.

도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(105), 메모리부(135) 및 출력부(110)를 구비하며, 실제현실 데이터를 획득하는 방식에 따라 카메라부(130)를 더 구비하고, 가상현실 데이터를 획득하는 방식에 따라 통신부(120)를 더 구비하고, 실제현실 데이터 상의 객체를 결정하는 방식에 따라 센서부(125)를 더 구비하고, 사용자 조작을 위한 조작부(115)를 더 구비할 수 있다.
Referring to FIG. 1, the augmented reality device 100 includes a control unit 105, a memory unit 135, and an output unit 110. The augmented reality device 100 includes a camera unit 130 according to a method of acquiring real data. In addition, further comprising a communication unit 120 according to the method of acquiring the virtual reality data, further comprising a sensor unit 125 in accordance with the method of determining the object on the real data, the operation unit 115 for user operation ) May be further provided.

상기 제어부(105)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(105) 내에 도시하여 설명하기로 한다.
The control unit 105 physically includes a processor, an execution memory, and a bus, and functionally records a function of processing a program included in the augmented reality device 100 to be loaded into the execution memory and operated by the processor. To perform. 1 will be described with reference to the program component provided in the augmented reality device 100 in the controller 105 for convenience.

상기 메모리부(135)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(105)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.
The memory unit 135 includes a nonvolatile memory and functionally stores a program medium to be loaded into the control unit 105 and a storage medium for storing and maintaining a data set used by the program code. Here, the program code includes a system program code for operating / controlling the basic operations of the augmented reality device 100, and an application program code for providing various application services provided in the augmented reality device 100.

본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 실제현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(135)는 상기 실제현실 데이터를 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
According to an embodiment of the present invention, the memory unit 135 may store the reality data, and in this case, the memory unit 135 may perform a function of the reality acquisition means for acquiring the reality data. have.

본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 가상현실 데이터를 저장할 수 있으며, 이 경우 상기 메모리부(135)는 상기 가상현실 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.
According to the exemplary embodiment of the present invention, the memory unit 135 may store the virtual reality data, and in this case, the memory unit 135 may perform a function of a virtual reality acquiring means for acquiring the virtual reality data. have.

상기 출력부(110)는 실제현실 데이터 상의 객체에 가상현실 데이터를 표시하는 출력장치를 포함하며, LCD와 같은 일반 출력장치와 안경, 고글, 유리창과 같은 투명 출력장치 중 어느 하나를 포함할 수 있다.
The output unit 110 may include an output device for displaying virtual reality data on an object on the real data, and may include any one of a general output device such as an LCD and a transparent output device such as glasses, goggles, and glass windows. .

상기 카메라부(130)는 광학부와 CCD(Charge Coupled Device)로 구성된 카메라로부터 래스터(Raster) 기반의 실제현실 데이터를 비트맵 방식으로 독출하는 장치를 포함한다. 여기서, 상기 실제현실 데이터는 이미지 데이터 또는 동영상 데이터를 포함할 수 있다. 본 발명에 따르면, 상기 카메라부(130)는 상기 획득되는 실제현실 데이터 중 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 센서부(125)의 기능을 더 수행할 수 있다.
The camera unit 130 includes a device that reads raster-based real reality data in a bitmap manner from a camera composed of an optical unit and a charge coupled device (CCD). In this case, the reality data may include image data or video data. According to the present invention, the camera unit 130 may further perform a function of the sensor unit 125 to selectively acquire only specific data necessary for sensor input among the obtained actual reality data.

본 발명의 실시 방법에 따르면, 상기 카메라부(130)는 상기 실제현실 데이터를 실시간 획득하는 실제현실 획득수단의 기능을 수행할 수 있다.
According to the exemplary embodiment of the present invention, the camera unit 130 may perform a function of a real reality acquiring means for acquiring the real data in real time.

상기 통신부(120)는 어느 하나의 통신 규격과 프로토콜에 따라 유선 통신망과 무선 통신망 중 어느 하나의 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망을 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.
The communication unit 120 includes a communication module for connecting to any one of a wired communication network and a wireless communication network according to any one communication standard and protocol, and connects the communication network with a server (or device) and a communication channel or other Performs a function of connecting the augmented reality device 100 and the communication channel.

본 발명의 실시 방법에 따르면, 상기 통신부(120)는 통신망 상의 서버(또는 장치)에 저장된 실제현실 데이터를 수신하는 실제현실 획득수단의 기능을 수행할 수 있다.
According to the exemplary embodiment of the present invention, the communication unit 120 may perform a function of a reality acquisition means for receiving reality data stored in a server (or device) on a communication network.

본 발명의 실시 방법에 따르면, 상기 통신부(120)는 통신망 상의 서버(또는 장치)에 저장된 가상현실 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.
According to an embodiment of the present invention, the communication unit 120 may perform a function of virtual reality acquiring means for receiving virtual reality data stored in a server (or device) on a communication network.

상기 센서부(125)는 어느 하나의 센서로부터 아날로그 신호 또는 디지털 신호 형태의 센서신호를 획득하는 장치를 포함한다. 여기서, 상기 센서는 환경 변화에 따라 전기적 신호(예컨대, 저항, 전류, 전압)를 발생시키는 전기적 신호 센서와, 상기 카메라와 같이 실제현실 데이터를 획득한 후 상기 실제현실 데이터 중 센서 입력에 필요한 특정 데이터만 선택적으로 획득하는 카메라 센서를 포함할 수 있다. 본 발명에 따르면, 상기 센서가 카메라 센서를 포함하는 경우 상기 센서부(125)는 상기 카메라부(130)와 통합될 수 있다.
The sensor unit 125 includes an apparatus for obtaining a sensor signal in the form of an analog signal or a digital signal from any one sensor. Here, the sensor is an electrical signal sensor for generating an electrical signal (for example, resistance, current, voltage) in accordance with environmental changes, and the specific data required for sensor input among the real data after acquiring the real data, such as the camera Only optionally may include a camera sensor to acquire. According to the present invention, when the sensor includes a camera sensor, the sensor unit 125 may be integrated with the camera unit 130.

상기 조작부(115)는 상기 증강현실 장치(100)에 사용자 조작이 필요한 경우, 상기 사용자 조작을 입력받는 장치를 포함한다. 상기 조작부(115)는 키 버튼을 구비하여 사용자 조작에 필요한 정보를 키 입력받는 키 입력 모듈과, 상기 출력부(110)와 연동하여 통해 사용자 조작에 필요한 정보를 입력받는 터치 스크린 모듈을 포함하며, 상기 카메라부(130) 또는 센서부(125)와 연동하여 사용자의 손 동작, 몸 동작 및 눈 움직임 중 어느 하나를 인식하여 사용자 조작에 필요한 정보를 입력받는 사용자 인식 모듈을 더 포함할 수 있다.
The manipulation unit 115 includes a device that receives the user manipulation when the augmented reality device 100 requires user manipulation. The operation unit 115 includes a key input module including a key button to receive information required for user operation and a touch screen module to receive information required for user operation through interworking with the output unit 110. The electronic device may further include a user recognition module configured to recognize any one of a user's hand motion, a body motion, and an eye movement in cooperation with the camera unit 130 or the sensor unit 125 to receive information necessary for user operation.

도면1을 참조하면, 상기 증강현실 장치(100)는, 하나 이상의 실제현실 획득수단을 통해 실제현실 데이터를 입력하는 실제현실 입력부(140)와, 상기 N개의 실제현실 데이터 중 제n(1≤n<N) 실제현실 데이터를 판독하여 객체 영역을 인식하는 객체 영역 인식부(145)와, 상기 인식된 객체 영역에 대한 M(M>1)개의 색상공간 조합 값을 결정하는 색상공간 결정부(150)와, 상기 M개의 색상공간 조합 값에 대한 가상 점을 부여하고, 상기 M개의 가상 점 정보와 가상 점 조합 순서 정보를 포함하는 가상 점 조합 정보를 구성하는 가상 점 조합부(155)와, 제(n+1) 내지 제N 실제현실 데이터를 판독하여 상기 가상 점 조합 정보에 대응하는 가상 점을 i(1≤i≤M)개 이상 포함하고, 상기 i개의 가상 점의 조합 순서가 상기 가상 점 조합 정보에 포함된 가상 점 조합 순서와 j(1≤j<M)회 이상 매칭되는 객체 영역을 상기 제n 실제현실 데이터로부터 인식된 객체 영역과 동일한 객체 영역으로 결정하는 객체 영역 결정부(160)와, 상기 객체 영역에 대응하는 객체에 표시할 가상현실 데이터를 결정하는 가상현실 결정부(165)와, 하나 이상의 가상현실 획득수단을 통해 상기 결정된 가사현실 데이터를 입력하는 가상현실 입력부(170)와, 상기 가상현실 데이터를 상기 실제현실 데이터 상의 객체에 표시하여 상기 출력부(110)를 통해 출력하는 증강현실 출력부(175)를 구비한다. 본 발명의 실시 방법에 따르면, 상기 실제현실 입력부(140), 객체 영역 인식부(145), 색상공간 결정부(150), 가상 점 조합부(155), 객체 영역 결정부(160), 가상현실 결정부(165) 중 하나 이상의 구성부는 상기 제어부(105), 메모리부(135), 출력부(110), 센서부(125), 카메라부(130) 및 통신부(120)를 구비한 증강현실 장치(100)와 연결된 서버에 구비될 수 있으며, 실시 방법에 따라 일부 구성요소는 증강현실 장치(100)에 구비되고 나머지 구성부는 상기 서버에 구비될 수 있다.
Referring to FIG. 1, the augmented reality apparatus 100 may include a real reality input unit 140 that inputs real reality data through at least one real reality acquisition means, and nth (1 ≦ n) of the N pieces of real data. <N) an object area recognition unit 145 for recognizing the object area by reading real data, and a color space determination unit 150 for determining M (M> 1) color space combination values for the recognized object area. And virtual point combination unit 155 for assigning virtual points to the M color space combination values, and configuring virtual point combination information including the M virtual point information and the virtual point combination order information. read (n + 1) to N-th actual reality data and include at least i (1 ≦ i ≦ M) virtual points corresponding to the virtual point combination information, and the combination order of the i virtual points is the virtual point; J (1≤j <M) times and the virtual point combination order included in the combination information An object region determination unit 160 that determines a matching object region as an object region identical to the object region recognized from the n-th real reality data, and virtual reality that determines virtual reality data to be displayed on an object corresponding to the object region. A determination unit 165, a virtual reality input unit 170 for inputting the determined house reality data through one or more virtual reality acquisition means, and the output unit 110 by displaying the virtual reality data on an object on the reality data; It is provided with an augmented reality output unit 175 to output through. According to an embodiment of the present invention, the real reality input unit 140, the object region recognition unit 145, the color space determination unit 150, the virtual point combination unit 155, the object region determination unit 160, virtual reality At least one component of the determining unit 165 includes an augmented reality device including the control unit 105, the memory unit 135, the output unit 110, the sensor unit 125, the camera unit 130, and the communication unit 120. It may be provided in the server connected to (100), according to the implementation method some components may be provided in the augmented reality device 100 and the remaining components may be provided in the server.

상기 실제현실 입력부(140)는 상기 카메라부(130)를 통해 입력되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(110)를 통해 출력할 실제현실 데이터로 입력하거나, 또는 상기 메모리부(135)에 저장되어 있거나 또는 상기 메모리부(135)로 실시간 저장되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(110)를 통해 출력할 실제현실 데이터로 입력하거나, 또는 상기 통신부(120)를 통해 수신되는 데이터를 가상현실 데이터를 표시하여 상기 출력부(110)를 통해 출력할 실제현실 데이터로 입력한다.
The reality input unit 140 inputs the data input through the camera unit 130 as the reality data to be output through the output unit 110 by displaying virtual reality data, or the memory unit 135. The data stored in or stored in real time in the memory unit 135 is input as real data to be output through the output unit 110 to display virtual reality data, or received through the communication unit 120 The data is displayed as the virtual reality data to be output through the output unit 110 and the actual reality data to be input.

본 발명의 실시 방법에 따르면, 상기 실제현실 입력부(140)는 N(N>1)개의 실제현실 데이터를 제1 실제현실 데이터부터 제N 실제현실 데이터까지 순차적으로 입력한다.
According to the exemplary embodiment of the present invention, the reality input unit 140 sequentially inputs N (N> 1) pieces of reality data from the first reality data to the Nth reality data.

만약 상기 실제현실 입력부(140)를 통해 입력되는 N개의 실제현실 데이터 중 제n(1≤n<N) 실제현실 데이터가 입력되면, 상기 객체 영역 인식부(145)는 상기 제n 실제현실 데이터로부터 색상/채도 값을 추출하고, 상기 추출된 색상/채도 값을 판독하여 상기 색상/채도를 기준으로 구분되는 영역의 경계 선을 확인한 후, 상기 경계 선을 기준으로 상기 실제현실 데이터에 포함된 객체 영역을 인식한다.
If n (1 ≦ n <N) real reality data among N pieces of real data inputted through the real reality input unit 140 are input, the object region recognizing unit 145 may generate the data from the nth real reality data. After extracting the hue / saturation value and reading the extracted hue / saturation value to check the boundary line of the area divided based on the hue / saturation value, the object area included in the real data based on the boundary line Recognize.

상기 객체 영역이 인식되면, 상기 색상공간 결정부(150)는 도면2와 같이 상기 인식된 객체 영역에 대한 M(M>1)개의 색상공간 조합 값을 결정한다.
When the object region is recognized, the color space determiner 150 determines M (M> 1) color space combination values for the recognized object region as shown in FIG. 2.

여기서, 상기 색상공간 조합 값은, m(m≥3)각형의 기하학 구조의 각 꼭지점 위치에 m개의 색상을 포함하여 이루어진 색상공간을 포함한다.
Here, the color space combination value includes a color space including m colors at each vertex position of the m (m ≧ 3) polygonal geometry.

본 발명의 실시 방법에 따르면, 상기 색상공간 결정부(150)는, 상기 객체 영역의 경계 영역으로부터 상기 색상공간 조합 값을 결정하거나, 또는 상기 객체 영역 중 색상 값이 다양한 영역, 또는 보색 관계의 색상 값을 포함하고 있는 영역으로부터 상기 색상공간 조합 값을 결정할 수 있다.
According to the exemplary embodiment of the present invention, the color space determination unit 150 determines the color space combination value from the boundary region of the object region, or the region having various color values or the complementary color relationship of the object region. The color space combination value may be determined from an area including the value.

본 발명의 실시 방법에 따르면, 상기 색상공간 결정부(150)는, 상기 인식된 객체 영역의 픽셀을 k개의 픽셀 영역으로 분할한 후, 각 픽셀 영역의 색상 값의 평균 값을 결정하고, 상기 픽셀 영역 별 색상 평균 값을 통해 상기 M개의 색상공간 조합 값을 결정할 수 있다.
According to the exemplary embodiment of the present invention, the color space determiner 150 divides the pixel of the recognized object region into k pixel regions, and then determines an average value of color values of each pixel region, The M color space combination values may be determined through color average values for respective regions.

상기 제n 실제현실 데이터로부터 색상공간 조합 값이 결정되면, 상기 가상 점 조합부(155)는 도면3과 같이 상기 M개의 색상공간 조합 값에 대한 M개의 가상 점을 부여하고, 상기 부여된 M개의 가상 점 정보와 가상 점 조합 순서 정보를 포함하는 가상 점 조합 정보를 구성한다.
When the color space combination value is determined from the nth reality data, the virtual point combination unit 155 assigns M virtual points to the M color space combination values as shown in FIG. Virtual point combination information including virtual point information and virtual point combination order information is configured.

본 발명의 실시 방법에 따르면, 상기 가상 점 조합부(155)는 도면3 또는 도면4에 도시된 바와 같이 상기 M개의 가상 점 중 제m(1≤m<M) 가상 점의 색상공간 값에 대응하는 픽셀 중 어느 하나의 픽셀(m)이 제(m+1) 가상 점의 색상공간 값에 대응하는 픽셀 중 어느 하나의 픽셀(m+1)과 중복되도록 셀 결합 방식으로 조합한다.
According to the exemplary embodiment of the present invention, the virtual point combination unit 155 corresponds to the color space value of the m (1 ≦ m <M) virtual points among the M virtual points as shown in FIG. 3 or FIG. 4. One of the pixels m is combined in a cell combining manner such that one pixel m overlaps with one of the pixels m + 1 corresponding to the color space value of the (m + 1) th virtual point.

상기 가상 점 조합 정보가 구성되면, 상기 객체 영역 결정부(160)는 상기 실제현실 입력부(140)를 통해 순차적으로 입력되는 제(n+1) 내지 제N 실제현실 데이터를 판독하여 상기 가상 점 조합 정보에 대응하는 가상 점을 i(1≤i≤M)개 이상 포함하고, 상기 i개의 가상 점의 조합 순서가 상기 가상 점 조합 정보에 포함된 가상 점 조합 순서와 j(1≤j<M)회 이상 매칭되는 객체 영역을 확인한 후, 상기 i개의 가상 점을 포함하고 j개의 가상 점 조합 순서에 대응하는 객체 영역을 상기 제n 실제현실 데이터로부터 인식된 객체 영역과 동일한 객체 영역으로 결정한다.
When the virtual point combination information is configured, the object region determiner 160 reads the (n + 1) to N-th real reality data sequentially input through the reality input unit 140 to perform the virtual point combination. I (1 ≦ i ≦ M) or more virtual points corresponding to the information, and the combination order of the i virtual points is equal to the virtual point combination order included in the virtual point combination information and j (1 ≦ j <M). After checking the object area that is matched more than once, an object area including the i virtual points and corresponding to the j virtual point combination order is determined as the same object area as the object area recognized from the n-th real data.

본 발명의 실시 방법에 따르면, 제(n+1) 내지 제N 실제현실 데이터로부터 검출되는 가상 점에 대응하는 색상공간 조합 값에 포함된 색상 값들은 도면5에 예시된 바와 같이 상기 실제현실 데이터를 촬영하는 조명의 영향에 의해 특정 색상 값으로 쉬프트(Shift)되는 색상 변형 값을 포함할 수 있으며, 상기 객체 영역 결정부(160)는 상기 색상 값의 쉬프트를 인식하여 상기 제(n+1) 내지 제N 실제현실 데이터로부터 상기 i개의 가상 점을 포함하고 j개의 가상 점 조합 순서에 대응하는 객체 영역을 검출할 수 있다.
According to the exemplary embodiment of the present invention, the color values included in the color space combination values corresponding to the virtual points detected from the (n + 1) th to N th real reality data are converted into the real data as illustrated in FIG. 5. It may include a color deformation value shifted to a specific color value by the effect of the illumination to be photographed, the object region determiner 160 recognizes the shift of the color value to the (n + 1) to An object region including the i virtual points and corresponding to the j virtual point combination order may be detected from the N-th real data.

상기 가상현실 결정부(165)는 상기 제n 실제현실 데이터로부터 검출된 객체 영역에 대응하는 객체 및 상기 제(n+1) 내지 제N 실제현실 데이터로부터 검출된 객체 영역에 대응하는 객체에 표시할 가상현실 데이터를 결정한다. 만약 상기 실제현실 데이터 상의 객체에 표시할 가사현실 데이터가 어느 하나의 가상현실 데이터로 고정되는 경우, 상기 가상현실 결정부(165)는 상기 고정된 상기 객체 인식부를 통해 인식된 객체에 표시할 가상현실 데이터를 결정할 수 있다.
The virtual reality determiner 165 may display the object corresponding to the object area detected from the nth real reality data and the object corresponding to the object area detected from the (n + 1) to Nth real reality data. Determine virtual reality data. If the virtual reality data to be displayed on the object on the real data is fixed to one virtual reality data, the virtual reality determination unit 165 is a virtual reality to be displayed on the object recognized through the fixed object recognition unit The data can be determined.

상기 가상현실 입력부(170)는 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 실시간 생성되는 가상현실 데이터 중 상기 가상현실 결정부(165)를 통해 결정된 가상현실 데이터를 상기 실제현실 데이터의 객체에 표시할 가상현실 데이터로 입력한다.
The virtual reality input unit 170 stores the virtual reality data, which is stored in a memory, received through a communication network, or generated in real time through the virtual reality determiner 165 of the virtual reality data, the object of the reality data. Enter the virtual reality data to be displayed in.

상기 증강현실 출력부(175)는 상기 실제현실 입력부(140)를 통해 입력되는 실제현실 데이터 상의 객체에 상기 가상현실 입력부(170)를 통해 입력되는 가상현실 데이터를 표시한 후, 상기 출력부(110)를 통해 출력한다.
The augmented reality output unit 175 displays the virtual reality data input through the virtual reality input unit 170 on the object on the real data input through the reality input unit 140, the output unit 110 )

본 발명의 일 실시 방법에 따르면, 상기 증강현실 출력부(175)는 상기 실제현실 데이터 상의 객체에 투명영역을 포함하는 가상현실 데이터를 중첩시켜 증강현실 데이터를 생성한 후, 상기 증강현실 데이터를 상기 출력부(110)를 통해 출력할 수 있다.
According to an exemplary embodiment of the present invention, the augmented reality output unit 175 generates augmented reality data by superimposing virtual reality data including a transparent area on an object on the reality data, and then augments the augmented reality data. It can be output through the output unit 110.

본 발명의 다른 일 실시 방법에 따르면, 상기 증강현실 출력부(175)는 실제현실 계층과 가상현실 계층을 포함하는 증강현실 데이터 포맷을 구성한 후, 상기 증강현실 데이터 포맷의 실제현실 계층에 상기 실제현실 데이터를 출력하고 상기 실제현실 데이터의 객체 위치에 대응하는 가상현실 계층에 가상현실 데이터를 출력하여 상기 출력부(110)를 통해 출력할 수 있다.
According to another exemplary embodiment of the present invention, the augmented reality output unit 175 configures an augmented reality data format including a reality layer and a virtual reality layer, the reality in the reality layer of the augmented reality data format The virtual reality data may be output to the virtual reality layer corresponding to the object position of the real data, and output through the output unit 110.

본 발명의 또다른 일 실시 방법에 따르면, 상기 출력부(110)가 투명 디스플레이를 포함하는 경우, 상기 증강현실 출력부(175)는 상기 객체 인식부를 통해 결정된 투명 디스플레이 상의 객체 위치에 상기 가상현실 데이터만 표시하여 출력할 수 있다.
According to another embodiment of the present invention, when the output unit 110 includes a transparent display, the augmented reality output unit 175 is the virtual reality data at the object position on the transparent display determined by the object recognition unit Only the output can be displayed.

도면2는 본 발명의 실시 방법에 따른 색상공간 조합 값을 결정하는 구성을 예시한 것이다.
Figure 2 illustrates a configuration for determining the color space combination value according to an embodiment of the present invention.

도면2를 참조하면, 상기 색상공간 결정부(150)는 객체 영역을 구성하는 픽셀의 색상공간 조합을 결정하고, 상기 색상공간 조합에 대한 가상 점을 부여한다. 여기서, 상기 가상 점은 특정 픽셀의 위치와 무관하게 색상공간의 조합을 식별하는 가상의 점으로 부여된다.
Referring to FIG. 2, the color space determiner 150 determines a color space combination of pixels constituting an object area and provides a virtual point for the color space combination. Here, the virtual point is given as a virtual point for identifying a combination of color spaces regardless of the position of a specific pixel.

본 발명의 실시 방법에 따르면, 상기 색상공간 결정부(150)는 상기 M개의 색상공간 조합 값 및 상기 M개의 색상공간 조합 값에 대한 M개의 가상 점을 보다 고속으로 부여하기 위해 상기 객체 영역의 픽셀을 k개의 픽셀 영역으로 분할한 후, 각 픽셀 영역의 색상 값의 평균 값을 결정하고, 상기 픽셀 영역 별 색상 평균 값을 통해 상기 M개의 색상공간 조합 값을 결정할 수 있다.
According to the exemplary embodiment of the present invention, the color space determination unit 150 provides pixels of the object area to give M virtual points to the M color space combination values and the M color space combination values at higher speed. After k is divided into k pixel areas, the average value of the color values of each pixel area may be determined, and the M color space combination values may be determined through the color average value of each pixel area.

도면3은 본 발명의 실시 방법에 따른 가상 점 구성을 예시한 것이다.
Figure 3 illustrates a virtual point configuration according to an embodiment of the present invention.

도면3을 참조하면, 상기 가상 점 조합부(155)는 상기 도면2와 같이 결정된 M개의 색상공간 조합 값에 대한 M개의 가상 점을 부여하고, 상기 부여된 M개의 가상 점 정보와 가상 점 조합 순서 정보를 포함하는 가상 점 조합 정보를 구성한다.
Referring to FIG. 3, the virtual point combination unit 155 assigns M virtual points to M color space combination values determined as shown in FIG. 2, and the combined M virtual point information and the virtual point combination order. Configure virtual point combination information including the information.

본 발명의 실시 방법에 따르면, 상기 가상 점 조합부(155)는 상기 M개의 가상 점 중 제m(1≤m<M) 가상 점의 색상공간 값에 대응하는 픽셀 중 어느 하나의 픽셀(m)이 제(m+1) 가상 점의 색상공간 값에 대응하는 픽셀 중 어느 하나의 픽셀(m+1)과 중복되도록 셀 결합 방식으로 조합한다.
According to the exemplary embodiment of the present invention, the virtual point combination unit 155 may include any one pixel m of pixels corresponding to the color space value of the m (1 ≦ m <M) virtual points among the M virtual points. The cells are combined in a cell combining manner so as to overlap with one of the pixels m + 1 corresponding to the color space value of the (m + 1) virtual point.

도면4는 본 발명의 실시 방법에 따른 가상 점을 통해 객체를 인식하는 구성을 예시한 것이다.
4 illustrates a configuration of recognizing an object through a virtual point according to an embodiment of the present invention.

도면4를 참조하면, 상기 객체 영역 결정부(160)는 제(n+1) 내지 제N 실제현실 데이터를 판독하여 상기 가상 점 조합 정보에 대응하는 가상 점을 i(1≤i≤M)개 이상 포함하고, 상기 i개의 가상 점의 조합 순서가 상기 가상 점 조합 정보에 포함된 가상 점 조합 순서와 j(1≤j<M)회 이상 매칭되는 객체 영역을 확인한 후, 상기 i개의 가상 점을 포함하고 j개의 가상 점 조합 순서에 대응하는 객체 영역을 상기 제n 실제현실 데이터로부터 인식된 객체 영역과 동일한 객체 영역으로 결정한다.
Referring to FIG. 4, the object region determiner 160 reads (n + 1) to N-th real reality data to obtain i (1 ≦ i ≦ M) virtual points corresponding to the virtual point combination information. After checking the object region where the combination order of the i virtual points is matched with the virtual point combination order included in the virtual point combination information j (1 ≦ j <M) times or more, the i virtual points are determined. And an object area corresponding to the j virtual point combination order is determined to be the same object area as the object area recognized from the n-th real data.

상기 i개의 가상 점을 포함하고 j개의 가상 점 조합 순서에 대응하는 객체 영역을 검출함으로써, 상기 객체 영역 결정부(160)는 제n 실제현실 데이터로부터 인식된 객체의 일부분이 장애물에 가려지더라도 노출된 몇몇 가상 점들에 대한 가상 점 조합 정보를 통해 상기 객체를 인식할 수 있다.
By detecting the object region including the i virtual points and corresponding to the j virtual point combination order, the object region determiner 160 may expose the object even if a part of the object recognized from the n-th real reality data is covered by an obstacle. The object may be recognized through virtual point combination information on some of the virtual points.

즉, 도면4에서 P01과 P02, P03의 가상 점 조합 정보를 통해 객체를 인식하고자 하면, P01과 P02, P03을 통한 C01 -C02 - C03 ? C04 - C13 - C14 - C15 ? C16의 색상공간 조합을 확인하는 것만으로 해당 객체를 인식할 수 있다. 물론 상기 가상 점들이 P01~P03 보다 많은 가상 점들이라면 보다 정확한 객체를 인식할 수 있다. 여기서, 중요한 점은 가상 점들이 많고 적음 보다는 P1~Pn으로 구성된 객체의 색상공간 조합 값 중 일부분의 가상 점들의 연결을 검출하는 것만으로 상기 객체가 변화하더라도 인식이 가능하다는 점이다.
That is, in FIG. 4, if the object is recognized through the virtual point combination information of P01, P02, and P03, C01-C02-C03 through P01, P02, and P03? C04-C13-C14-C15? The object can be recognized simply by checking the color space combination of C16. Of course, if the virtual points are more virtual points than P01 to P03, a more accurate object may be recognized. Here, the important point is that even if the object changes, only by detecting the connection of the virtual points of a part of the color space combination value of the object composed of P1 to Pn rather than having many virtual points, the recognition is possible.

도면5는 본 발명의 실시 방법에 따른 색상공간 조합의 변형을 인식하는 구성을 예시한 것이다.
Figure 5 illustrates a configuration for recognizing the deformation of the color space combination according to the embodiment of the present invention.

도면5를 참조하면, 상기 객체 영역 결정부(160)는 제(n+1) 내지 제N 실제현실 데이터로부터 검출되는 가상 점에 대응하는 색상공간 조합 값에 포함된 색상 값들은 도면5에 예시된 바와 같이 상기 실제현실 데이터를 촬영하는 조명의 영향에 의해 특정 색상 값으로 쉬프트(Shift)되는 색상 변형 값을 포함할 수 있으며, 상기 객체 영역 결정부(160)는 상기 색상 값의 쉬프트를 인식하여 상기 제(n+1) 내지 제N 실제현실 데이터로부터 상기 i개의 가상 점을 포함하고 j개의 가상 점 조합 순서에 대응하는 객체 영역을 검출할 수 있다.
Referring to FIG. 5, the object region determiner 160 includes color values included in color space combination values corresponding to virtual points detected from (n + 1) to N-th real reality data, as illustrated in FIG. 5. As described above, the image data may include a color deformation value shifted to a specific color value by the influence of the lighting of the real data, and the object region determiner 160 recognizes the shift of the color value. An object region including the i virtual points and corresponding to the j virtual point combination order may be detected from the (n + 1) th to N th real reality data.

즉, 조명의 영향과 같은 외부 환경 변화를 통해 ‘Red?Red’ 조합이 ‘Orange-Orange’나 ‘Red?Orange’로 바뀌더라도, 상기 변화된 색상공간 조합 값을 확인하여 객체를 재인식할 수 있다.
That is, even if the 'Red? Red' combination is changed to 'Orange-Orange' or 'Red? Orange' through the external environment change such as the influence of lighting, the object may be recognized by checking the changed color space combination value.

도면6은 본 발명의 실시 방법에 따라 가상 점을 통해 객체를 인식하는 과정을 도시한 도면이다.
6 illustrates a process of recognizing an object through a virtual point according to an exemplary embodiment of the present invention.

보다 상세하게 본 도면6은 상기 도면1에 도시된 증강현실 장치(100)에서 N개의 실제현실 데이터 중 제n(1≤n<N) 실제현실 데이터를 판독하여 객체 영역을 인식하고, 상기 인식된 객체 영역에 대한 M(M>1)개의 색상공간 조합 값을 결정하고, 상기 M개의 색상공간 조합 값에 대한 가상 점을 부여하고, 상기 M개의 가상 점 정보와 가상 점 조합 순서 정보를 포함하는 가상 점 조합 정보를 구성한 후, 제(n+1) 내지 제N 실제현실 데이터를 판독하여 상기 가상 점 조합 정보에 대응하는 가상 점을 i(1≤i≤M)개 이상 포함하고, 상기 i개의 가상 점의 조합 순서가 상기 가상 점 조합 정보에 포함된 가상 점 조합 순서와 j(1≤j<M)회 이상 매칭되는 객체 영역을 상기 제n 실제현실 데이터로부터 인식된 객체 영역과 동일한 객체 영역으로 결정하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면6을 참조 및/또는 변형하여 상기 가상 점을 통해 객체를 인식하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면6에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
In more detail, in FIG. 6, the augmented reality apparatus 100 illustrated in FIG. 1 reads n (1 ≦ n <N) real reality data among N pieces of real data and recognizes an object area. Determine M (M> 1) color space combination values for an object region, assign virtual points to the M color space combination values, and include the M virtual point information and virtual point combination order information After the point combination information is configured, i (1 ≦ i ≦ M) or more virtual points corresponding to the virtual point combination information are read by reading the (n + 1) to Nth real reality data, and the i virtual The object region whose order of combination of points matches the virtual point combination order included in the virtual point combination information more than j (1 ≦ j <M) times is determined as the same object region as the object region recognized from the n-th real data. As illustrating the process of the present invention, Those of ordinary skill in the art may refer to and / or modify the present invention in various manners (eg, some steps may be omitted or the order may be changed) for recognizing an object through the virtual point. Implementation method) may be inferred, but the present invention includes all the implementation methods inferred, and the technical features are not limited to the implementation method shown in FIG.

도면6을 참조하면, 증강현실 장치(100)는 N(N>1)개의 실제현실 데이터 중 제n(1≤n<N) 실제현실 데이터를 입력하고(600), 상기 제n 실제현실 데이터를 판독하여 객체 영역을 인식하며(605), 이 경우 상기 증강현실 장치(100)는 상기 객체 영역에 대응하는 객체에 표시할 가상현실 데이터를 결정하고(640), 상기 제n 실제현실 데이터 상의 객체에 상기 결정된 가상현실 데이터를 출력한다(645).
Referring to FIG. 6, the augmented reality apparatus 100 inputs n th (1 ≦ n <N) real reality data among N (N> 1) pieces of reality data (600), and inputs the n th reality data. In operation 605, the augmented reality apparatus 100 may determine virtual reality data to be displayed on an object corresponding to the object region, in operation 640. The determined virtual reality data is output (645).

상기 제n 실제현실 데이터로부터 객체 영역이 인식되면, 상기 증강현실 장치(100)는 상기 인식된 객체 영역에 대한 M(M>1)개의 색상공간 조합 값을 결정한다(610).
When the object region is recognized from the n th reality data, the augmented reality apparatus 100 determines M (M> 1) color space combination values for the recognized object region (610).

만약 상기 제n 실제현실 데이터로부터 M(M>1)개의 색상공간 조합 값이 결정되면(615), 상기 증강현실 장치(100)는 상기 M개의 색상공간 조합 값에 대한 가상 점을 부여하고(620), 상기 M개의 가상 점 정보와 가상 점 조합 순서 정보를 포함하는 가상 점 조합 정보를 구성한 후(625), 제(n+1) 내지 제N 실제현실 데이터를 판독하여 상기 가상 점 조합 정보에 대응하는 가상 점을 i(1≤i≤M)개 이상 포함하고, 상기 i개의 가상 점의 조합 순서가 상기 가상 점 조합 정보에 포함된 가상 점 조합 순서와 j(1≤j<M)회 이상 매칭되는 객체 영역을 상기 제n 실제현실 데이터로부터 인식된 객체 영역과 동일한 객체 영역으로 결정한다(630).
If M (M> 1) color space combination values are determined from the n th reality data (615), the augmented reality device 100 assigns a virtual point to the M color space combination values (620). After constructing the virtual point combination information including the M virtual point information and the virtual point combination order information (625), the (n + 1) to N-th real reality data is read to correspond to the virtual point combination information. I (1 ≦ i ≦ M) or more virtual points, and the combination order of the i virtual points matches j (1 ≦ j <M) times or more with the virtual point combination order included in the virtual point combination information. The object region to be determined is determined to be the same object region as the object region recognized from the n-th real reality data (630).

만약 상기 제(n+1) 내지 제N 실제현실 데이터로부터 상기 i개의 가상 점을 포함하고 j개의 가상 점 조합 순서에 대응하는 객체 영역이 검출되면(635), 상기 증강현실 장치(100)는 상기 객체 영역에 대응하는 객체에 표시할 가상현실 데이터를 결정하고(640), 상기 제n 실제현실 데이터 상의 객체에 상기 결정된 가상현실 데이터를 출력한다(645).
If the object region including the i virtual points and corresponding to the j virtual point combination order is detected from the (n + 1) th to N th real reality data (635), the augmented reality device 100 is The virtual reality data to be displayed on the object corresponding to the object area is determined (640), and the determined virtual reality data is output to the object on the n-th real reality data (645).

100 : 증강현실 장치 140 : 실제현실 입력부
145 : 객체 영역 인식부 150 : 색상공간 결정부
155 : 가상 점 조합부 160 : 객체 영역 결정부
165 : 가상현실 결정부 170 :가상현실 입력부
175 : 증강현실 출력부100: augmented reality device 140: real reality input unit
145: object region recognition unit 150: color space determination unit
155: virtual point combination unit 160: object region determination unit
165: virtual reality determination unit 170: virtual reality input unit
175: augmented reality output unit

Claims (3)

N(N>1)개의 실제현실 데이터에 대한 색상공간 조합을 통해 객체를 인식하는 증강현실 장치에 있어서,
상기 N개의 실제현실 데이터 중 제n(1≤n<N) 실제현실 데이터를 판독하여 객체 영역을 인식하는 객체 영역 인식부;
상기 인식된 객체 영역에 대한 M(M>1)개의 색상공간 조합 값을 결정하는 색상공간 결정부;
상기 M개의 색상공간 조합 값에 대한 가상 점을 부여하고, 상기 M개의 가상 점 정보와 가상 점 조합 순서 정보를 포함하는 가상 점 조합 정보를 구성하는 가상 점 조합부;
제(n+1) 내지 제N 실제현실 데이터를 판독하여 상기 가상 점 조합 정보에 대응하는 가상 점을 i(1≤i≤M)개 이상 포함하고, 상기 i개의 가상 점의 조합 순서가 상기 가상 점 조합 정보에 포함된 가상 점 조합 순서와 j(1≤j<M)회 이상 매칭되는 객체 영역을 상기 제n 실제현실 데이터로부터 인식된 객체 영역과 동일한 객체 영역으로 결정하는 객체 영역 결정부;를 구비하여 이루어지는 것을 특징으로 하는 가상 점을 통해 객체를 인식하는 증강현실 장치.
In an augmented reality device that recognizes an object through a color space combination of N (N> 1) pieces of real data,
An object region recognizing unit configured to recognize an object region by reading nth (1 ≦ n <N) real reality data among the N pieces of real data;
A color space determiner configured to determine M (M> 1) color space combination values for the recognized object area;
A virtual point combination unit which assigns virtual points to the M color space combination values and configures virtual point combination information including the M virtual point information and the virtual point combination order information;
Read (n + 1) to N-th actual reality data to include i (1 ≦ i ≦ M) or more virtual points corresponding to the virtual point combination information, and the combination order of the i virtual points is the virtual An object region determination unit for determining an object region that matches j (1 ≦ j <M) times or more with the virtual point combination order included in the dot combination information as the same object region as the object region recognized from the nth real reality data; Augmented reality device for recognizing the object through a virtual point characterized in that it comprises.
제 1항에 있어서, 상기 색상공간 결정부는,
상기 인식된 객체 영역의 픽셀을 k개의 픽셀 영역으로 분할한 후, 각 픽셀 영역의 색상 값의 평균 값을 결정하고, 상기 픽셀 영역 별 색상 평균 값을 통해 상기 M개의 색상공간 조합 값을 결정하는 것을 특징으로 하는 가상 점을 통해 객체를 인식하는 증강현실 장치.
The method of claim 1, wherein the color space determiner,
After dividing the pixel of the recognized object region into k pixel regions, determining an average value of color values of each pixel region, and determining the M color space combination value through the color average value of each pixel region. Augmented reality device that recognizes the object through a virtual point characterized in that.
제 1항에 있어서, 상기 가상 점 조합부는,
제m(1≤m<M) 가상 점의 색상공간 값에 대응하는 픽셀 중 어느 하나의 픽셀(m)이 제(m+1) 가상 점의 색상공간 값에 대응하는 픽셀 중 어느 하나의 픽셀(m+1)과 중복되도록 셀 결합 방식으로 조합하는 것을 특징으로 하는 가상 점을 통해 객체를 인식하는 증강현실 장치.
The method of claim 1, wherein the virtual point combination unit,
A pixel m of any pixel corresponding to the color space value of the mth (1 ≦ m <M) virtual point corresponds to a pixel of any one of the pixels corresponding to the color space value of the (m + 1) th virtual point ( Augmented reality device for recognizing the object through a virtual point, characterized in that by combining in a cell combined manner so as to overlap with m + 1).
KR1020100055785A 2010-06-14 2010-06-14 Method for Providing Augmented Reality by using Virtual Point KR101692764B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100055785A KR101692764B1 (en) 2010-06-14 2010-06-14 Method for Providing Augmented Reality by using Virtual Point

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100055785A KR101692764B1 (en) 2010-06-14 2010-06-14 Method for Providing Augmented Reality by using Virtual Point

Publications (2)

Publication Number Publication Date
KR20110136028A true KR20110136028A (en) 2011-12-21
KR101692764B1 KR101692764B1 (en) 2017-01-05

Family

ID=45502726

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100055785A KR101692764B1 (en) 2010-06-14 2010-06-14 Method for Providing Augmented Reality by using Virtual Point

Country Status (1)

Country Link
KR (1) KR101692764B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530410A (en) * 2016-11-04 2017-03-22 大连文森特软件科技有限公司 Automobile assembly demonstration system based on augmented reality technology
KR20190043956A (en) * 2017-10-19 2019-04-29 에스케이텔레콤 주식회사 Method and apparatus for displaying augmented reality
KR20190081177A (en) * 2017-12-29 2019-07-09 엘에스산전 주식회사 Device and method for providing augmented reality user interface
KR20210092707A (en) 2014-05-07 2021-07-26 에스케이플래닛 주식회사 Service providing system and method for recognizing object, apparatus and computer readable medium having computer program recorded therefor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000075161A (en) * 1999-05-29 2000-12-15 구자홍 Image retrieval method using multiple features per image sub region
KR100647285B1 (en) * 2003-08-20 2006-11-23 삼성전자주식회사 A method for constructing an artificial mark for autonomous driving of an intelligent system, an apparatus and method for determining the position of an intelligent system using the artificial mark, and an intelligent system employing the same
KR20080005798A (en) * 2006-07-10 2008-01-15 (주)유리시스 A cognitive and conduct disorder rehabilitation therapy systems using mothion tracking technologies and augmented reality
CN101453660A (en) * 2007-12-07 2009-06-10 华为技术有限公司 Video object tracking method and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000075161A (en) * 1999-05-29 2000-12-15 구자홍 Image retrieval method using multiple features per image sub region
KR100647285B1 (en) * 2003-08-20 2006-11-23 삼성전자주식회사 A method for constructing an artificial mark for autonomous driving of an intelligent system, an apparatus and method for determining the position of an intelligent system using the artificial mark, and an intelligent system employing the same
KR20080005798A (en) * 2006-07-10 2008-01-15 (주)유리시스 A cognitive and conduct disorder rehabilitation therapy systems using mothion tracking technologies and augmented reality
CN101453660A (en) * 2007-12-07 2009-06-10 华为技术有限公司 Video object tracking method and apparatus

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210092707A (en) 2014-05-07 2021-07-26 에스케이플래닛 주식회사 Service providing system and method for recognizing object, apparatus and computer readable medium having computer program recorded therefor
CN106530410A (en) * 2016-11-04 2017-03-22 大连文森特软件科技有限公司 Automobile assembly demonstration system based on augmented reality technology
CN106530410B (en) * 2016-11-04 2019-03-12 快创科技（大连）有限公司 A kind of automobile demo system based on augmented reality
KR20190043956A (en) * 2017-10-19 2019-04-29 에스케이텔레콤 주식회사 Method and apparatus for displaying augmented reality
KR20190081177A (en) * 2017-12-29 2019-07-09 엘에스산전 주식회사 Device and method for providing augmented reality user interface

Also Published As

Publication number Publication date
KR101692764B1 (en) 2017-01-05

Similar Documents

Publication Publication Date Title
CN112767285B (en) Image processing method and device, electronic device and storage medium
US10417829B2 (en) Method and apparatus for providing realistic 2D/3D AR experience service based on video image
KR102560689B1 (en) Method and apparatus for displaying an ar object
US20160180593A1 (en) Wearable device-based augmented reality method and system
CN113160094A (en) Image processing method and device, electronic equipment and storage medium
CN109120869B (en) Double-light image integration method, integration equipment and unmanned aerial vehicle
CN105592310A (en) Method and system for projector calibration
CN111833423A (en) Presentation method, presentation device, presentation equipment and computer-readable storage medium
CN111275645A (en) Image defogging method, device and equipment based on artificial intelligence and storage medium
CN109788359B (en) Video data processing method and related device
CN109413399A (en) Use the devices and methods therefor of depth map synthetic object
CN105791793A (en) Image processing method and electronic device
KR20110136038A (en) System for tracking augmented reality device using several sensor
KR20110136028A (en) Augmented reality device to recognize the object using virtual point
KR20110136026A (en) System for optimizing a augmented reality data
KR101619512B1 (en) Method for Interchanging between Augmented Reality Device
CN113453027A (en) Live video and virtual makeup image processing method and device and electronic equipment
US20190066366A1 (en) Methods and Apparatus for Decorating User Interface Elements with Environmental Lighting
KR20110136035A (en) Adaptive augmented reality device to real world
CN113223186B (en) Processing method, equipment, product and device for realizing augmented reality
KR20120009639A (en) Method for Managing Selectable Virtual-Object Data using User&#39;s Order, Augmented Reality Device and Recording Medium
KR101488647B1 (en) Virtual illumination of operating method and apparatus for mobile terminal
KR20170086005A (en) Method for Providing Augmented Reality by using Distance Difference
CN105677030A (en) Control method and electronic device
KR20110136022A (en) Augmented reality device to recognize the object using color-space coupling

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20191230

Year of fee payment: 4