KR20060021001A - 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법 - Google Patents

개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법 Download PDF

Info

Publication number
KR20060021001A
KR20060021001A KR1020040069783A KR20040069783A KR20060021001A KR 20060021001 A KR20060021001 A KR 20060021001A KR 1020040069783 A KR1020040069783 A KR 1020040069783A KR 20040069783 A KR20040069783 A KR 20040069783A KR 20060021001 A KR20060021001 A KR 20060021001A
Authority
KR
South Korea
Prior art keywords
marker
image data
virtual
image
augmented reality
Prior art date
Application number
KR1020040069783A
Other languages
English (en)
Inventor
조현달
Original Assignee
(주)제니텀 엔터테인먼트 컴퓨팅
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)제니텀 엔터테인먼트 컴퓨팅 filed Critical (주)제니텀 엔터테인먼트 컴퓨팅
Priority to KR1020040069783A priority Critical patent/KR20060021001A/ko
Publication of KR20060021001A publication Critical patent/KR20060021001A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0661—Format or protocol conversion arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

1.청구범위에 기재된 발명이 속한 기술분야
본 발명은, 증강현실 및 복합현실 응용시스템에서 사용되는 특징점 추출을 위한 동일한 형태의 물리적인 마커를 사용하지 않고, 인지가능하도록 미리 정의된 해당 개체를 인식하여 가상의 마커로 사용할 수 있도록 하는 증강현실 구현장치 및 그 방법과 상기방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2.발명이 해결하려고 하는 기술적 과제
본 발명은, 일반적인 증강현실 및 복합현실 응용시스템에서 사용되는 동일 형태의 특정 마커를 이용하지 않고, 개체의 윤곽선을 인지하여 해당 개체를 인식함으로써 이를 이용한 가상 3차원 정보를 생성하고 해당 개체의 움직임에 따라 투영되는 가상영상의 동작이 결정되도록 하는 소프트웨어 프레임워크 및 응용시스템을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.
3.발명의 해결방법의 요지
본 발명은, 마커를 이용하지 않는 증강현실 응용시스템에 있어서, 가상의 마커로 이용될 해당개체의 영상데이터를 수집하기 위한 영상데이터 수집장치; 영상데이터 로부터 가상 마커로 사용될 개체를 인지하고 추적하기 위한 개체 추적장치; 추적된 개체의 영상데이터를 이용하여 가상 마커 정보를 생성하기 위한 마커 생성기; 생성된 가상마커 데이터를 증강현실을 이용하여 처리 및 출력하기 위한 영상데이터 처리장치; 및 상기 영상데이터 처리장치로부터 출력되는 영상데이터를 전달받아 디스플레이하기 위한 디스플레이 장치를 포함함.
4.발명의 중요한 용도
본 발명은, 증강현실 및 복합현실 응용시스템에서 미리 만들어진 가상영상을 합성하는 과정에서, 특정 마커를 이용하지 않고 실세계의 개체을 인지하여 가상의 마커로 사용할 수 있도록 하는데 사용됨.
개체인지, Marker-less, 증강현실, 복합현실, 특징점, 마커, 가상마커, 가상개체

Description

개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법{Implementation of Marker-less Augmented Reality and Mixed Reality System Using Object Detecting Method}
도 1 은 본 발명에 따른 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법의 일실시예 구성도.
도 2 는 본 발명에 따른 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법에 대한 일실시예 흐름도.
* 도면의 주요부분에 대한 부호의 설명
10 : 입력개체 처리장치 11 : 영상데이터 수집장치
12 : 영상데이터 처리장치 13 : 디스플레이 장치
101 : 개체 추적장치 102 : 마커 생성기
121 : 입력제어부 122 : 가상개체 정보 데이터베이스
123 : 영상데이터 처리부 124 : 영상출력부
본 발명은, 증강현실 및 복합현실 응용시스템에서 사용되는 특징점 추출을 위한 동일한 형태의 물리적인 마커를 사용하지 않고, 인지가능하도록 미리 정의된 해당개체를 인식하여 가상의 마커로 사용할 수 있도록 하는 증강현실 구현장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 더욱 상세하게는 실사영상의 특정 개체를 인지하고, 이를 통해 생성되는 가상의 마커정보를 제공받아 증강현실 기술을 이용하여 사용자에게 표출하는 개체인지를 이용하는 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
기존의 증강현실 응용시스템에서는 동일한 형태와 크기의 물리적인 마커를 실사영상으로부터 입력받아 해당 마커를 인지하고, 그에 따른 마커의 위치, 방향 등을 영상입력장치로부터의 상대적인 데이터로 계산하여 가상의 개체가 보여질 포즈 및 위치를 예측하여 가상 개체를 실사영상에 투영하는 방식을 사용했는데, 이 방식에서는 가상 개체를 투영하기 위해서는 반드시 그에 부합되는 물리적인 마커가 반드시 하나 이상 필요하고 유동적으로 마커 정보를 변경할 수 없다는 단점이 있었다.
또한, 마커 영상을 입력받는 영상입력장치의 위치가 변경될 때마다 마커의 윤곽선 정보 혹은 특징점에 대한 좌표를 다시 입력받아야 했다.
본 발명은, 상기 문제점을 해결하기 위해 제안된 것으로, 특정한 물리적인 마커를 이용하지 않고도 실사 영상 내에 포함된 특정 개체에 대해 미리 정의된 가상마커의 정보를 생성 및 획득하고, 증강현실 기술을 이용하여 영상데이터 수집장치를 통해 입력된 영상에 가상의 영상을 투영할 수 있도록 하는 증강현실 응용시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 장치는, 개체인지 방식을 이용한 Markerless 증강현실 과 복합현실 응용시스템 및 그 방법에 있어서, 가상의 마커로 이용될 해당개체의 영상데이터를 수집하기 위한 영상데이터 수집장치; 수집된 영상데이터로부터 가상 마커로 사용될 개체를 인지하고 추적하기 위한 개체 추적장치; 추적된 개체의 영상데이터를 이용하여 가상 마커의 정보를 생성하기 위한 마커 생성기; 생성된 가상 마커 데이터를 증강현실 기술을 이용하여 처리 및 출력하기 위한 영상데이터 처리장치; 및 상기 영상데이터 처리장치로부터 출력되는 영상데이터를 전달받아 디스플레이하기 위한 디스플레이 장치를 포함한다.
또한, 본 발명의 방법은, 개체인지 방식을 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법에 있어서, 영상데이터 수집장치가 가상마커로 이용될 개체의 영상을 수집하는 제 1 단계; 수집된 영상데이터에서 가상마커로 이용될 개체를 추적하는 제 2 단계; 추적된 상기 개체를 이용하여 가상마커 데이터를 생성 및 획득하는 제 3 단계; 상기의 가상마커 데이터를 이용하여 상기 가상 영상의 포즈추정을 수행하는 제 4 단계; 및 상기 포즈추정 정보를 이용하여 상기 실사 영상과 상기 가상영상의 실시간 정합을 수행하는 제 5 단계를 포함한다.
또한, 본 발명은, 마커를 이용하지 않는 증강현실 응용시스템에서 실영상과 미리 모델링된 가상영상의 실시간 합성을 위한 개체인지 방식을 이용한 Marker-less 증강현실과 복합현실 응용시스템의 구현방법을 제공하기 위하여 마이크로프로세서를 구비한 증강현실 구현장치에, 상기의 영상데이터 수집장치로부터 수신한 영상에서 가상마커로 이용될 개체의 영상을 수집하는 제 1 기능; 상기 수집된 개체 영상으로부터 가상마커로 사용될 개체를 추적하는 제 2 기능; 상기의 추적된 개체로부터 가상마커 데이터를 생성 및 획득하는 제 3 기능; 상기 가상마커 데이터를 이용하여 상기 가상 영상의 포즈추정을 수행하는 제 4 기능; 상기 포즈추정 정보를 이용하여 상기 실사 영상과 상기 가상 영상의 실시간 정합을 수행하는 제 5 기능; 및 상기 정합된 영상데이터를 디스플레이하는 제 6 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의해야 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1은 본 발명에 따른 개체인지 방식을 이용한 Marker-less 증강현실과 복합현실 응용시스템 구현장치의 일실시예 구성도이다.
도면에 도시된 바와 같이, 본 발명의 증강현실과 복합현실 응용시스템 구현장치는, 가상마커로 이용될개체의 영상을 수집하기 위한 영상데이터 수집장치(11), 수집된 개체의 영상데이터에서 가상마커로 이용될 개체를 추적하고 이를 통해 가상마커 정보를 생성하기 위한 입력개체 처리장치(10), 상기 영상데이터 수집장치(11)와 입력개체 처리장치(10)를 통해 가공된 영상데이터를 증강현실을 이용하여 처리하고 디스플레이 장치(13)로 출력하기 위한 영상데이터 처리장치(12)를 포함한다.
상기 입력개체 처리장치(10)는 영상데이터 수집장치(11)로부터 수집된 개체의 실사 영상데이터(14)를 이용하여 가상마커로 사용될 개체를 인지하고 추적하는 개체 추적장치(101)와 개체 추적장치(101)로부터 획득한 개체의 실사영상을 이용하여 가상의 마커 데이터를 생성하고 이를 영상데이터 처리장치(12)에 전달하는 마커 생성기 (102)를 포함한다.
상기 영상데이터 처리장치(12)는 상기 영상데이터 수집장치(11)에서 수집된 실사 영상데이터(16)를 영상출력부(124)로 전달하거나, 입력개체 처리장치(10)에서 생성된 가상마커 데이터 및 포즈추정 정보(15)를 영상데이터 처리부(123)로 전달하기 위한 입력제어부(121), 가상마커 정보를 이용하여 실사 영상데이터(16)와 정합하기 위해 필요한 정보가 저장되어 있는 가상개체 정보 데이터베이스(122), 입력제어부(121)로부터 전달받은 가상마커 생성 정보(127)와 가상개체 정보 데이터베이스(122)에 저장되어 있는 가상개체 정보(125)를 바탕으로 데이터를 처리하여 영상출력부(124)로 전달하기 위한 영상데이터 처리부(123) 및 상기 영상데이터 처리부(123)로부터 전달받은 가상마커 영상데이터와 상기 입력제어부(121)를 통하여 전달받은 실사 영상데이터를 디스플레이 장치(13)으로 출력하기 위한 영상출력부(124)를 포함한다.
도 2 는 본 발명에 따른 개체인지 방식을 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법에 대한 일실시예 흐름도이다.
먼저, 입력개체 처리장치(10)는 영상데이터 수집장치(11)에 의해 획득된 개체 영상데이터(14)를 이용하여 해당 개체를 추적하고 가상마커를 생성한 후 영상데이터 처리장치(12)로 가상마커 정보(15)를 전달한다. 이후, 영상데이터 처리장치(12)는 입 력개체 처리장치(10)으로부터 전달된 가상마커 정보(15)가 가상개체 정보 데이터베이스(122)에 저장되어 있는 정보와 적절하게 정합될 수 있는지를 판단하여, 해당 가상마커에 대한 가상개체 영상을 생성하고 이를 영상출력부(124)를 통해 디스플레이 장치(13)로 출력하거나, 입력개체 처리장치(10)로부터 전달된 가상마커 정보(15)가 가상개체 정보 데이터베이스(122)에 저장된 정보와 정합될 수 없는 것이라면 입력제어부(121)를 통해 전달된 영상데이터 수집장치(11)로부터의 실사 영상데이터(16)을 영상출력부(124)로 전달하여 디스플레이 장치(13)로 출력하도록 한다.
이하에서는 제 1 도 및 제 2 도를 참조로 하여 입력개체 처리장치(10)와 영상데이터 처리장치(12)의 동작을 좀 더 상세히 설명한다
본 발명의 방법에서는 입력개체 처리장치(10)에서의 해당 개체 추적 및 가상마커 생성 과정에서 영상데이터 수집장치(11)로부터 전달되는 2차원 실사영상을 바탕으로 하여 가상 개체의 영상으로 투영될 실제 세계의 특정 개체를 인지하게 되는데, 이 과정에서 2차원 실사영상내의 특정 개체의 이미지는 윤곽선의 가장자리가 강조된 벡터로 변환되어 각각의 특정 좌표를 획득할 수 있게 된다. 이러한 기본 데이터를 이용하여 특정 개체의 2차원적인 윤곽선 데이터 및 가장자리 부분의 좌표를 얻을 수 있다.
입력개체 처리장치(10)에서의 해당 개체에 대한 인지 및 추적과정에서는 GAB(Gentle Ada Boost) 알고리즘을 이용하여 생성된 특정개체의 모델링 데이터를 기반으로 해당 개체의 2차원 이미지를 분석한다. 그러므로 다양한 개체에 대한 인지 및 추적이 가능하도록 하고 이를 가상영상 데이터로 정합할 수 있도록 하려면, 미리 정의되는 가상개체 정보 데이터베이스(122)내에 다양한 개체에 대한 모델링 데이터를 포함하고 있어야 한다.
상기의 과정에서 획득된 정보를 이용하여 가상개체 정보 데이터베이스(122)에 저장된 가상개체 정보와의 비교를 통해 실상 영상의 특정 개체에 대한 영상데이터 수집장치(11)로부터의 상대적인 위치 및 방향 정보를 계산하게 되고, 영상데이터 처리장치(12)는 상기의 정보들을 바탕으로 가상개체 정보 데이터베이스(122)에 저장되어 있는 정의된 3차원 가상개체 모델 데이터가 실사 영상데이터에 정합될 위치와 방향 등의 정보를 결정하게 된다.
도 3은 상기 과정에서 실사 영상내의 일반적인 개체 이미지에서 벡터화된 2차원 데이터를 추출하는 과정을 보여준다. 본 발명의 방법에서는 2차원 실사영상에서의 특정 개체의 인지, 추적 및 가상마커 생성 과정에서 발생할 수 있는 처리시간의 지연등을 방지하기 위해 입력개체 처리장치(10)에서 생성되는 가상마커의 정보를 직사각형 윤곽선 및 해당 좌표를 가지는 벡터 데이터들로 제한하고 있지만, 사람의 얼굴이나 복잡한 개체의 이미지인 경우에는 해당 개체의 특정부분 혹은 전체를 벡터화하여 가상마커를 생성할 수도 있다.
도 4는 상기 입력개체 처리장치(10)에서 인지 및 추적된 특정개체에 대한 2차원 이미지의 예이다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변환 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기와 같은 본 발명은 증강현실 또는 복합현실 응용시스템을 구현하는 데 일반적으로 사용되는 특정 형태의 마커를 이용하지 않고, 실사 영상에서 전달되는 특정 개체의 2차원 이미지를 분석하고 자동 인지 및 추적하여 실사 영상에 투영되어 정합될 가상 개체에 대한 위치 및 방향정보를 추출할 수 있다.
또한 다양한 실세계의 개체들을 미리 정의된 가상개체 정보 데이터베이스에 저장하고 이를 통한 개체의 인지, 추적, 가상마커 생성 과정을 진행하게 되므로, 별도의 마커가 필요없이 가상개체 정보 데이터베이스의 내용에 추가, 수정, 삭제 만으로도 보다 융통성있는 증강현실 및 복합현실 응용시스템을 구현할 수 있다.

Claims (8)

  1. 개체인지 방식을 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법에 있어서,
    가상의 마커로 이용될 해당 개체의 영상데이터를 수집하기 위한 영상데이터 수집장치;
    상기 수집된 영상데이터로부터 가상마커로 사용될 개체를 인지하고 추적하여 가상마커 정보를 생성하기 위한 입력개체 처리장치;
    상기 영상데이터 수집장치 및 상기 입력개체 처리장치를 통해 생성된 가상마커 정보를 증강현실 기술을 이용하여 처리 및 출력하기 위한 영상데이터 처리장치; 및
    상기 영상데이터 처리장치로부터 출력되는 영상데이터를 전달받아 디스플레이하기 위한 디스플레이 장치
    를 포함하는 개체인지 방식을 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법.
  2. 제 1 항에 있어서,
    상기 입력개체 처리장치는,
    상기 영상데이터 수집장치로부터 입력된 데이터를 이용하여 가상마커로 사용될 개체를 인지하고 추적하는 개체 추적장치; 및
    상기 추적된 개체로부터 가상마커 데이터를 생성 및 획득하는 마커생성기
    를 포함하는 개체인지 방식을 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법.
  3. 제 1 항에 있어서,
    상기 영상데이터 처리장치는,
    상기 영상데이터 수집장치로부터 입력된 실사 영상데이터와 상기 입력개체 처리장치로부터 추적되고 생성된 가상마커 정보를 입력받아 전달하기 위한 입력제어부;
    상기 가상마커 정보에 대한 가상개체 정보가 저장되어 있는 가상개체 정보 데이터베이스;
    상기 입력제어부로부터 전달받은 입력개체에 대한 가상마커 정보와 실사 영상데이터 및 상기 가상개체 정보 데이터베이스에 저장되어 있는 가상개체 정보를 이용하여 정합된 영상데이터를 생성하기 위한 영상데이터 처리부; 및
    상기 영상데이터 처리부로부터 또는 상기 입력제어부로부터 전달받은 영상데이터를 출력하기 위한 영상 출력부
    를 포함하는 개체인지 방식을 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법.
  4. 개체인지 방식을 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법에 있어서,
    영상데이터 수집장치가 가상마커로 이용될 개체의 영상을 수집하는 제 1 단계;
    상기 수집된 영상데이터에서 가상마커로 이용될 개체를 추적하는 제 2 단계;
    상기 추적된 개체를 이용하여 가상마커 데이터를 생성 및 획득하는 제 3 단계;
    상기 생성된 가상마커 데이터를 이용하여 디스플레이될 가상영상의 포즈추정을 수행하는 제 4 단계;
    상기 포즈추정 정보를 이용하여 상기 실사 영상과 상기 가상 영상의 실시간 정합을 수행하는 제 5 단계
    를 포함하는 개체인지 방식을 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법.
  5. 제 2 항에 있어서,
    상기 입력개체 처리장치의 개체 추적장치는,
    하나 또는 다수의 영상데이터 수집장치로부터 획득된 실사 영상을 이용하며, 보다 정교한 상대적 위치 및 방향 추적을 위해 추가의 트래커 장치를 포함할 수도 있는 것을 특징으로 하는 개체인지 방식을 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법.
  6. 제 2 항에 있어서,
    상기 입력개체 처리장치에 의해 인지 및 추적되는 특정 개체는,
    실세계의 복잡한 개체 및 인간의 얼굴, 신체의 일부 등을 포함하는 눈으로 식별가능한 모든 사물을 기반으로 하는 것을 특징으로 하는 개체인지 방식을 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법.
  7. 제 3 항에 있어서,
    상기 가상개체 정보는,
    실세계의 다양한 개체들을 기반으로 하여 미리 정의된 템플릿 형태의 정보로 원격지 혹은 상기 영상데이터 처리장치와 동일한 기계에 저장되는 데이터베이스화된 정보인 것을 특징으로 하는 개체인지 방식을 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법.
  8. 마이크로프로세서를 구비한 증강현실 및 복합현실 구현장치에,
    영상데이터 수집장치가 가상마커로 이용될 개체의 실사영상을 수집하는 제 1 기능;
    상기 입력개체 처리장치가 상기 영상데이터 수집장치로부터 입력받은 실사영상에서 가상마커로 이용될 개체를 추적하는 제 2 기능;
    상기 입력개체 처리장치가 상기 추적된 개체의 영상으로부터 가상마커 데이터를 생성하는 제 3 기능;
    상기 입력개체 처리장치가 상기 생성된 가상마커 데이터를 이용하여 디스플레이될 가상영상의 포즈추정을 수행하는 제 4 기능;
    상기 영상데이터 처리장치가 상기 영상데이터 수집장치로부터 입력된 실사 영상데이터 및 상기 입력개체 처리장치로부터 입력된 가상마커 데이터와 가상영상의 포즈추정 정보를 이용하여 상기 실사 영상과 상기 가상 영상의 실시간 정합을 수행하고 처리하여 디스플레이 장치로 출력하는 제 5 기능; 및
    상기 디스플레이 장치가 상기 영상데이터 처리장치로부터 전달받은 정합된 영상데이터를 디스플레이하는 제 6 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020040069783A 2004-09-02 2004-09-02 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법 KR20060021001A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040069783A KR20060021001A (ko) 2004-09-02 2004-09-02 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040069783A KR20060021001A (ko) 2004-09-02 2004-09-02 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20060021001A true KR20060021001A (ko) 2006-03-07

Family

ID=37127990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040069783A KR20060021001A (ko) 2004-09-02 2004-09-02 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20060021001A (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100793838B1 (ko) * 2006-09-27 2008-01-11 한국전자통신연구원 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
WO2009084782A1 (en) * 2007-12-27 2009-07-09 Thinkware Systems Corporation Method and system for serving three dimension web map service using augmented reality
KR100912264B1 (ko) * 2008-02-12 2009-08-17 광주과학기술원 사용자 반응형 증강 영상 생성 방법 및 시스템
KR100945555B1 (ko) * 2007-03-20 2010-03-08 인천대학교 산학협력단 증강현실 공간을 제공하는 장치 및 방법
KR100971667B1 (ko) * 2008-12-11 2010-07-22 인천대학교 산학협력단 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
KR101010904B1 (ko) * 2009-02-26 2011-01-25 인천대학교 산학협력단 마커를 사용하지 않는 증강공간 제공 장치
KR101039298B1 (ko) * 2009-12-22 2011-06-07 (주)포스트미디어 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법
WO2012002603A1 (ko) * 2010-06-28 2012-01-05 엘지전자 주식회사 외부 장치의 동작 상태 제공 방법 및 그 장치
KR101126415B1 (ko) * 2010-03-31 2012-03-28 인천대학교 산학협력단 모바일 기기에서의 증강공간 제공 가속 장치
US8315432B2 (en) 2007-01-22 2012-11-20 Total Immersion Augmented reality method and devices using a real time automatic tracking of marker-free textured planar geometrical objects in a video stream
KR101255916B1 (ko) * 2011-02-23 2013-04-17 서경대학교 산학협력단 증강현실 환경에서 실시간 마커리스 트래킹을 위한 특징 서술자의 데이터베이스를 기록한 컴퓨터가 읽을 수 있는 기록매체와 그 데이터베이스의 생성 및 검색 방법
CN103968829A (zh) * 2014-05-13 2014-08-06 清华大学 基于虚拟标志物的三维空间定位追踪方法及系统
US8988464B2 (en) 2010-12-14 2015-03-24 Samsung Electronics Co., Ltd. System and method for multi-layered augmented reality
US9947137B2 (en) 2013-11-19 2018-04-17 Samsung Electronics Co., Ltd. Method for effect display of electronic device, and electronic device thereof
KR20180106811A (ko) * 2017-03-20 2018-10-01 ㈜라이커스게임 벡터를 이용한 증강 현실 영상 구현 방법
WO2018174499A3 (ko) * 2017-03-20 2018-11-08 주식회사 라이커스게임 가상 마커 및 벡터를 이용한 증강 현실 영상 구현 방법
KR20190048635A (ko) * 2017-10-31 2019-05-09 한국전력공사 영상 속 사물의 3d 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체
KR102232184B1 (ko) * 2020-01-02 2021-03-25 (주)콘텐츠오션 인공지능 기반 실감형 콘텐츠 제작용 가상 스튜디오 제공 시스템

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100793838B1 (ko) * 2006-09-27 2008-01-11 한국전자통신연구원 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법
US8315432B2 (en) 2007-01-22 2012-11-20 Total Immersion Augmented reality method and devices using a real time automatic tracking of marker-free textured planar geometrical objects in a video stream
KR100945555B1 (ko) * 2007-03-20 2010-03-08 인천대학교 산학협력단 증강현실 공간을 제공하는 장치 및 방법
CN101911128B (zh) * 2007-12-27 2012-09-19 星克跃尔株式会社 用于提供使用增强现实的三维网络地图服务的方法和系统
WO2009084782A1 (en) * 2007-12-27 2009-07-09 Thinkware Systems Corporation Method and system for serving three dimension web map service using augmented reality
KR100932634B1 (ko) * 2007-12-27 2009-12-21 팅크웨어(주) 증강 현실을 이용한 3차원 웹 지도 서비스 방법 및 그시스템
KR100912264B1 (ko) * 2008-02-12 2009-08-17 광주과학기술원 사용자 반응형 증강 영상 생성 방법 및 시스템
US8619160B2 (en) 2008-02-12 2013-12-31 Gwangju Institute Of Science And Technology User-responsive, enhanced-image generation method and system
KR100971667B1 (ko) * 2008-12-11 2010-07-22 인천대학교 산학협력단 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
KR101010904B1 (ko) * 2009-02-26 2011-01-25 인천대학교 산학협력단 마커를 사용하지 않는 증강공간 제공 장치
WO2011078430A1 (ko) * 2009-12-22 2011-06-30 (주)포스트미디어 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법
KR101039298B1 (ko) * 2009-12-22 2011-06-07 (주)포스트미디어 다수의 특징점 기반 마커를 인식하기 위한 순차 검색 방법 및 이를 이용한 증강현실 구현 방법
KR101126415B1 (ko) * 2010-03-31 2012-03-28 인천대학교 산학협력단 모바일 기기에서의 증강공간 제공 가속 장치
WO2012002603A1 (ko) * 2010-06-28 2012-01-05 엘지전자 주식회사 외부 장치의 동작 상태 제공 방법 및 그 장치
US9247142B2 (en) 2010-06-28 2016-01-26 Lg Electronics Inc. Method and apparatus for providing the operation state of an external device
US8988464B2 (en) 2010-12-14 2015-03-24 Samsung Electronics Co., Ltd. System and method for multi-layered augmented reality
KR101255916B1 (ko) * 2011-02-23 2013-04-17 서경대학교 산학협력단 증강현실 환경에서 실시간 마커리스 트래킹을 위한 특징 서술자의 데이터베이스를 기록한 컴퓨터가 읽을 수 있는 기록매체와 그 데이터베이스의 생성 및 검색 방법
US9947137B2 (en) 2013-11-19 2018-04-17 Samsung Electronics Co., Ltd. Method for effect display of electronic device, and electronic device thereof
CN103968829A (zh) * 2014-05-13 2014-08-06 清华大学 基于虚拟标志物的三维空间定位追踪方法及系统
CN103968829B (zh) * 2014-05-13 2016-12-07 清华大学 基于虚拟标志物的三维空间定位追踪方法及系统
KR20180106811A (ko) * 2017-03-20 2018-10-01 ㈜라이커스게임 벡터를 이용한 증강 현실 영상 구현 방법
WO2018174499A3 (ko) * 2017-03-20 2018-11-08 주식회사 라이커스게임 가상 마커 및 벡터를 이용한 증강 현실 영상 구현 방법
KR20190048635A (ko) * 2017-10-31 2019-05-09 한국전력공사 영상 속 사물의 3d 인식 및 사물의 기준점과 표지물과의 상대좌표 정보를 이용한 실시간 영상에 표지물 위치 증강 장치, 이의 방법 및 이 방법을 저장한 컴퓨터 판독 가능 저장 매체
KR102232184B1 (ko) * 2020-01-02 2021-03-25 (주)콘텐츠오션 인공지능 기반 실감형 콘텐츠 제작용 가상 스튜디오 제공 시스템
KR20210087407A (ko) * 2020-01-02 2021-07-12 (주)콘텐츠오션 가상 마커를 활용한 실시간 영상 합성 시스템

Similar Documents

Publication Publication Date Title
KR20060021001A (ko) 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법
US9292734B2 (en) Method and system for head tracking and pose estimation
Pérez et al. Color-based probabilistic tracking
US20200387745A1 (en) Method of Determining a Similarity Transformation Between First and Second Coordinates of 3D Features
US9196045B2 (en) Analysis of three-dimensional scenes
KR101669119B1 (ko) 다층 증강 현실 시스템 및 방법
KR101086068B1 (ko) 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치
CN108509026B (zh) 基于增强交互方式的远程维修支持系统及方法
KR20160098560A (ko) 동작 분석 장치 및 방법
US20120163661A1 (en) Apparatus and method for recognizing multi-user interactions
KR102371127B1 (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
KR20140033868A (ko) 증강현실 응용을 위한 환경 모델링 방법 및 장치
US11823394B2 (en) Information processing apparatus and method for aligning captured image and object
WO2014006786A1 (ja) 特徴量抽出装置および特徴量抽出方法
CN111897422A (zh) 一种虚实物体实时融合的实物交互方法与系统
KR101541421B1 (ko) 손 자세 인식 기반 사용자 인터페이스 방법 및 시스템
WO2020183598A1 (ja) 学習データ生成装置、学習データ生成方法および学習データ生成プログラム
JP7269515B2 (ja) 映像生成装置、映像生成方法、及び映像生成プログラム
CN111368853A (zh) 一种标签的构建方法、系统、装置及存储介质
McClean An Augmented Reality System for Urban Environments using a Planar Building Fa cade Model
US20190377935A1 (en) Method and apparatus for tracking features
KR101360388B1 (ko) 결합된 캐드 모델을 이용한 복수 객체 동시 추적 장치 및 방법
JP2023003929A (ja) 骨格認識方法、骨格認識プログラム、および体操採点支援システム
Kerdvibulvech Real-time framework of hand tracking based on distance transform
Chun et al. A robust 3d face pose estimation and facial expression control for vision-based animation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application