KR101086068B1 - 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치 - Google Patents

3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치 Download PDF

Info

Publication number
KR101086068B1
KR101086068B1 KR1020040103916A KR20040103916A KR101086068B1 KR 101086068 B1 KR101086068 B1 KR 101086068B1 KR 1020040103916 A KR1020040103916 A KR 1020040103916A KR 20040103916 A KR20040103916 A KR 20040103916A KR 101086068 B1 KR101086068 B1 KR 101086068B1
Authority
KR
South Korea
Prior art keywords
marker
image data
image
virtual object
information
Prior art date
Application number
KR1020040103916A
Other languages
English (en)
Other versions
KR20060065159A (ko
Inventor
김희관
송영남
Original Assignee
한국문화콘텐츠진흥원
주식회사 제니텀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국문화콘텐츠진흥원, 주식회사 제니텀 filed Critical 한국문화콘텐츠진흥원
Priority to KR1020040103916A priority Critical patent/KR101086068B1/ko
Publication of KR20060065159A publication Critical patent/KR20060065159A/ko
Application granted granted Critical
Publication of KR101086068B1 publication Critical patent/KR101086068B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3차원 마커 인지 방법 및 이를 이용한 증강현실 및 복합현실 제공 방법 및 시스템에 관한 것으로, 가상개체로 이용될 실사의 영상데이터를 수집하기 위한 영상데이터 수집장치와, 수집된 영상데이터로부터 가상개체로 사용될 마커를 인지 및 추적하여 마커 ID를 추출하여 가상개체 정보를 생성하기 위한 입력영상 처리장치와, 영상데이터 수집 장치 및 입력영상 처리장치를 통해 생성된 가상개체 정보를 증강현실 기술을 이용하여 처리 및 출력하기 위한 출력영상 처리장치 및 출력영상 처리장치로부터 출력되는 영상데이터를 전달받아 디스플레이하기 위한 디스플레이 장치를 포함하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치를 제공한다.
증강현실, 복합현실, 3차원 마커

Description

3차원 마커 인지 방법 및 이를 이용한 증강현실 및 복합현실 제공 방법 및 장치{3 DIMENSIONAL MARKER DETECTION METHOD AND DEVICE AND METHOD FOR PROVIDING AUGMENTED REALITY AND MIXED REALITY USING THE SAME}
도 1 은 본 발명에 의한 증강현실 및 복합현실 시스템 구현을 위한 3차원 마커 인지 방법 구현 장치에 대한 일실시예의 구성도,
도 2 는 본 발명에 의한 증강현실 및 복합현실 시스템 구현을 위한 3차원 마커 인지 방법에 대한 일실시예 흐름도,
도 3은 본 발명에 따른 실사영상내의 3차원 마커 이미지에서 마커 ID를 추출하는 방법의 일실시예를 나타낸 참고도,
도 4는 본 발명에 의한 증강현실 및 복합현실 시스템 구현을 위한 3차원 마커에 대한 2차원 이미지의 일실시예를 나타낸 도면이다.
<도면의 주요부분에 대한 부호의 설명>
10 : 영상데이터 수집장치 11 : 입력개체 처리부
12 : 영상데이터 처리부 13 : 디스플레이 장치
111 : 개체 인식부 112 : 개체 추적부
113 : 개체 ID 추출부 121 : 입력 제어부
122 : 개체 ID 매핑 데이터베이스
123 : 영상데이터 처리부 124 : 영상 데이터 출력부
본 발명은 3차원 마커 인지 방법 및 이를 이용한 증강현실 및 복합현실 제공 방법 및 시스템에 관한 것으로, 보다 상세하게는 적은 메모리 용량, 느린 CPU 속도, 적은 네트워크 밴드위스(Bandwidth) 등의 기술적 제약을 지닌 휴대폰이나 PDA와 같은 저가형 임베디드 장치의 카메라 입력부를 통해서 획득된 실사영상(Live Video Stream)으로부터 특정 마커(Marker)를 인지(Detection)하고, 이를 이용하여 증강현실 및 복합현실 시스템을 구현하는 방법에 관한 것이다.
종래의 증강현실 및 복합현실 시스템에서 사용되는 개체를 인지하기 위한 방법은 가상적인 마커의 사용 여부에 따라서 가상 마커(Artificial Marker)와 마커리스(Marker-less)의 2가지 방법으로 구분된다.
가상 마커(Artificial Marker) 방법은 동일한 형태와 크기의 물리적인 마커를 실사영상으로부터 입력받아 해당 마커를 인지하고, 그에 따른 마커의 위치, 방향 등을 영상입력 장치로부터의 상대적인 데이터로 계산하여 가상의 개체가 보여질 포즈 및 위치를 예측하는 방법으로서, 물리적인 마커 인지를 위해서 패턴 비교 (Pattern Matching) 방식을 사용했는데, 이 방식에서는 물리적인 마커를 하나 이상 미리 등록하여 가지고 있어야 하며, 유동적으로 마커 정보를 변경할 수 없다는 단점이 있다. 특히, 하나의 어플리케이션에서 여러 개의 가상 개체를 표현 하기 위해서는 해당 수만큼의 마커를 등록해야 함은 물론, 어플리케이션 구동시 마커들을 미리 메모리에 적재해야 하기 때문에, 비교적 많은 메모리 용량이 필요하다는 단점이 있다.
또한, 마커리스(Marker-less) 방법은 가상의 물리적인 마커를 사용하는 대신 실세계의 물체(Object)를 마커로 등록하여 가상 마커처럼 사용하는 방법으로서, 이 방식 또한 등록된 마커를 별도로 가지고 있어야 하며, 마커를 비교 및 추적하기 위해서는 시스템 리소스를 많이 사용한다는 단점이 있다. 특히, 휴대폰, PDA 등과 같이 시스템 리소스가 충분하지 않은 저가형의 소위 로-앤드(low-end) 단말기에는 적합하지 않다.
본 발명은, 상기한 바와 같은 문제점을 해결하기 위해 제안된 것으로서, 패턴 매칭 방식의 2차원의 평면 마커를 사용하지 않고, 3개의 면을 가진 데카르트 좌표 형태의 3차원의 마커를 이용하여 실사 영상 내에 포함 된 3차원 마커를 인지하는 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 이러한 방법으로 인지된 마커로부터 마커 ID를 추출하고, 추출된 마커 ID로부터 가상개체의 정보를 획득하고, 수집 장치를 통해 입력된 영상에 가상 영상을 투영할 수 있도록 함으로써, 증강 현실 및 복합 현실 시스템을 구현하는 방법 및 장치를 제공하는 것을 목적으로 한다.
상기한 바와 같은 목적을 달성하기 위하여 본 발명은, 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치로서, 가상개체로 이용될 실사의 영상데이터를 수집하기 위한 영상데이터 수집장치; 상기 수집된 영상데이터로부터 가상개체로 사용될 마커를 인지 및 추적하여 마커 ID를 추출하여 가상개체 정보를 생성하기 위한 입력영상 처리장치; 상기 영상데이터 수집 장치 및 상기 입력영상 처리장치를 통해 생성된 가상개체 정보를 실사의 영상데이터에 투영되어 합성되도록 처리 및 출력하기 위한 출력영상 처리장치; 및 상기 출력영상 처리장치로부터 출력되는 영상데이터를 전달받아 디스플레이하기 위한 디스플레이 장치를 포함하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치를 제공한다.
상기 입력영상 처리장치는, 상기 영상데이터 수집 장치로부터 입력된 데이터를 이용하여 가상개체로 사용될 마커를 인지하는 마커 인지부; 상기 인지된 마커 영상데이터로부터 가상개체로 사용될 마커를 추적하는 마커 추적부; 및 상기 추적된 개체로부터 마커 ID를 추출하는 마커 ID 추출부를 포함하도록 구성할 수 있다.
또한, 상기 출력영상 처리장치는,상기 영상데이터 수집 장치로부터 입력된 실사 영상데이터와 상기 입력영상 처리장치로부터 인지 및 추적되고 추출된 마커 ID 정보를 입력받아 전달하기 위한 입력제어부; 상기 마커 ID 정보에 대한 가상영상 정보가 저장되어 있는 가상영상 정보 데이터베이스; 상기 입력제어부로부터 전달받은 가상개체 정보와 실사 영상데이터 및 상기 가상영상 정보 데이터베이스에 저장되어 있는 가상영상 정보를 이용하여 정합된 영상데이터를 생성하기 위한 영상데이터 처리부; 및 상기 영상데이터 처리부로부터 또는 상기 입력제어부로부터 전달받은 영상데이터를 출력하기 위한 영상 출력부를 포함하여 구성할 수 있다.
또한, 상기 입력영상 처리장치의 마커 추적부는,적어도 하나 이상의 영상데이터 수집 장치로부터 획득된 실사 영상을 이용하며, 추가 트래커(tracker) 장치를 더 포함하도록 구성할 수도 있다.
또한, 상기 입력영상 처리 장치에서 인지 및 추적되는 마커는, 3개의 면으로 구성된 3차원의 데카르트 좌표의 형태로 구성되며, 4개의 칼라정보를 가진 원형의 반점 형태로부터 마커 ID를 추출하는 것을 특징으로 한다.
한편, 본 발명은, 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 방법에 있어서, 영상데이터 수집 장치가 가상개체로 이용될 실사의 영상을 수집하는 제 1 단계; 상기 수집된 영상데이터에서 가상개체로 이용될 마커를 인지하는 제 2 단계; 상기 인지된 마커 영상데이터에서 가상개체로 이용될 마커를 추적하는 제 3 단계; 상기 인지된 마커 영상데이터에서에서 마커 ID를 추출하는 제 4 단계; 상기 추출된 마커 ID를 이용하여 디스플레이될 가상영상의 포즈추정을 수행하는 제 5 단계; 및 상기 포즈추정 정보를 이용하여 상기 실사 영상과 상기 가상 영상의 실시간 정합을 수행하는 제 6 단계를 포함하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공방법을 제공한다.
또한, 본 발명은, 마이크로프로세서를 구비한 증강현실 및 복합현실 제공 장치에 이용되는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서, 영상데이터 수집 장치가 가상개체로 이용될 실사영상을 수집하는 제 1 기능; 입력영상 처리장치가 상기 영상데이터 수집 장치로부터 입력받은 실사영상에서 가상개체로 이용될 마커를 인지하는 제 2 기능; 상기 인지된 마커 영상데이터에서 가상개체로 이용될 마커를 추적하는 제 3 기능; 상기 인지된 마커 영상데이터에서 가상개체로 이용될 마커 ID를 추출하는 제 4 기능; 상기 추출된 마커 ID를 이용하여 가상영상정보 데이터베이스로부터 가상영상 데이터를 획득하는 제 5 기능; 상기 입력영상 처리장치로부터 생성된 가상개체 데이터를 이용하여 디스플레이될 가상영상의 포즈추정을 수행하는 제 6 기능; 출력영상 처리장치가 상기 영상데이터 수집 장치로부터 입력된 실사 영상데이터 및 상기 입력영상 처리장치로부터 입력된 가상개체 데이터와 가상영상의 포즈추정 정보를 이용하여 상기 실사 영상과 상기 가상 영상의 실시간 정합을 수행하고 처리하여 디스플레이 장치로 출력하는 제 7 기능; 및 상기 디스플레이 장치가 상기 출력영상 처리장치로부터 전달받은 정합된 영상데이터를 디스플레이하는 제 8 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
이하, 첨부 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1은 본 발명에 의한 증강현실 및 복합현실 시스템 구현을 위한 3차원 마 커 인지 방법의 구현장치에 대한 일실시예의 구성도이다.
도면에 도시한 바와 같이, 본 발명의 3차원 마커 인지 방법 구현장치는, 실사의 영상을 수집하기 위한 영상데이터 수집 장치(10), 상기 수집된 영상데이터에서 가상개체로 이용될 마커를 인지 및 추적하고, 이를 통해 마커 ID 정보를 생성하기 위한 입력영상 처리부(11), 상기 영상데이터 수집 장치(10)와 입력영상 처리부(11)를 통해 가공된 영상데이터를 증강현실을 이용하여 처리하고 디스플레이 장치(18)로 출력하기 위한 출력영상 처리부(12)를 포함한다. 본 명세서에서, 입력영상 처리부는 입력영상 처리장치에 대응되고, 출력영상 처리부는 출력영상 처리장치에 대응될 수 있다.
상기 입력영상 처리부(11)는 영상데이터 수집 장치(10)로부터 수집된 실사 영상데이터(14)를 이용하여 가상개체로 사용될 마커를 인지하는 마커 인지부(111)와, 인지된 마커를 추적하는 마커 추적부(112), 마커 인지부(111)로부터 인지된 마커로부터 마커 ID를 추출하는 마커 ID 추출부(113)를 포함한다.
상기 출력영상 처리부(12)는 상기 영상데이터 수집장치(10)에서 수집된 실사 영상데이터(15)를 영상출력부(124)로 전달하거나, 입력영상 처리부(11)에서 추출된 가상개체정보(116), 그리고 마커 ID 정보(16)를 영상데이터 처리부(123)로 전달하기 위한 입력제어부(121), 가상개체 정보를 이용하여 실사 영상데이터(15)와 정합하기 위해 필요한 정보가 저장되어 있는 가상영상 정보 데이터베이스(122), 입력 제어부(121)로부터 전달받은 가상객체 정보(127)와 가상영상 정보 데이터베이스(122)에 저장되어 있는 가상영상 정보(125)를 바탕으로 데이터를 처리하여 영상출력부(124)로 전달하기 위한 영상데이터 처리부(123) 및 상기 영상데이터 처리부(123)로부터 전달받은 가상 영상데이터와 상기 입력 제어부(121)를 통하여 전달받은 실사 영상데이터를 디스플레이 장치(18)으로 출력하기 위한 영상출력부(124)를 포함한다.
도 2 는 본 발명에 따른 증강현실 및 복합현실 시스템 구현을 위한 3차원 마커(Marker) 인지 방법에 대한 일실시예의 흐름도이다.
먼저, 입력영상 처리장치(11)는 영상데이터 수집 장치(10)에 의해 획득된 실사 영상데이터(14)를 이용하여 마커를 인지하고, 인지된 마커를 추적하고, 마커 ID를 추출한 후 출력영상 처리장치(12)로 가상개체 정보(16)를 전달한다.
이후, 출력영상 처리장치(12)는 입력영상 처리장치(11)로부터 전달된 마커 ID 정보(16)가 가상영상 정보 데이터베이스(122)에 저장되어 있는 정보와 적절하게 정합될 수 있는지를 판단하여, 해당 가상개체에 대한 가상 영상을 획득하고 이를 영상출력부(124)를 통해 디스플레이 장치(18)로 출력하거나, 입력영상 처리장치(11)로부터 전달된 가상개체 정보(16)가 가상영상 정보 데이터베이스(122)에 저장된 정보와 정합될 수 없는 것이라면 입력 제어부(121)를 통해 전달된 영상데이터 수집 장치(10)로부터의 실사 영상데이터(15)를 영상출력부(124)로 전달하여 디스플레이 장치(18)로 출력하도록 한다.
다음으로, 상기 설명한 도 1 및 도 2를 참조로 하여 상기 입력영상 처리장치(11)와 출력영상 처리장치(12)의 동작을 보다 상세히 설명한다
본 발명의 방법에서는 입력영상 처리장치(11)에서의 해당 마커 인지 및 추적, 마커 ID 추출은 영상데이터 수집 장치(10)로부터 전달되는 2차원 실사영상을 바탕으로 하여 가상 개체의 영상으로 투영될 실제 세계의 3차원 마커를 인지하게 되는데, 이 과정에서 R/G/B 칼라 정보를 이용하여 3개 라인(축)의 좌표를 획득하고, 3개의 면에 포함된 원형 반점(斑点, Blob)를 검출하고, 검출된 블러브들로부터 마커 ID정보를 추출할 수 있다.
상기의 과정에서 획득된 정보를 이용하여 가상영상 정보 데이터베이스(122)에 저장된 가상영상 정보와의 비교를 통해 입력영상 처리장치(11)로부터 마커의 상대적인 위치 및 방향 정보를 계산하게 되고, 출력영상 처리장치(12)는 상기의 정보들을 바탕으로 가상영상 정보 데이터베이스(122)에 저장되어 있는 정의된 3차원 가상영상 모델 데이터가 실사 영상데이터에 정합될 위치와 방향 등의 정보를 결정하게 된다.
도 3은 상기 과정에서 실사 영상내의 3차원 마커 이미지에서 마커 인지 및 마커 ID를 추출하는 방법을 보여준다.
도 3을 참조하면, 본 발명의 방법에서는 영상데이터 수집 장치(10)로부터 전 달되는 2차원 실사영상을 바탕으로 하여 가상 개체의 영상으로 투영될 실제 세계의 3차원 마커를 인지하게 되는데, 이 과정에서 실사 영상내의 3차원 마커 이미지는 3개의 축이 연결된 3차원의 데카르트 좌표 형태로 먼저 칼라 정보를 이용하여 중심 라인을 검출하고, 검출된 라인의 양 끝점(P0,P3)의 좌표를 획득하고, 상기 검출된 양 끝점(P0,P3)에 연결된 다른 2개의 라인을 검출하고, 각 라인의 양 끝점(P0,P1,P2)의 좌표를 획득할 수 있게 된다.
이러한 기본 데이터를 이용하여 각각의 면에 포함된 원형의 반점(斑点, Blob)를 검출하고, 검출된 블러브들로부터 마커 ID정보를 추출할 수 있게 된다. 하나의 블러브는 각각 4가지 상태의 색상(하양, 빨강, 초록, 하늘색)정보로 구성되며, 각 면에는 4개의 블러브를 포함 하며, 3개의 면으로 구성되므로 하나의 3차원 마커로 최대 43*4 = 16,777,216개의 마커 ID를 표현할 수 있다. 본 발명의 방법에서는 실사영상에서의 마커의 인지, 추적 및 마커 ID 추출 과정에서 발생할 수 있는 처리시간의 지연 등을 방지하기 위해 한 면의 블러브 수를 4개로 제한했지만, 한 면에 포함되는 블러브의 수는 4개 이상 생성이 가능하다.
도 4는 본 발명에 따른 증강현실 및 복합현실 시스템 구현을 위한 3차원 마커(Marker)에 대한 2차원 이미지의 일실시예이다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 본 발명의 바람직한 실시예를 참조하여 본 발명의 구성을 설명하였으나, 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변환 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
본 발명에 의하면, 증강현실 또는 복합현실 시스템을 구현함에 있어서, 종래 일적으로 사용되는 특정 형태의 마커를 이용하지 않고, 실사 영상에서 전달되는 2차원 이미지를 분석하여 칼라 정보를 이용하여 마커를 자동 인지하고, 인지된 마커 이미지를 분석하고 마커 ID를 추출하고, 인지된 마커를 실시간 추적하여 마커의 위치 및 방향 정보를 추출할 수 있으며, 이러한 방법에 의해 추출된 마커 ID, 위치 및 방향정보로 부터 증강현실 또는 복합현실 시스템의 실사영상에 투영되어 합성될 가상개체를 선택하고, 마커의 위치 및 방향정보로부터 합성될 가상개체의 위치 및 방향을 판단할 수 있으므로, 저가형의 임베디드 장치에서도 저렴하고 효율적인 증 강현실 및 복합현실 시스템을 구현할 수 있다.
또한, 다양한 가상 영상 정보들을 미리 정의된 가상영상 정보 데이터베이스에 저장하고 이를 통해 합성될 가상영상의 획득을 하게 되므로, 가상영상 정보 데이터베이스의 내용에 추가, 수정, 삭제만으로도 보다 융통성있는 증강현실 및 복합현실 응용시스템을 구현할 수 있다.

Claims (7)

  1. 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치로서,
    가상개체로 이용될 실사의 영상데이터를 수집하기 위한 영상데이터 수집장치;
    상기 수집된 영상데이터로부터 가상개체로 사용될 마커를 인지 및 추적하여 마커 ID를 추출하여 가상개체 정보를 생성하기 위한 입력영상 처리장치;
    상기 영상데이터 수집 장치 및 상기 입력영상 처리장치를 통해 생성된 가상개체 정보를 상기 실사의 영상데이터에 투영되어 합성되도록 처리 및 출력하기 위한 출력영상 처리장치; 및
    상기 출력영상 처리장치로부터 출력되는 영상데이터를 전달받아 디스플레이하기 위한 디스플레이 장치
    를 포함하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치.
  2. 제 1 항에 있어서,
    상기 입력영상 처리장치는,
    상기 영상데이터 수집 장치로부터 입력된 데이터를 이용하여 가상개체로 사 용될 마커를 인지하는 마커 인지부;
    상기 인지된 마커 영상데이터로부터 가상개체로 사용될 마커를 추적하는 마커 추적부; 및
    상기 추적된 개체로부터 마커 ID를 추출하는 마커 ID 추출부
    를 포함하는 것을 특징으로 하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치.
  3. 제 1 항에 있어서,
    상기 출력영상 처리장치는,
    상기 영상데이터 수집 장치로부터 입력된 실사 영상데이터와 상기 입력영상 처리장치로부터 인지 및 추적되고 추출된 마커 ID 정보를 입력받아 전달하기 위한 입력제어부;
    상기 마커 ID 정보에 대한 가상영상 정보가 저장되어 있는 가상영상 정보 데이터베이스;
    상기 입력제어부로부터 전달받은 가상개체 정보와 실사 영상데이터 및 상기 가상영상 정보 데이터베이스에 저장되어 있는 가상영상 정보를 이용하여 정합된 영상데이터를 생성하기 위한 영상데이터 처리부; 및
    상기 영상데이터 처리부로부터 또는 상기 입력제어부로부터 전달받은 영상데이터를 출력하기 위한 영상 출력부
    를 포함하는 것을 특징으로 하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치.
  4. 제 2 항에 있어서,
    상기 입력영상 처리장치의 마커 추적부는,
    적어도 하나 이상의 영상데이터 수집 장치로부터 획득된 실사 영상을 이용하며, 추가 트래커(tracker) 장치를 더 포함하는 것을 특징으로 하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치.
  5. 제 2 항에 있어서,
    상기 입력영상 처리 장치에서 인지 및 추적되는 마커는,
    3개의 면으로 구성된 3차원의 데카르트 좌표의 형태로 구성되며,
    4개의 칼라정보를 가진 원형의 반점 형태로부터 마커 ID를 추출하는 것을 특징으로 하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 장치.
  6. 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공 방법에 있어서,
    영상데이터 수집 장치가 가상개체로 이용될 실사의 영상을 수집하는 제 1 단계;
    상기 수집된 영상데이터에서 가상개체로 이용될 마커를 인지하는 제 2 단계;
    상기 인지된 마커 영상데이터에서 가상개체로 이용될 마커를 추적하는 제 3 단계;
    상기 인지된 마커 영상데이터에서에서 마커 ID를 추출하는 제 4 단계;
    상기 추출된 마커 ID를 이용하여 디스플레이될 가상영상의 포즈추정을 수행하는 제 5 단계; 및
    상기 포즈추정 정보를 이용하여 상기 실사 영상과 상기 가상 영상의 실시간 정합을 수행하는 제 6 단계
    를 포함하는 3차원 마커 인지 방법을 이용한 증강현실 및 복합현실 제공방법.
  7. 삭제
KR1020040103916A 2004-12-10 2004-12-10 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치 KR101086068B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020040103916A KR101086068B1 (ko) 2004-12-10 2004-12-10 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040103916A KR101086068B1 (ko) 2004-12-10 2004-12-10 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20060065159A KR20060065159A (ko) 2006-06-14
KR101086068B1 true KR101086068B1 (ko) 2011-11-22

Family

ID=37160469

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040103916A KR101086068B1 (ko) 2004-12-10 2004-12-10 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101086068B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021150008A1 (ko) * 2020-01-22 2021-07-29 이태경 두 개의 3차원 상사 영상을 디스플레이 화면상에서 정합하는 방법

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100702534B1 (ko) * 2005-07-29 2007-04-02 (주)포스트미디어 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법
KR100793837B1 (ko) * 2006-09-13 2008-01-11 한국전자통신연구원 조명의 변화와 학습자 인터랙션을 고려한 마커 인식 장치및 마커 인식 방법
WO2008069474A1 (en) * 2006-12-05 2008-06-12 Electronics And Telecommunications Research Institute Personal-oriented multimedia studio platform apparatus and method for authorizing 3d content
KR100834904B1 (ko) * 2006-12-08 2008-06-03 한국전자통신연구원 마커 기반의 사용자 인터랙션을 지원하는 증강현실 콘텐츠저작 시스템 및 방법
KR100945555B1 (ko) * 2007-03-20 2010-03-08 인천대학교 산학협력단 증강현실 공간을 제공하는 장치 및 방법
KR100900806B1 (ko) * 2007-11-01 2009-06-04 광주과학기술원 컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법
KR100930370B1 (ko) * 2007-11-30 2009-12-08 광주과학기술원 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
KR100945288B1 (ko) * 2008-06-16 2010-03-03 경희대학교 산학협력단 확장된 에이알지를 활용한 증강현실 기반의 싱글미디어멀티서비스 방법 및 시스템
KR101360388B1 (ko) * 2008-08-19 2014-02-07 (주)브이알엑스 결합된 캐드 모델을 이용한 복수 객체 동시 추적 장치 및 방법
KR20100026240A (ko) * 2008-08-29 2010-03-10 김상국 증강현실을 이용한 쓰리디 헤어스타일 시뮬레이션 방법 및 장치
KR101020862B1 (ko) * 2008-10-16 2011-03-09 광주과학기술원 콘텐츠 저작 공간 구축 방법 및 시스템
KR100974900B1 (ko) 2008-11-04 2010-08-09 한국전자통신연구원 동적 임계값을 이용한 마커 인식 장치 및 방법
KR100971667B1 (ko) * 2008-12-11 2010-07-22 인천대학교 산학협력단 증강 책을 통한 실감 콘텐츠를 제공하는 방법 및 장치
KR101040253B1 (ko) * 2009-02-03 2011-06-09 광주과학기술원 증강 현실 제공을 위한 마커 제작 및 인식 방법
KR101047615B1 (ko) * 2009-11-02 2011-07-07 삼성에스디에스 주식회사 해상도 차이를 이용한 증강현실 정합 시스템 및 방법
KR101115617B1 (ko) * 2010-01-05 2012-02-15 경희대학교 산학협력단 증강현실 기반 대기행렬모델 교육 방법 및 그 시스템
KR101722550B1 (ko) 2010-07-23 2017-04-03 삼성전자주식회사 휴대용 단말에서 증강현실 컨텐츠 제작과 재생 방법 및 장치
KR101253537B1 (ko) * 2010-08-20 2013-04-11 한국전자통신연구원 증강현실 기반의 실감형 학습 콘텐츠 저작 장치 및 방법
KR101049090B1 (ko) * 2010-09-17 2011-07-15 성준형 증강 현실 마커 및 증강 현실을 이용한 콘텐츠 유통 방법
KR101334049B1 (ko) * 2011-03-16 2013-11-28 성준형 증강 현실 기반 사용자 인터페이스 제공 장치 및 방법
KR101242551B1 (ko) * 2011-05-30 2013-03-19 (주)포스트미디어 입체 디지털 정보 표시 기능을 갖는 입체 영상 디스플레이 장치 및 입체 영상에서 입체 디지털 정보 표시 방법
KR101225421B1 (ko) * 2011-06-10 2013-01-22 한남대학교 산학협력단 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법
US8872852B2 (en) 2011-06-30 2014-10-28 International Business Machines Corporation Positional context determination with multi marker confidence ranking
KR101920473B1 (ko) * 2011-07-27 2018-11-22 삼성전자주식회사 센서 융합 기반으로 3차원 위치와 방향을 추정하는 장치 및 방법
CN103828357B (zh) * 2011-09-30 2016-01-20 李汶基 图像处理系统以及图像处理方法
KR101277737B1 (ko) * 2012-03-22 2013-06-24 한남대학교 산학협력단 다중 마커의 배열을 이용하는 증강현실 시스템 및 그 방법
WO2015199470A1 (ko) * 2014-06-25 2015-12-30 한국과학기술원 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
CN111784838B (zh) * 2020-06-29 2024-10-11 中国二十冶集团有限公司 一种基于倾斜摄影的超长线性结构三维实景模型处理方法
KR102328714B1 (ko) * 2020-08-06 2021-11-18 주식회사 한국역사문화연구소 조립가능한 3차원 구조체를 이용한 복합 현실 구동 시스템 및 이를 이용한 복합 현실 구동 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287699A (ja) 2003-03-20 2004-10-14 Tama Tlo Kk 画像合成装置及びその合成方法
JP2004341642A (ja) 2003-05-13 2004-12-02 Nippon Telegr & Teleph Corp <Ntt> 画像合成表示方法、画像合成表示プログラム、並びにこの画像合成表示プログラムを記録した記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004287699A (ja) 2003-03-20 2004-10-14 Tama Tlo Kk 画像合成装置及びその合成方法
JP2004341642A (ja) 2003-05-13 2004-12-02 Nippon Telegr & Teleph Corp <Ntt> 画像合成表示方法、画像合成表示プログラム、並びにこの画像合成表示プログラムを記録した記録媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021150008A1 (ko) * 2020-01-22 2021-07-29 이태경 두 개의 3차원 상사 영상을 디스플레이 화면상에서 정합하는 방법

Also Published As

Publication number Publication date
KR20060065159A (ko) 2006-06-14

Similar Documents

Publication Publication Date Title
KR101086068B1 (ko) 3차원 마커 인지 방법 및 이를 이용한 증강현실 및복합현실 제공 방법 및 장치
EP2614487B1 (en) Online reference generation and tracking for multi-user augmented reality
US9836645B2 (en) Depth mapping with enhanced resolution
WO2017041731A1 (en) Markerless multi-user multi-object augmented reality on mobile devices
EP2874097A2 (en) Automatic scene parsing
US20220245859A1 (en) Data processing method and electronic device
KR20140009585A (ko) Rgbd 카메라를 이용한 머리 포즈 추정
KR20100006324A (ko) 복수 객체 추적 방법과 장치 및 저장매체
CN103035003B (zh) 一种实现增强现实的方法及装置
KR20160098560A (ko) 동작 분석 장치 및 방법
JP3844482B2 (ja) 画像処理装置
CN104143074A (zh) 一种用于基于运动特征信息生成运动特征码的方法和设备
CN111061374A (zh) 一种支持多人模式增强现实应用的方法及装置
KR20200076267A (ko) 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템
KR20060021001A (ko) 개체인지를 이용한 Marker-less 증강현실과 복합현실 응용시스템 및 그 방법
CN106980847B (zh) 一种基于生成与共享ARMark的AR游戏与活动的方法和系统
Fortin et al. Handling occlusions in real-time augmented reality: dealing with movable real and virtual objects
CN113362467B (zh) 基于点云预处理和ShuffleNet的移动端三维位姿估计方法
CN115131407B (zh) 面向数字仿真环境的机器人目标跟踪方法、装置和设备
CN111198609A (zh) 交互显示方法、装置、电子设备及存储介质
CN112966658B (zh) 机器人导航方法、装置、终端设备及计算机可读存储介质
McClean An Augmented Reality System for Urban Environments using a Planar Building Fa cade Model
Heinrichs et al. Robust spatio-temporal feature tracking
Rößler et al. A case study: Mobile augmented reality system for visualization of large buildings
KR102542363B1 (ko) 3차원 공간에서 객체를 인식하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150316

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151116

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee