KR101135186B1 - 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 - Google Patents
상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 Download PDFInfo
- Publication number
- KR101135186B1 KR101135186B1 KR1020100019047A KR20100019047A KR101135186B1 KR 101135186 B1 KR101135186 B1 KR 101135186B1 KR 1020100019047 A KR1020100019047 A KR 1020100019047A KR 20100019047 A KR20100019047 A KR 20100019047A KR 101135186 B1 KR101135186 B1 KR 101135186B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- virtual content
- unit
- information
- feature points
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 88
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 38
- 230000003993 interaction Effects 0.000 claims abstract description 73
- 230000003416 augmentation Effects 0.000 claims abstract description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 13
- 238000007654 immersion Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 33
- 230000036544 posture Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 6
- 239000003550 marker Substances 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000012482 interaction analysis Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
Abstract
본 발명은 현실 환경의 미니어처와 가상 환경의 디지털 콘텐츠 간 상호작용 기술에 관련한 상호작용형 실시간 증강현실 시스템과 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 본 발명은 미리 정해진 스토리를 고려하여 현실 환경과 가상 콘텐츠 간 상호작용을 위한 입력 정보를 획득하는 입력 정보 획득부; 획득된 입력 정보에 따라 가상 콘텐츠를 결정하는 가상 콘텐츠 결정부; 및 미리 얻어진 가상 콘텐츠의 증강 위치를 이용하여 현실 환경과 가상 콘텐츠를 매칭시키는 매칭부를 포함하는 것을 특징으로 하는 상호작용형 실시간 증강현실 시스템을 제공한다. 본 발명에 따르면, 도구를 사용하지 않고도 현실 환경과 가상 콘텐츠 간의 상호 작용을 구현할 수 있으며, 자연 특징점을 이용한 증강으로 인해 보다 향상된 몰입감을 얻을 수 있다.
Description
본 발명은 상호작용형 실시간 증강현실 시스템과 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다. 보다 상세하게는, 현실 환경의 미니어처와 가상 환경의 디지털 콘텐츠 간 상호작용 기술에 관련한 상호작용형 실시간 증강현실 시스템과 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것이다.
최근 들어 디지로그형 콘텐츠에 대한 관심이 증가하고 있다. 디지로그형 콘텐츠란 아날로그 의미를 갖는 사물에 디지털 콘텐츠가 이음매 없이(seamless) 결합된 형태로 정의된다. 디지로그형 콘텐츠는 아날로그 사물이 전달하고자 하는 고유의 정보와 컴퓨터를 통해 생성된 가상의 멀티미디어 정보를 함께 경험할 수 있게 해주는 장점을 갖는다. 아날로그 책과 책 콘텐츠와 관련된 디지털 정보를 증강현실(augmented reality) 공간에서 접목한 디지로그 북은 이러한 디지로그형 콘텐츠를 보여주는 대표적인 예라 할 수 있다.
증강현실은 디지로그형 응용들의 재현에 가장 적합한 융합형 기술이다. 그 중에서도 특히, 가상의 콘텐츠를 삽입할 실제 환경 정보 획득을 위한 실시간 카메라 추적 기술과 이음매 없는 증강현실 제공을 위한 상호작용 기술이 디지로그형 응용들의 재현에 매우 적합하다.
종래에는 증강현실을 위한 다양한 카메라 추적 방법들이 연구되어 왔다. 대표적으로 ARToolKit이 널리 사용되고 있다. ARToolKit의 경우, 소규모 작업 공간에서의 상호작용이 강조된 증강현실 응용 구축이 용이하나, 넓은 공간에서의 응용 시스템 구축이 어렵고, 정형화된 검은색 정사각형 마커는 사용자의 몰입감을 저해하는 단점을 갖고 있다. 이러한 ARToolKit의 단점을 보완하기 위해 마커리스(markerless) 추적에 관한 연구가 진행되어져 왔다. 마커리스 추적은 실제 환경 정보를 마커 대신 이용해 자연스러운 증강을 제공한다. 그러나, 마커리스 추적 기술은 ARToolKit보다 복잡한 형태의 초기화 작업을 요구하고, 높은 계산량을 요구하므로 실시간성에 제약을 받는다. 특히, 실제 공간의 기하 정보에 대한 활용이 미흡하다.
한편, 이음매 없는 증강현실 구현을 위해서는 실시간 카메라 추적 기술 뿐만 아니라, 사용자가 자연스럽게 증강된 가상의 콘텐츠와 상호작용할 수 있는 기술 또한 필요하다. 그러나, 기존 마커리스 추적 기술을 응용한 시스템들에서는 상호작용이 고려되지 않았으며, 대부분의 시스템들은 마커가 부착된 도구를 이용한 상호작용을 여전히 사용하고 있다. 마커가 부착된 도구를 이용할 경우 추적 기술은 용이하게 구현할 수 있으나, 자연스러운 상호작용은 구현하기 어렵다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 아날로그인 미니어처와 디지털 콘텐츠를 증강현실 공간에서 실시간 융합하고 재현하며, 이 미니어처 AR을 통해 마커리스 실시간 카메라 추적 방법과 3차원 실시간 깊이 카메라를 이용한 상호작용 방법을 구현하는 상호작용형 실시간 증강현실 시스템과 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체를 제공함을 목적으로 한다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 미리 정해진 스토리를 고려하여 현실 환경과 가상 콘텐츠 간 상호작용을 위한 입력 정보를 획득하는 입력 정보 획득부; 상기 획득된 입력 정보에 따라 상기 가상 콘텐츠를 결정하는 가상 콘텐츠 결정부; 및 미리 얻어진 상기 가상 콘텐츠의 증강 위치를 이용하여 상기 현실 환경과 상기 가상 콘텐츠를 실시간으로 매칭해 추적하는 추적부를 포함하는 것을 특징으로 하는 상호작용형 증강현실 시스템을 제공한다.
바람직하게는, 상기 상호작용형 증강현실 시스템은 GUI(Graphical User Interface)에 기반하여 상기 가상 콘텐츠를 저작하는 가상 콘텐츠 저작부를 더욱 포함한다. 더 바람직하게는, 상기 가상 콘텐츠 저작부는 상기 가상 콘텐츠를 저작할 때에 상기 현실 환경의 객체들에 크기 비례하게 상기 가상 콘텐츠를 얼라인(align)시키는 가상 콘텐츠 얼라인부를 포함한다. 더욱 바람직하게는, 상기 가상 콘텐츠 얼라인부는 상기 증강 위치를 설정하는 증강 위치 설정부; 상기 설정된 증강 위치에 상기 가상 콘텐츠를 로드시키는 가상 콘텐츠 로드부; 상기 로드된 가상 콘텐츠의 스케일을 결정하는 스케일 결정부; 및 상기 스케일 결정된 가상 콘텐츠의 자세를 결정하는 자세 결정부를 포함한다. 더욱더 바람직하게는, 상기 스케일 결정부는 상기 가상 콘텐츠의 에지 길이를 동일 에지의 실제 객체에서의 길이로 나눈 값으로 상기 스케일을 결정한다.
바람직하게는, 상기 매칭부는 상기 현실 환경에 위치한 적어도 하나의 객체의 깊이 정보에 기반하여 상기 현실 환경과 상기 가상 콘텐츠 간 상호작용을 해석하는 상호작용 해석부를 포함한다.
바람직하게는, 상기 상호작용형 증강현실 시스템은 획득된 영상에서 특징점에 기반하여 상기 증강 위치를 계산하는 위치 계산부를 더욱 포함한다. 더 바람직하게는, 상기 상호작용형 증강현실 시스템은 상기 현실 환경에 대한 복원 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 제1 특징점 매칭부; 및 상기 획득된 영상의 이전 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 제2 특징점 매칭부를 더욱 포함한다. 더욱 바람직하게는, 상기 위치 계산부가 상기 증강 위치를 계산할 때에 상기 제1 특징점 매칭부와 상기 제2 특징점 매칭부는 동시 구동된다.
바람직하게는, 상기 제1 특징점 매칭부는 상기 획득된 영상에서 기준값 이상의 규모를 가진 적어도 하나의 객체를 1차 인식하며, 상기 획득된 영상에서 상기 기준값 미만의 규모를 가진 적어도 하나의 객체를 2차 인식하는 객체 인식부; 상기 1차 인식된 객체의 개수와 상기 2차 인식된 객체의 개수를 합산하여 얻은 인식 객체 수가 미리 정해진 한계값보다 큰지 비교하는 비교부; 상기 인식 객체 수가 상기 한계값보다 크면 상기 객체 인식부로 하여금 상기 획득된 영상에서 다시 객체를 인식케 하는 인식 제어부; 상기 인식 객체 수가 상기 한계값보다 크지 않으면 상기 복원 영상을 이용하여 상기 인식된 객체들의 자세를 계산하는 자세 계산부; 및 RANSAC(RANdom SAmple Consensus) 기반의 좌표계 생성 알고리즘에 따라 상기 자세 계산된 객체들 중에서 인라이어(inlier)에 해당하는 객체에 대한 정보를 취득하는 객체 정보 취득부를 포함한다.
바람직하게는, 상기 제2 특징점 매칭부는 상기 획득된 영상에 미리 획득된 객체가 있는지 판별하는 판별부; 상기 획득된 영상에 상기 미리 획득된 객체가 있으면 SIFT(Scale Invariant Feature Transform) 알고리즘에 기반하여 특징점을 매칭시키는 특징점 매칭부; 상기 매칭된 특징점의 개수가 기준 개수 이상인지 비교하는 비교부; 상기 매칭된 특징점의 개수가 상기 기준 개수 이상이면 상기 이전 영상을 이용하여 영상을 획득하는 영상 획득 장치의 자세를 계산하는 자세 계산부; 상기 획득된 영상에 상기 미리 획득된 객체가 없거나 상기 매칭된 특징점의 개수가 상기 기준 개수 미만이면 상기 영상 획득 장치로 하여금 영상을 다시 획득케 하는 영상 획득 제어부; 및 상기 자세 계산된 영상 획득 장치에 따라 상기 획득된 영상에서 인라이어(inlier)에 해당하는 객체에 대한 정보를 취득하는 객체 정보 취득부를 포함한다.
바람직하게는, 상기 위치 계산부는 상기 획득된 영상의 컬러 정보를 이용하여 상기 특징점을 추출하는 특징점 추출부; 및 상기 특징점 외에 객체의 에지 정보 또는 객체의 2차원 정보를 더욱 이용하여 영상을 획득하는 영상 획득 장치의 위치를 추적하는 추적부를 포함한다.
바람직하게는, 상기 매칭부는 상기 가상 콘텐츠를 매칭시킬 때에 상기 획득된 영상의 깊이 정보 또는 상기 획득된 영상의 맥락 정보를 이용한다.
바람직하게는, 상기 위치 계산부는 균등한 공간 상에서 관측 확률에 근거하여 상기 특징점을 선별 추출하는 특징점 추출부를 포함한다.
또한, 본 발명은 (a) 미리 정해진 스토리를 고려하여 현실 환경과 가상 콘텐츠 간 상호작용을 위한 입력 정보를 획득하는 단계; (b) 상기 획득된 입력 정보에 따라 상기 가상 콘텐츠를 결정하는 단계; 및 (c) 미리 얻어진 상기 가상 콘텐츠의 증강 위치를 이용하여 상기 현실 환경과 상기 가상 콘텐츠를 매칭시키는 단계를 포함하는 것을 특징으로 하는 증강현실에서의 상호작용 구현 방법을 제공한다.
바람직하게는, 상기 (b) 단계와 상기 (c) 단계의 중간 단계로서, (b') GUI(Graphical User Interface)에 기반하여 상기 가상 콘텐츠를 저작하는 단계를 포함한다. 더 바람직하게는, 상기 (b') 단계는 상기 가상 콘텐츠를 저작할 때에 상기 현실 환경의 객체들에 크기 비례하게 상기 가상 콘텐츠를 얼라인(align)시킨다. 더욱 바람직하게는, 상기 (b') 단계에서 상기 가상 콘텐츠를 얼라인시키는 것은 (b'a) 상기 증강 위치를 설정하는 단계; (b'b) 상기 설정된 증강 위치에 상기 가상 콘텐츠를 로드시키는 단계; (b'c) 상기 로드된 가상 콘텐츠의 스케일을 결정하는 단계; 및 (b'd) 상기 스케일 결정된 가상 콘텐츠의 자세를 결정하는 단계를 포함한다. 더욱더 바람직하게는, 상기 (b'c) 단계는 상기 가상 콘텐츠의 에지 길이를 동일 에지의 실제 객체에서의 길이로 나눈 값으로 상기 스케일을 결정한다.
바람직하게는, 상기 (b) 단계와 상기 (c) 단계의 중간 단계로서, (b') 획득된 영상에서 특징점에 기반하여 상기 증강 위치를 계산하는 단계를 포함한다. 더 바람직하게는, (b'') 상기 현실 환경에 대한 복원 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 단계; 및 (b''') 상기 획득된 영상의 이전 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 단계를 더욱 포함한다. 더욱 바람직하게는, 상기 (b') 단계는 상기 증강 위치를 계산할 때에 상기 (b'') 단계와 상기 (b''') 단계를 동시 수행한다.
바람직하게는, 상기 (b'') 단계는 (b''a) 상기 획득된 영상에서 기준값 이상의 규모를 가진 적어도 하나의 객체를 1차 인식하며, 상기 획득된 영상에서 상기 기준값 미만의 규모를 가진 적어도 하나의 객체를 2차 인식하는 단계; (b''b) 상기 1차 인식된 객체의 개수와 상기 2차 인식된 객체의 개수를 합산하여 얻은 인식 객체 수가 미리 정해진 한계값보다 큰지 비교하는 단계; (b''c) 상기 인식 객체 수가 상기 한계값보다 크면 상기 객체 인식부로 하여금 상기 획득된 영상에서 다시 객체를 인식케 하며, 상기 인식 객체 수가 상기 한계값보다 크지 않으면 상기 복원 영상을 이용하여 상기 인식된 객체들의 자세를 계산하는 단계; 및 (b''d) RANSAC(RANdom SAmple Consensus) 기반의 좌표계 생성 알고리즘에 따라 상기 자세 계산된 객체들 중에서 인라이어(inlier)에 해당하는 객체에 대한 정보를 취득하는 단계를 포함한다.
바람직하게는, 상기 (b''') 단계는 (b'''a) 상기 획득된 영상에 미리 획득된 객체가 있는지 판별하는 단계; (b'''b) 상기 획득된 영상에 상기 미리 획득된 객체가 있으면 SIFT(Scale Invariant Feature Transform) 알고리즘에 기반하여 특징점을 매칭시키며, 상기 획득된 영상에 상기 미리 획득된 객체가 없으면 영상을 획득하는 영상 획득 장치로 하여금 영상을 다시 획득케 하는 단계; (b'''c) 상기 매칭된 특징점의 개수가 기준 개수 이상인지 비교하는 단계; (b'''d) 상기 매칭된 특징점의 개수가 상기 기준 개수 이상이면 상기 이전 영상을 이용하여 상기 영상 획득 장치의 자세를 계산하며, 상기 매칭된 특징점의 개수가 상기 기준 개수 미만이면 상기 영상 획득 장치로 하여금 영상을 다시 획득케 하는 단계; 및 (b'''e) 상기 자세 계산된 영상 획득 장치에 따라 상기 획득된 영상에서 인라이어(inlier)에 해당하는 객체에 대한 정보를 취득하는 단계를 포함한다.
바람직하게는, 상기 (b') 단계는 상기 증강 위치를 계산할 때에, 상기 획득된 영상의 컬러 정보를 이용하여 상기 특징점을 추출하는 단계; 및 상기 특징점 외에 객체의 에지 정보 또는 객체의 2차원 정보를 더욱 이용하여 영상을 획득하는 영상 획득 장치의 위치를 추적하는 단계를 포함한다.
바람직하게는, 상기 (c) 단계는 상기 가상 콘텐츠를 매칭시킬 때에 상기 획득된 영상의 깊이 정보 또는 상기 획득된 영상의 맥락 정보를 이용한다.
바람직하게는, 상기 (b') 단계는 상기 증강 위치를 계산할 때에 균등한 공간 상에서 관측 확률에 근거하여 상기 특징점을 선별 추출하는 단계를 포함한다.
또한, 본 발명은 컴퓨터로 판독 가능한 기록매체로서, 전술한 방법들 중 어느 한 항에 따른 방법을 구현하는 프로그램이 기록된 기록매체를 제공한다.
본 발명은 상기한 목적에 따라 다음과 같은 효과를 얻을 수 있다. 첫째, 사용자는 임의의 도구(ex. 마커가 부착된 도구) 없이 손을 사용해 실제 미니어처에 정합된 3차원 가상 콘텐츠와 상호 작용할 수 있다. 둘째, 실제 미니어처의 모델 정보를 이용해서, 가상 콘텐츠가 증강될 경우 실제 미니어처에 가상 그림자를 3차원으로 렌더링할 수 있고, 가상과 실제 미니어처의 충돌 처리 또한 가능하며, 가상과 실제 간의 가림 현상 등의 효과를 얻어 몰입감을 향상시킬 수 있다. 모든 과정이 자연 특징점 기반으로 이루어지므로 마커를 붙이는 접근 방식보다 향상된 몰입감을 얻을 수 있다. 세째, 미니어처의 실측 비율을 고려해 가상 콘텐츠를 증강함으로 인해, 기존 증강현실 응용에서 지원하지 않았던 실측에 근거한 시스템을 구축할 수 있다. 네째, 제안된 발명은 미니어처 뿐 아니라 기존 야외 건물이나 실내 구조물에도 적용될 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 상호작용형 증강현실 시스템을 개략적으로 도시한 블록도이다.
도 2는 미니어처 AR 시스템의 전체적인 개념도이다.
도 3은 본 발명의 바람직한 실시예에 따른 상호작용형 증강현실 시스템의 내부 상세도이다.
도 4는 가상 콘텐츠의 얼라인 과정을 설명하기 위한 참고도이다.
도 5는 추적 쓰레드와 인식 쓰레드로 이루어진 알고리즘 흐름도이다.
도 6는 본 실시예에 따른 상호작용 결과를 보여주는 도면이다.
도 7은 3차원 복원 및 마커리스 추적 결과를 이용해 가상의 아바타를 증강한 결과를 보여주는 도면이다.
도 8은 미니어처 AR에 적용된 마커리스 추적 알고리즘을 확장해 다수의 증강 현실 좌표계를 실세계에 생성하는 예를 보여주는 도면이다.
도 9는 미니어처 AR 시스템을 시연한 과정을 보여주는 도면이다.
도 10은 본 발명의 바람직한 실시예에 따른 증강현실에서의 상호작용 구현 방법을 도시한 순서도이다.
도 2는 미니어처 AR 시스템의 전체적인 개념도이다.
도 3은 본 발명의 바람직한 실시예에 따른 상호작용형 증강현실 시스템의 내부 상세도이다.
도 4는 가상 콘텐츠의 얼라인 과정을 설명하기 위한 참고도이다.
도 5는 추적 쓰레드와 인식 쓰레드로 이루어진 알고리즘 흐름도이다.
도 6는 본 실시예에 따른 상호작용 결과를 보여주는 도면이다.
도 7은 3차원 복원 및 마커리스 추적 결과를 이용해 가상의 아바타를 증강한 결과를 보여주는 도면이다.
도 8은 미니어처 AR에 적용된 마커리스 추적 알고리즘을 확장해 다수의 증강 현실 좌표계를 실세계에 생성하는 예를 보여주는 도면이다.
도 9는 미니어처 AR 시스템을 시연한 과정을 보여주는 도면이다.
도 10은 본 발명의 바람직한 실시예에 따른 증강현실에서의 상호작용 구현 방법을 도시한 순서도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 상호작용형 증강현실 시스템을 개략적으로 도시한 블록도이다. 도 1에 따르면, 상호작용형 증강현실 시스템(100)은 입력 정보 획득부(110), 가상 콘텐츠 결정부(120), 매칭부(130) 및 주제어부(140)를 포함한다.
본 실시예에서 상호작용형 증강현실 시스템(100)은 증강현실 기반 디지로그형 콘텐츠 체험을 위한 미니어처 AR(miniature Augmented Reality) 시스템으로 정의된다. 이러한 상호작용형 증강현실 시스템(100)은 3차원 복원 기반 마커리스(marker-less) 실시간 카메라 추적 방법과 3차원 실시간 깊이 카메라를 이용한 공간 상호 작용 방법을 구현한다. 특히, 마커리스 추적 기술에서는 사용자로 하여금 미니어처의 기하 정보를 생성하고 이를 추적에 활용하는 인터페이스를 제공한다. 3차원 상호 작용은 실제 객체와의 직접적, 간접적 공간 상호 작용을 지원한다. 제안된 방법들을 이용해 사용자는 임의의 도구 없이 손을 사용해 실제 미니어처에 정합된 3차원 가상 콘텐츠와 상호 작용할 수 있고, 자연 특징점을 이용한 증강으로 인해 향상된 몰입감을 얻는다.
도 2는 제안된 미니어처 AR 시스템(200)의 전체적인 개념도를 나타낸다. 시스템(200)은 기존 제작된 실제 건물이나 구조물의 미니어처에 증강현실 기술을 적용한다. 시스템(200)은 증강된 결과를 사용자에게 보여주는 스크린 부분(210), 실제 콘텐츠와 사용자 간의 공간 상호작용이 발생하는 미니어처 부분(220), 콘텐츠 증강을 위한 키오스크(230) 등으로 구성된다. 콘텐츠를 미니어처 위 삽입을 위해 일반 카메라가 키오스크에 부착되어 있고, 넓은 영역에서의 3차원 상호 작용을 지원하기 위해 천장에 깊이 카메라(240)가 장착된다. 키오스크(230)는 사용자 임의대로 이동할 수 있고, 깊이 카메라(240)는 미니어처(220)와 연결되어 시스템(200)이 고정되면 움직일 수 없도록 설계하였다.
상호작용형 증강현실 시스템(100)은 카메라 영상 획득 과정, 영상 분석 과정, 등록 과정, 사용자 입력 정보 획득 과정, 분석 과정, 적용 과정, 출력 과정 등을 차례대로 수행함으로써 상호작용형 증강현실을 구현한다. 이중에서 특히 사용자 입력 정보 획득 과정과 분석 과정이 상호작용 기능과 직접적으로 관련 있다.
영상 분석 과정은 획득한 영상 속에서 특이점을 찾아내는 과정으로, 이를 위해 특징점 트래킹(feature tracking)을 수행한다. 등록 과정에서는 3차원 기준 좌표계를 설정한다. 등록 과정에서는 이를 통해 찾아낸 특이점을 기준으로 3차원 좌표계를 만들고, 콘텐츠가 자연스럽게 미니어처에 붙어 보이게 하기 위해 투명 처리한 가상의 3D 미니어처 모델을 실제 미니어처 위에 교합(occlusion)시킨다. 사용자 입력 정보 획득 과정은 기획된 스토리에 따른 사용자와 콘텐츠 간의 상호작용을 구현한다. 사용자 입력 정보 획득 과정에서는 이를 위해 입력 장치로 z-cam(depth camera), 조이스틱, 키보드, 마우스 등을 이용한다. 분석 과정에서는 사용자 입력 신호에 따라 미리 만들어 놓은 콘텐츠 중 스토리에 따른 해당 콘텐츠를 선택한다. 콘텐츠의 종류로는 3D 모델, 사운드, 이미지, 동영상 등이 있다. 적용 과정에서는 실제 영상과 콘텐츠 간에 매칭이 이루어진다. 이때, 선택된 콘텐츠는 영상에서 찾아낸 특이점을 기준으로 만들어진 좌표계를 따라 정해진 위치에 합쳐진다.
상호작용형 증강현실 시스템(100)을 크게 네가지 구성요소로 나눈다면 도 3과 같이 트래킹(tracking) 모듈(310), 인터랙션(interaction) 모듈(320), 콘텐츠(contents) 모듈(330), 미니어처 AR(miniature AR) 모듈(340) 등으로 구분할 수 있다.
트래킹 모듈(310)은 카메라를 추적하기 위한 것으로서, 컬러 영상 카메라(311), 특징점 추출기(312), 패턴/모델 인식기(313), 패턴/모델 DB(314), 혼합공간 정합기(315)를 포함한다. 인터랙션 모듈(320)은 현실 환경과 가상 콘텐츠 간 상호작용을 해석하기 위한 것이다. 인터랙션 모듈(320)은 공간 상호작용을 인식하기 위해 깊이 영상 카메라(321), 깊이 거리 보정기(322), 공간 상호작용 인식기(323) 등을 포함한다. 또한, 인터랙션 모듈(320)은 상호작용을 위한 객체를 인식하기 위해 테이블 영상 카메라(324), 상호작용 객체 인식기(325) 등을 포함한다. 이밖에, 인터랙션 모듈(320)은 맥락 정보를 인식하기 위해 조도, 압력, 음향, RFID 등에 대한 정보를 얻을 수 있는 환경 센서(326), 맥락 정보 인식기(327) 등을 포함할 수 있다. 인터랙션 모듈(320)은 공간 상호작용 인식기(323), 상호작용 객체 인식기(325), 맥락 정보 인식기(327) 등을 통해 얻은 정보를 토대로 상호작용 해석기(328)를 이용하여 현실 환경과 가상 콘텐츠 간 상호작용을 해석한다. 콘텐츠 모듈(330)은 현실 환경과 가상 콘텐츠 간 상호작용을 구현하기 위한 공간 정보와 관련한 것으로서, 혼합현실 시뮬레이터(331), 혼합공간 DB(332), 통신 장치(333), 외부 혼합공간(334), 반응 생성기(335) 등을 포함한다. 미니어처 AR 모듈(340)은 현실 환경과 가상 콘텐츠 간 상호작용을 시각/청각/촉각으로 제시하기 위한 것으로서, 이를 위해 청각 제시 장치(341), 시각 제시 장치(342), 촉각 제시 장치(343) 등을 포함한다. 청각 제시 장치(341)로는 스피커가 있으며, 시각 제시 장치(342)로는 모니터, 프로젝터, 테이블 등이 있다. 촉각 제시 장치(343)로는 진동자, 햅틱 장비 등이 있다.
상호작용형 증강현실 시스템(100)에서는 스케치에 기반하여 3차원 장면을 복원하며 트랙킹 요소를 추출한다. 종래 AR 시스템들은 3차원 특징점만을 이용한다. 그래서, 개발자의 하드 코딩으로 AR 저작에 어려움이 따랐으며, 그림자나 가림 현상 등으로 실감성도 감소하였다. 또한, 영상 블러(blur)에 취약한 트래킹이었다. 반면, 본 실시예에서는 3차원 특징점 외에 에지, 평면, 곡면 등과 같은 기하 모델들을 이용한다. 그래서, 객체 단위의 AR 장면(scene) 관리 이용이 쉽고, 빠른 AR 저작이 가능하다. 또한, 그림자나 가림 현상 등을 해결하여 실감성이 증가하며, 트래킹의 안정성도 향상된다.
상호작용형 증강현실 시스템(100)에서는 깊이 정보에 기반하여 비접촉식 수동형 상호작용을 해석한다. 종래 마커 기반 상호작용은 제한적인 형태의 상호작용으로 다수 관람객이 동시에 이용하는 미니어처 AR에 적용하기 어려웠다. 또한, 항상 마커가 보이도록 패들을 들고 있어야 하는 불편이 따랐으며, 이에 따라 제한적이고 비직관적으로 상호작용이 구현되었다. 반면, 본 실시예는 공간 기반 상호작용으로 착용형 장비가 필요없는 다양한 형태의 상호작용을 구현할 수 있다. 또한, 대상 객체 주변의 공간 정보를 해석함으로써 기존 추적 기법과 차별화가 가능하다. 또한, 상호작용 주체의 종류와 형태에 제약이 없다(ex. 손을 직접 사용할 수 있다). 또한, 확장 가능하며 직관적으로 상호작용을 구현할 수 있다.
상호작용형 증강현실 시스템(100)에서는 GUI(Graphical User Interface)에 기반한 콘텐츠 저작툴로 콘텐츠를 저작한다. 종래 콘텐츠 저작 방법은 하드 코딩을 통한 콘텐츠 접목으로 개발 전문가만이 콘텐츠를 미니어처와 결합할 수 있으며, 오랜 시간이 소요되고 수정하기가 매우 어렵다. 반면, 본 실시예는 GUI 방식의 편리한 저작툴을 이용함으로써 콘텐츠에 각종 움직임을 부여하고, 크기, 회전, 이동을 직관적으로 조절할 수 있다. 또한, 수정이 용이하며, 다양한 멀티미디어 콘텐츠를 접목하기가 쉽다. 또한, 스토리에 맞는 애니메이션 제어가 가능하며, 콤텐츠의 변환이나 편집도 가능하다.
입력 정보 획득부(110)는 미리 정해진 스토리를 고려하여 현실 환경과 가상 콘텐츠 간 상호작용을 위한 입력 정보를 획득하는 기능을 수행한다.
가상 콘텐츠 결정부(120)는 획득된 입력 정보에 따라 가상 콘텐츠를 결정하는 기능을 수행한다.
매칭부(130)는 미리 얻어진 가상 콘텐츠의 증강 위치를 이용하여 현실 환경과 가상 콘텐츠를 매칭시키는 기능을 수행한다. 매칭부(130)는 가상 콘텐츠를 매칭시킬 때에 획득된 영상의 깊이 정보 또는 획득된 영상의 맥락 정보를 이용한다. 또한, 매칭부(130)는 상호작용형 증강현실 시스템(100)이 깊이 정보 기반 비접촉식 수동형 상호작용을 해석한다는 점을 고려하여 상호작용 해석부를 포함할 수 있다. 이때, 상호작용 해석부는 현실 환경에 위치한 적어도 하나의 객체의 깊이 정보에 기반하여 현실 환경과 가상 콘텐츠 간 상호작용을 해석하는 기능을 수행한다.
주제어부(140)는 상호작용형 증강현실 시스템(100)을 구성하는 각 부의 전체 작동을 제어하는 기능을 수행한다.
상호작용형 증강현실 시스템(100)은 가상 콘텐츠 저작부(150)를 더욱 포함할 수 있다. 가상 콘텐츠 저작부(150)는 GUI(Graphical User Interface)에 기반하여 가상 콘텐츠를 저작하는 기능을 수행한다. 가상 콘텐츠 저작부(150)는 가상 콘텐츠를 저작할 때에 현실 환경의 객체들에 크기 비례하게 가상 콘텐츠를 얼라인(align)시키는 가상 콘텐츠 얼라인부(151)를 포함한다.
증강된 가상 객체의 가림 현상, 그림자 렌더링, 실제-가상 객체 간 충돌 해결을 위해서는 실제 객체와 같은 크기나 모양을 가지는 가상 모델이 필요하다. 증강현실에서 실제와 같은 가상 모델은 크기와 자세가 정확하게 얼라인되어야 향상된 몰입감을 제공할 수 있다.
가상 모델은 상용 툴을 써서 만들거나, 대강의 박스 형태의 모양을 사용자가 직접 넣어주는 방식으로 만들 수가 있다. 도 4에서 (a)가 상용 3D 저작 툴을 이용한 예이고, (b)가 사용자 지정 방식에 따라 원하는 형태로 영상을 보면서 모델링한 예이다. (b)의 경우 기본 프리미티브들(primitives)을 영상에 붙히는 방식으로 구현할 수 있다.
가상 콘텐츠 얼라인부(151)는 증강 위치 설정부, 가상 콘텐츠 로드부, 스케일 결정부, 및 자세 결정부를 포함한다. 증강 위치 설정부는 가상 콘텐츠의 증강 위치를 설정하는 기능을 수행한다. 가상 콘텐츠 로드부는 설정된 증강 위치에 가상 콘텐츠를 로드시키는 기능을 수행한다. 스케일 결정부는 로드된 가상 콘텐츠의 스케일을 결정하는 기능을 수행한다. 바람직하게는, 스케일 결정부는 가상 콘텐츠의 에지 길이를 동일 에지의 실제 객체에서의 길이로 나눈 값으로 스케일을 결정한다. 자세 결정부는 스케일 결정된 가상 콘텐츠의 자세를 결정하는 기능을 수행한다.
본 실시예에서 얼라인 과정은 증강할 곳의 3차원 좌표계(x,y,z)를 설정하는 제1 단계, 가상 객체를 로드하는 제2 단계, 스케일을 결정하는 제3 단계, 수동으로 자세(pose)를 결정하는 제4 단계, 스케일과 자세를 저장하는 제5 단계 등을 포함한다. 제1 단계는 관심 영역의 복원된 3차원 특징점(x,y,z)을 평면으로 피팅(fitting)해서 x,y,z 좌표계를 설정한다. 제3 단계는 마우스로 알고 있는 직선(변)을 지정해 주면 된다. 예컨대, 도 4 (b)에서 붉은색 라인이 이에 해당할 수 있다. 이때, 스케일은 다음 수학식 1을 통해 구할 수 있다.
제4 단계는 가상 모델의 회전 및 이동 행렬을 이용한다.
상호작용형 증강현실 시스템(100)은 위치 계산부(160)를 더욱 포함할 수 있다. 위치 계산부(160)는 획득된 영상에서 특징점에 기반하여 가상 콘텐츠의 증강 위치를 계산하는 기능을 수행한다.
위치 계산부(160)는 특징점 추출부와 추적부를 포함한다. 특징점 추출부는 획득된 영상의 컬러 정보를 이용하여 특징점을 추출하는 기능을 수행한다. 추적부는 특징점 외에 객체의 에지 정보 또는 객체의 2차원 정보를 더욱 이용하여 영상을 획득하는 영상 획득 장치의 위치를 추적하는 기능을 수행한다.
상호작용형 증강현실 시스템(100)은 제1 특징점 매칭부(170)와 제2 특징점 매칭부(180)를 더욱 포함할 수 있다. 제1 특징점 매칭부(170)는 현실 환경에 대한 복원 영상과 획득된 영상을 비교하며, 이 비교를 통해 특징점들을 매칭시키는 기능을 수행한다. 제2 특징점 매칭부(180)는 획득된 영상의 이전 영상과 획득된 영상을 비교하며, 이 비교를 통해 특징점들을 매칭시키는 기능을 수행한다. 본 실시예에서는 위치 계산부(160)가 가상 콘텐츠의 증강 위치를 계산할 때에 제1 특징점 매칭부(170)와 제2 특징점 매칭부(180)가 동시에 구동된다.
제1 특징점 매칭부(170)는 객체 인식부, 비교부, 인식 제어부, 자세 계산부 및 객체 정보 취득부를 포함한다. 객체 인식부는 획득된 영상에서 기준값 이상의 규모를 가진 적어도 하나의 객체를 1차 인식하며, 획득된 영상에서 기준값 미만의 규모를 가진 적어도 하나의 객체를 2차 인식하는 기능을 수행한다. 비교부는 1차 인식된 객체의 개수와 2차 인식된 객체의 개수를 합산하여 얻은 인식 객체 수가 미리 정해진 한계값보다 큰지 비교하는 기능을 수행한다. 인식 제어부는 인식 객체 수가 한계값보다 크면 객체 인식부로 하여금 획득된 영상에서 다시 객체를 인식케 하는 기능을 수행한다. 자세 계산부는 인식 객체 수가 한계값보다 크지 않으면 복원 영상을 이용하여 인식된 객체들의 자세를 계산하는 기능을 수행한다. 객체 정보 취득부는 RANSAC(RANdom SAmple Consensus) 기반의 좌표계 생성 알고리즘에 따라 자세 계산된 객체들 중에서 인라이어(inlier)에 해당하는 객체에 대한 정보를 취득하는 기능을 수행한다.
제2 특징점 매칭부(180)는 판별부, 특징점 매칭부, 비교부, 자세 계산부, 영상 획득 제어부 및 객체 정보 취득부를 포함한다. 판별부는 획득된 영상에 미리 획득된 객체가 있는지 판별하는 기능을 수행한다. 특징점 매칭부는 획득된 영상에 미리 획득된 객체가 있으면 SIFT(Scale Invariant Feature Transform) 알고리즘에 기반하여 특징점을 매칭시키는 기능을 수행한다. 비교부는 매칭된 특징점의 개수가 기준 개수 이상인지 비교하는 기능을 수행한다. 자세 계산부는 매칭된 특징점의 개수가 기준 개수 이상이면 이전 영상을 이용하여 영상을 획득하는 영상 획득 장치의 자세를 계산하는 기능을 수행한다. 영상 획득 제어부는 획득된 영상에 미리 획득된 객체가 없거나 매칭된 특징점의 개수가 기준 개수 미만이면 영상 획득 장치로 하여금 영상을 다시 획득케 하는 기능을 수행한다. 객체 정보 취득부는 자세 계산된 영상 획득 장치에 따라 획득된 영상에서 인라이어(inlier)에 해당하는 객체에 대한 정보를 취득하는 기능을 수행한다.
카메라의 회전 및 이동 행렬로 표현되는 자세를 실시간으로 획득하기 위해서는 미니어처의 3차원 기하 정보가 요구된다. 본 실시예에서는 3차원 기하 정보, 특징점들의 3차원 좌표 및 패치 정보를 사전에 여러 장의 미니어처를 담은 사진들을 이용해 복원한다. 미니어처를 보정된 카메라를 이용해 복원하는 과정에는 영상의 회전, 스케일(scale) 및 잡음에 강건한 매칭을 위해 SIFT(Scale Invariant Feature Transform) 특징점이 활용된다. 전체적인 미니어처의 3차원 복원 과정은 영상 획득, SIFT에 따른 특징점 추출, 초기 영상 선택, 초기 영상 복원, 추가 영상 복원, 비선형 최적화(bundle adjustment), 3D 추적용 파라미터 정리 등의 순서로 수행된다.
3차원 복원 후 생성된 미니어처의 특징점들을 이용해 추적 좌표계를 생성한다. 좌표계가 생성될 위치에 존재하는 특징점들을 모으고, 이 점들을 평면에 피팅(fitting)한다. 3차원 복원 과정에서 생성되는 3차원 특징점들은 잡음을 포함하고 있기 때문에, RANSAC(Random Sample Consensus) 기반의 강건한 좌표계 생성 알고리즘을 수행한다.
3차원으로 복원 미니어처의 정보를 이용해 실시간으로 카메라의 위치를 계산한다. 이를 위해서는 3차원 특징점과 현재 카메라 2D 영상에서 관찰된 점들의 실시간 인식이 요구된다. 3차원 특징점은 복원 과정에서 SIFT 특징점을 활용했으므로, 2D 영상에서 실시간 SIFT 특징점이 추출될 경우 실시간 매칭이 가능하게 된다. 그러나, SIFT 알고리즘은 현재의 컴퓨팅 환경에서는 실시간이 보장되지 못하므로, 본 실시예에서는 멀티 코어 프로그래밍을 이용해 이를 보완한다. 즉, 3차원 특징점 인식 모듈과 카메라 추적 모듈을 분리하여, 각각의 CPU 코어에서 동시 실행하게 된다. 결론적으로 이러한 프로그래밍을 활용해 초당 30프레임 이상의 카메라 추적 연산 속도를 얻게 된다. 도 5는 추적 쓰레드와 인식 쓰레드로 이루어진 제안된 알고리즘 흐름을 보인 것이다. 추적 쓰레드에서는 전 영상에서 인식된 특징점들을 현재 영상에서 매칭하는 일을 수행한다. 인식 쓰레드에서는 복원 과정에서 저장된 미니어처의 SIFT 특징점들과 현재 영상에서의 SIFT 특징점의 매칭을 수행한다.
본 실시예에서는 입력 정보 획득부(110), 가상 콘텐츠 결정부(120), 매칭부(130) 등을 통해 상호작용을 구현한다. 3차원 공간 상호 작용은 미니어처 공간에서 획득한 조밀한 깊이 정보를 이용한다. 깊이 카메라를 시스템의 위에 장착해, 미니어처와 관련된 공간의 깊이 변화를 매 프레임 별로 관찰한다. 그러나 모든 공간의 변화를 감지할 수는 없으므로, 국지적인 공간에 가상의 상호 작용 센서를 삽입하는 형태의 접근 방법을 사용한다.
전체적인 깊이 기반 3차원 상호작용 인터페이스 흐름도는 N개의 공간 센서와 정합 정보를 이용한 투영, 깊이 정보 획득을 이용한 점유 확인, 상호작용 해석 등의 순서로 수행된다.
깊이 기반 3차원 공간 상호 작용 인터페이스는 3차원 공간 상에 배치되어 있는 공간 센서를 이용해 3차원의 상호작용 인터페이스를 제공한다. 공간 센서는 물리적인 센서가 아닌 가상의 센서로 가상의 공간에 배치되어 있으며, 적외선 기반의 깊이 값을 인식할 수 있는 z-Cam을 사용하여 취득한 현실 공간의 3차원 정보와 가상 공간의 정보를 정합하여, 공간 센서의 점유 상태를 파악한다. 공간 센서의 점유 상태는 정합 정보를 이용하여 가상 공간의 공간 센서를 깊이 지도 상에 프로젝션 시키며, 투영된 공간 센서의 깊이값과 깊이 지도상의 깊이값을 비교함으로써 확인한다. 3차원 공간 상호 작용 인터페이스는 다수개의 공간 센서를 조합하여 구성하며, 사용자의 입력에 대한 기본적인 해석 단위가 된다. 하나의 해석 단위는 다수개의 공간 센서가 점유되는 순서와 방향, 점유된 영역의 크기 등을 해석 단위에 따라 서로 다른 의미로 해석하여 사용자의 입력에 대한 직접적인 인터페이스 역할을 담당한다. 도 6은 상호 작용 결과를 보인 것이다. 그림 6 (a), (c)와 같이 3차원 공간 자체가 센서로 이루어져 있으며, 손과 센서와의 충돌 검사가 실시간으로 수행되어 상호작용에 필요한 정보가 획득되고, 이를 해석한다. 그림 6 (b), (d)는 추출된 깊이맵 영상이다.
실제 시스템을 구현하기 위해, 코어 2 듀오(Core 2 Duo) CPU 2.66 GHz와 nVidia GTX 280 사양의 컴퓨터를 사용하였다. 카메라는 Point Grey사의 Flea를 사용했다. 640×480 해상도의 영상을 최대 초당 60프레임까지 얻을 수 있다. 깊이 카메라는 z-Cam을 사용했다. 적외선을 이용한 카메라로 320×240 해상도에 최대 초당 30프레임까지 깊이맵을 얻을 수 있다. 알고리즘의 구현은 행렬 연산 및 영상 처리를 위한 OpenCV 라이브러리와 증강 현실 구현을 위한 렌더링 엔진으로 OpenSceneGraph를 활용하였다. OpenSceneGraph와 마커리스 추적 알고리즘의 결합으로 Scene Graph 기반의 3차원 공간을 관리가 가능하며, OpenSceneGraph에서 제공하는 다양한 기능들을 함께 사용할 수 있는 장점을 갖는다.
도 7은 3차원 복원 및 마커리스 추적 결과를 이용해 가상의 아바타를 증강한 결과를 보인 것이다. 도 7 (a)는 미니어처에서 마커리스 추적을 위해 3차원으로 복원된 SIFT 특징점을 나타낸다. 도 7 (b)는 3차원으로 복원된 특징점들로부터 증강 현실 좌표계를 설정하는 과정을 보여준다. 사용자가 임의의 평면 특징점들을 수집하고, 이를 평면으로 피팅한다. 생성된 좌표계와 좌표계 기반으로 합성된 가상의 아바타는 그림 7 (c), (d)와 같다.
도 8은 미니어처 AR에 적용된 마커리스 추적 알고리즘을 확장해, 다수의 증강 현실 좌표계를 실세계에 생성하는 예를 보인 것이다. 3차원 특징점들로부터 그림 8 (b)에서와 같이 실제 공간에서의 평면 정보를 추출하고, 두개의 평면 위에 좌표계를 생성하였다. 각각의 좌표계에 각각의 가상의 아바타를 독립적으로 증강한 결과는 그림 8 (c), (d)와 같다.
도 9는 실제 전시에서 제안된 미니어처 AR 시스템을 시연한 과정을 보인 것이다. 본 전시에서는 사용자로 하여금 미니어처에서 시뮬레이션된 날씨 변화를 경함할 수 있게 하였다. 그림 9 (a), (b)는 전체 시스템과 사용자가 콘텐츠를 조작하고 있는 모습을 보인 것이며, 그림 9 (c), (d)는 각각 눈과 비가 올 경우의 시뮬레이션 결과를 증강 현실로 표현한 것을 보인 것이다.
이상 설명한 바와 같이, 본 실시예에 따른 상호작용형 증강현실 시스템(100)으로 마커리스 실시간 추적 기술과 깊이 기반 공간 상호 작용 방법을 적용한 미니어처 AR 시스템을 제안하였다. 제안한 미니어처 AR은 증강현실 기반 차세대 디지로그형 콘텐츠 체험 시스템으로, 사용자는 자연스러운 방식으로 디지로그형 콘텐츠를 직접 체험해 볼 수 있다. 시스템은 기존의 마커리스 시스템보다 보다 향상된 시스템 구축 인터페이스를 제공하였고, 초당 30프레임 이상의 추적 성능을 제공해 끊김 없는 증강현실을 구축했다. 또한, 제안된 깊이 카메라 기반 공간 상호 작용 접근 방식은 마커리스 증강 현실에서 사용자와 가상 콘텐츠 간의 자연스러운 상호 작용을 가능케 했다.
한편, 위치 계산부(160)에 포함되는 특징점 추출부는 균등한 공간 상에서 관측 확률에 근거하여 특징점을 선별 추출하는 것도 가능하다. 이하에서는 이에 대해 설명한다.
일반적으로 3차원 공간으로부터 카메라의 자세(pose)를 계산하기 위해서는 3차원 공간상의 특징점 좌표(coordinates)와 영상 평면에 투영된 2차원 영상점이 요구된다. 실시간 카메라 추적은 3D-2D의 매칭 관계를 실시간으로 추적하는 과정이다. 본 실시예에서는 오프라인에서 생성된 대용량의 3차원 정보가 주어졌을 경우, 실시간성을 보장하면서 강건하게 카메라의 자세를 회복하는 방법을 설명한다. 우선 오프라인 상에서 공간의 영상들을 획득하고, 이로부터 SIFT(Scale Invariant Feature Transform) 특징을 추출한다. 영상 기반 3차원 복원 기술을 통해 특징점들의 3차원 좌표와 매칭을 위한 SIFT 기술자(descriptor)를 생성한다. 복원된 SIFT 특징점들을 실시간 카메라 추적에 그대로 사용하기에는 데이터의 양 및 높은 CPU 요구량 때문에 실시간성을 보장하기 힘들게 된다. 이를 극복하기 위해, 복원된 SIFT 특징점들을 3차원 공간 상에서 균등하게 분할하고, 각 영역당 보여질 확률이 높은 특징점들만을 Keypoint로 선별한다. 이를 빠른 매칭을 위해 Octree 구조를 이용해 트리 레벨 별로 저장한다. 균등한 영역에서 선별 저장된 특징점들은 순차적으로 실시간 매칭에 사용되며, 가능성이 높은 정밀 영역을 정하는데 사용되고 최종적으로 확장된 매칭 과정을 수행한다. 제안된 방식을 80여장의 Keyframe으로 구성된 3차원 공간 적용한 결과, 640×480 영상에서 6~10ms이내에 카메라의 자세를 획득했다.
이상 설명한 바를 보다 구체적으로 설명하면 다음과 같다.
최근 영상기반 특징 인식 및 카메라 추적 기술은 마커리스 증강 현실 응용의 구현에 중요한 역할을 담당하고 있다. 본 실시예에서는 3차원 공간을 효율적으로 인식하고, 카메라의 6DOF 자세를 실시간으로 추적하는 방법을 제안한다. 3차원 공간에서 인식 및 추적을 하기 위해서는 장면의 3차원 좌표 정보와 그에 상응하는 특징 정보가 요구된다. 이를 위해, 본 실시예에서는 3차원 공간을 오프라인 상에서 복원하고, 복원된 공간에서 중요한 SIFT 특징점을 균등한 공간 상에서 관측 확률에 근거해 선별한다. 실제 카메라 추적 시에는 선별된 특징점을 이용해 매칭을 수행하고, 매칭은 카메라 공간 상의 위치 정보를 이용해 추정된 카메라 FOV(Field of View) 영역 안에서 진행한다. 그러므로, 오프라인에서 넓은 영역을 복원해 특징 데이터가 증가함에 따라 카메라 추적 속도에 큰 영향을 미치지 않는다.
특징 인식 및 추적의 전체적인 과정은 다음과 같다. 프레임워크는 오프라인 모드와 온라인 모드로 구성된다. 오프라인 모드에서는 영상 기반 모델링을 수행하고, 추적 데이터를 선별해 저장한다. 정리해 보면, 오프라인 모드는 복수개의 이미지들로부터 SIFT 특징점을 추출하는 단계, 3차원 복원을 수행하는 단계, Keypoint를 선별하는 단계 등으로 구성된다. 온라인 모듈은 카메라의 자세를 실시간으로 추출하기 위해, 두 쓰레드 기반의 멀티 코어 프로그래밍 접근 방법을 사용한다. SIFT 인식 과정은 백그라운드에서 실행되며, 인식된 Keypoint는 affine warping 기반의 추적 알고리즘으로 추적되어 안정적인 결과를 제공한다. 정리해 보면, 온라인 모드는 main thread와 background thread로 구분된다. main thread는 카메라를 통해 획득된 영상들로부터 keypoint를 추적하는 단계, 카메라 자세를 계산하는 단계, 콘텐츠를 렌더링하는 단계 등으로 구성된다. background thread는 카메라를 통해 획득된 영상들로부터 SIFT 특징점을 추출하는 단계, keypoint를 매칭시키는 단계, keypoint 인식 영역을 추정하는 단계 등으로 구성된다.
3차원 복원 후 생성된 모든 Keypoint를 추적에 사용할 경우, 매칭 특징점들의 증가로 광범위한 영역에서의 성능이 급격히 감소한다. 본 실시예에서는 이를 해결하기 위해, 3차원으로 복원된 특징점들을 octree로 구성한다. 트리 레벨(1, …, m)에 따라, 3차원 공간을 N1, …, Nm 크기로 분할한다. 분할된 영역에서 관찰 빈도수가 가장 높은 특징점들만을 선별해 저장한다. 레벨 1에서 추출된 Keypoint 세트를 Lk,1이라 하자. m은 최종적으로 복원된 특징점 수에 의해 결정되며, 5를 넘지 않는다. 추후, 빠른 특징점 매칭 과정을 위해 각 영역에 속한 특징점들은 k-dTree를 이용해 저장한다.
매칭은 추출된 Lk,1부터 높은 트리 레벨로 차례대로 수행한다. 트리 매칭은 특정 조건을 만족할 경우, 인식될 확률이 높은 공간으로 판별한다. 즉, 특정 레벨에 속한 영역 중 매칭 과정에서 관련 없는 공간의 특징점들을 대부분 제거할 수 있다. 매칭 확률이 높다고 판별된 영역은 미리 저장된 k-dTree를 이용해 카메라 영상으로부터 추출된 특징점과 비교하여 정밀한 매칭 결과를 얻는다.
다음으로, 상호작용형 증강현실 시스템(100)을 이용하여 증강현실에서의 상호작용 구현 방법에 대해 설명한다. 도 10은 본 발명의 바람직한 실시예에 따른 증강현실에서의 상호작용 구현 방법을 도시한 순서도이다. 이하 설명은 도 10을 참조한다.
먼저, 입력 정보 획득부(110)가 미리 정해진 스토리를 고려하여 현실 환경과 가상 콘텐츠 간 상호작용을 위한 입력 정보를 획득한다(S1000).
이후, 가상 콘텐츠 결정부(120)가 획득된 입력 정보에 따라 가상 콘텐츠를 결정한다(S1010).
이후, 위치 계산부(160)가 획득된 영상에서 특징점에 기반하여 가상 콘텐츠의 증강 위치를 계산한다(S1020). 이때에는 제1 특징점 매칭부(170)가 현실 환경에 대한 복원 영상과 획득된 영상을 비교하며, 이 비교를 통해 특징점들을 매칭시키는 단계, 제2 특징점 매칭부(180)가 획득된 영상의 이전 영상과 획득된 영상을 비교하며, 이 비교를 통해 특징점들을 매칭시키는 단계 등이 더불어 수행될 수 있다. 바람직하게는, 위치 계산부(160)가 가상 콘텐츠의 증강 위치를 계산할 때에 두 특징점 매칭 단계가 동시 수행된다.
본 실시예에서 제1 특징점 매칭부(170)의 특징점 매칭 단계는 객체 인식부가 획득된 영상에서 기준값 이상의 규모를 가진 적어도 하나의 객체를 1차 인식하며, 획득된 영상에서 기준값 미만의 규모를 가진 적어도 하나의 객체를 2차 인식하는 단계, 비교부가 1차 인식된 객체의 개수와 2차 인식된 객체의 개수를 합산하여 얻은 인식 객체 수가 미리 정해진 한계값보다 큰지 비교하는 단계, 인식 객체 수가 한계값보다 크면 인식 제어부가 객체 인식부로 하여금 획득된 영상에서 다시 객체를 인식케 하는 단계, 인식 객체 수가 한계값보다 크지 않으면 자세 계산부가 복원 영상을 이용하여 인식된 객체들의 자세를 계산하는 단계, 및 객체 정보 취득부가 RANSAC(RANdom SAmple Consensus) 기반의 좌표계 생성 알고리즘에 따라 자세 계산된 객체들 중에서 인라이어(inlier)에 해당하는 객체에 대한 정보를 취득하는 단계 등으로 이루어질 수 있다.
또한, 본 실시예에서 제2 특징점 매칭부(180)의 특징점 매칭 단계는 판별부가 획득된 영상에 미리 획득된 객체가 있는지 판별하는 단계, 획득된 영상에 미리 획득된 객체가 있으면 특징점 매칭부가 SIFT(Scale Invariant Feature Transform) 알고리즘에 기반하여 특징점을 매칭시키는 단계, 획득된 영상에 미리 획득된 객체가 없으면 영상 획득 제어부가 영상을 획득하는 영상 획득 장치로 하여금 영상을 다시 획득케 하는 단계, 비교부가 매칭된 특징점의 개수가 기준 개수 이상인지 비교하는 단계, 매칭된 특징점의 개수가 기준 개수 이상이면 자세 계산부가 이전 영상을 이용하여 영상 획득 장치의 자세를 계산하는 단계, 매칭된 특징점의 개수가 기준 개수 미만이면 영상 획득 제어부가 영상 획득 장치로 하여금 영상을 다시 획득케 하는 단계, 객체 정보 취득부가 자세 계산된 영상 획득 장치에 따라 획득된 영상에서 인라이어(inlier)에 해당하는 객체에 대한 정보를 취득하는 단계 등으로 이루어질 수 있다.
한편, 위치 계산부(160)는 가상 콘텐츠의 증강 위치를 계산할 때에 특징점 추출부와 추적부를 이용할 수 있다. 이때, 특징점 추출부는 획득된 영상의 컬러 정보를 이용하여 특징점을 추출하며, 추적부는 특징점 외에 객체의 에지 정보 또는 객체의 2차원 정보를 더욱 이용하여 영상을 획득하는 영상 획득 장치의 위치를 추적한다. 특징점 추출부는 균등한 공간 상에서 관측 확률에 근거하여 특징점을 선별 추출하는 것도 가능하다.
한편, 가상 콘텐츠의 증강 위치를 계산하는 S1020 단계는 본 실시예에서 생략되어도 무방하다.
이후, 가상 콘텐츠 저작부(150)가 GUI(Graphical User Interface)에 기반하여 가상 콘텐츠를 저작한다(S1030). 가상 콘텐츠 저작부(150)는 가상 콘텐츠를 저작할 때에 현실 환경의 객체들에 크기 비례하게 가상 콘텐츠를 얼라인(align)시킨다. 자세하게는, 가상 콘텐츠를 얼라인시키는 것은 증강 위치 설정부가 가상 콘텐츠의 증강 위치를 설정하는 단계, 가상 콘텐츠 로드부가 설정된 증강 위치에 가상 콘텐츠를 로드시키는 단계, 스케일 결정부가 로드된 가상 콘텐츠의 스케일을 결정하는 단계, 자세 결정부가 스케일 결정된 가상 콘텐츠의 자세를 결정하는 단계 등으로 수행될 수 있다. 특히, 가상 콘텐츠의 스케일을 결정하는 단계는 가상 콘텐츠의 에지 길이를 동일 에지의 실제 객체에서의 길이로 나눈 값으로 스케일을 결정한다.
한편, 가상 콘텐츠를 저작하는 S1030 단계는 본 실시예에서 생략되어도 무방하다.
이후, 매칭부(130)가 미리 얻어진 가상 콘텐츠의 증강 위치를 이용하여 현실 환경과 가상 콘텐츠를 매칭시킨다(S1040). 매칭부(130)는 가상 콘텐츠를 매칭시킬 때에 획득된 영상의 깊이 정보 또는 획득된 영상의 맥락 정보를 이용한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, ROM, 플로피 디스크, 하드 디스크, 자기 테이프 등), 광학적 판독 매체(예를 들면, CD-ROM, DVD, 광데이터 저장장치 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
본 발명은 현실 환경의 미니어처와 가상 환경의 디지털 콘텐츠 간 상호작용 기술에 관련한 상호작용형 증강현실 시스템과 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체에 관한 것으로서, 사용자는 임의의 도구(ex. 마커가 부착된 도구) 없이 손을 사용해 실제 미니어처에 정합된 3차원 가상 콘텐츠와 상호 작용할 수 있으며, 자연 특징점을 이용한 증강으로 인해 보다 향상된 몰입감을 얻을 수 있다. 본 발명은 전시장에서 디지로그형 콘텐츠 체험 시스템 및 증강현실 기술을 이용한 스토리텔링 등에 활용될 수 있으며, 세부 기술들은 기존 증강현실 분야에서 다른 분야(ex. 로봇 네비게이션)와 접목되어 사용되어질 수 있다.
100 : 상호작용형 증강현실 시스템 110 : 입력 정보 획득부
120 : 가상 콘텐츠 결정부 130 : 매칭부
140 : 주제어부 150 : 가상 콘텐츠 저작부
151 : 가상 콘텐츠 얼라인부 160 : 위치 계산부
170 : 제1 특징점 매칭부 180 : 제2 특징점 매칭부
200 : 미니어처 AR 시스템 210 : 스크린
220 : 미니어처 230 : 키오스크
120 : 가상 콘텐츠 결정부 130 : 매칭부
140 : 주제어부 150 : 가상 콘텐츠 저작부
151 : 가상 콘텐츠 얼라인부 160 : 위치 계산부
170 : 제1 특징점 매칭부 180 : 제2 특징점 매칭부
200 : 미니어처 AR 시스템 210 : 스크린
220 : 미니어처 230 : 키오스크
Claims (18)
- 미리 정해진 스토리를 고려하여 현실 환경과 가상 콘텐츠 간 상호작용을 위한 입력 정보를 획득하는 입력 정보 획득부;
상기 획득된 입력 정보에 따라 상기 가상 콘텐츠를 결정하는 가상 콘텐츠 결정부;
획득된 영상에서 특징점에 기반하여 상기 가상 콘텐츠의 증강 위치를 계산하는 위치 계산부; 및
상기 가상 콘텐츠의 증강 위치를 이용하여 상기 현실 환경과 상기 가상 콘텐츠를 매칭시키는 매칭부
를 포함하는 것을 특징으로 하는 상호작용형 증강현실 시스템. - 제 1 항에 있어서,
GUI(Graphical User Interface)에 기반하여 상기 가상 콘텐츠를 저작하는 가상 콘텐츠 저작부
를 더욱 포함하는 것을 특징으로 하는 상호작용형 증강현실 시스템. - 제 2 항에 있어서,
상기 가상 콘텐츠 저작부는 상기 가상 콘텐츠를 저작할 때에 상기 현실 환경의 객체들에 크기 비례하게 상기 가상 콘텐츠를 얼라인(align)시키는 가상 콘텐츠 얼라인부를 포함하는 것을 특징으로 하는 상호작용형 증강현실 시스템. - 제 3 항에 있어서,
상기 가상 콘텐츠 얼라인부는,
상기 증강 위치를 설정하는 증강 위치 설정부;
상기 설정된 증강 위치에 상기 가상 콘텐츠를 로드시키는 가상 콘텐츠 로드부;
상기 로드된 가상 콘텐츠의 스케일을 결정하는 스케일 결정부; 및
상기 스케일 결정된 가상 콘텐츠의 자세를 결정하는 자세 결정부
를 포함하는 것을 특징으로 하는 상호작용형 증강현실 시스템. - 제 1 항에 있어서,
상기 매칭부는 상기 현실 환경에 위치한 적어도 하나의 객체의 깊이 정보에 기반하여 상기 현실 환경과 상기 가상 콘텐츠 간 상호작용을 해석하는 상호작용 해석부를 포함하는 것을 특징으로 하는 상호작용형 증강현실 시스템. - 삭제
- 제 1 항에 있어서,
상기 현실 환경에 대한 복원 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 제1 특징점 매칭부; 및
상기 획득된 영상의 이전 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 제2 특징점 매칭부
를 더욱 포함하며,
상기 위치 계산부가 상기 증강 위치를 계산할 때에 상기 제1 특징점 매칭부와 상기 제2 특징점 매칭부는 동시 구동되는 것을 특징으로 하는 상호작용형 증강현실 시스템. - 제 7 항에 있어서,
상기 제1 특징점 매칭부는,
상기 획득된 영상에서 기준값 이상의 규모를 가진 적어도 하나의 객체를 1차 인식하며, 상기 획득된 영상에서 상기 기준값 미만의 규모를 가진 적어도 하나의 객체를 2차 인식하는 객체 인식부;
상기 1차 인식된 객체의 개수와 상기 2차 인식된 객체의 개수를 합산하여 얻은 인식 객체 수가 미리 정해진 한계값보다 큰지 비교하는 비교부;
상기 인식 객체 수가 상기 한계값보다 크면 상기 객체 인식부로 하여금 상기 획득된 영상에서 다시 객체를 인식케 하는 인식 제어부;
상기 인식 객체 수가 상기 한계값보다 크지 않으면 상기 복원 영상을 이용하여 상기 인식된 객체들의 자세를 계산하는 자세 계산부; 및
RANSAC(RANdom SAmple Consensus) 기반의 좌표계 생성 알고리즘에 따라 상기 자세 계산된 객체들 중에서 인라이어(inlier)에 해당하는 객체에 대한 정보를 취득하는 객체 정보 취득부
를 포함하거나,
상기 제2 특징점 매칭부는,
상기 획득된 영상에 미리 획득된 객체가 있는지 판별하는 판별부;
상기 획득된 영상에 상기 미리 획득된 객체가 있으면 SIFT(Scale Invariant Feature Transform) 알고리즘에 기반하여 특징점을 매칭시키는 특징점 매칭부;
상기 매칭된 특징점의 개수가 기준 개수 이상인지 비교하는 비교부;
상기 매칭된 특징점의 개수가 상기 기준 개수 이상이면 상기 이전 영상을 이용하여 영상을 획득하는 영상 획득 장치의 자세를 계산하는 자세 계산부;
상기 획득된 영상에 상기 미리 획득된 객체가 없거나 상기 매칭된 특징점의 개수가 상기 기준 개수 미만이면 상기 영상 획득 장치로 하여금 영상을 다시 획득케 하는 영상 획득 제어부; 및
상기 자세 계산된 영상 획득 장치에 따라 상기 획득된 영상에서 인라이어(inlier)에 해당하는 객체에 대한 정보를 취득하는 객체 정보 취득부
를 포함하는 것을 특징으로 하는 상호작용형 증강현실 시스템. - 제 1 항에 있어서,
상기 위치 계산부는,
상기 획득된 영상의 컬러 정보를 이용하여 상기 특징점을 추출하거나, 균등한 공간 상에서 관측 확률에 근거하여 상기 특징점을 선별 추출하는 특징점 추출부; 및
상기 특징점 외에 객체의 에지 정보 또는 객체의 2차원 정보를 더욱 이용하여 영상을 획득하는 영상 획득 장치의 위치를 추적하는 추적부
를 포함하는 것을 특징으로 하는 상호작용형 증강현실 시스템. - 제 1 항에 있어서,
상기 매칭부는 상기 가상 콘텐츠를 매칭시킬 때에 상기 획득된 영상의 깊이 정보 또는 상기 획득된 영상의 맥락 정보를 이용하는 것을 특징으로 하는 상호작용형 증강현실 시스템. - (a) 미리 정해진 스토리를 고려하여 현실 환경과 가상 콘텐츠 간 상호작용을 위한 입력 정보를 획득하는 단계;
(b) 상기 획득된 입력 정보에 따라 상기 가상 콘텐츠를 결정하고, 획득된 영상에서 특징점에 기반하여 상기 가상 콘텐츠의 증강 위치를 계산하는 단계; 및
(c) 상기 가상 콘텐츠의 증강 위치를 이용하여 상기 현실 환경과 상기 가상 콘텐츠를 매칭시키는 단계
를 포함하는 것을 특징으로 하는 증강현실에서의 상호작용 구현 방법. - 제 11 항에 있어서,
상기 (b) 단계와 상기 (c) 단계의 중간 단계로서,
(b') GUI(Graphical User Interface)에 기반하여 상기 가상 콘텐츠를 저작하는 단계
를 포함하는 것을 특징으로 하는 증강현실에서의 상호작용 구현 방법. - 제 12 항에 있어서,
상기 (b') 단계는 상기 가상 콘텐츠를 저작할 때에 상기 현실 환경의 객체들에 크기 비례하게 상기 가상 콘텐츠를 얼라인(align)시키는 것을 특징으로 하는 증강현실에서의 상호작용 구현 방법. - 제 13 항에 있어서,
상기 (b') 단계에서 상기 가상 콘텐츠를 얼라인시키는 것은,
(b'a) 상기 증강 위치를 설정하는 단계;
(b'b) 상기 설정된 증강 위치에 상기 가상 콘텐츠를 로드시키는 단계;
(b'c) 상기 로드된 가상 콘텐츠의 스케일을 결정하는 단계; 및
(b'd) 상기 스케일 결정된 가상 콘텐츠의 자세를 결정하는 단계
를 포함하는 것을 특징으로 하는 증강현실에서의 상호작용 구현 방법. - 삭제
- 제 11 항에 있어서,
(b'') 상기 현실 환경에 대한 복원 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 단계; 및
(b''') 상기 획득된 영상의 이전 영상과 상기 획득된 영상을 비교하며, 상기 비교를 통해 특징점들을 매칭시키는 단계
를 더욱 포함하며,
상기 (b) 단계는 상기 증강 위치를 계산할 때에 상기 (b'') 단계와 상기 (b''') 단계를 동시 수행하는 것을 특징으로 하는 증강현실에서의 상호작용 구현 방법. - 제 16 항에 있어서,
상기 (b'') 단계는,
(b''a) 상기 획득된 영상에서 기준값 이상의 규모를 가진 적어도 하나의 객체를 1차 인식하며, 상기 획득된 영상에서 상기 기준값 미만의 규모를 가진 적어도 하나의 객체를 2차 인식하는 단계;
(b''b) 상기 1차 인식된 객체의 개수와 상기 2차 인식된 객체의 개수를 합산하여 얻은 인식 객체 수가 미리 정해진 한계값보다 큰지 비교하는 단계;
(b''c) 상기 인식 객체 수가 상기 한계값보다 크면 상기 객체 인식부로 하여금 상기 획득된 영상에서 다시 객체를 인식케 하며, 상기 인식 객체 수가 상기 한계값보다 크지 않으면 상기 복원 영상을 이용하여 상기 인식된 객체들의 자세를 계산하는 단계; 및
(b''d) RANSAC(RANdom SAmple Consensus) 기반의 좌표계 생성 알고리즘에 따라 상기 자세 계산된 객체들 중에서 인라이어(inlier)에 해당하는 객체에 대한 정보를 취득하는 단계
를 포함하거나,
상기 (b''') 단계는,
(b'''a) 상기 획득된 영상에 미리 획득된 객체가 있는지 판별하는 단계;
(b'''b) 상기 획득된 영상에 상기 미리 획득된 객체가 있으면 SIFT(Scale Invariant Feature Transform) 알고리즘에 기반하여 특징점을 매칭시키며, 상기 획득된 영상에 상기 미리 획득된 객체가 없으면 영상을 획득하는 영상 획득 장치로 하여금 영상을 다시 획득케 하는 단계;
(b'''c) 상기 매칭된 특징점의 개수가 기준 개수 이상인지 비교하는 단계;
(b'''d) 상기 매칭된 특징점의 개수가 상기 기준 개수 이상이면 상기 이전 영상을 이용하여 상기 영상 획득 장치의 자세를 계산하며, 상기 매칭된 특징점의 개수가 상기 기준 개수 미만이면 상기 영상 획득 장치로 하여금 영상을 다시 획득케 하는 단계; 및
(b'''e) 상기 자세 계산된 영상 획득 장치에 따라 상기 획득된 영상에서 인라이어(inlier)에 해당하는 객체에 대한 정보를 취득하는 단계
를 포함하는 것을 특징으로 하는 증강현실에서의 상호작용 구현 방법. - 컴퓨터로 판독 가능한 기록매체로서, 제 11 항 내지 제 14 항 중 어느 한 항, 또는 제 16 항 및 제 17 항 중 어느 한 항에 따른 방법을 구현하는 프로그램이 기록된 기록매체.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100019047A KR101135186B1 (ko) | 2010-03-03 | 2010-03-03 | 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
| US12/968,070 US20110216090A1 (en) | 2010-03-03 | 2010-12-14 | Real-time interactive augmented reality system and method and recording medium storing program for implementing the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100019047A KR101135186B1 (ko) | 2010-03-03 | 2010-03-03 | 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20110099998A KR20110099998A (ko) | 2011-09-09 |
| KR101135186B1 true KR101135186B1 (ko) | 2012-04-16 |
Family
ID=44530946
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100019047A KR101135186B1 (ko) | 2010-03-03 | 2010-03-03 | 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20110216090A1 (ko) |
| KR (1) | KR101135186B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014133272A1 (en) * | 2013-02-28 | 2014-09-04 | Samsung Electronics Co., Ltd. | Content delivery system with augmented reality mechanism and method of operation thereof |
| KR20190036614A (ko) * | 2017-09-28 | 2019-04-05 | 주식회사 토즈 | 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법 |
Families Citing this family (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8189925B2 (en) * | 2009-06-04 | 2012-05-29 | Microsoft Corporation | Geocoding by image matching |
| US8683387B2 (en) * | 2010-03-03 | 2014-03-25 | Cast Group Of Companies Inc. | System and method for visualizing virtual objects on a mobile device |
| KR101330805B1 (ko) * | 2010-08-18 | 2013-11-18 | 주식회사 팬택 | 증강 현실 제공 장치 및 방법 |
| US9111326B1 (en) | 2010-12-21 | 2015-08-18 | Rawles Llc | Designation of zones of interest within an augmented reality environment |
| US8845110B1 (en) | 2010-12-23 | 2014-09-30 | Rawles Llc | Powered augmented reality projection accessory display device |
| US8905551B1 (en) | 2010-12-23 | 2014-12-09 | Rawles Llc | Unpowered augmented reality projection accessory display device |
| US8845107B1 (en) | 2010-12-23 | 2014-09-30 | Rawles Llc | Characterization of a scene with structured light |
| US9134593B1 (en) | 2010-12-23 | 2015-09-15 | Amazon Technologies, Inc. | Generation and modulation of non-visible structured light for augmented reality projection system |
| US9721386B1 (en) | 2010-12-27 | 2017-08-01 | Amazon Technologies, Inc. | Integrated augmented reality environment |
| US9508194B1 (en) | 2010-12-30 | 2016-11-29 | Amazon Technologies, Inc. | Utilizing content output devices in an augmented reality environment |
| US9607315B1 (en) * | 2010-12-30 | 2017-03-28 | Amazon Technologies, Inc. | Complementing operation of display devices in an augmented reality environment |
| US10972680B2 (en) * | 2011-03-10 | 2021-04-06 | Microsoft Technology Licensing, Llc | Theme-based augmentation of photorepresentative view |
| US9118782B1 (en) | 2011-09-19 | 2015-08-25 | Amazon Technologies, Inc. | Optical interference mitigation |
| KR101601805B1 (ko) | 2011-11-14 | 2016-03-11 | 한국전자통신연구원 | 스토리 기반 가상 체험 학습을 위한 혼합 현실 콘텐츠 제공 장치 및 방법 |
| KR101161586B1 (ko) * | 2012-01-18 | 2012-07-03 | (주)이미지스테크놀로지 | 이미지 기반의 햅틱 프리미티브를 이용하여 사용자 정의된 햅틱 효과를 제공하는 이미지 기반 햅틱 효과 설계 및 생성 방법 |
| KR101706216B1 (ko) * | 2012-04-03 | 2017-02-13 | 한화테크윈 주식회사 | 고밀도 삼차원 영상 재구성 장치 및 방법 |
| US9324188B1 (en) | 2012-04-30 | 2016-04-26 | Dr Systems, Inc. | Manipulation of 3D medical objects |
| US9854328B2 (en) * | 2012-07-06 | 2017-12-26 | Arris Enterprises, Inc. | Augmentation of multimedia consumption |
| US9589000B2 (en) | 2012-08-30 | 2017-03-07 | Atheer, Inc. | Method and apparatus for content association and history tracking in virtual and augmented reality |
| US10241638B2 (en) | 2012-11-02 | 2019-03-26 | Atheer, Inc. | Method and apparatus for a three dimensional interface |
| US9070217B2 (en) | 2013-03-15 | 2015-06-30 | Daqri, Llc | Contextual local image recognition dataset |
| JP5790692B2 (ja) | 2013-03-29 | 2015-10-07 | ソニー株式会社 | 情報処理装置、情報処理方法および記録媒体 |
| US9355123B2 (en) | 2013-07-19 | 2016-05-31 | Nant Holdings Ip, Llc | Fast recognition algorithm processing, systems and methods |
| US9501498B2 (en) | 2014-02-14 | 2016-11-22 | Nant Holdings Ip, Llc | Object ingestion through canonical shapes, systems and methods |
| WO2015160828A1 (en) * | 2014-04-15 | 2015-10-22 | Huntington Ingalls Incorporated | System and method for augmented reality display of dynamic environment information |
| JP6265027B2 (ja) | 2014-04-22 | 2018-01-24 | 富士通株式会社 | 表示装置、位置特定プログラム、および位置特定方法 |
| US9864909B2 (en) | 2014-04-25 | 2018-01-09 | Huntington Ingalls Incorporated | System and method for using augmented reality display in surface treatment procedures |
| WO2015164755A1 (en) | 2014-04-25 | 2015-10-29 | Huntington Ingalls Incorporated | Augmented reality display of dynamic target object information |
| WO2015191346A1 (en) | 2014-06-09 | 2015-12-17 | Huntington Ingalls Incorporated | System and method for augmented reality display of electrical system information |
| US10915754B2 (en) | 2014-06-09 | 2021-02-09 | Huntington Ingalls Incorporated | System and method for use of augmented reality in outfitting a dynamic structural space |
| US10504294B2 (en) | 2014-06-09 | 2019-12-10 | Huntington Ingalls Incorporated | System and method for augmented reality discrepancy determination and reporting |
| US9898867B2 (en) | 2014-07-16 | 2018-02-20 | Huntington Ingalls Incorporated | System and method for augmented reality display of hoisting and rigging information |
| US9406152B2 (en) * | 2014-07-17 | 2016-08-02 | Empire Technology Development Llc | Viewer optimized model compression |
| JP2016058043A (ja) * | 2014-09-12 | 2016-04-21 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
| US11205075B2 (en) * | 2018-01-10 | 2021-12-21 | Quantum Interface, Llc | Interfaces, systems and apparatuses for constructing 3D AR environment overlays, and methods for making and using same |
| TWI514319B (zh) * | 2014-10-14 | 2015-12-21 | Zappoint Corp | 藉由虛擬物件編輯資料之方法及系統，及相關電腦程式產品 |
| JP6481354B2 (ja) * | 2014-12-10 | 2019-03-13 | セイコーエプソン株式会社 | 情報処理装置、装置を制御する方法、コンピュータープログラム |
| US9791917B2 (en) * | 2015-03-24 | 2017-10-17 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
| KR101762349B1 (ko) * | 2016-03-21 | 2017-07-28 | (주)포스트미디어 | 실외환경에서의 증강현실 제공방법, 이를 수행하는 증강현실 제공서버, 및 이를 저장하는 기록매체 |
| AU2017203641B2 (en) * | 2016-05-31 | 2018-05-24 | Accenture Global Solutions Limited | Interactive virtual reality platforms |
| US10521677B2 (en) * | 2016-07-14 | 2019-12-31 | Ford Global Technologies, Llc | Virtual sensor-data-generation system and method supporting development of vision-based rain-detection algorithms |
| KR101890166B1 (ko) * | 2016-11-28 | 2018-08-21 | 숭실대학교산학협력단 | 감시영상의 실시간 와핑을 이용한 3차원 감시 시스템 및 방법 |
| US11100384B2 (en) | 2017-02-14 | 2021-08-24 | Microsoft Technology Licensing, Llc | Intelligent device user interactions |
| US10467510B2 (en) | 2017-02-14 | 2019-11-05 | Microsoft Technology Licensing, Llc | Intelligent assistant |
| US11010601B2 (en) | 2017-02-14 | 2021-05-18 | Microsoft Technology Licensing, Llc | Intelligent assistant device communicating non-verbal cues |
| KR102004455B1 (ko) * | 2017-04-25 | 2019-07-26 | 동의대학교 산학협력단 | 증강현실을 이용한 항로표지 관제 시스템 및 방법 |
| KR102317134B1 (ko) * | 2017-10-31 | 2021-10-25 | 에스케이텔레콤 주식회사 | 증강현실용 컨텐츠 저작 장치 및 방법 |
| CN111868738B (zh) * | 2018-01-11 | 2023-09-26 | 云游公司 | 跨设备监控计算机视觉系统 |
| US10467819B2 (en) * | 2018-03-28 | 2019-11-05 | Authanaviz, LLC | Real-time spatial authoring in augmented reality using additive and subtractive modeling |
| KR102503976B1 (ko) * | 2018-07-02 | 2023-02-28 | 한국전자통신연구원 | 증강현실 영상 보정 장치 및 방법 |
| CN110908497B (zh) * | 2018-09-14 | 2021-11-02 | 青岛海尔工业智能研究院有限公司 | 虚拟种植方法、装置、设备和介质 |
| EP3629290B1 (en) * | 2018-09-26 | 2023-01-04 | Apple Inc. | Localization for mobile devices |
| US11861899B2 (en) * | 2018-11-23 | 2024-01-02 | Geenee Gmbh | Systems and methods for augmented reality using web browsers |
| CN110062132B (zh) * | 2019-04-15 | 2020-12-15 | 北京理工大学 | 剧场表演重建方法及装置 |
| KR102433894B1 (ko) * | 2021-12-30 | 2022-08-18 | 주식회사 버넥트 | 맵 타겟을 생성 및 저장하는 방법 및 그 시스템 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6084587A (en) | 1996-08-02 | 2000-07-04 | Sensable Technologies, Inc. | Method and apparatus for generating and interfacing with a haptic virtual reality environment |
| KR20090085419A (ko) * | 2008-02-04 | 2009-08-07 | 광주과학기술원 | 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템 |
| KR20100003252A (ko) * | 2008-06-30 | 2010-01-07 | 또딸 이메르지옹 | 사용자와 증강 현실 장면 사이의 상호 작용을 실시간으로 탐지하기 위한 방법 및 장치 |
-
2010
- 2010-03-03 KR KR1020100019047A patent/KR101135186B1/ko not_active IP Right Cessation
- 2010-12-14 US US12/968,070 patent/US20110216090A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6084587A (en) | 1996-08-02 | 2000-07-04 | Sensable Technologies, Inc. | Method and apparatus for generating and interfacing with a haptic virtual reality environment |
| KR20090085419A (ko) * | 2008-02-04 | 2009-08-07 | 광주과학기술원 | 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템 |
| KR20100003252A (ko) * | 2008-06-30 | 2010-01-07 | 또딸 이메르지옹 | 사용자와 증강 현실 장면 사이의 상호 작용을 실시간으로 탐지하기 위한 방법 및 장치 |
Non-Patent Citations (1)
| Title |
|---|
| 논문(2008.3) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014133272A1 (en) * | 2013-02-28 | 2014-09-04 | Samsung Electronics Co., Ltd. | Content delivery system with augmented reality mechanism and method of operation thereof |
| US9654818B2 (en) | 2013-02-28 | 2017-05-16 | Samsung Electronics Co., Ltd. | Content delivery system with augmented reality mechanism and method of operation thereof |
| KR20190036614A (ko) * | 2017-09-28 | 2019-04-05 | 주식회사 토즈 | 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법 |
| KR101983233B1 (ko) * | 2017-09-28 | 2019-05-28 | 주식회사 토즈 | 깊이맵을 활용한 증강현실 영상표시 시스템 및 그 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20110099998A (ko) | 2011-09-09 |
| US20110216090A1 (en) | 2011-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101135186B1 (ko) | 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 | |
| KR102647351B1 (ko) | 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치 | |
| JP6367926B2 (ja) | 拡張現実（ａｒ）キャプチャおよびプレイ | |
| Hagbi et al. | Shape recognition and pose estimation for mobile augmented reality | |
| JP7337104B2 (ja) | 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体 | |
| CN111328396A (zh) | 用于图像中的对象的姿态估计和模型检索 | |
| KR101410273B1 (ko) | 증강현실 응용을 위한 환경 모델링 방법 및 장치 | |
| US20110248995A1 (en) | System and methods for creating interactive virtual content based on machine analysis of freeform physical markup | |
| Pan et al. | Rapid scene reconstruction on mobile phones from panoramic images | |
| US10950056B2 (en) | Apparatus and method for generating point cloud data | |
| EP3533218B1 (en) | Simulating depth of field | |
| JP2010519629A (ja) | 画像内の３次元物体のポーズを決定する方法及びデバイス並びに物体追跡のための少なくとも１つのキー画像を創出する方法及びデバイス | |
| CN113034652A (zh) | 虚拟形象驱动方法、装置、设备及存储介质 | |
| US20170024930A1 (en) | Consistent tessellation via topology-aware surface tracking | |
| Kolivand et al. | Cultural heritage in marker-less augmented reality: A survey | |
| Piumsomboon et al. | Physically-based interaction for tabletop augmented reality using a depth-sensing camera for environment mapping | |
| Darujati et al. | Facial motion capture with 3D active appearance models | |
| CN110008873B (zh) | 面部表情捕捉方法、系统及设备 | |
| Park et al. | Strategy for Creating AR Applications in Static and Dynamic Environments Using SLAM-andMarker Detector-Based Tracking. | |
| Schall et al. | 3D tracking in unknown environments using on-line keypoint learning for mobile augmented reality | |
| Woodward et al. | A low cost framework for real-time marker based 3-D human expression modeling | |
| McClean | An Augmented Reality System for Urban Environments using a Planar Building Fa cade Model | |
| Kim et al. | Digilog miniature: real-time, immersive, and interactive AR on miniatures | |
| Liu et al. | Human performance capture using multiple handheld kinects | |
| Hogue et al. | Automated avatar creation for 3D games |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |