KR20130017258A - 다수의 평면을 가지는 모델 기반의 증강현실 구현장치 및 방법 - Google Patents

다수의 평면을 가지는 모델 기반의 증강현실 구현장치 및 방법 Download PDF

Info

Publication number
KR20130017258A
KR20130017258A KR1020110079576A KR20110079576A KR20130017258A KR 20130017258 A KR20130017258 A KR 20130017258A KR 1020110079576 A KR1020110079576 A KR 1020110079576A KR 20110079576 A KR20110079576 A KR 20110079576A KR 20130017258 A KR20130017258 A KR 20130017258A
Authority
KR
South Korea
Prior art keywords
target shape
input image
information
target
marker
Prior art date
Application number
KR1020110079576A
Other languages
English (en)
Inventor
홍현기
이인표
남보담
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020110079576A priority Critical patent/KR20130017258A/ko
Publication of KR20130017258A publication Critical patent/KR20130017258A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

다수의 평면을 가지는 모델 기반의 증강현실 구현장치 및 방법이 개시된다. 제1검출부는 입력영상에 증강현실을 구현하기 위해 3차원 모델인 목표형상이 합성될 지점에 위치하는 마커 또는 대상영역을 입력영상으로부터 검출한다. 제2검출부는 마커 또는 대상영역을 사용하여 목표형상을 구성하는 복수의 정점의 3차원 좌표정보 및 목표형상을 구성하는 복수의 평면의 텍스쳐 정보를 검출한다. 특징점 결정부는 입력영상에서 복수의 정점에 대응하는 복수의 특징점의 좌표정보를 결정한다. 사영행렬 산출부는 특징점의 좌표를 기초로 입력영상에서 목표형상이 합성될 영역을 목표형상의 복수의 평면에 대응하는 복수의 부분영역으로 분할하고, 각각의 부분영역에 대하여 목표형상의 3차원 좌표정보와 입력영상에서의 평면 좌표정보 사이의 대응관계를 나타내는 사영행렬을 산출한다. 렌더링부는 사영행렬 및 텍스쳐 정보를 기초로 목표형상을 입력영상에 합성한다. 본 발명에 따르면, 다수의 평면을 가지는 3차원 모델을 한 번만 인식하여 지속적으로 증강현실을 구현함으로써 증강현실 과정에 있어서 효율성을 높일 수 있다. 또한 3차원 모델에 관한 정보를 제품 정보를 전달하기 위해 널리 사용되는 QR 코드에 포함시켜, QR 코드의 최초 인식만으로 지속적인 증강현실을 구현할 수 있다.

Description

다수의 평면을 가지는 모델 기반의 증강현실 구현장치 및 방법{Apparatus and method about implementation of Augmented Reality based on model with multiple-planes}
본 발명은 다수의 평면을 가지는 모델 기반의 증강현실 구현장치 및 방법에 관한 것으로, 보다 상세하게는, 입력영상에 증강현실을 구현하기 위해 3차원 모델인 목표형상이 합성될 지점에 위치하는 마커 또는 대상영역을 입력영상으로부터 검출하여 증강현실을 구현할 수 있는 장치 및 방법에 관한 것이다.
증강현실(Agumented Reality) 분야에서 카메라의 움직임 정보를 실시간으로 추정하는 카메라 추적(tracking) 알고리즘은 매우 중요한 연구주제이다. 기존의 카메라 추적방법은 크게 마커(marker) 추적방식과 비마커 추적방식으로 구분된다.
마커 추적방식은 카메라로부터 입력되는 실제 공간과 가상의 공간을 연결하기 위한 공간 분석 과정에 사용되고 있다. 최근에는 바코드 리더와 같은 단말기 사용의 증가에 따라 많은 정보를 포함하면서도 정확하게 인식할 수 있는 QR(Quick Response) 코드가 널리 사용되고 있으며, 이를 이용한 증강현실 연구도 제안되고 있다.
비마커 추적방식은 카메라로 관찰되는 장면의 특징점 등을 분석하여 카메라의 움직임을 해석하는 방식이다. 비마커 추적방식은 크게 모델 기반 방식과 비모델 기반 방식으로 분류할 수 있다. 모델 기반 방식은 객체 추적이 이루어지기 전에 실세계에 대한 지식을 획득하여 객체의 3D 모델을 저장하고, 이를 통해 카메라의 움직임을 추정한다.
이에 반하여 비모델 기반 방식은 카메라로부터 입력되는 프레임을 통해서 카메라의 움직임을 사전 정보 없이 추정한다. 모델 기반 방식은 비모델 기반 방식에 비해 단순하며, 가려짐이나 충돌 현상과 같은 가상 객체와 실제 객체 간의 상호 작용을 반영할 수 있다는 장점이 있다.
실제 공간에 합성된 가상의 객체는 카메라의 움직임에 따라 동일하게 영향을 받아야 하며, 이 과정에서 카메라의 움직임을 정확하게 추정해야 한다. 이를 위한 공간분석 알고리즘에는 평면 위에 존재하는 특징을 이용하는 2차원 호모그래피(homography), 3차원 점 클라우드(cloud) 정보를 활용한 선형(linear) 추정 알고리즘, 그리고 카메라 움직임을 정확하게 추정하기 위한 비선형(non-linear) 추적 알고리즘 등이 있다.
증강현실을 적용하기 위해 공간을 분석하는 관련 연구는 모델링 되어있지 않은 실내 공간에 대한 3차원 정보를 추출해 장면 맵을 구성하고, 임의의 가상 객체를 합성하는 단계까지 진행되었다. 그러나 알려져 있지 않은 공간을 분석하기 위해서는 많은 계산이 필요하며, 넓은 공간을 해석하는데도 어려움이 따른다.
한국등록특허 제0957189호에는 심플 프레임 마커를 이용하는 증강현실 시스템 및 방법이 개시되어 있다. 이러한 시스템은 심플 프레임 마커를 이용하여 마커의 위치를 기존에 비하여 빠르고 정확하게 추적할 수 있으나, 3차원 모델을 구현하기 위해서는 마커 프레임을 지속적으로 검출해야만 하는 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는, 입력영상에 증강현실을 구현하기 위해 3차원 모델인 목표형상이 합성될 지점에 위치하는 마커 또는 대상영역을 입력영상으로부터 한 번만 검출하여도 목표형상을 지속적으로 구현할 수 있는 증강현실 구현장치 및 방법을 제공함에 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 입력영상에 증강현실을 구현하기 위해 3차원 모델인 목표형상이 합성될 지점에 위치하는 마커 또는 대상영역을 입력영상으로부터 한 번만 검출하여도 목표형상을 지속적으로 구현할 수 있는 증강현실 구현방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공함에 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 다수의 평면을 가지는 모델 기반의 증강현실 구현장치는, 입력영상에 증강현실을 구현하기 위해 3차원 모델인 목표형상이 합성될 지점에 위치하는 마커 또는 대상영역을 상기 입력영상으로부터 검출하는 제1검출부; 상기 마커 또는 상기 대상영역을 사용하여 상기 목표형상을 구성하는 복수의 정점의 3차원 좌표정보 및 상기 목표형상을 구성하는 복수의 평면의 텍스쳐 정보를 검출하는 제2검출부; 상기 입력영상에서 상기 복수의 정점에 대응하는 복수의 특징점의 좌표정보를 결정하는 특징점 결정부; 상기 특징점의 좌표를 기초로 상기 입력영상에서 상기 목표형상이 합성될 영역을 상기 목표형상의 복수의 평면에 대응하는 복수의 부분영역으로 분할하고, 상기 각각의 부분영역에 대하여 상기 목표형상의 3차원 좌표정보와 상기 입력영상에서의 평면 좌표정보 사이의 대응관계를 나타내는 사영행렬을 산출하는 사영행렬 산출부; 및 상기 사영행렬 및 상기 텍스쳐 정보를 기초로 상기 목표형상을 상기 입력영상에 합성하는 렌더링부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 다수의 평면을 가지는 모델 기반의 증강현실 구현방법은, 입력영상에 증강현실을 구현하기 위해 3차원 모델인 목표형상이 합성될 지점에 위치하는 마커 또는 대상영역을 상기 입력영상으로부터 검출하는 제1검출단계; 상기 마커 또는 상기 대상영역을 사용하여 상기 목표형상을 구성하는 복수의 정점의 3차원 좌표정보 및 상기 목표형상을 구성하는 복수의 평면의 텍스쳐 정보를 검출하는 제2검출단계; 상기 입력영상에서 상기 복수의 정점에 대응하는 복수의 특징점의 좌표정보를 결정하는 특징점 결정단계; 상기 특징점의 좌표를 기초로 상기 입력영상에서 상기 목표형상이 합성될 영역을 상기 목표형상의 복수의 평면에 대응하는 복수의 부분영역으로 분할하고, 상기 각각의 부분영역에 대하여 상기 목표형상의 3차원 좌표정보와 상기 입력영상에서의 평면 좌표정보 사이의 대응관계를 나타내는 사영행렬을 산출하는 사영행렬 산출단계; 및 상기 사영행렬 및 상기 텍스쳐 정보를 기초로 상기 목표형상을 상기 입력영상에 합성하는 렌더링단계;를 갖는다.
본 발명에 따른 다수의 평면을 가지는 모델 기반의 증강현실 구현장치 및 방법에 의하면, 마커 또는 대상영역을 한 번만 검출하여 지속적으로 증강현실을 구현함으로써 증강현실 과정에 있어서 효율성을 높일 수 있다. 또한 3차원 모델인 목표형상에 관한 정보를 제품 정보를 전달하기 위해 널리 사용되는 QR 코드에 포함시켜, QR 코드의 최초 인식만으로 지속적인 증강현실을 구현할 수 있다.
본 발명은 증강현실 게임이나 다양한 모바일 어플리케이션 등 디지털 엔터테이먼트 분야에도 활용될 수 있다. 이 외에 실감형 3D TV 개발, 마케팅에 활용 가능한 대화형 콘텐츠 개발, 체감형 게임기 개발, GPS 시스템과 연계된 지리정보 제공 시스템 개발, 주석 표현 체계를 이용한 군사용 정보 시스템, 고고학 정보 시각화 시스템 개발 등 광범위한 분야에 활용될 수 있다.
도 1은 본 발명에 따른 다수의 평면을 가지는 모델 기반의 증강현실 구현장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 다수의 평면을 가지는 모델 기반의 증강현실 구현방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 3은 본 발명에 의해 검출되는 정점 및 특징점을 나타내는 도면,
도 4는 광류에 의한 DLT, 칼만 필터에 의한 DLT, 전역 번들 조정, 및 지역(local) 키 프레임 번들 조정에 따른 재사영 오차 결과를 나타낸 도면,
도 5는 본 발명의 성능을 평가하기 위해 수행되는 실험에서 각 단계별 소요 시간을 나타내는 도면, 그리고,
도 6은 실제 외부 환경에서 연속적으로 촬영된 입력영상에 본 발명을 적용시킨 결과를 나타내는 도면이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 다수의 평면을 가지는 모델 기반의 증강현실 구현장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 다수의 평면을 가지는 모델 기반의 증강현실 구현장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 증강현실 구현장치는 제1검출부(110), 제2검출부(120), 특징점 결정부(130), 사영행렬 산출부(140), 렌더링부(150) 및 움직임 추적부(160)를 구비한다.
제1검출부(110)는 입력영상에 증강현실을 구현하기 위해 3차원 모델인 목표형상이 합성될 지점에 위치하는 마커(marker) 또는 대상영역을 입력영상으로부터 검출한다. 입력영상은 증강현실 구현장치를 통해 목표형상이 구현되는 2차원 공간을 의미한다. 또한 대상영역은 마커를 사용하지 않는 증강현실 구현방법에 있어서 목표형상을 구현하기 위한 입력영상 내의 공간을 의미한다.
제1검출부(110)에 의해 검출되는 마커로는 목표형상의 복수의 정점의 3차원 좌표정보 및 텍스쳐 정보를 포함하는 대표적인 2차원 바코드인 QR(Quick Response) 코드가 가능하다. QR 코드의 검출은 QR 코드의 위치 정보를 나타내는 세 개의 모서리 영역(좌상, 우상, 좌하)을 포함하는 사각형 패턴을 인식하여, 해당 코드의 네 개의 모서리 점들을 검출함으로써 이루어진다.
제2검출부(120)는 마커 또는 대상영역을 사용하여 목표형상을 구성하는 복수의 정점(vertex)의 3차원 좌표정보 및 목표형상을 구성하는 복수의 평면의 텍스쳐 정보를 검출한다. 목표형상을 구성하는 복수의 정점으로는 3차원 공간에서 목표형상의 모서리 점 및 목표형상의 특징을 나타내는 점이 가능하다.
목표형상을 구성하는 복수의 정점의 3차원 좌표정보 및 목표형상을 구성하는 복수의 평면의 텍스쳐 정보는 마커 또는 대상영역별로 사전에 별도의 데이터베이스에 저장되어 있다. 또한 일반적으로 강건한 검출 및 추적을 위해 다해상도 정보로 저장된다. 제2검출부(120)는 데이터베이스에 접근하여 이러한 정보를 검출한다.
한편, QR 코드는 목표형상을 구성하는 복수의 정점의 3차원 좌표정보 및 목표형상을 구성하는 복수의 평면의 텍스쳐 정보를 사각형 패턴 내에 직접 포함하고 있기 때문에, QR 코드를 사용하는 경우 제2검출부(120)는 별도로 데이터베이스에 접근할 필요는 없다. QR 코드로부터 목표형상의 정보를 추출하는 방법으로는 일반적으로 알려진 종래의 기술이 사용될 수 있다.
특징점 결정부(130)는 입력영상으로부터 복수의 정점에 대응하는 복수의 특징점의 좌표정보를 결정한다. 특징점은 목표형상의 3차원 정점에 대응하는 2차원 입력영상 내의 점을 의미한다.
사영행렬 산출부(140)는 클리핑 알고리즘을 이용하여 특징점의 좌표를 기초로 입력영상에서 목표형상이 합성될 영역을 목표형상의 복수의 평면에 대응하는 복수의 부분영역으로 분할하고, 각각의 부분영역에 대하여 목표형상의 3차원 좌표정보와 입력영상에서의 평면 좌표정보 사이의 대응관계를 나타내는 사영행렬을 산출한다.
클리핑 알고리즘을 이용하여 입력영상에서의 목표형상을 복수의 부분영역으로 분할하여 사영행렬을 산출하면 부분영역별로 증강현실을 구현하기 위한 정보가 처리된다. 따라서 마커 또는 대상영역이 한 번만 완벽히 검출되면 가려지거나 추적을 놓친 경우에도 목표형상을 지속적으로 구현하는 것이 가능하다.
입력영상에서 3차원 모델 평면이 한 개가 존재하는 경우에는 2차원 호모그래피(homography)인 사영행렬을 계산한다. 즉, 하나의 부분영역에 대하여 목표형상의 3차원 좌표정보와 입력영상에서의 평면 좌표정보 사이의 대응관계로부터 호모그래피를 계산할 수 있다. 2차원 호모그래피는 다음의 수학식 1과 같이 산출한다.
Figure pat00001
여기서 P는 2차원 호모그래피, K는 카메라의 내부(intrinsic) 파라미터를 원소로 갖는 카메라 교정행렬(camera calibration matrix)을 나타내는 정칙행렬(non-singular matrix), fx와 fy는 카메라와 입력영상 좌표 간의 크기 비율, s는 입력영상에 대한 비틀림 파라미터(skew parameter), u와 v는 카메라 중심이 입력영상 좌표의 어느 지점을 통과하는지를 나타낸다.
또한 R은 회전을 나타내는 카메라의 외부(extrinsic) 파라미터, T는 이동을 나타내는 카메라의 외부(extrinsic) 파라미터를 나타낸다. 외부 파라미터 행렬은 회전과 이동이 결합된 형태로 실제 3차원 공간 좌표에서 카메라 좌표로의 변환 행렬이다. 즉, r11, r12, ...r32, r33 은 회전을 나타내는 카메라의 외부 파라미터, tx, ty, tz는 이동을 나타내는 카메라의 외부 파라미터이다. 사영행렬 P는 카메라의 내부 파라미터와 카메라의 회전 및 이동을 나타내는 외부 파라미터의 곱으로 계산된다.
수학식 1로부터 실제 3차원 공간상의 한 점과 입력영상 내의 한 점과의 관계를 표현하면 다음의 수학식 2와 같다.
Figure pat00002
여기서 (u, v, 1)은 입력영상 내의 한 점, (X, Y, 0, 1)은 이에 대응하는 실제 3차원 공간상의 한 점을 나타낸다. 각 대응관계는 동차(homogeneous) 좌표계로 표현되며, 실제 3차원 공간상의 한 점의 Z 좌표가 0인 이유는 z 값이 0인 평면상에 존재하기 때문이다. 따라서 P는 다음의 수학식 3과 같은 호모그래피 행렬로 표현된다.
Figure pat00003
수학식 3을 이용해 카메라의 움직임 파라미터를 추출하기 위해서는 다음의 수학식 4를 이용한다.
Figure pat00004
여기서 K는 정칙행렬로 역행렬이 존재한다. r3는 회전행렬의 직교 성질을 이용해 r1, r2의 외적(cross product)으로 계산될 수 있으며, λ는 행렬의 크기 인자(scale factor)로 다음의 수학식 5에 의해 구해진다.
Figure pat00005
2차원 호모그래피는 하나의 평면을 가지는 모델을 구현하는 경우 사용할 수 있다. 본 발명은 클리핑 알고리즘을 통해 마커 또는 대상영역이 가려지는 경우에도 지속적으로 증강현실을 구현할 수 있다는데 특징이 있기 때문에, 다수의 평면을 가지는 3차원 모델을 구현하는 경우에 의미가 있다.
다수의 평면을 가지는 3차원 모델을 구현하는 경우, 입력영상 내에 다수의 평면이 입력되면, 특징점과 3차원 정점의 좌표정보를 선형 방정식으로 구성하고 DLT(Direct Linear Transformation) 방법을 적용한다. 이 과정에서 산출된 카메라 움직임 정보는 이후 보다 안정적으로 카메라 움직임을 추정하기 위한 번들 조정의 초기값으로 사용된다.
사영행렬 산출부(140)는 특징점과 실제 3차원 공간에 존재하는 정점과의 대응 관계를 통해 다음의 수학식 6에 의해 사영행렬을 구한다.
Figure pat00006
Figure pat00007
Figure pat00008
여기서 (XN, TN, ZN)은 실제 3차원 공간에 존재하는 정점, (xN, yN)은 이에 대응하는 입력영상 내의 특징점을 나타낸다. m은 사영행렬로 행렬 A에 대하여 SVD(Singular Value Decomposition)를 수행하고, 분해된 고유(eigen) 벡터 행렬 중 최소 고유값에 대응되는 벡터로서 사영행렬을 추정할 수 있다.
렌더링부(150)는 사영행렬 및 텍스쳐 정보를 기초로 목표형상을 입력영상에 합성한다. 구체적으로, 렌더링부(150)는 입력영상에 구현되는 목표형상에 그림자나 색상, 농도의 변화와 같은 3차원 질감을 넣음으로써 사실감을 더해준다.
앞서 설명한 바와 같이, 목표형상을 구성하는 복수의 평면의 텍스쳐 정보는 사전에 별도의 데이터베이스에 저장된다. 그러나 텍스쳐 정보 양이 지나치게 많은 경우 모델기반 방법에서 고려해야 하는 인덱싱(indexing) 정보가 증가하여, 사전에 저장된 대상영역에 비해 입력영상에서 조명 변화 등의 환경적 영향이 있을 때 대응관계 설정이 어렵다.
움직임 추적부(160)는 입력영상에 시간적으로 연속하여 입력되는 복수의 후속영상으로부터 카메라의 움직임 정보를 지속적으로 추적하여, 번들 조정을 사용하여 움직임 정보에 따라 목표형상의 형태를 수정한다.
카메라의 움직임은 비선형적 특성을 가지므로 이에 적합한 해석 모델이 필요하다. 본 발명에서는 LM(Levenberg-Marquadt) 알고리즘을 이용하여 카메라 움직임에 대한 비선형 방정식의 해를 구한다.
번들 조정은 움직임 정보를 여러 프레임 동안 누적하여 조정하는 방식으로 3차원 정점 X와 입력영상 내 투영 좌표인 특징점 x를 카메라의 사영행렬 P를 이용한 함수 f(P, X)로 구성한다. 그리고 실제로 관찰된 특징점 x와의 차이를 오차로 놓고 이를 최소화하는 방식으로 다음의 수학식 7에 의해 구해진다.
Figure pat00009
여기서 j는 정점을 나타내는 첨자, i는 연속하여 입력되는 프레임을 나타내는 첨자, Pi는 i번째 프레임에서 카메라의 사영행렬, Xj는 j번째 정점, 및 xij는 i번째 프레임에서 j번째 정점을 나타낸다.
번들 조정은 카메라의 움직임 정보를 누적하므로 프레임 수와 특징점의 수가 많아질수록 복잡도가 증가한다. 따라서 번들 조정을 실시간 환경에 적용하기 위해누적 조건을 검사하여 키 프레임을 해석하는 키 프레임 지역(local) 번들 조정 방식을 사용할 수 있다.
키 프레임 지역 번들 조정 방식은 복수의 프레임을 각각 여러 부분으로 나누고 부분별로 카메라의 움직임 정보를 누적시켜, 가상의 프레임인 키 프레임을 생성한다. 따라서 전역 번들 조정 방식보다 변수의 수가 적어 수행속도가 빠르며, 실시간으로 구현하는데 적합하다.
도 2는 본 발명에 따른 다수의 평면을 가지는 모델 기반의 증강현실 구현방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
제1검출부(110)는 입력영상에 증강현실을 구현하기 위해 3차원 모델인 목표형상이 합성될 지점에 위치하는 마커 또는 대상영역을 입력영상으로부터 검출한다(S210). 마커로는 다른 마커에 비하여 비교적 많은 3차원 모델 정보를 포함할 수 있는 QR 코드가 사용될 수 있다.
제2검출부(120)는 마커 또는 대상영역을 사용하여 목표형상을 구성하는 복수의 정점의 3차원 좌표정보 및 목표형상을 구성하는 복수의 평면의 텍스쳐 정보를 검출한다(S220).
목표형상을 구성하는 복수의 정점의 3차원 좌표정보 및 목표형상을 구성하는 복수의 평면의 텍스쳐 정보는 마커 또는 대상영역별로 사전에 별도의 데이터베이스에 저장되어 있다. 그러나 QR 코드는 목표형상을 구성하는 복수의 정점의 3차원 좌표정보 및 목표형상을 구성하는 복수의 평면의 텍스쳐 정보를 사각형 패턴 내에 직접 포함하고 있기 때문에, QR 코드를 사용하는 경우 제2검출부(120)는 별도로 데이터베이스에 접근할 필요는 없다.
특징점 결정부(130)는 입력영상으로부터 복수의 정점에 대응하는 복수의 특징점의 좌표정보를 결정한다(S230). 특징점은 목표형상의 3차원 정점에 대응하는 2차원 입력영상 내의 점을 의미한다.
사영행렬 산출부(140)는 클리핑 알고리즘을 사용하여 특징점의 좌표를 기초로 입력영상에서 목표형상이 합성될 영역을 목표형상의 복수의 평면에 대응하는 복수의 부분영역으로 분할하고, 각각의 부분영역에 대하여 목표형상의 3차원 좌표정보와 입력영상에서의 평면 좌표정보 사이의 대응관계를 나타내는 사영행렬을 산출한다(S240).
클리핑 알고리즘을 이용하여 입력영상에서의 목표형상을 복수의 부분영역으로 분할하여 사영행렬을 산출하기 때문에 부분영역별로 증강현실을 구현하기 위한 정보가 처리된다. 따라서 마커 또는 대상영역이 한 번만 완벽히 검출되면 가려지거나 추적을 놓친 경우에도 목표형상을 지속적으로 구현하는 것이 가능하다.
렌더링부(150)는 사영행렬 및 텍스쳐 정보를 기초로 목표형상을 입력영상에 합성한다(S250). 구체적으로, 렌더링부(150)는 입력영상에 구현되는 목표형상에 그림자나 색상, 농도의 변화와 같은 3차원 질감을 넣음으로써 사실감을 더해준다.
본 발명의 성능을 평가하기 위한 실험을 수행하였다. 실험에서는 목표형상의 정보를 포함하고 있는 QR 코드를 검출하여, 다수의 평면을 가지는 3차원 모델인 목표형상을 입력영상에서 구현한다.
도 3은 본 발명에 의해 검출되는 정점 및 특징점을 나타내는 도면이다.
도 3의 (a)영상에서 ⊙ 점들은 검출하고자 하는 QR 코드의 각 꼭지점들과 목표형상의 정점을 나타낸다. 또한 ○ 점들은 클리핑 알고리즘에 의해 분할된 부분영역 상의 특징점을 나타낸다.
도 3의 (b)영상에서는 구현하고자 하는 3차원 목표형상의 모서리에 해당하는 와이어 프레임을 점선으로 표시하였다. 또한 목표형상의 각 평면 위에 표시된 정점들은 입력영상에서 부분영역에 존재하는 특징점이 호모그래피 계산에 따라 변환된 3차원 점들을 나타낸다.
도 4는 광류에 의한 DLT, 칼만 필터에 의한 DLT, 전역 번들 조정, 및 지역(local) 키 프레임 번들 조정에 따른 재사영 오차 결과를 나타낸 도면이다.
상대적으로 칼만 필터에 의한 DLT가 광류에 의한 DLT보다 오차가 더 크며, DLT만 수행했을 때보다 번들 조정을 함께 사용하는 경우 오차 발생이 감소한다. 지역 키 프레임 번들 조정 과정은 카메라가 최소 20mm 이상 이동한 프레임만을 사용하였기 때문에 내부적으로 계산되는 자코비안(jacobian) 행렬 값이 커지고 고유값도 증가하므로, 상대적으로 작은 고유값을 가지는 전역(global) 번들 조정보다 정확한 결과를 얻었다. 또한 지역 키 프레임 번들 조정은 전역 번들 조정보다 변수의 수가 적어 수행속도가 빠르다는 장점이 있다.
도 5는 본 발명의 성능을 평가하기 위해 수행되는 실험에서 각 단계별 소요 시간을 나타내는 도면이다.
각 단계별 소요 시간에서 가장 많은 시간이 소요되는 QR 코드 인식은 초기에 한번 수행하는 과정이므로, 제안된 증강현실 방법이 시간적으로 효율성이 향상되었음을 입증해준다.
도 6은 실제 외부 환경에서 연속적으로 촬영된 입력영상에 본 발명을 적용시킨 결과를 나타내는 도면이다.
도 6의 (a)는 입력영상에서 간판을 구현한 결과를 나타내는 도면이고, 도 6의 (b)는 자판기를 구현한 결과를 나타내는 도면이다.
본 발명은 ARToolkit을 이용한 증강현실 구현방법에 적용될 수 있다. ARToolkit은 컴퓨터 비전의 트래킹 라이브러리로 카메라를 통해 들어온 영상에서 사각형의 여러 가지 문양의 마커를 트래킹하여, 3차원 가상 이미지를 오버레이 시켜 손쉽게 증강현실을 프로그래밍하도록 한다. 원본 라이브러리는 C언어와 OpenGL 라이브러리를 사용하여 제작되었고, 여러 개발자들이 각 플랫폼에 적합하도록 원본 소스를 수정한 여러 가지 변종 Toolkit이 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.

Claims (7)

  1. 입력영상에 증강현실을 구현하기 위해 3차원 모델인 목표형상이 합성될 지점에 위치하는 마커 또는 대상영역을 상기 입력영상으로부터 검출하는 제1검출부;
    상기 마커 또는 상기 대상영역을 사용하여 상기 목표형상을 구성하는 복수의 정점의 3차원 좌표정보 및 상기 목표형상을 구성하는 복수의 평면의 텍스쳐 정보를 검출하는 제2검출부;
    상기 입력영상에서 상기 복수의 정점에 대응하는 복수의 특징점의 좌표정보를 결정하는 특징점 결정부;
    상기 특징점의 좌표를 기초로 상기 입력영상에서 상기 목표형상이 합성될 영역을 상기 목표형상의 복수의 평면에 대응하는 복수의 부분영역으로 분할하고, 상기 각각의 부분영역에 대하여 상기 목표형상의 3차원 좌표정보와 상기 입력영상에서의 평면 좌표정보 사이의 대응관계를 나타내는 사영행렬을 산출하는 사영행렬 산출부; 및
    상기 사영행렬 및 상기 텍스쳐 정보를 기초로 상기 목표형상을 상기 입력영상에 합성하는 렌더링부;를 포함하는 것을 특징으로 하는 증강현실 구현장치.
  2. 제 1항에 있어서,
    상기 제1검출부에 의해 검출되는 마커는 상기 복수의 정점의 3차원 좌표정보 및 상기 텍스쳐 정보를 포함하는 QR 코드인 것을 특징으로 하는 증강현실 구현장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 입력영상에 시간적으로 연속하여 입력되는 복수의 후속영상으로부터 카메라의 움직임 정보를 지속적으로 추적하여 상기 움직임 정보에 따라 상기 목표형상의 형태를 수정하는 움직임 추적부;를 더 포함하는 것을 특징으로 하는 증강현실 구현장치.
  4. 입력영상에 증강현실을 구현하기 위해 3차원 모델인 목표형상이 합성될 지점에 위치하는 마커 또는 대상영역을 상기 입력영상으로부터 검출하는 제1검출단계;
    상기 마커 또는 상기 대상영역을 사용하여 상기 목표형상을 구성하는 복수의 정점의 3차원 좌표정보 및 상기 목표형상을 구성하는 복수의 평면의 텍스쳐 정보를 검출하는 제2검출단계;
    상기 입력영상에서 상기 복수의 정점에 대응하는 복수의 특징점의 좌표정보를 결정하는 특징점 결정단계;
    상기 특징점의 좌표를 기초로 상기 입력영상에서 상기 목표형상이 합성될 영역을 상기 목표형상의 복수의 평면에 대응하는 복수의 부분영역으로 분할하고, 상기 각각의 부분영역에 대하여 상기 목표형상의 3차원 좌표정보와 상기 입력영상에서의 평면 좌표정보 사이의 대응관계를 나타내는 사영행렬을 산출하는 사영행렬 산출단계; 및
    상기 사영행렬 및 상기 텍스쳐 정보를 기초로 상기 목표형상을 상기 입력영상에 합성하는 렌더링단계;를 포함하는 것을 특징으로 하는 증강현실 구현방법.
  5. 제 4항에 있어서,
    상기 제1검출단계에서, 검출되는 마커는 상기 복수의 정점의 3차원 좌표정보 및 상기 텍스쳐 정보를 포함하는 QR 코드인 것을 특징으로 하는 증강현실 구현방법.
  6. 제 4항 또는 제 5항에 있어서,
    상기 입력영상에 시간적으로 연속하여 입력되는 복수의 후속영상으로부터 카메라의 움직임 정보를 지속적으로 추적하여 상기 움직임 정보에 따라 상기 목표형상의 형태를 수정하는 움직임 추적단계;를 더 포함하는 것을 특징으로 하는 증강현실 구현방법.
  7. 제 4항 또는 제 5항에 기재된 증강현실 구현방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110079576A 2011-08-10 2011-08-10 다수의 평면을 가지는 모델 기반의 증강현실 구현장치 및 방법 KR20130017258A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110079576A KR20130017258A (ko) 2011-08-10 2011-08-10 다수의 평면을 가지는 모델 기반의 증강현실 구현장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110079576A KR20130017258A (ko) 2011-08-10 2011-08-10 다수의 평면을 가지는 모델 기반의 증강현실 구현장치 및 방법

Publications (1)

Publication Number Publication Date
KR20130017258A true KR20130017258A (ko) 2013-02-20

Family

ID=47896450

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110079576A KR20130017258A (ko) 2011-08-10 2011-08-10 다수의 평면을 가지는 모델 기반의 증강현실 구현장치 및 방법

Country Status (1)

Country Link
KR (1) KR20130017258A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150125326A (ko) * 2014-04-30 2015-11-09 (주)제이앤씨마케팅커뮤니케이션 인터랙티브 증강현실 서비스 시스템 및 방법
CN107564089A (zh) * 2017-08-10 2018-01-09 腾讯科技（深圳）有限公司 三维图像处理方法、装置、存储介质和计算机设备
KR102023633B1 (ko) * 2019-06-13 2019-09-20 주식회사 일루니 3차원 움직임 모델 생성 방법 및 장치
KR102094927B1 (ko) * 2019-01-28 2020-03-30 주식회사 맥스트 Qr 코드 추적 장치 및 방법
WO2023136661A1 (en) * 2022-01-13 2023-07-20 Samsung Electronics Co., Ltd. Methods and systems for interacting with 3d ar objects from a scene

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150125326A (ko) * 2014-04-30 2015-11-09 (주)제이앤씨마케팅커뮤니케이션 인터랙티브 증강현실 서비스 시스템 및 방법
CN107564089A (zh) * 2017-08-10 2018-01-09 腾讯科技（深圳）有限公司 三维图像处理方法、装置、存储介质和计算机设备
CN107564089B (zh) * 2017-08-10 2022-03-01 腾讯科技（深圳）有限公司 三维图像处理方法、装置、存储介质和计算机设备
KR102094927B1 (ko) * 2019-01-28 2020-03-30 주식회사 맥스트 Qr 코드 추적 장치 및 방법
KR102023633B1 (ko) * 2019-06-13 2019-09-20 주식회사 일루니 3차원 움직임 모델 생성 방법 및 장치
WO2023136661A1 (en) * 2022-01-13 2023-07-20 Samsung Electronics Co., Ltd. Methods and systems for interacting with 3d ar objects from a scene

Similar Documents

Publication Publication Date Title
CN109544677B (zh) 基于深度图像关键帧的室内场景主结构重建方法及系统
US11003956B2 (en) System and method for training a neural network for visual localization based upon learning objects-of-interest dense match regression
KR102647351B1 (ko) 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
CN108898676B (zh) 一种虚实物体之间碰撞及遮挡检测方法及系统
KR101135186B1 (ko) 상호작용형 실시간 증강현실 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
CN107424171B (zh) 一种基于分块的抗遮挡目标跟踪方法
CN111328396A (zh) 用于图像中的对象的姿态估计和模型检索
CN112257605B (zh) 基于自标注训练样本的三维目标检测方法、系统及装置
CN112258658B (zh) 一种基于深度相机的增强现实可视化方法及应用
CN109636921A (zh) 基于云平台的智能视觉船舶感知系统以及数据处理方法
Huang et al. Robust global registration of point clouds by closed-form solution in the frequency domain
CN109974721A (zh) 一种基于高精度地图的视觉回环检测方法和装置
CN112954292B (zh) 一种基于增强现实的数字博物馆导览系统和方法
CA2990110A1 (en) Fast rendering of quadrics and marking of silhouettes thereof
KR20130017258A (ko) 다수의 평면을 가지는 모델 기반의 증강현실 구현장치 및 방법
CN113220251B (zh) 物体显示方法、装置、电子设备及存储介质
CN113870401B (zh) 表情生成方法、装置、设备、介质和计算机程序产品
CN113449570A (zh) 图像处理方法和装置
CN110567441A (zh) 基于粒子滤波的定位方法、定位装置、建图及定位的方法
CN112184793A (zh) 深度数据的处理方法、装置及可读存储介质
Wientapper et al. Composing the feature map retrieval process for robust and ready-to-use monocular tracking
CN110458177B (zh) 图像深度信息的获取方法、图像处理装置以及存储介质
Ward et al. A model-based approach to recovering the structure of a plant from images
CN114387351A (zh) 一种单目视觉标定方法及计算机可读存储介质
CN113920733A (zh) 一种基于深度网络的交通体量估计方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application