KR100327120B1 - 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 - Google Patents
증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 Download PDFInfo
- Publication number
- KR100327120B1 KR100327120B1 KR1019990057295A KR19990057295A KR100327120B1 KR 100327120 B1 KR100327120 B1 KR 100327120B1 KR 1019990057295 A KR1019990057295 A KR 1019990057295A KR 19990057295 A KR19990057295 A KR 19990057295A KR 100327120 B1 KR100327120 B1 KR 100327120B1
- Authority
- KR
- South Korea
- Prior art keywords
- camera
- tracker
- image
- posture
- computer vision
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 8
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 238000009877 rendering Methods 0.000 claims abstract description 6
- 239000003550 marker Substances 0.000 claims description 21
- 230000002068 genetic effect Effects 0.000 claims description 5
- 238000007796 conventional method Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 108090000623 proteins and genes Proteins 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 4
- 210000000349 chromosome Anatomy 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009396 hybridization Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 보다 정확하게 실사 영상과 가상 영상을 합성하여 보여주는 방법에 관한 것으로, 위치와 자세를 측정할 수 있는 3차원 트래커와 컴퓨터 비젼을 혼용하여 기존의 방법보다 안정적으로 카메라의 위치와 자세를 찾아 영상 정합을 하기 위하여, 증강현실 시스템에 적용되는 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법에 있어서, 실사 영상을 캡쳐하기 위한 카메라의 내부 파라미터를 결정하며, 컴퓨터 비젼에 의한 영상 처리를 위하여 데이터베이스를 구축하는 제 1 단계; 상기 카메라를 통해 상기 실사 영상을 캡쳐하면서, 상기 데이터베이스를 이용하여 상기 카메라에 부착된 트래커부터 상기 카메라가 캡쳐한 상기 실사 영상에 대한 가상 정보를 생성하는데 필요한 상기 카메라의 위치 및 자세 정보를 추출하는 제 2 단계; 상기 트래커에서 측정된 상기 카메라의 위치 및 자세 정보를 기반으로 보다 정확한 카메라의 위치와 자세를 파악하기 위하여, 상기 카메라가 캡쳐한 상기 실사 영상에서 특징점을 추출하여 이를 바탕으로 상기 트래커의 오차범위내에서 상기 카메라의 위치와 자세값을 보정하는 제 3 단계; 및 보정된 상기 카메라의 위치와 자세값을 이용하여 얻어진 가상 영상을 렌더링하여 상기 실사 영상과 합성하는 제 4 단계를 포함하며, 증강현실 응용 시스템 등에 이용됨.
Description
본 발명은 카메라가 캡쳐한 실사 영상에 컴퓨터로 생성한 가상 영상을 합성하여 보여주는 증강현실 응용시스템에서, 보다 정확하게 실사 영상과 가상 영상을 합성하여 보여주는, 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
현실세계에서는 불가능한 영상 표현이나 정보 제공을 위하여 최근 사람이 살고 있는 실세계와 컴퓨터로 생성한 사이버 세계를 혼합하여 보다 쉽고 유용한 정보를 제공하는 기술에 대한 연구가 많이 진행되고 있으며, 이러한 기술을 증강현실(Augmented Reality) 기술이라고 한다.
증강현실 기술은 1990년대에 이르러 본격적인 연구가 시작된 분야로 아직 상용화된 시스템은 많지 않지만, 많은 응용 분야 및 기술의 잠재력으로 최근 활발한 연구가 진행되고 있다.
증강현실 시스템에서 실사 영상에 가상 영상을 정합하기 위해서는 카메라의 위치와 자세값을 이용하여 미리 3차원으로 모델링된 데이터를 실제 카메라가 실사 영상을 투영하는 것과 같은 3차원 원근 투영법을 이용하여 가상 영상을 렌더링한 다음, 실사 영상과 가상 영상을 합성하여 보여 주게 된다.
카메라의 위치와 자세 정보를 이용하여 원근투영되는 가상 영상은 카메라의위치와 자세 오차에 매우 민감하게 변화되며, 따라서 정확한 카메라의 위치와 자세 정보를 아는 것이 필요하다.
카메라의 위치와 자세를 알기 위하여, 기존에는 3차원 위치와 자세를 측정할 수 있는 트래커를 사용하는 방법과 컴퓨터 비젼을 이용하여 미리 알고 있는 특징점을 이용하여 카메라의 위치와 자세를 구하는 방법이 이용되었다.
그러나, GPS(Global Position System), 자기트래커, 자이로스코프 등의 트래커를 이용하는 방법은 트래커 자체에 포함된 오차로 인하여 영상 정합에 필요한 충분한 정밀도를 제공하지 못한다는 문제점이 있었으며, 컴퓨터 비젼 기반의 방법은 매 프레임마다 위치와 자세 연산에 필요한 마커 또는 특징점을 추출해야 하며, 이러한 작업은 주변 환경에 매우 민감하여 경우에 따라서는 영상 정합을 위한 특징점을 찾지 못해 결과 영상을 생성할 수 없게 되는 문제점이 있었다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 위치와 자세를 측정할 수 있는 3차원 트래커와 컴퓨터 비젼을 혼용하여 기존의 방법보다 안정적으로 카메라의 위치와 자세를 찾아 영상 정합을 하기 위한, 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법 및 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
도 1 은 본 발명이 적용되는 증강현실 시스템의 구성 예시도.
도 2 는 본 발명에 따른 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법에 대한 일실시예 흐름도.
도 3 은 본 발명이 적용되는 위치와 자세에 대한 탐색 범위를 나타내는 3차원 사면체의 일예시도.
도 4 는 본 발명이 적용되는 카메라 위치와 자세값에 대한 정확도 산정을 위한 계산법의 일예시도.
* 도면의 주요 부분에 대한 부호의 설명
10 : 트래커(수신기) 20 : 트래커(송신기)
30 : 트래커 처리기 40 : CCD 카메라
50 : 컴퓨터 60 : 3D 모델링 데이터
70 : 마커 또는 특징점
상기 목적을 달성하기 위한 본 발명은, 증강현실 시스템에 적용되는 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법에 있어서, 실사 영상을 캡쳐하기 위한 카메라의 내부 파라미터를 결정하며, 컴퓨터 비젼에 의한 영상 처리를 위하여 데이터베이스를 구축하는 제 1 단계; 상기 카메라를 통해 상기 실사 영상을 캡쳐하면서, 상기 데이터베이스를 이용하여 상기 카메라에 부착된 트래커부터 상기 카메라가 캡쳐한 상기 실사 영상에 대한 가상 정보를 생성하는데 필요한 상기 카메라의 위치 및 자세 정보를 추출하는 제 2 단계; 상기 트래커에서 측정된 상기 카메라의 위치 및 자세 정보를 기반으로 보다 정확한 카메라의 위치와 자세를 파악하기 위하여, 상기 카메라가 캡쳐한 상기 실사 영상에서 특징점을 추출하여 이를 바탕으로 상기 트래커의 오차범위내에서 상기 카메라의 위치와 자세값을 보정하는 제 3 단계; 및 보정된 상기 카메라의 위치와 자세값을 이용하여 얻어진 가상 영상을 렌더링하여 상기 실사 영상과 합성하는 제 4 단계를 포함하여 이루어진 것을 특징으로 한다.또한, 본 발명은 상기 특징점에 대한 데이터베이스의 구축이 어려운 경우, 마커를 정의하고, 상기 마커에 대한 데이터베이스를 구축하는 제 5 단계를 더 포함하여 이루어진 것을 특징으로 한다.
한편, 본 발명은 3차원 트래커와 컴퓨터 비젼을 이용하여 영상을 정합하기 위하여, 대용량 프로세서를 구비한 증강현실 시스템에, 실사 영상을 캡쳐하기 위한 카메라의 내부 파라미터를 결정하며, 컴퓨터 비젼에 의한 영상 처리를 위하여 데이터베이스를 구축하는 제 1 기능; 상기 카메라를 통해 상기 실사 영상을 캡쳐하면서, 상기 데이터베이스를 이용하여 상기 카메라에 부착된 트래커부터 상기 카메라가 캡쳐한 상기 실사 영상에 대한 가상 정보를 생성하는데 필요한 상기 카메라의 위치 및 자세 정보를 추출하는 제 2 기능; 상기 트래커에서 측정된 상기 카메라의 위치 및 자세 정보를 기반으로 보다 정확한 카메라의 위치와 자세를 파악하기 위하여, 상기 카메라가 캡쳐한 상기 실사 영상에서 특징점을 추출하여 이를 바탕으로 상기 트래커의 오차범위내에서 상기 카메라의 위치와 자세값을 보정하는 제 3 기능; 및 보정된 상기 카메라의 위치와 자세값을 이용하여 얻어진 가상 영상을 렌더링하여 상기 실사 영상과 합성하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명은 카메라가 캡쳐한 실사 영상에 컴퓨터로 생성한 가상 영상을 합성하여 보여주는 증강현실 시스템에서 보다 정확하게 실사 영상과 가상 영상을 합성하여 보여주기 위한 것이다.이를 위해, 본 발명에서는 트래커와 컴퓨터 비젼을 혼용하여 사용하며, 트래커를 이용하여 카메라의 기본 위치와 자세값을 추정하고, 사전에 알고 있는 마커의 3차원 좌표와 컴퓨터 비젼을 이용하여 추출한 마커를 이용하여 트래커를 이용하여 찾은 위치와 자세를 기준으로 트래커의 오차 범위내에서 보다 세밀하게 오차를 줄여간다.이처럼, 본 발명은 실사와 가상 영상을 합성하는 증강현실 시스템에 있어 현재 사용되는 트래커 방법과 컴퓨터 비젼을 이용한 방법을 보완하기 위하여 두 개의 방법을 혼합하여 사용하며, 먼저 트래커에서 대략적인 카메라 위치와 자세를 추출하고, 컴퓨터 비젼을 이용하여 미리 구축된 3차원 특징점 데이타베이스와 영상 처리를 통해 구한 특징점을 이용하여, 스크린에 나타난 좌표값의 차이가 작아지도록 유전자 알고리즘을 이용하여 세부적인 보정을 해가는 점진적인 탐색(Coarse-to-Fine) 방식의 오차 보정 방법을 사용한다.
즉, 본 발명에서는 증강현실 시스템을 구현하는 데 있어 가장 중요한 이슈 중의 하나인 카메라의 위치와 자세를 보다 정확하게 측정하여, 카메라가 캡쳐한 실사 영상과 컴퓨터가 생성한 가상 영상을 정확하게 합성하고자 한다.
본 발명의 작동은 먼저 실사에 대응하는 가상 영상을 생성할 수 있도록 컴퓨터 그래픽을 이용하여 3차원 모델링 데이터를 만들고, 가상 영상이 중첩되는 지역에 컴퓨터 비젼을 이용한 특징 추출에 용이한 마커를 부착하거나 특징들을 미리 계산하여, 마커의 위치와 3차원 모델링 데이터에서의 특징 위치를 별도의 데이터베이스에 저장해 둔다.
또한, 카메라가 캡쳐한 실사에 대한 가상 정보를 생성하는데 필요한 카메라의 위치와 자세 정보를 측정하기 위하여, 카메라에 3차원 위치와 자세를 측정할 수 있는 트래커를 부착한다. 그리고, 여기에서 측정된 위치와 자세 데이터를 기반으로 보다 정확한 카메라의 위치와 자세를 파악하기 위하여 카메라가 캡쳐한 실사 영상에서 마커를 추출하여 트래커의 오차범위(Threshold)내에서 카메라의 위치와 자세를 미세 조정한다.
이 과정은 카메라가 캡쳐한 마커의 스크린 위치와 트래커에서 산출된 위치와 자세값을 기반으로 탐색되는 위치와 자세값을 이용하여 마커의 3차원 좌표값을 스크린으로 원근 투영하였을 때의 카메라가 캡쳐한 마커에 대한 스크린 좌표값과 원근 투영된 마커의 스크린 좌표값과의 거리 차이가 가장 적은 위치와 자세값을 최종 카메라의 위치와 자세로 선택하여 전체 3차원 모델링 데이터를 원근 투영하여 가상 영상을 생성한다.
그리고, 카메라가 캡쳐한 실사 영상과 합성하여 사용자에게 표출하게 된다. 따라서, 기존의 증강현실 시스템에서 사용되는 영상 정합 방법에 비해 시각적으로 보다 정확한 합성을 이룰 수 있다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명이 적용되는 증강현실 시스템의 일실시예 구성도이다.도 1에 도시된 바와 같이, 본 발명이 적용되는 증강현실 시스템은, 카메라의 위치와 자세를 측정할 수 있도록 카메라에 부착된 GPS 또는 자기트래커와 같은 3차원 위치와 자세를 측정할 수 있는 트래커(10)와, 실사를 캡쳐하기 위한 CCD 카메라(40)와, 획득된 정보를 처리하고 실사와 가상 정보를 합성하여 표출하는 컴퓨터 시스템(50)과, 캡쳐된 영상에 중첩되는 가상 정보를 생성하기 위하여 실사와 똑같이 3차원으로 모델링된 데이터(60) 및 컴퓨터 비젼 기반의 오차 보정을 위하여 미리 측정된 마커와 특징점(70)으로 이루어진 3차원 데이터로 구성된다.
도 2 는 본 발명에 따른 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법에 대한 일실시예 흐름도로서, 캘리브레이션 과정과 시스템 운용과정으로 크게 나눌 수 있다.
여기서, 사용되는 오차(Derr)와 최대 허용값(Threshold) 및 오차범위에 대하여 정의하면 다음과 같다.
오차(Derr)는 카메라에서 캡쳐한 영상에서 마커의 스크린 좌표값과 트래커의 위치와 자세를 기반으로 탐색한 위치와 자세값을 이용하여 마커의 3차원 좌표값을 원근 투영하여 얻어진 스크린 좌표값간의 거리를 말한다.
최대 허용값(Threshold)은 위치와 자세를 탐색하면서 오차(Derr)값이 사용자가 원하는 정도보다 작게 될 때 탐색을 중지하도록 하기 위하여 사전에 사용자가 설정하는 값을 말한다.
오차 범위라 함은, 트래커를 제조한 업체에서 트래커의 정밀도를 표시한 것이다. 예를 들면 트래커의 위치 정밀도가 1cm 이내라고 하면, 실제 위치가 트래커의 기준점으로부터 10cm 떨어진 곳에서 트래커를 이용하여 위치를 측정하면, 9cm에서 11cm내의 결과가 나오게 된다. 따라서, 여기서 말하는 오차 범위는 트래커에서 산출된 위치를 기준으로 +,- 1cm의 범위를 말한다.본 발명은 위치와 자세를 측정할 수 있는 3차원 트래커와 컴퓨터 비젼을 이용하여 실사 영상과 가상 영상을 합성하여 표출하는 증강현실 시스템에 있어서, 미리 알고 있는 모델링 데이터의 특징점을 3차원 트래커로부터 획득한 카메라의 위치와 자세를 이용하여 원근 투영한 점을 중심으로 트래커의 오차 범위에서 컴퓨터 비젼을 이용하여 특정점을 추출하고, 트래커로부터 측정된 카메라의 위치와 자세값을 중심으로 x, y, z축으로의 위치값과 Yaw, Roll, Pitch의 각도 변위에 대한 탐색 구간을 지정하여 탐색 알고리즘을 이용하여 가장 좋은 카메라의 위치와 자세값을 가지는 지점을 세부 탐색하여 얻은 위치와 자세 정보를 이용하여 얻어진 가상 영상을 원근 투영하여 실사와 합성하여 표출한다.
도 2에 도시된 바와 같이, 본 발명에 따른 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법은, 먼저 초기 캘리브레이션 과정에서는 카메라의 내부 파라미터, 즉 초점 거리 및 수직과 수평 화각을 측정하고(201), 카메라로 캡쳐한 영상에서 추출할 수 있는 특징점을 추출하여 특징점 데이터베이스를 구축하며(202), 특징점 추출이 어려운 부분에 대해서는 능동적인 특징 추출을 위하여 사전에 약속된 마커를 위치시키는 과정(202)으로 이루어진다.
그리고, CCD 카메라에서 캡쳐된 영상을 이용하여 세부적인 위치와 자세 탐색을 위하여 탐색 범위, 단계별 탐색점의 등분수와 탐색을 종료하기 위하여 CCD 카메라에서 캡쳐한 마커의 스크린 좌표값과 트래커에서 산출된 마커의 위치와 자세를 기반으로 탐색하여 얻은 위치와 자세값을 이용하여 원근 투영한 마커의 스크린 좌표값과의 거리 차이로 구성되는 오차에 대한 최대 허용값(Threshold) 및 최대 허용 탐색 시간값을 사용자가 사전에 설정한다(203).
이때, 유전자 알고리즘을 운영하기 위하여 미리 탐색 범위, 탐색점의 등분수를 기반으로 탐색 영역 내에서 랜덤하게 미리 정해진 수만큼 위치(X, Y, Z)와 자세값(Yaw, Roll, Pitch)의 6개 염색체로 구성된 여러 개의 유전자 집단, 즉 인구(Population)를 생성한다.
다음으로, 시스템 운용 단계에서는 카메라에 부착된 트래커(10)로부터 현재시점의 위치와 자세를 추출하며, CCD 카메라(40)로부터 실사 영상을 캡쳐한다(204). 즉, 트래커에서 대략적인 카메라 위치와 자세를 추출한다.
그리고, 트래커(10)에서 얻은 위치와 자세 정보를 이용하여 현재 뷰에서 보일 수 있는 마커들을 사전에 구축된 마커 데이터베이스에서 찾은 다음, 해당되는 마커들을 스크린으로 원근 투영하여 생기는 스크린 좌표점을 중심으로 사전에 입력된 범위 만큼의 이미지를 대상으로 영상 처리를 이용한 특징점(70)을 추출한다(205).
이때, 특징점 추출에 있어서 마커를 정의한 경우에는 마커에 대한 데이터베이스를 이용하여 특징점을 추출하게 된다.
다음 단계에서는 트래커에서 산출된 위치와 자세 정보를 중심으로 트래커의위치와 자세에 대한 오차 범위내에서 특징점과의 오차 보정을 위한 세부 탐색을 실시한다(206).
이때, 세부 탐색 과정은 위치와 자세의 변수값인 X, Y, Z축으로의 이동값(X,Y,Z)과 X, Y, Z 축을 기준으로 한 회전값(yaw, roll, pitch)의 6개 변수로 구성되며, 도 3 에 나와 있는 것과 같이 위치와 자세에 대한 탐색 범위는 각각의 3차원 사면체 내를 기준으로 한다.
특징점과 트래커의 위치와 자세를 이용하여 오차 보정을 위한 세부 탐색을 해가는 과정(206)은, 트래커의 위치와 자세를 중심으로 만든 6개의 변수에 대한 탐색 범위에 대하여 유전자 알고리즘을 이용한 탐색 방법으로 수행된다.
즉, 유전자 알고리즘은 찾아야 할 변수 X, Y, Z, Roll, Pitch, Yaw에 대한 각각의 변수를 하나의 염색체로 간주하여, 탐색해야 될 위치와 자세는 모두 6개의 염색체로 구성된 한 개의 유전자로 칭한다.
그리고 초기 캘리브레이션 단계에서 생성된 유전자 집단, 즉 인구(Population)을 이용하여 인구를 구성하는 유전자끼리 사전에 주어진 랜덤 변수 비율로 서로 교배(crossover)를 시키고, 사전에 지정한 랜덤 변수로 유전자내의 염색체에 대하여 돌연변이(mutation)를 시킨다.
그리고, 오차(Derr)를 이용하여 각 유전자에 대한 성능 평가를 실시하여 좋은 성능을 가지는 유전자는 선택하고 그렇지 않은 유전자에 대해서는 도태(selection)를 시키며 새로운 유전자를 생성하여 인구에 추가를 한다.
그리고, 다시 교배와 돌연변이 과정을 반복하여 수행하게 된다. 이러한 과정을 계속 수행하면 인구내의 대부분 유전자가 특징점간의 오차의 합(Derr)이 가장 적게 되는 값을 가지도록 수렴하게 된다.
이 과정은 약간의 시간이 소요되며, 시스템의 성능에 따라서 실사 영상을 약 2-3프레임 정도의 지연시킨 후, 주어진 시간내에 오차(Derr)가 가장 적은 유전자를 선택한 후, 이를 이용하여 3차원 모델링 데이터를 원근 투영한 영상과 CCD 카메라로 캡쳐한 영상과 합성한다.
즉, 트래커에서 산출된 위치와 자세를 기준으로 트래커의 오차 범위 내에서 위치와 자세를 변경시켜 가면서, 이를 이용하여 원근 투영한 마커의 스크린 좌표값이 CCD 카메라에서 캡쳐된 마커의 스크린 좌표값과 가장 잘 맞는 위치와 자세를 찾은 후, 이를 이용하여 가상 영상을 생성하여(208) CCD 카메라에서 캡쳐한 실사와 가상 영상을 합성한다(209).
도 4 는 본 발명이 적용되는 위치와 자세값을 이용하여 3차원 데이터를 원근 투영하고, 본 발명에서 적용되는 정확도 산정에 대한 계산법의 일예시도로서, 도 2 에서 예시한 오차 범위내에서 트래커와 카메라의 중심간의 오차(Derr) 만큼 위치와 자세를 변경시키기 위한 과정(206,207)에 이용되는 계산법이다.
원근 투영법은, 먼저 월드(world) 좌표계상의 점(xw,yw,zw)를 트래커를 기준으로 한 트래커 좌표계로 변환한 다음, 카메라의 초점 거리 및 2차원 화면 크기값으로 도면에 도식한 수식과 같이 행렬 연산으로 스크린 좌표인 (xu, yu)를 구할 수 있다.
카메라 좌표계는 실제 컴퓨터 비젼으로 구한 마커의 스크린 위치로 원근 투영하기 위한 정확한 위치와 자세값으로 구성된 좌표계이며, 특징점 (xwn,ywn,zwn)을 원근 투영한 좌표는 (xu', yu')가 된다.
트래커 좌표계는 가상 영상을 생성하기 위하여 사용되는 위치와 자세값에 대한 좌표계로 특징점 (x,y,z)를 원근 투영한 결과 좌표를 (xu, yu)라고 하며, 화면상에서 보이는 모든 n개의 특징점에 대하여 각각 대응되는 두 점 (xun', yun') (xun, yun)간의 거리의 합으로 위치와 자세값에 대한 오차(Derr)를 정의한다.상기한 바와 같은 본 발명에 따르면, 트래커와 컴퓨터 비젼을 이용하여 카메라의 위치와 자세 트래킹이 가능하며, 두 개의 트래커를 사용하여 시스템 운용의 안정성을 높일 수 있다. 또한, CCD 카메라로 캡쳐한 영상에 컴퓨터로 생성된 가상 영상을 중첩한 결과, 영상을 더욱 안정적으로 볼 수 있도록 한다.상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.
상기와 같은 본 발명은 증강현실 시스템을 구현하는데 필수적인 카메라의 위치와 자세를 측정함에 있어, 3차원 트래커와 컴퓨터 비젼 기반의 장단점을 이용하여, 트래커에서 계산되는 위치와 자세값으로 대략적인 카메라의 위치와 자세를 산정하고, 트래커의 오차 범위를 이용하여 지역적인 컴퓨터 비젼을 위한 특징점을 추출하고, 이를 이용하여 카메라의 위치와 자세를 세부적으로 보정해가는 Coarse-to-fine 방식의 탐색 방법을 사용하므로, 기존의 방법보다 정확한 위치와 자세를 추출하는 것이 가능하며, 또한 사용자에게 보다 정확하게 합성된 실사와 가상 정보를 제공할 수 있는 증강현실시스템의 구현이 가능하다는 우수한 효과가 있다.
또한, 트래커와 컴퓨터 비젼을 독립적으로 사용하는 방법보다 두개의 트래킹 시스템을 혼합하여 사용하므로 각각의 장단점을 보완해 주게되어 증강현실 시스템을 운용시 안정성이 높아진다는 우수한 효과가 있다.
Claims (5)
- 증강현실 시스템에 적용되는 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법에 있어서,실사 영상을 캡쳐하기 위한 카메라의 내부 파라미터를 결정하며, 컴퓨터 비젼에 의한 영상 처리를 위하여 데이터베이스를 구축하는 제 1 단계;상기 카메라를 통해 상기 실사 영상을 캡쳐하면서, 상기 데이터베이스를 이용하여 상기 카메라에 부착된 트래커부터 상기 카메라가 캡쳐한 상기 실사 영상에 대한 가상 정보를 생성하는데 필요한 상기 카메라의 위치 및 자세 정보를 추출하는 제 2 단계;상기 트래커에서 측정된 상기 카메라의 위치 및 자세 정보를 기반으로 보다 정확한 카메라의 위치와 자세를 파악하기 위하여, 상기 카메라가 캡쳐한 상기 실사 영상에서 특징점을 추출하여 이를 바탕으로 상기 트래커의 오차범위내에서 상기 카메라의 위치와 자세값을 보정하는 제 3 단계; 및보정된 상기 카메라의 위치와 자세값을 이용하여 얻어진 가상 영상을 렌더링하여 상기 실사 영상과 합성하는 제 4 단계를 포함하는 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법.
- 제 1 항에 있어서,상기 특징점에 대한 데이터베이스의 구축이 어려운 경우, 마커를 정의하고, 상기 마커에 대한 데이터베이스를 구축하는 제 5 단계를 더 포함하는 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법.
- 제 1 항에 있어서,상기 제 3 단계는,상기 카메라가 캡쳐한 마커의 스크린 위치와 상기 트래커에서 산출된 위치와 자세값을 기반으로 탐색되는 위치와 자세값을 이용하여 마커의 3차원 좌표값을 스크린으로 원근 투영하였을 때의 스크린 좌표값과의 거리 차이가 가장 적은 위치와 자세값을 최종 카메라의 위치와 자세로 선택하는 것을 특징으로 하는 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한 영상 정합 방법.
- 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,상기 카메라의 위치와 자세값은,실질적으로, 유전자 알고리즘을 이용하여 탐색하는 것을 특징으로 하는 영상 정합 방법.
- 3차원 트래커와 컴퓨터 비젼을 이용하여 영상을 정합하기 위하여, 대용량 프로세서를 구비한 증강현실 시스템에,실사 영상을 캡쳐하기 위한 카메라의 내부 파라미터를 결정하며, 컴퓨터 비젼에 의한 영상 처리를 위하여 데이터베이스를 구축하는 제 1 기능;상기 카메라를 통해 상기 실사 영상을 캡쳐하면서, 상기 데이터베이스를 이용하여 상기 카메라에 부착된 트래커부터 상기 카메라가 캡쳐한 상기 실사 영상에 대한 가상 정보를 생성하는데 필요한 상기 카메라의 위치 및 자세 정보를 추출하는 제 2 기능;상기 트래커에서 측정된 상기 카메라의 위치 및 자세 정보를 기반으로 보다 정확한 카메라의 위치와 자세를 파악하기 위하여, 상기 카메라가 캡쳐한 상기 실사 영상에서 특징점을 추출하여 이를 바탕으로 상기 트래커의 오차범위내에서 상기 카메라의 위치와 자세값을 보정하는 제 3 기능; 및보정된 상기 카메라의 위치와 자세값을 이용하여 얻어진 가상 영상을 렌더링하여 상기 실사 영상과 합성하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990057295A KR100327120B1 (ko) | 1999-12-13 | 1999-12-13 | 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019990057295A KR100327120B1 (ko) | 1999-12-13 | 1999-12-13 | 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20010055957A KR20010055957A (ko) | 2001-07-04 |
| KR100327120B1 true KR100327120B1 (ko) | 2002-03-13 |
Family
ID=19625530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019990057295A KR100327120B1 (ko) | 1999-12-13 | 1999-12-13 | 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100327120B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100964951B1 (ko) * | 2008-10-29 | 2010-06-21 | 에이알비전 (주) | 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법 |
| KR101195942B1 (ko) | 2006-03-20 | 2012-10-29 | 삼성전자주식회사 | 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법 |
| KR101335617B1 (ko) | 2009-04-16 | 2013-12-02 | 주식회사 제니텀 | 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030049642A (ko) | 2001-12-17 | 2003-06-25 | 한국전자통신연구원 | 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상합성을 위한 카메라 정보 부호화/복호화 방법 |
| KR100702534B1 (ko) * | 2005-07-29 | 2007-04-02 | (주)포스트미디어 | 방향정보를 포함하는 확장형 비주얼 마커를 이용한 아이디판단 방법 |
| KR100793838B1 (ko) | 2006-09-27 | 2008-01-11 | 한국전자통신연구원 | 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법 |
| FR2911707B1 (fr) | 2007-01-22 | 2009-07-10 | Total Immersion Sa | Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video. |
| KR100915298B1 (ko) * | 2007-10-24 | 2009-09-03 | 중앙대학교 산학협력단 | 3차원 가상 신발 착용 시스템 및 이의 운용방법 |
| KR100941749B1 (ko) * | 2008-08-25 | 2010-02-11 | 에이알비전 (주) | 증강 현실 장치 및 가상 이미지 합성 방법 |
| KR101845231B1 (ko) | 2011-06-14 | 2018-04-04 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| US8855366B2 (en) * | 2011-11-29 | 2014-10-07 | Qualcomm Incorporated | Tracking three-dimensional objects |
| US9947140B2 (en) * | 2015-09-15 | 2018-04-17 | Sartorius Stedim Biotech Gmbh | Connection method, visualization system and computer program product |
| KR102280716B1 (ko) * | 2019-11-25 | 2021-07-22 | 윤석희 | 증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법 |
| CN116524022B (zh) * | 2023-04-28 | 2024-03-26 | 神力视界(深圳)文化科技有限公司 | 偏移数据计算方法、图像融合方法、装置及电子设备 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990042072A (ko) * | 1997-11-25 | 1999-06-15 | 정선종 | 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법 |
-
1999
- 1999-12-13 KR KR1019990057295A patent/KR100327120B1/ko not_active IP Right Cessation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990042072A (ko) * | 1997-11-25 | 1999-06-15 | 정선종 | 증강현실 시스템에서 카메라와 트랙커간의 오차 보정방법 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101195942B1 (ko) | 2006-03-20 | 2012-10-29 | 삼성전자주식회사 | 카메라 보정 방법 및 이를 이용한 3차원 물체 재구성 방법 |
| KR100964951B1 (ko) * | 2008-10-29 | 2010-06-21 | 에이알비전 (주) | 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법 |
| KR101335617B1 (ko) | 2009-04-16 | 2013-12-02 | 주식회사 제니텀 | 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20010055957A (ko) | 2001-07-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
| US9020187B2 (en) | Planar mapping and tracking for mobile devices | |
| US8144238B2 (en) | Image processing apparatus and method | |
| Reitmayr et al. | Going out: robust model-based tracking for outdoor augmented reality | |
| KR100327120B1 (ko) | 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법 | |
| US6587601B1 (en) | Method and apparatus for performing geo-spatial registration using a Euclidean representation | |
| Zhao et al. | A vehicle-borne urban 3-D acquisition system using single-row laser range scanners | |
| Satoh et al. | A hybrid registration method for outdoor augmented reality | |
| US20050261573A1 (en) | Method and apparatus for determining position and orientation | |
| TW201715476A (zh) | 運用擴增實境技術之導航系統 | |
| WO2017022033A1 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| JP6894707B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
| CN113340312A (zh) | 一种ar室内实景导航方法及系统 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| Mehralian et al. | EKFPnP: extended Kalman filter for camera pose estimation in a sequence of images | |
| Thomas et al. | Dealing with noise in multiframe structure from motion | |
| Xiaoji et al. | A pedestrian POS for indoor Mobile Mapping System based on foot-mounted visual–inertial sensors | |
| CN114092668A (zh) | 虚实融合方法、装置、设备及存储介质 | |
| CN117253003A (zh) | 一种融合直接法与点面特征法的室内rgb-d slam方法 | |
| Schall et al. | 3D tracking in unknown environments using on-line keypoint learning for mobile augmented reality | |
| Kim et al. | Implicit 3d modeling and tracking for anywhere augmentation | |
| Ababsa et al. | Hybrid three-dimensional camera pose estimation using particle filter sensor fusion | |
| CN110648353A (zh) | 一种基于单目传感器的机器人室内定位方法和装置 | |
| CN112767482B (zh) | 一种多传感器融合的室内外定位方法及系统 | |
| CN114926542A (zh) | 基于光学定位系统的混合现实固定参考系校准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20080214 Year of fee payment: 7 |
|
| LAPS | Lapse due to unpaid annual fee |