KR20040008456A - 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법 - Google Patents

포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법 Download PDF

Info

Publication number
KR20040008456A
KR20040008456A KR1020020042094A KR20020042094A KR20040008456A KR 20040008456 A KR20040008456 A KR 20040008456A KR 1020020042094 A KR1020020042094 A KR 1020020042094A KR 20020042094 A KR20020042094 A KR 20020042094A KR 20040008456 A KR20040008456 A KR 20040008456A
Authority
KR
South Korea
Prior art keywords
camera
image
pose
pose estimation
mixed reality
Prior art date
Application number
KR1020020042094A
Other languages
English (en)
Other versions
KR100447778B1 (ko
Inventor
손광훈
김장헌
Original Assignee
손광훈
김장헌
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 손광훈, 김장헌 filed Critical 손광훈
Priority to KR10-2002-0042094A priority Critical patent/KR100447778B1/ko
Publication of KR20040008456A publication Critical patent/KR20040008456A/ko
Application granted granted Critical
Publication of KR100447778B1 publication Critical patent/KR100447778B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다. 본 발명의 혼합현실 구현 장치는, 상기 다수의 카메라로부터 영상을 수신하여, 각각의 카메라에 대한 내부/외부 파라미터를 연산하고, 기준 카메라 및 특징점의 탐색범위를 결정하기 위한 캘리브레이션 수단; 상기 캘리브레이션 수단에 의하여 정해진 기준 카메라의 영상에 대하여, 상기 탐색범위를 기준으로 특징점을 추적하기 위한 추적 수단; 상기 특징점을 이용하여 상기 가상 영상의 포즈를 추정하기 위한 포즈추정 수단; 및 상기 포즈추정 수단에 의하여 추정된 포즈를 이용하여, 상기 실영상과 상기 가상영상을 실시간으로 정합하기 위한 정합 수단을 포함한다.

Description

포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치 및 그 방법{Apparatus for Embodying Stereo/Multiview Realistic Mixed Reality using Pose Estimation and Method Thereof}
본 발명은 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로서, 특히 디지털 영상 분야에서 사용되는 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
영상 기술의 발달에 따라, 영상의 보다 현장감 있는 전달 수단으로서 가상 물체를 영상에 기반하여 혼합하는 실감 미디어 정보에 대한 수요가 급격히 증가하고 있다.
상기 실감 미디어란, 가상의 환경에서 공간과 시간의 제약을 극복하기 위한 다양한 요소 정보를 의미한다.
이러한 실감 미디어의 구현을 위해서는 입체 디지털 비디오, 그래픽 합성 물체, 문자 , 애니메이션 등의 다양한 정보들이 서로의 상관관계로부터 부자연스러움 없이 결합할 수 있어야 하며, 다양한 인터페이스에 의해서 사용자와 융합될 수 있어야 한다.
이에 대한 종래의 기술로서, 컴퓨터에 의해 인위적으로 합성된 또 하나의 세계인 가상현실(Virtual Reality)과 현실에 기반하여 인위적으로 합성된 부가정보를 결합한 증강현실(AR:Augmented Reality)기술이 연구가 되어왔다.
상기와 같은 시스템에서는 융합된 환경의 상호작용을 위해 영상과의 상관관계를 분석하고 이를 추적하여 얻은 위치(location)와 방위(orientation)에 가상물체를 결합하여, HMD(Head mounted display)나 HTD(Head Tracked display)등의 안경식 디스플레이장치를 통해 출력하며, 인간이 양쪽 눈으로 물체를 바라봄으로써 물체들 사이의 거리를 판별하고, 물체를 사실적으로 인식할 수 있는 원리를 사용하여, HMD등의 안경식 디스플레이 장치에 두 대의 카메라를 달아 각각의 영상을 각 눈에 나누어 보여주어 입체를 구현한다.
그러나, 상기와 같은 종래의 기술은, 입체 시점이 단 하나로 제한되며, 카메라 설정과 관찰자의 인체 구조의 차이(눈 사이의 거리차 등)에 따라 인식되는 거리감에도 차이가 발생하는 문제점이 있으며, 경우에 따라서는 거리감 인식이 불가능하거나 심한 피로감을 느끼게 되는 문제점이 있었다.
상기와 같은 문제점을 해결하기 위하여, 다시점 카메라로 획득한 영상(다시점 영상)을 이용함으로써 시점을 확장하는 동시에 관찰자에 적절한 영상을 제공할 수 있는 다시점 영상 기술이 등장하였다.
그러나, 상기 다시점 영상은 단일 시점 영상에 비해 시점 수에 비례하게 정보량이 증가하기 때문에, 이러한 영상을 분석하고 추적하여 각각의 가상물체를 정합시키기 위한 각 시점 영상의 특징추출이나, 트래킹, 정합위치 추정을 위한 연산량도 비례적으로 증가할 수밖에 없는 심각한 문제점이 있다.
본 발명은 상기한 바와 같은 종래 기술의 제반 문제점을 해결하기 위해 제안된 것으로, 동일 평면상의 4점에 대한 포즈추정을 수행함으로써, 다시점간의 연산량을 효율적으로 줄일 수 있도록 하는 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은 동일 평면상의 4점에 대한 포즈추정을 수행함으로써, 다시점간의 연산량을 효율적으로 줄일 수 있도록 하는 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 방법을 제공하는데 또 다른 목적이 있다.
또한, 본 발명은 동일 평면상의 4점에 대한 포즈추정을 수행함으로써, 다시점간의 연산량을 효율적으로 줄일 수 있도록 하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 또 다른 목적이 있다.
도 1은 본 발명에 따른 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치의 일실시예 구조도,
도 2는 상기 도 1의 포즈추정부의 일실시예 상세 구조도,
도 3은 상기 도 2의 추정기가 추정하는 평면과 방향성분을 설명하기 위한 일예시도,
도 4는 본 발명에 따른 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 방법을 설명하기 위한 일실시예 흐름도,
도 5a 및 도 5b는 본 발명에 따른 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 방법에 따라 구현한 혼합현실을 나타내기 위한 일예시도.
*도면의 주요 부분에 대한 부호의 설명
110 : 카메라120 : 캘리브레이션부
130 : 추적부140 : 포즈추정부
150 : 정합부160 : 가상영상 처리부
141 : 선택기143 : 보정기
145 : 추정기
상기 목적을 달성하기 위한 본 발명은, 다수의 카메라로부터 수신한 실영상과 미리 모델링된 가상영상의 실시간 합성을 위한 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치에 있어서, 상기 다수의 카메라로부터 영상을 수신하여, 각각의 카메라에 대한 내부/외부 파라미터를 연산하고, 기준 카메라 및 특징점의 탐색범위를 결정하기 위한 캘리브레이션 수단; 상기 캘리브레이션 수단에 의하여 정해진 기준 카메라의 영상에 대하여, 상기 탐색범위를 기준으로 특징점을 추적하기 위한 추적 수단; 상기 특징점을 이용하여 상기 가상 영상의 포즈를 추정하기 위한 포즈추정 수단; 및 상기 포즈추정 수단에 의하여 추정된 포즈를 이용하여, 상기 실영상과 상기 가상영상을 실시간으로 정합하기 위한 정합 수단을 포함한다.
또한, 본 발명은 다수의 카메라로부터 수신한 실영상과 미리 모델링된 가상영상의 실시간 합성을 위한 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 방법에 있어서, 상기 다수의 카메라로부터 수신한 영상에 대하여 각각의 카메라에 대한 내부/외부 파라미터를 연산하고, 기준 카메라 및 특징점의 탐색범위를 결정하는 제 1단계; 상기 캘리브레이션 수단에 의하여 정해진 기준 카메라의 영상에 대하여, 상기 탐색범위를 기준으로 특징점 추적을 수행하는 제 2단계; 상기 특징점을 이용하여 상기 가상 영상의 포즈추정을 수행하는 제 3단계; 및 상기 포즈를 이용하여, 상기 실영상과 상기 가상영상의 실시간 정합을 수행하는 제 4단계를 포함한다.
또한, 본 발명은 다수의 카메라로부터 수신한 실영상과 미리 모델링된 가상영상의 실시간 합성을 위한 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 방법을 제공하기 위하여 마이크로프로세서를 구비한 혼합현실 구현 장치에, 상기 다수의 카메라로부터 수신한 영상에 대하여 각각의 카메라에 대한 내부/외부 파라미터를 연산하고, 기준 카메라 및 특징점의 탐색범위를 결정하는 제 1기능; 상기 캘리브레이션 수단에 의하여 정해진 기준 카메라의 영상에 대하여, 상기 탐색범위를 기준으로 특징점 추적을 수행하는 제 2기능; 상기 특징점을 이용하여 상기 가상 영상의 포즈추정을 수행하는 제 3기능; 및 상기 포즈를 이용하여, 상기 실영상과 상기 가상영상의 실시간 정합을 수행하는 제 4기능을 실현시키시기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.
본 발명은 소수의 사용자와의 상호작용이나 혼합된 환경의 공동작업(Collaboration) 형태로 발전하고 있는 증강현실 시스템의 안경식 한계를 넘어서, 기존의 영상을 기반으로 각종 방송이나, 컨텐츠의 가상영상과의 혼합환경 제작을 위한 방식인 혼합현실(MR:Mixed Reality)라는 총괄적 범위를 함축하는 용어를 사용하기로 한다.
본 발명의 혼합현실 구현 장치는 기존의 영상매체와의 자연스러운 결합을 통한 합성 시스템으로, 다시점으로 확장되었을 때 부가정보를 부호화할 수 있는 다시점 CODEC과의 호환성 있는 구조를 가질 수 있다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1은 본 발명에 따른 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치의 일실시예 구조도이다.
도면에 도시된 바와 같이, 본 발명의 혼합현실 구현 장치는, 다수의카메라(110), 캘리브레이션부(120), 추적부(130), 포즈추정부(140), 정합부(150) 및 가상영상 처리부(160)를 포함하고 있다.
상기 다수의 카메라(110)는 동일한 영상을 여러 시점에서 획득하는 기능을 담당한다.
상기 캘리브레이션부(120)는 상기 다수의 카메라(110)의 내부 및 외부 파라미터를 연산하고, 추적(Tracking)을 수행할 기준 카메라 및 특징점의 탐색 범위를 결정하는 기능을 담당한다.
상기 특징점은, 일반적으로 컴퓨터 비젼(Vision)에서 사용되는 것으로, 특정한 영상의 처리, 특히 기하학적 처리를 하기 위한 기반이 되는 점을 말하는데, 본 발명에서는 가상물체를 올릴 위치를 연산하기 위해 사용되는 점을 의미하는 것으로 한다.
상기 내부 파라미터(Initial Parameter)란, 투영행렬 P와 관련된 초점거리(Focus Length), 왜곡 요소(Distortion Factor) 및 카메라 중심 등을 포함하는 것으로서, 상기 다수의 카메라(110) 자체에서 발생하는 왜곡에 대한 파라미터이다.
이와 같은 카메라의 내부 파라미터를 연산함으로써 제반 왜곡 요소를 제거할 수 있어, 포즈추정의 오류를 줄일 수 있다.
한편, 외부 파라미터(External Parameter)란, 기준 카메라에 대하여 상기 다수의 카메라(110) 간의 상대적인 이동과 회전에 관한 파라미터로서, 주로 포즈추정 및 내부 파라미터의 연산에 사용되는 파라미터이다. 그러나, 이에 대한 연산을 위하여 8개 이상의 공간상의 점이 필요하여, 그 연산이 매우 복잡하므로 실시간으로는 연산이 불가능한 문제점이 있다.
따라서, 본 발명에서 실시하는 상기 외부 파라미터의 연산은 상기 내부 파라미터의 정확한 연산을 위하여 수행되며, 이로 인해 본 발명의 포즈추정은 캘리브레이션에 비의존적일 수 있다.
상기 추적부(130)는 상기 캘리브레이션부(120)에 의해 기준 카메라의 영상에 대하여, 정해진 탐색범위를 기준으로 특징점을 추적하는 기능을 담당한다.
상기 포즈추정부(140)는 도 2에서 보다 상세히 설명하기로 한다.
도 2는 상기 도 1의 포즈추정부의 일실시예 상세 구조도이다.
도면에 도시된 바와 같이, 본 발명의 포즈추정부는, 선택기(141), 보정기(143) 및 추정기(145)를 포함하고 있다.
상기 선택기(141)는 상기 추적부(130)에서 추적한 특징점 중에서 동일평면(Coplanar) 상의 4점을 선택하는 기능을 담당한다.
상기 보정기(143)는 상기 캘리브레이션부(120)가 연산한 내부 파라미터를 이용하여 투영의 왜곡을 보정하여 상기 기준 카메라 이외의 카메라의 영상에서의 특징점의 위치를 바로잡는 기능을 담당한다.
또한, 상기 보정기(143)는 외부 파라미터 및 다시점 카메라간의 관계를 이용하여 추적하지 않는 카메라의 영상에 대한 포즈를 보정하는 기능을 담당한다.
본 발명은 상기 보정기(143)에 의하여 특징점의 위치를 보정함으로써, 포즈추정의 에러를 줄일 수 있다.
상기 추정기(145)는 동일평면상의 4점의 포즈를 추정하는 기능을 담당한다.
본 발명에서는 복잡한 외부 파라미터에 대한 캘리브레이션 방식을 포즈추정에 사용하지 않음으로써 적은 특징점의 개수를 바탕으로 실시간 정합을 수행할 수 있다.
이하, 상기 포즈추정에 대하여 도 3을 참고로 상세히 설명하기로 한다.
본 발명에서는 유사 공간(Affine Space)에서의 방향 벡터를 구함으로써, 4개의 모서리를 특징점으로 하는 사각평면 마커의 회전 및 이동을 추정하여, 이를 이용하여 기준 카메라에 대하여 사각평면 마커의 포즈추정을 수행한다.
도 3은 상기 도 2의 추정기가 추정하는 평면과 방향성분을 설명하기 위한 일예시도이다.
도면에 도시된 B1, B2및 B3는 상기에서 추적한 4점이 구성하는 평면 S1의 이동 방향을 나타내는 것으로서 서로 수직임을 알 수 있다.
본 발명에서는 추정되는 면의 기본벡터인 B1, B2및 B3를 하기 수학식 1에 의해 구할 수 있다.
이때, amn(m, n은 정수)은 기준점, λL, λW, λH는 각각 스케일(scale)을 나타내며, 또한, bmn(m, n은 정수)은 노말(normal) 벡터를 나타낸다.
4점을 이루는 사각형의 방향성분 벡터의 회전과 이동으로부터, 기준 카메라의 시점에서의 한 평면의 모서리로부터 사각형 마커의 회전과 이동을 갖는 포즈를 추정할 수 있다.
상기 가상영상 처리부(160)는 혼합현실을 구성할 가상영상을 모델링하는 기능을 담당한다.
상기 정합부(150)는 상기 가상영상 처리부(160)로부터 수신한 가상영상을 상기 포즈추정부(140)로부터 수신한 포즈로 변환하여, 실영상과 가상영상을 실시간으로 정합하는 기능을 담당한다.
이때, 기준 카메라로부터 수신한 영상 및 나머지 다른 카메라로부터 수신한 영상과 가상 영상을 하기 수학식 2를 이용하여 정합할 수 있다.
이때, TCC'은 기준 카메라(C)의 좌표계에서 다른 카메라(C')의 좌표계로의 변환, TCP는 기준 카메라(C)의 좌표계에서 실영상물체(P)의 좌표계로의 변환, TC'P는 다른 카메라(C')의 좌표계에서 물체(P)의 좌표계로의 변환을 의미하며, RCP는 기준 카메라(C)의 좌표계에서 물체(P)의 좌표계로의 회전, RC'P는 다른 카메라(C')의 좌표계에서 물체(P)의 좌표계로의 회전을 의미한다. 또한, tCP는 기준 카메라(C)의 좌표계에서 물체(P)의 좌표계로의 이동을 의미하며, tC'P는 다른 카메라(C')의 좌표계에서 물체(P)의 좌표계로의 이동을 의미한다.
도 4는 본 발명에 따른 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 방법을 설명하기 위한 일실시예 흐름도이다.
도면에 도시된 바와 같이, 본 발명의 혼합현실 구현 방법은, 상기 다수의 카메라(110)로부터 동일물체에 대한 영상을 수신하여(S401), 이에 대한 내부 및 외부 파라미터를 연산하고, 기준 카메라를 설정하고, 특징점의 탐색범위를 결정하는 등의 캘리브레이션을 수행한다(S403).
이후, 상기에서 결정한 탐색범위에 따라 특징점을 탐색하고(S405), 특징점을 추적한 경우에는 검색된 특징점 중에서 동일평면상의 4점을 선택한다(S411). 만약,특징점을 추적하는데 실패한 경우에는(S407), 외부 파라미터를 사용하여 특징점을 추적하여(S409), 동일평면상의 4점을 선택한다(S411).
이후, 카메라의 투영 왜곡을 보정하여(S413) 특징점의 위치를 바로잡고, 이에 대하여 포즈추정을 수행한다(S415).
마지막으로, 상기에서 추정된 포즈를 이용하여 미리 모델링된 가상영상과 실영상의 정합을 수행한다(S417).
도 5a 및 도 5b는 본 발명에 따른 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 방법에 따라 구현한 혼합현실을 나타내기 위한 일예시도로서, 도 5a는 기준 카메라의 영상에 대하여 구현한 것이고, 도 5b는 기준 카메라 외의 카메라의 영상에 대하여 상기 기준 카메라에 대한 캘리브레이션 파라미터를 이용하여 포즈추정한 후 구현한 것이다.
기준 카메라에 대한 캘리브레이션 파라미터를 통해 얻은 다시점 관계를 포즈추정에 사용한 본 발명에 따른 정합 결과의 영상은 각각의 카메라로부터의 영상에 대하여 포즈추정한 영상과 거의 차이가 없다할 수 있다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.
상기와 같은 본 발명은, 포즈추정에서의 카메라간의 상대적인 이동과 회전을 미리 캘리브레이션의 파라미터로부터 얻어내어, 다시점으로의 정합시 포즈추정 연산을 각각 수행하지 않게 함으로써, 빠른 실시간 다시점 혼합현실을 가능하게 할 수 있도록 하는 효과가 있다.
또한, 본 발명은 추적시에 사라지는 특징점의 경우 카메라간의 관계를 이용하여 추정, 복원하므로, 모든 특징점이 소실되지 않는 이상 강인한 시점간의 추적을 유지할 수 있도록 하는 효과가 있다.
또한, 본 발명은 동일평면상의 4점의 포즈추정을 사용함으로써, 빠른 연산을 가능하게 하고, 한장의 마커나 동일한 면을 이루는 어떠한 물체의 경우에도 4개의 특징점이 있다면 정합할 수 있도록 할 수 있는 효과가 있다.
또한, 본 발명은 동일평면상의 4점의 포즈추정시에 미리 계산된 캘리브레이션의 내부 파라미터를 사용하여 에러를 보정함으로써, 포즈의 잘못된 추정을 방지하고 에러를 줄일 수 있도록 하는 효과가 있다.

Claims (9)

  1. 다수의 카메라로부터 수신한 실영상과 미리 모델링된 가상영상의 실시간 합성을 위한 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치에 있어서,
    상기 다수의 카메라로부터 영상을 수신하여, 각각의 카메라에 대한 내부/외부 파라미터를 연산하고, 기준 카메라 및 특징점의 탐색범위를 결정하기 위한 캘리브레이션 수단;
    상기 캘리브레이션 수단에 의하여 정해진 기준 카메라의 영상에 대하여, 상기 탐색범위를 기준으로 특징점을 추적하기 위한 추적 수단;
    상기 특징점을 이용하여 상기 가상 영상의 포즈를 추정하기 위한 포즈추정 수단; 및
    상기 포즈추정 수단에 의하여 추정된 포즈를 이용하여, 상기 실영상과 상기 가상영상을 실시간으로 정합하기 위한 정합 수단
    을 포함하는 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치.
  2. 제 1항에 있어서,
    상기 내부 파라미터는,
    투영행렬과 관련된 초점거리, 왜곡 요소 및 카메라 중심을 포함하는 것을 특징으로 하는 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치.
  3. 제 1항에 있어서,
    상기 외부 파라미터는,
    상기 기준 카메라에 대하여 나머지 다른 카메라의 상대적인 이동과 회전에 관한 파라미터인 것을 특징으로 하는 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치.
  4. 제 1항에 있어서,
    상기 포즈추정부는,
    상기 추적 수단에 의하여 선택된 특징점 중에서 동일평면상의 4점을 선택하기 위한 선택 수단;
    상기 내부 파라미터를 이용하여 기준 카메라 이외의 카메라의 영상에서의 특징점의 위치를 바로잡기 위한 보정 수단; 및
    상기 동일평면상의 4점에 대하여 포즈를 추정하기 위한 추정 수단
    을 포함하는 것을 특징으로 하는 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치.
  5. 제 4항에 있어서,
    상기 추정 수단은,
    추정되는 평면의 방향벡터를 하기의 식에 의하여 결정하는 것을 특징으로 하는 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치.
    (이때, amn(m, n은 정수)은 기준점, λL, λW, λH는 각각 스케일(scale)을 나타내며, 또한, bmn(m, n은 정수)은 노말(normal) 벡터를 나타냄)
  6. 제 1항에 있어서,
    상기 정합 수단은,
    상기 기준 카메라로부터 수신한 영상 또는 기준 카메라 이외의 다른 카메라로부터 수신한 영상과, 상기 가상영상을 하기의 식에 의하여 정합하는 것을 특징으로 하는 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 장치.
    (이때, TCC'은 기준 카메라(C)의 좌표계에서 다른 카메라(C')의 좌표계로의 변환, TCP는 기준 카메라(C)의 좌표계에서 실영상물체(P)의 좌표계로의 변환, TC'P는 다른 카메라(C')의 좌표계에서 물체(P)의 좌표계로의 변환을 의미하며, RCP는 기준 카메라(C)의 좌표계에서 물체(P)의 좌표계로의 회전, RC'P는 다른 카메라(C')의 좌표계에서 물체(P)의 좌표계로의 회전을 의미함. 또한, tCP는 기준 카메라(C)의 좌표계에서 물체(P)의 좌표계로의 이동을 의미하며, tC'P는 다른 카메라(C')의 좌표계에서 물체(P)의 좌표계로의 이동을 의미함)
  7. 다수의 카메라로부터 수신한 실영상과 미리 모델링된 가상영상의 실시간 합성을 위한 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 방법에 있어서,
    상기 다수의 카메라로부터 수신한 영상에 대하여 각각의 카메라에 대한 내부/외부 파라미터를 연산하고, 기준 카메라 및 특징점의 탐색범위를 결정하는 제 1단계;
    상기 캘리브레이션 수단에 의하여 정해진 기준 카메라의 영상에 대하여, 상기 탐색범위를 기준으로 특징점 추적을 수행하는 제 2단계;
    상기 특징점을 이용하여 상기 가상 영상의 포즈추정을 수행하는 제 3단계; 및
    상기 포즈를 이용하여, 상기 실영상과 상기 가상영상의 실시간 정합을 수행하는 제 4단계
    를 포함하는 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 방법.
  8. 제 7항에 있어서,
    특징점 추적을 실패한 경우에는, 상기 외부 파라미터를 사용하여 특징점을 추적하는 제 5단계
    를 더 포함하는 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 방법.
  9. 다수의 카메라로부터 수신한 실영상과 미리 모델링된 가상영상의 실시간 합성을 위한 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현 방법을 제공하기 위하여 마이크로프로세서를 구비한 혼합현실 구현 장치에,
    상기 다수의 카메라로부터 수신한 영상에 대하여 각각의 카메라에 대한 내부/외부 파라미터를 연산하고, 기준 카메라 및 특징점의 탐색범위를 결정하는 제 1기능;
    상기 캘리브레이션 수단에 의하여 정해진 기준 카메라의 영상에 대하여, 상기 탐색범위를 기준으로 특징점 추적을 수행하는 제 2기능;
    상기 특징점을 이용하여 상기 가상 영상의 포즈추정을 수행하는 제 3기능; 및
    상기 포즈를 이용하여, 상기 실영상과 상기 가상영상의 실시간 정합을 수행하는 제 4기능
    을 실현시키시기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR10-2002-0042094A 2002-07-18 2002-07-18 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법 KR100447778B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0042094A KR100447778B1 (ko) 2002-07-18 2002-07-18 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0042094A KR100447778B1 (ko) 2002-07-18 2002-07-18 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20040008456A true KR20040008456A (ko) 2004-01-31
KR100447778B1 KR100447778B1 (ko) 2004-09-08

Family

ID=37317517

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0042094A KR100447778B1 (ko) 2002-07-18 2002-07-18 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR100447778B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040041297A (ko) * 2002-11-11 2004-05-17 (주) 에이치비전 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및움직임을 추적하고 표시하는 방법
KR100786351B1 (ko) * 2006-08-29 2007-12-14 울산대학교 산학협력단 Ａｒ을 이용한 작업로봇 티칭 시스템 및 방법
KR100825859B1 (ko) * 2007-02-15 2008-04-28 한국과학기술연구원 환경 카메라 시스템을 이용한 사용자 착용 카메라에 대한물체 자세의 간접적 추정 방법
KR100943719B1 (ko) * 2008-11-04 2010-02-23 광주과학기술원 다시점 영상의 기하학적 보정 시스템 및 방법
US7822279B2 (en) 2005-10-11 2010-10-26 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view picture using camera parameter, and recording medium storing program for executing the method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11232483A (ja) * 1998-02-10 1999-08-27 Square Co Ltd 情報処理装置および情報記録媒体
JP2002159019A (ja) * 2000-11-16 2002-05-31 Canon Inc 表示制御装置、撮影位置推測装置、表示システム、撮影システム、画像位置決め方法、撮影位置推測方法、及び処理プログラムを記録した記録媒体
JP3352454B2 (ja) * 2000-11-21 2002-12-03 キヤノン株式会社 画像処理装置及びその方法並びに記憶媒体
JP3467017B2 (ja) * 2000-11-30 2003-11-17 キヤノン株式会社 位置姿勢の決定方法及び装置並びに記憶媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040041297A (ko) * 2002-11-11 2004-05-17 (주) 에이치비전 여러 대의 카메라 영상을 이용하여 운동물체의 위치 및움직임을 추적하고 표시하는 방법
US7822279B2 (en) 2005-10-11 2010-10-26 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-view picture using camera parameter, and recording medium storing program for executing the method
KR100786351B1 (ko) * 2006-08-29 2007-12-14 울산대학교 산학협력단 Ａｒ을 이용한 작업로봇 티칭 시스템 및 방법
KR100825859B1 (ko) * 2007-02-15 2008-04-28 한국과학기술연구원 환경 카메라 시스템을 이용한 사용자 착용 카메라에 대한물체 자세의 간접적 추정 방법
KR100943719B1 (ko) * 2008-11-04 2010-02-23 광주과학기술원 다시점 영상의 기하학적 보정 시스템 및 방법

Also Published As

Publication number Publication date
KR100447778B1 (ko) 2004-09-08

Similar Documents

Publication Publication Date Title
JP5818773B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10269177B2 (en) Headset removal in virtual, augmented, and mixed reality using an eye gaze database
JP3745117B2 (ja) 画像処理装置及び画像処理方法
US9100537B2 (en) Object tracking using graphics engine derived vectors in a motion estimation system
US8144238B2 (en) Image processing apparatus and method
State et al. Superior augmented reality registration by integrating landmark tracking and magnetic tracking
JP4473754B2 (ja) 仮想試着装置
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
US9679415B2 (en) Image synthesis method and image synthesis apparatus
JP2003187261A (ja) ３次元画像生成装置、３次元画像生成方法、立体画像処理装置、立体画像撮影表示システム、立体画像処理方法及び記憶媒体
CN109598796A (zh) 将真实场景与虚拟物体进行3d融合显示的方法和装置
JP7116262B2 (ja) 画像深度推定方法および装置、電子機器、ならびに記憶媒体
JP2003284093A (ja) 立体画像処理方法および装置
JP6061334B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
JP2000341721A (ja) 奥行き画像計測装置、視差画像計測装置、複合現実感提示システム、奥行き画像計測方法、複合現実感提示方法、およびプログラムの記憶媒体
KR100447778B1 (ko) 포즈추정을 이용한 스테레오/다시점 실감 혼합현실 구현장치 및 그 방법
JP3352454B2 (ja) 画像処理装置及びその方法並びに記憶媒体
CA3131980A1 (en) Processing of depth maps for images
JP2003284095A (ja) 立体画像処理方法および装置
JP2023093170A (ja) 携帯端末装置、および、そのプログラム
JP2021047468A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
Yu et al. Projective Bisector Mirror (PBM): Concept and Rationale
US12026903B2 (en) Processing of depth maps for images
US12020363B2 (en) Surface texturing from multiple cameras

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee