KR100953931B1 - 혼합현실 구현 시스템 및 그 방법 - Google Patents

혼합현실 구현 시스템 및 그 방법 Download PDF

Info

Publication number
KR100953931B1
KR100953931B1 KR1020080043629A KR20080043629A KR100953931B1 KR 100953931 B1 KR100953931 B1 KR 100953931B1 KR 1020080043629 A KR1020080043629 A KR 1020080043629A KR 20080043629 A KR20080043629 A KR 20080043629A KR 100953931 B1 KR100953931 B1 KR 100953931B1
Authority
KR
South Korea
Prior art keywords
real space
image
space
virtual space
point
Prior art date
Application number
KR1020080043629A
Other languages
English (en)
Other versions
KR20090117531A (ko
Inventor
김정현
이명호
이명희
최민우
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020080043629A priority Critical patent/KR100953931B1/ko
Publication of KR20090117531A publication Critical patent/KR20090117531A/ko
Application granted granted Critical
Publication of KR100953931B1 publication Critical patent/KR100953931B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods

Abstract

본 발명은 가상공간과 실제공간을 최소한의 맵핑(mapping)만으로 연관시켜 양 공간의 융합으로 인해 발생할 수 있는 혼합현실의 부자연스러움을 최소화시킬 수 있는 혼합현실 구현 시스템에 관한 것이다.
본 명세서에서 개시하는 혼합현실 구현 시스템은 실제공간에서의 임의의 위치와 가상공간에서의 임의의 위치간 연관 관계를 도출하여 상기 두 공간을 연관시키는 연관부; 및 상기 실제공간에서의 임의의 위치에서 발생한 이벤트를, 상기 실제공간에서의 임의의 위치의 상기 연관 관계에 의한 상기 가상공간에서의 연관점에, 상기 가상공간에서 해당하는 이벤트로 현출시키는 이벤트 현출부를 포함하고, 상기 두 이벤트의 대응관계는 소정의 이벤트 라이브러리에 정의하여 본 발명의 과제를 해결한다.

Description

혼합현실 구현 시스템 및 그 방법{System for constructing mixed reality and Method thereof}
본 발명은 혼합현실 구현 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 가상공간과 실제공간을 최소한의 맵핑(mapping)만으로 연관시켜 양 공간의 융합으로 인해 발생할 수 있는 혼합현실의 부자연스러움을 최소화시킬 수 있는 혼합현실 구현 시스템 및 그 방법에 관한 것이다.
혼합현실(mixed reality)은 가상의 공간(virtual environment)과 실제의 공간(real environment)이 융합된 가상현실(virtual reality)의 한 형태로, 실제공간(실제 세계, 실제 환경)과 컴퓨터 그래픽으로 구성된 가상공간(가상 세계, 가상 환경)을 결합하여 보여주어 사용자에게 혼합된 영상을 지각하게 하며, 사용자의 행위에 의해 가상 객체를 조작하면서 컴퓨터와 상호작용하는 것을 가능하게 해준다.
혼합현실의 구현은 통상적으로 실제 세계 인식, 가상 객체 생성, 실제와 가상의 융합(합성) 및 혼합 영상 뷰잉(viewing)으로 이루어지는 네 단계의 처리 과정을 거치며, 이러한 과정에 따라 사용되는 기술은 실세계 인식을 위한 비전 기술, 3D 모델링 및 저작 기술, 실사영상과 가상영상의 합성 기술, 실시간 렌더링 기술, 인터페이스 기술 등을 포함한다.
이러한 혼합현실의 구현에 있어서 가장 중요한 과정은 실제와 가상의 합성 즉, 실제공간과 가상공간을 융합하는 과정인데, 양 공간을 융합하는 과정을 정합(registration)이라 하며 정합에 있어서의 키포인트는 양 공간의 융합으로 인한 부자연스러움을 최소한으로 하는 것에 있다.
양 공간의 정합을 위해 다양한 시도가 행해지고 있는데, 이를 위해 대형 스크린, HMD(Head Mount Display), 스테레오 모니터, 초음파 트래커, 자기장 트래커 등 다양한 기기를 사용하거나 다양한 영상처리 기법과 보정기법들이 개발되고 사용되고 있다.
하지만 이러한 많은 노력들이 있었음에도 불구하고 양 공간이 융합되어 형성된 혼합현실의 부자연스러움은 해결되지 못하고 있어 혼합현실의 효용성에 대한 논란이 지금도 계속되고 있다. 아울러 정합을 위해서는 HMD 및 특별한 센서 등 특수 장치가 필요하기 때문에 비용 문제와 복잡한 계산과정을 요구하는 문제도 발생한다. 또한 HMD 및 특별한 센서들을 사용자가 직접 착용하고 사용해야 하기 때문에 혼합현실의 활용성 문제도 제기된다.
본 발명은 혼합현실의 구현에 있어서 상기한 기존 방식의 문제점을 해결하기 위해 창안된 것으로, 본 발명이 해결하고자 하는 과제는 혼합현실 구현의 새로운 방안을 제공하는 것에 있다.
상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 혼합현실 구현 시스템은
실제공간에서의 임의의 위치와 가상공간에서의 임의의 위치간 연관 관계를 도출하여 상기 두 공간을 연관시키는 연관부; 및 상기 실제공간에서의 임의의 위치에서 발생한 이벤트를, 상기 실제공간에서의 임의의 위치의 상기 연관 관계에 의한 상기 가상공간에서의 연관점에, 상기 가상공간에서 해당하는 이벤트로 현출시키는 이벤트 현출부를 포함하고, 상기 두 이벤트의 대응관계는 소정의 이벤트 라이브러리에 정의하여 본 발명의 과제를 해결한다.
상기와 같은 과제를 해결하기 위해 본 명세서에서 개시하는 혼합현실 구현 방법은
(a)실제공간에서의 임의의 위치와 가상공간에서의 임의의 위치간 연관 관계를 도출하여 상기 두 공간을 연관시키는 단계; 및 (b)상기 실제공간에서의 임의의 위치에서 발생한 이벤트를, 상기 실제공간에서의 임의의 위치의 상기 연관 관계에 의한 상기 가상공간에서의 연관점에, 상기 가상공간에서 해당하는 이벤트로 현출시키는 단계를 포함하고, 상기 두 이벤트의 대응관계는 소정의 이벤트 라이브러리에 정의되어 본 발명의 과제를 해결한다.
본 발명에 의하면 실제공간과 가상공간을 최소한의 맵핑만으로 서로 연관시켜 혼합현실을 구현하기 때문에, 기존 방식에 의한 혼합현실의 부자연스러움을 해 결할 수 있고 혼합현실을 경험하기 위한 고가의 특수 장치가 필요 없기 때문에 비용 문제와 혼합현실을 구현하기 위한 복잡한 계산과정을 요구하는 기존 구현 방식의 문제를 해결할 수 있다. 또한 HMD 및 특별한 센서 등의 특수 장치의 필요가 없이 간단한 디스플레이 기기만으로 혼합현실을 경험할 수 있기 때문에 혼합현실의 응용을 다양화시킬 수 있는 이점도 제공한다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안에 대한 개요를 우선 제시한다.
현재까지 혼합현실의 구현에 있어서 가장 중점을 둔 사항은 상기한 바와 같이 실제공간과 가상공간을 융합시킨 새로운 하나의 공간을 만드는 작업이었다. 그러나 본 발명에 의한 혼합현실의 구현은 물리적으로 분리된 양 공간을 그대로 유지시키고, 양 공간을 강하게 융합시키는 것보다는 약하게 융합시키는 즉 연관시키는 것으로 족하게 하는 것에 그 요체가 있다.
이를 위해 본 발명은 양 공간을 최소한의 맵핑(mapping)만으로 연관시켜 융합에 소요되는 로드를 최소화하고 아울러 양 공간의 융합으로 인해 발생할 수 있는 혼합현실의 부자연스러움을 최소화시키는 것이 본 발명이 해결하고자 하는 과제의 해결 방안의 개요이다.
이하, 본 발명의 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다.
도 1은 본 발명에 의한 혼합현실의 구현 배경을 제시하기 위한 도면이다.
도 1에 제시된 바와 같이, 사용자는 두 개의 분리된 공간 즉, 가상공간과 실제공간을 접한다. 도 1에 의하면 가상공간의 예로 축구장이 제시되어 있으며 실제공간은 사용자가 현재 위치하고 있는 곳이다. 가상공간은 디스플레이 장치를 통해 제공되는데, 디스플레이 장치는 고정 기기 및 모바일 기기 모두 가능한데 이는 본 발명에 의한 혼합현실의 적용 분야에 따라 결정될 문제이다.
한편 본 발명에서 양 공간을 연관시켜 혼합현실을 구현하는 것은, 상기한 바와 같이, 양 공간의 정합(registration)에 중점을 두어 정합을 통해 새로운 하나의 가상현실을 구축하는 것이 아니다. 본 발명에 있어서의 양 공간의 융합이란 기존의 혼합현실 구현에 있어서의 융합의 개념과는 전혀 다른 개념으로 '연관'의 개념으로 볼 수 있다.
이를 위해 본 발명에서 양 공간의 융합을 위한 조치는 양 공간을 서로 맵핑(mapping)시켜 연관시키는 것만으로 족하며, 양 공간을 그대로 유지시키면서 이루어지도록 하는 것이다. 즉, 기존의 혼합현실의 구현과는 달리 융합에 의해 하나의 다른 새로운 가상현실을 구축하는 것이 아니다. 도 1에 의하면, 축구장이라는 가상공간과 사무실이라는 실제공간이 서로 맵핑되어 연관되는 것만으로 혼합현실이 구현된다.
결국 본 발명에 의해 구현되는 혼합현실은, 기존의 혼합현실 구현 방안이 양 공간을 정합시키기 위해 양 공간을 강하게 결합시키는 것과 비교하여, 양 공간을 그대로 유지시키면서 양 공간의 융합을 위한 최소한의 맵핑만으로 이루어지므로 '약하게 결합된 혼합현실(Loosely coupled Mixed Reality: LMR)'이라 볼 수 있다.
도 2는 본 시스템 발명의 바람직한 일실시예의 구성을 제시한 도면이며, 도 3은 본 방법 발명의 바람직한 일실시예의 흐름을 제시한 도면이다.
도 2를 참조하면, 본 시스템 발명은 실제공간에서의 임의의 위치와 가상공간에서의 임의의 위치간 연관 관계를 도출하여 상기 두 공간을 연관시키는 연관부(21), 실제공간에서의 임의의 위치에서 발생한 이벤트를 상기한 연관 관계에 따라 가상공간에서 해당하는 이벤트로 현출시키는 이벤트 현출부(22)를 포함하고, 두 이벤트의 대응관계는 소정의 이벤트 라이브러리에 정의한다.
도 3을 참조하면, 본 방법 발명은 실제공간에서의 임의의 위치와 가상공간에서의 임의의 위치간 연관 관계를 도출하여 두 공간을 연관시키는 단계(S31), 실제공간에서의 임의의 위치에서 발생한 이벤트를 상기한 연관 관계에 따라 가상공간에서 해당하는 이벤트로 현출시키는 단계(S32)를 포함하고, 두 이벤트의 대응관계는 소정의 이벤트 라이브러리에 정의된다.
연관부(21)가 가상공간과 실제공간을 상호 맵핑시켜 연관시키는 것은 텍스쳐 맵핑(texture mapping)이라는 기법에 기반하여 이루어진다. 텍스쳐 맵핑 기법에 기반하는 이유는 본 발명에 의해 가상공간에서의 특정 위치를 실제공간에서의 특정 위치에 연관시키는 것이 바로 텍스쳐 맵핑 기법에서 텍스쳐 공간의 텍스쳐의 특정한 점을 텍스쳐가 맵핑될 오브젝트의 폴리곤(polygon)의 특정한 점에 맵핑시키는 것과 동일한 의미를 가지는 것이기 때문이다.
일반적으로 컴퓨터 그래픽 프로그래밍을 하는 경우에는 OpenGL이나 DirectX 같은 그래픽 라이브러리를 사용하는데, 이때 텍스쳐 맵핑의 처리는 텍스쳐 공간의 텍스쳐의 특정한 점과 맵핑될 오브젝트의 폴리곤의 특정한 한 점을 수치(numeric)로 지정해 주기만 하면 상기와 같은 그래픽 라이브러리의 내부적인 처리에 의해서 자동적으로 이루어진다. 이를 식으로 표현하면 다음과 같다.
PolygonVertex = TexturePoint * TransformationMatrix --- 식(1).
여기서 PolygonVertex는 텍스쳐의 특정한 점인 TexturePoint가 맵핑되는 대상 오브젝트의 폴리곤 위의 특정한 점이다. 그리고 TransformationMatrix는 TexturePoint를 PolygonVertex에 맵핑시키기 위해서 텍스쳐의 공간에서 폴리곤의 공간으로 변환시키기 위한 변환 행렬이다. PolygonVertex와 TexturePoint는 각각의 공간에서 서로 상대방 공간의 특정한 점과 서로 맵핑되어 연관된 연관점(Corresponding Point)이며, TransformationMatrix는 이 연관점을 이용하여 아래와 같이 구할 수 있다.
예를 들어, 2차원(2D) 공간에서 연관점이 세 쌍인 경우에는 다음과 같은 연관 관계를 상정할 수 있다.
TexturePoint(x1, y1) -> PolygonVertex(X1, Y1) --- a).
TexturePoint(x2, y2) -> PolygonVertex(X2, Y2) --- b).
TexturePoint(x3, y3) -> PolygonVertex(X3, Y3) --- c).
각 연관 관계에 대한 관계식은 다음과 같다.
A·x1 + B·y1 + C = X1 D·x1 + E·y1 + F = Y1 --- d).
A·x2 + B·y2 + C = X2 D·x2 + E·y2 + F = Y2 --- e).
A·x3 + B·y3 + C = X3 D·x3 + E·y3 + F = Y3 --- f).
상기 d), e), f)를 행렬 연산 형태로 표현하면 다음과 같다.
Figure 112008033384890-pat00001
.
이 행렬들은 [a][z]=[b]의 형태로, TransformationMatrix [z]는 다음과 같이 구할 수 있다.
[z]=[a]-1[b].
이로부터 [z]T=[A, B, C]와 [D, E, F]를 구할 수 있으며, 이렇게 구해진 A, B, C, D, E, F를 a) 내지 f)식에 대입하여 텍스쳐 공간과 폴리곤 공간의 연관 관계식을 구할 수 있다.
이러한 사실을 바탕으로 연관부(21)가 양 공간을 어떻게 맵핑시켜 연관시키는 지에 관해 상세히 설명한다.
상기 식(1)을 본 발명에 적용할 수 있는 식으로 다시 기술하면 다음과 같다.
VirtualSpacePoint = RealSpacePoint * TransformationMatrix -- 식(2).
여기서 RealSpacePoint는 실제공간에서의 임의의 지점이고, VirtualSpacePoint는 가상공간에서의 임의의 지점이며, TransformationMatrix는 RealSpacePoint를 VirtualSpacePoint와 연관시키는 변환 행렬이다. 따라서 TransformationMatrix는 RealSpacePoint와VirtualSpacePoint의 연관 관계를 정의하는 행렬로 볼 수 있으며, RealSpacePoint와 VirtualSpacePoint는 각각의 공간에서 서로 상대방 공간의 특정한 점과 서로 맵핑되는 연관점(Corresponding Point)이다.
TransformationMatrix는 상기한 텍스쳐 맵핑 기법에서와 마찬가지로 연관점 VirtualSpacePoint와 RealSpacePoint를 이용하여 구할 수 있다.
텍스쳐 맵핑 기법에서 TransformaionMatrix는 PolygonVertex와 TexturePoint만 수치로 기술해 주면 구할 수 있고, TransformationMatrix는 그래픽 라이브러리 내에서 수치로 기술된 PolygonVertex와 TexturePoint를 가지고 그래픽 라이브러리 내부의 처리에 의하여 구할 수 있다. 이러한 처리가 가능한 이유는 텍스쳐 공간과 오브젝트 공간이 특정 좌표계를 가지고 PolygonVertex와 TexturePoint가 특정한 수치로 표현되었기 때문이다.
따라서 연관부(21)에 의해 가상공간에서의 임의의 위치와 실제공간에서의 임의의 위치를 서로 맵핑시켜 연관시키려면, 즉 식(2)에서 TransformationMatrix을 구하려면, 각각의 공간이 특정한 좌표계로 표현 가능해야 하며 또한 각 공간에서의 임의의 점 즉, RealSpacePoint와 VirtualSpacePoint가 수치로 표현 가능해야 한다. 이는 양 공간을 연관시키기 위해서는 좌표계와 수치를 이용하여 가상공간과 실제공간의 정의가 선행되어야 함을 의미한다.
본 발명에서 가상공간은 그래픽 라이브러리 내에서 정의되어 있는 특정한 좌표계를 사용하며 또한 가상공간의 임의의 점 역시 특정한 표준 단위(Pixel, cm, mm, m 등등)로 표현되는 것으로 정의된다. 즉, 가상공간은 이미 주어진 그래픽 라 이브러리를 통해 정의할 수 있다.
하지만 실제공간은 가상공간처럼 좌표계와 임의의 점에 해당하는 위치에 대한 수치가 주어지지 않기 때문에, 실제공간의 좌표계를 정의하고 실제공간에서의 임의의 위치를 특정한 수치로 정의해야 한다. 이를 위해 실제공간 정의부(211)는 실제공간에 대한 상기한 두 팩터(좌표계, 특정한 수치)를 정의하는데(S311), 실제공간 정의부(211)는 가상공간과 실제공간의 연관을 위하여 실제공간의 임의의 위치를 실제공간의 기준점(reference point, 원점)으로 삼아 실제공간의 좌표계를 정의하고, 기준점으로 삼은 특정 위치와 정의한 실제공간의 좌표계를 바탕으로 기준점과 다른 임의의 위치간 거리를 특정한 표준 단위(Pixel, cm, mm, m 등등)를 사용하여 수치로 정의한다. 결국 실제공간의 정의 방식도 가상공간의 정의 방식과 기본적으로 동일하다.
이러한 실제공간 정의를 토대로 연관점 설정부(212)는 양 공간을 연관시키기 위한 연관점을 설정하게 되는데(S312), 본 발명이 제안하는 연관점 설정 방안은 두 가지가 있다. 첫 번째 방안은 사용자가 실제공간을 돌아다니면서 실제공간의 특정 지점을 설정하고 동시에 이 특정 지점의 가상공간에서의 연관점을 설정하는 것으로써 이루어지는 방안이다.
본 방안은 실제공간의 가로축 방향의 길이와 가상공간이 현출된 이미지의 가로축 방향의 픽셀수, 실제공간의 세로축 방향의 길이와 가상공간 이미지의 세로축 방향의 픽셀수를 이용하여 각 픽셀수와 실제공간의 각 방향 길이의 비(ratio)를 구하고, 이 두 개의 비에 따라 연관점을 설정한다.
본 방안의 구현에 대한 예시도가 도 4에 제시되어 있는데, 도 4를 참조하면, 가상공간(골프장이 일례로 제시되어 있다)의 이미지의 가로축 방향의 80 픽셀에 대해 실제공간의 가로축 방향이 2m이므로 가로축 방향 길이의 비례 관계에 의해 가상공간 이미지의 가로축 방향의 한 픽셀은 실제공간에서 약 2.5cm에 해당하는 것으로 설정할 수 있다. 한편 가상공간 이미지의 세로축 방향의 100 픽셀에 대해 실제공간의 Y축이 3m이므로 세로축 방향 길이의 비례 관계에 의해 가상공간의 세로방향의 한 픽셀은 실제공간에서 약 3cm로 설정할 수 있다. 따라서 만일 실제공간에서 가로축 방향으로 1m, 세로축 방향으로 1.5m에 위치하는 지점은 가상공간 이미지의 가로축 방향의 40번째 픽셀과 가상공간 이미지의 세로축 방향의 50번째 픽셀에 해당하는 픽셀을 연관점으로 설정할 수 있는 것이다.
연관점을 설정하기 위해 본 발명이 제안하는 두 번째 방안은 호모그래피(homography) 변환 이미지를 이용하는 방안이다. 호모그래피 변환 이미지의 일례가 도 5a에 제시되어 있으며, 본 방안의 개념을 설명하기 위한 예시도가 도 5b에 제시되어 있다.
연관점 설정을 위한 두 번째 방안은 우선 실제공간 재설정부(2121)에 의해 상기 정의된 실제공간이 재설정되는 것으로 시작한다(S3121). 재설정을 위해 실제공간 재설정부(2121)는 실제공간의 임의의 위치에서 실제공간이 촬상된 이미지를 호모그래피 변환을 이용하여 TopView 상태의 이미지로 변환시킨다. 다음으로 TopView 상태의 이미지의 특정한 위치(예를 들어 왼쪽 아래 코너, 왼쪽 위 코너, 오른쪽 아래 코너, 오른쪽 위 코너 등등)를 재설정되는 실제공간에서의 기준 점(reference point)으로 정한다. 기준점을 정하고 난 후 TopView 상태의 이미지에서 연관점의 정의를 위해 필요한 만큼의 임의의 점들을 더 설정(선택)한다. 이로부터 설정된 임의의 점이 호모그래피 변환된 이미지의 기준점으로부터 가로축 방향으로 몇 픽셀만큼 세로축 방향으로 몇 픽셀만큼 떨어져 있는지의 정보를 알 수 있다.
하지만 이 정보는 재설정된 실제공간상에서의 거리 정보가 반영된 것이 아니므로(즉, 호모그래피 변환된 이미지상의 거리 정보에 불과하다), 설정된 임의의 점에 해당하는 위치들이 실제공간상에서 기준점의 위치에서 얼마만큼 떨어져 있는지 실측을 할 필요가 있다. 실측은 거리 실측부(2122)에 의해 이루어지는데 거리 실측부(2122)는 한 예로 기 공지된 거리 센서 또는 거리 탐색기를 활용해 이루어질 수 있다(S3122). 거리 실측에 관한 상세한 구현 방안은 기 공지된 것이 있으므로 그 세부적인 설명은 생략한다.
거리 실측을 통해서, 상기 설정된 임의의 점들이 실제공간의 기준점에 해당하는 위치로부터 실제공간상에서 얼마만큼 떨어져 있는지 알 수 있게 되고, 이를 실제 거리 단위인 cm, m 등의 특정 단위로 표현할 수 있다.
도 5b를 참조하면, 호모그래피 변환된 이미지상의 가로축 방향의 50 픽셀이 실제공간상에서 150cm라는 것을 거리 실측부(2122)에 의한 실측을 통하여 알 수 있으며, 따라서 호모그래피 변환된 이미지상의 가로축 방향의 한 픽셀은 실제공간상에서 3cm에 해당되는 것을 알 수 있다. 마찬가지로 호모그래피 변환된 이미지상의 세로축 방향의 60픽셀이 실제공간상에서 170cm라는 것을 거리 실측 모듈에 의한 실측을 통하여 알 수 있으며, 따라서 호모그래피 변환된 이미지상의 세로축 방향의 한 픽셀은 실제공간상에서 2.8cm에 해당되는 것을 알 수 있다.
거리 실측은 상술한 바와 같이 연관점을 설정하는데 필요한 점만큼 수행할 수 있으며, 여러 번의 실측을 통하여 호모그래피 변환된 이미지 픽셀 단위당 실제공간상의 거리 관계를 보다 더 정확하게 구할 수 있다.
실제공간을 재설정하고 거리 실측을 하는 과정은 실제공간을 최초로 정의하는 과정과 유사하다. 마지막으로 양 공간을 직접 연관시키는 작업이 필요한데, 이를 위해 맵핑부(2123)는 가상공간과 실제공간을 연관시키기 위해, 각 공간에서 상대방의 공간의 임의의 지점과 연관되어야할 연관점(corresponding point)을 맵핑(mapping)시킨다.
이는 상기 식(2)에서 VirtualSpacePoint와 RealSpacePoint를 서로 맵핑시키는 작업으로서, 맵핑부(2123)는 TransformationMatrix를 구하여 VirtualSpacePoint, RealSpacePoint간의 맵핑 관계(연관 관계식)를 구하는 것으로 가상공간과 실제공간의 연관을 완결시킨다. 이때 맵핑을 위해서는 일반적으로 2차원에서는 최소 2개, 3차원에서는 최소 3개의 점만 있으면 되나, 연관의 정확도나 실제공간의 형태에 따라서 실제 더 많이 필요할 수 있다.
연관점을 설정하기 위한 두 번째 방안에 의할 때, 도 6에 제시된 바와 같이, 가상공간의 한 점을 호모그래피 변환된 이미지의 기준점으로 설정한 지점에 맵핑시키고(기준점으로 설정한 지점의 연관점으로 설정하고) 가상공간의 또 다른 한 점을 호모그래피 변환된 이미지의 기준점과 다른 지점에 맵핑시켜 두 공간의 맵핑 관계(연관 관계식)를 구하는 출발점으로 삼는다.
다음으로 상기 식(2)을 이용하여 TransformationMatrix를 구하여 양 공간의 모든 지점에 대한 맵핑 관계(연관 관계식)를 구할 수 있다.
A·x1 + B·y1 = X1 D·x1 + E·y1 = Y1 --- g).
A·x2 + B·y2 = X2 D·x2 + E·y2 = Y2 --- h).
A·x3 + B·y3 = X3 D·x3 + E·y3 = Y3 --- i).
Figure 112008033384890-pat00002
.
여기서 (x1, y1)은 호모그래피 변환된 이미지의 기준점, (x2, y2)는 호모그래피 변환된 이미지의 기준점과 다른 지점, (X1, Y1)은 (x1, y1)의 가상공간에서의 연관점(가상공간에 매핑되는 점), (X2, Y2)은 (x2, y2)의 가상공간에서의 연관점(가상공간에 매핑되는 점)을 나타낸다. 여기서 (x1, y1)과 (x2, y2)는 실제 거리 단위인 cm, m 등의 특정 단위로 표현되는 수치이다.
Figure 112008033384890-pat00003
= [a],
Figure 112008033384890-pat00004
= [z],
Figure 112008033384890-pat00005
= [b]라 하면, 상기 두 행렬 연산은 다음과 같이 하나의 행렬 연산으로 표현될 수 있다.
[a][z] = [b]. 여기서 [z]가 TransformationMatrix이다.
양 공간의 모든 지점에 대한 맵핑 관계(연관 관계식)를 구하기 위해서는 상기의 식 g) 내지 i)에서 미정 계수 A, B, C, D를 알아내야 하고, 이는 결국 [z]=[a]-1[b]를 통해서 알아낼 수 있다. 이 연관 관계식으로부터 두 공간의 모든 점 의 상대방 공간에서의 연관점이 설정되고 따라서 두 공간의 연관이 이루어지는 것이며 두 공간이 연관된 혼합현실이 구현되는 것이다. 지금까지의 설명은 편의를 위해 양 공간이 모두 2차원으로 표현된 경우를 가정하고 된 것이지만, 실제공간과 가상공간이 3차원(3D)일 경우에도 3차원 상에서 적용하기 위한 변수(variables)만이 더 추가될 뿐 지금까지 설명한 방식과 동일한 방식으로 3D의 가상공간과 실제공간을 연관시킬 수 있다.
이벤트 현출부(22)는 실제공간에서 발생한 이벤트에 대응하는 가상공간에서의 이벤트를 상기한 연관 관계에 의해 가상공간에 현출시키는 기능을 수행한다. 즉, 실제공간에서의 임의의 위치에서 발생한 이벤트를, 실제공간에서의 임의의 위치의 상기한 연관 관계에 의한 가상공간에서의 연관점에, 가상공간에서 해당하는 이벤트로 현출시킨다.
예를 들어 본 발명이 골프 게임에 적용된다고 할 때, 실제공간의 임의의 지점에서 스윙 행위를 하는 이벤트를 상기한 연관 관계에 의한 가상공간(골프장으로 표출)에서의 연관점에 골프공이 날아가는 이벤트로 현출시키는 것을 그 예로 들 수 있다. 이 예에서 도출될 수 있는 사실은, 실제공간에서 발생한 이벤트에 대응(해당)하는 가상공간에서의 이벤트를 상기한 연관 관계에 의해 가상공간에 현출시키기 위해서는, 두 공간에서의 임의의 지점간 연관 관계뿐만이 아니라 실제공간에서의 이벤트에 대응하는 가상공간에서의 이벤트를 정의한 이벤트 라이브러리(이벤트 테이블)가 필요하다는 사실이다. 이러한 이벤트 라이브러리는 본 발명이 적용될 수 있는 분야(예를 들어 골프 게임, 축구 게임, 댄스 게임 등등)에 따라 매우 다양하 게 구축할 수 있다.
한편 실제공간에서 발생한 이벤트를 가상공간에 현출함에 있어서는, 특히 연관점을 설정하기 위한 두 번째 방안에 의할 때, 실제공간의 이미지 크기와 가상공간의 이미지 크기가 다를 수 있으므로 현출의 정도를 조정할 필요 즉, 스케일링(scaling)의 필요가 있다. 예를 들어 도 6에 의하면 가상공간의 이미지 크기가 실제공간의 이미지 크기보다 4배가 더 크므로(각 축의 길이의 비는 각각 2:1 임을 알 수 있다), 실제공간에서의 이벤트 발생의 정도를 이미지 크기의 비(4:1)에 맞게 조정하여 가상공간의 이미지에 현출시킬 필요가 있다. 조정은 실제공간에서 이벤트가 발생함으로써 야기되는 실제공간 이미지에서의 변화가 발생하는 픽셀수로부터 조정할 수 있다.
즉, 도 5b에 의할 경우, 호모그래피 변환된 이미지상의 가로축 방향의 한 픽셀은 재설정된 실제공간상에서 3cm에 해당되고 호모그래피 변환된 이미지상의 세로축 방향의 한 픽셀은 실제공간상에서 2.8cm에 해당되므로, 만일 실제공간상에서 가로축 방향으로 30cm(10 픽셀), 세로축 방향으로 56cm(20 픽셀)의 이벤트가 발생하면 호모그래피 변환된 이미지상에서는 최대 200 픽셀(=10*20)에서 변화가 발생한다(이벤트가 발생한다).
이는 가상공간의 이미지상에서는 가로축 방향으로는 20 픽셀, 세로축 방향으로는 40 픽셀에서 이벤트가 발생한 것이므로 가상공간의 이미지상에서는 최대 800 픽셀에서 이벤트가 발생한 것으로 표출되어야 한다.
본 방법발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있 는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 유무선 네트워크를 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다.
그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 균등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명에 의한 혼합현실의 구현 배경을 제시하기 위한 도면이다.
도 2는 본 시스템 발명의 바람직한 일실시예의 구성을 제시한 도면이다.
도 3은 본 방법 발명의 바람직한 일실시예의 흐름을 제시한 도면이다.
도 4는 본 발명에 의해 연관점을 설정하는 방안을 설명하기 위한 일례를 제시한 도면이다.
도 5a와 도 5b는 본 발명에 의해 연관점을 설정하는 또 다른 방안을 설명하기 위한 일례를 제시한 도면이다.
도 6은 연관점을 설정하는 또 다른 방안을 상세히 설명하기 위한 일례를 제시한 도면이다.

Claims (11)

  1. 실제공간에서의 임의의 위치와 가상공간에서의 임의의 위치간 연관 관계를 도출하여 상기 두 공간을 연관시키는 연관부; 및
    상기 실제공간에서의 임의의 위치에서 발생한 이벤트를, 상기 실제공간에서의 임의의 위치의 상기 연관 관계에 의한 상기 가상공간에서의 연관점에, 상기 가상공간에서 해당하는 이벤트로 현출시키는 이벤트 현출부를 포함하고,
    상기 두 이벤트의 대응관계는 소정의 이벤트 라이브러리에 정의하는 것을 특징으로 하는 혼합현실 구현 시스템.
  2. 제 1 항에 있어서, 상기 연관부는
    상기 실제공간의 좌표계를 정의하고 상기 실제공간에서의 임의의 위치를 특정한 수치로 정의하는 실제공간 정의부; 및
    상기 정의된 실제공간에서의 임의의 위치가 상기 가상공간에서 연관되는 연관점을 설정하는 연관점 설정부를 포함하는 것을 특징으로 하는 혼합현실 구현 시스템.
  3. 제 2 항에 있어서, 상기 연관점 설정부는
    상기 가상공간의 이미지의 가로축 방향의 픽셀수와 상기 정의된 실제공간의 가로축 방향 길이의 비(ratio), 상기 가상공간 이미지의 세로축 방향의 픽셀수와 상기 정의된 실제공간의 세로축 방향 길이의 비를 구하고, 상기 두 비에 따라 상기 연관점을 설정하는 것을 특징으로 하는 혼합현실 구현 시스템.
  4. 제 2 항에 있어서, 상기 연관점 설정부는
    상기 정의된 실제공간의 임의의 위치에서 촬상된 이미지를 호모그래피 변환을 이용하여 TopView 상태의 이미지로 변환시켜 상기 정의된 실제공간을 재설정하는 실제공간 재설정부;
    상기 TopView 상태의 이미지상의 임의의 점과 상기 TopView 상태의 이미지의 기준점간의 상기 TopView 상태의 이미지상에서의 거리에 해당하는 실거리를 실측하는 거리 실측부; 및
    상기 실측된 실거리로 표현되는 상기 TopView 상태의 이미지상의 임의의 점을 텍스쳐 맵핑(texture mapping)에 따라 상기 가상공간의 이미지상에서 연관되어야할 연관점에 맵핑(mapping)시키는 맵핑부를 포함하는 것을 특징으로 하는 혼합현실 구현 시스템.
  5. 제 4 항에 있어서, 상기 이벤트 현출부는
    상기 실제공간에서 이벤트가 발생함으로써 야기되는 상기 TopView 상태의 이미지에서의 변화가 발생하는 픽셀수를, 상기 TopView 상태의 이미지의 크기와 상기 가상공간의 이미지 크기의 비에 따라, 상기 가상공간의 이미지에 스케일링하여 현출시키는 것을 특징으로 하는 혼합현실 구현 시스템.
  6. (a)실제공간에서의 임의의 위치와 가상공간에서의 임의의 위치간 연관 관계를 도출하여 상기 두 공간을 연관시키는 단계; 및
    (b)상기 실제공간에서의 임의의 위치에서 발생한 이벤트를, 상기 실제공간에서의 임의의 위치의 상기 연관 관계에 의한 상기 가상공간에서의 연관점에, 상기 가상공간에서 해당하는 이벤트로 현출시키는 단계를 포함하고,
    상기 두 이벤트의 대응관계는 소정의 이벤트 라이브러리에 정의되는 것을 특징으로 하는 혼합현실 구현 방법.
  7. 제 6 항에 있어서, 상기 (a)단계는
    (a1)상기 실제공간의 좌표계를 정의하고 상기 실제공간에서의 임의의 위치를 특정한 수치로 정의하여 상기 실제공간을 정의하는 단계; 및
    (a2)상기 정의된 실제공간에서의 임의의 위치가 상기 가상공간에서 연관되는 연관점을 설정하는 단계를 포함하는 것을 특징으로 하는 혼합현실 구현 방법.
  8. 제 7 항에 있어서, 상기 (a2)단계는
    상기 가상공간의 이미지의 가로축 방향의 픽셀수와 상기 정의된 실제공간의 가로축 방향 길이의 비(ratio), 상기 가상공간 이미지의 세로축 방향의 픽셀수와 상기 정의된 실제공간의 세로축 방향 길이의 비를 구하고, 상기 두 비에 따라 상기 연관점을 설정하는 것으로 구현되는 것을 특징으로 하는 혼합현실 구현 방법.
  9. 제 7 항에 있어서, 상기 (a2)단계는
    (a21)상기 정의된 실제공간의 임의의 위치에서 촬상된 이미지를 호모그래피 변환을 이용하여 TopView 상태의 이미지로 변환시켜 상기 정의된 실제공간을 재설정하는 단계;
    (a22)상기 TopView 상태의 이미지상의 임의의 점과 상기 TopView 상태의 이미지의 기준점간의 상기 TopView 상태의 이미지상에서의 거리에 해당하는 실거리를 실측하는 단계; 및
    (a23)상기 실측된 실거리로 표현되는 상기 TopView 상태의 이미지상의 임의의 점을 텍스쳐 맵핑(texture mapping)에 따라 상기 가상공간의 이미지상에서 연관되어야할 연관점에 맵핑(mapping)시키는 단계를 포함하는 것을 특징으로 하는 혼합현실 구현 방법.
  10. 제 9 항에 있어서, 상기 (b)단계는
    상기 실제공간에서 이벤트가 발생함으로써 야기되는 상기 TopView 상태의 이미지에서의 변화가 발생하는 픽셀수를, 상기 TopView 상태의 이미지의 크기와 상기 가상공간의 이미지 크기의 비에 따라, 상기 가상공간의 이미지에 스케일링하여 현출시켜 구현되는 것을 특징으로 하는 혼합현실 구현 방법.
  11. 제 6 항 내지 제 10 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020080043629A 2008-05-09 2008-05-09 혼합현실 구현 시스템 및 그 방법 KR100953931B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080043629A KR100953931B1 (ko) 2008-05-09 2008-05-09 혼합현실 구현 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080043629A KR100953931B1 (ko) 2008-05-09 2008-05-09 혼합현실 구현 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20090117531A KR20090117531A (ko) 2009-11-12
KR100953931B1 true KR100953931B1 (ko) 2010-04-22

Family

ID=41601994

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080043629A KR100953931B1 (ko) 2008-05-09 2008-05-09 혼합현실 구현 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR100953931B1 (ko)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101865362B1 (ko) 2016-12-08 2018-06-07 동명대학교산학협력단 발 제스처를 이용한 혼합현실 제어 시스템 및 방법
KR20200092578A (ko) 2019-01-25 2020-08-04 주식회사 디앤피코퍼레이션 혼합 현실을 이용한 미술품 감상 장치 및 방법
KR20220013645A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 축 동기화 기능을 포함한 확장현실 서비스 장치
KR20220013707A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스를 위한 축 정렬 검증 프로그램
KR20220013649A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 단말기 내부센서와 외부센서의 축 동기화 프로그램 기록매체
KR20220013652A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스 장치의 단말기 내부센서와 외부센서의 축 동기화 방법
KR20220013687A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 축 정렬 검증 기능을 포함하는 확장현실 서비스 장치 및 그 축 정렬 검증 방법
KR20220013688A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 축 정렬 검증 기능을 포함한 확장현실 서비스 장치
KR20220013631A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 축 동기화 기능을 포함한 확장현실 서비스 장치
KR20220013646A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스 장치의 단말기 내부센서와 외부센서의 축 동기화 방법
KR20220013704A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스를 위한 축 정렬 검증 장치의 동작 방법
KR20220013657A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 축 동기화 프로그램 기록매체
KR20220013647A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 단말기 내부센서와 외부센서의 축 동기화 프로그램
KR20220013691A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스 장치의 축 정렬 검증 방법
KR20220013655A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스 장치의 축 동기화 프로그램
KR20220013695A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스 장치의 축 정렬 검증 프로그램
KR20220013702A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스 장치의 축 정렬 검증 프로그램 기록매체
KR20220013709A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 축 정렬 검증 프로그램 기록매체

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101227255B1 (ko) * 2010-03-17 2013-01-28 에스케이플래닛 주식회사 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
KR20120113058A (ko) 2011-04-04 2012-10-12 한국전자통신연구원 현실-가상 융합 공간 기반의 교육 장치 및 방법
KR101973173B1 (ko) * 2018-10-30 2019-04-29 (주)헤르메시스 지도 서비스 서버, 지도 서비스 시스템, 및 지도 서비스 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149581A (ja) 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 複数のユーザによる仮想空間共有システム
JP2004038470A (ja) 2002-07-02 2004-02-05 Canon Inc 複合現実感装置および情報処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149581A (ja) 2000-11-09 2002-05-24 Nippon Telegr & Teleph Corp <Ntt> 複数のユーザによる仮想空間共有システム
JP2004038470A (ja) 2002-07-02 2004-02-05 Canon Inc 複合現実感装置および情報処理方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101865362B1 (ko) 2016-12-08 2018-06-07 동명대학교산학협력단 발 제스처를 이용한 혼합현실 제어 시스템 및 방법
KR20200092578A (ko) 2019-01-25 2020-08-04 주식회사 디앤피코퍼레이션 혼합 현실을 이용한 미술품 감상 장치 및 방법
KR20220013645A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 축 동기화 기능을 포함한 확장현실 서비스 장치
KR20220013707A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스를 위한 축 정렬 검증 프로그램
KR20220013649A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 단말기 내부센서와 외부센서의 축 동기화 프로그램 기록매체
KR20220013652A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스 장치의 단말기 내부센서와 외부센서의 축 동기화 방법
KR20220013687A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 축 정렬 검증 기능을 포함하는 확장현실 서비스 장치 및 그 축 정렬 검증 방법
KR20220013688A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 축 정렬 검증 기능을 포함한 확장현실 서비스 장치
KR20220013631A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 축 동기화 기능을 포함한 확장현실 서비스 장치
KR20220013646A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스 장치의 단말기 내부센서와 외부센서의 축 동기화 방법
KR20220013704A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스를 위한 축 정렬 검증 장치의 동작 방법
KR20220013657A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 축 동기화 프로그램 기록매체
KR20220013647A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 단말기 내부센서와 외부센서의 축 동기화 프로그램
KR20220013691A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스 장치의 축 정렬 검증 방법
KR20220013655A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스 장치의 축 동기화 프로그램
KR20220013695A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스 장치의 축 정렬 검증 프로그램
KR20220013702A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 확장현실 서비스 장치의 축 정렬 검증 프로그램 기록매체
KR20220013709A (ko) 2020-07-27 2022-02-04 주식회사 리얼위드 축 정렬 검증 프로그램 기록매체

Also Published As

Publication number Publication date
KR20090117531A (ko) 2009-11-12

Similar Documents

Publication Publication Date Title
KR100953931B1 (ko) 혼합현실 구현 시스템 및 그 방법
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
US10896497B2 (en) Inconsistency detecting system, mixed-reality system, program, and inconsistency detecting method
CN107564089B (zh) 三维图像处理方法、装置、存储介质和计算机设备
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
CN206961066U (zh) 一种虚拟现实交互设备
CN105279750B (zh) 一种基于ir-uwb和图像矩的装备展示导览系统
CN106980368A (zh) 一种基于视觉计算及惯性测量单元的虚拟现实交互设备
JP6008397B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
CN102395036A (zh) 用于提供3d增强现实图像的设备和方法
JP2015001875A (ja) 画像処理装置、画像処理方法、プログラム、印刷媒体及び印刷媒体のセット
CN108885342A (zh) 用于低延迟渲染的宽基线立体
JP7182976B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN110337674A (zh) 三维重建方法、装置、设备及存储介质
JP2008293357A (ja) 情報処理方法および情報処理装置
JP2021056679A (ja) 画像処理装置、方法及びプログラム
CN108881886A (zh) 一种基于相机矩阵技术实现在显示端进行大数据无损交互应用的方法
JP6061334B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
KR20180120456A (ko) 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법
CN106980378A (zh) 虚拟显示方法和系统
JP2006252468A (ja) 画像処理方法、画像処理装置
KR101522842B1 (ko) 이미지 및 문자를 인식하는 심플 프레임 마커를 구비하는 증강현실 시스템과 그 장치, 및 상기 시스템 또는 상기 장치를 이용한 증강현실 구현방법
US11341716B1 (en) Augmented-reality system and method
CN110969706B (zh) 增强现实设备及其图像处理方法、系统以及存储介质
CN110060349A (zh) 一种扩展增强现实头戴式显示设备视场角的方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130405

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140304

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee