KR101172291B1 - 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법 - Google Patents

투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법 Download PDF

Info

Publication number
KR101172291B1
KR101172291B1 KR1020100078310A KR20100078310A KR101172291B1 KR 101172291 B1 KR101172291 B1 KR 101172291B1 KR 1020100078310 A KR1020100078310 A KR 1020100078310A KR 20100078310 A KR20100078310 A KR 20100078310A KR 101172291 B1 KR101172291 B1 KR 101172291B1
Authority
KR
South Korea
Prior art keywords
virtual image
observer
coordinates
display panel
transparent display
Prior art date
Application number
KR1020100078310A
Other languages
English (en)
Other versions
KR20120060950A (ko
Inventor
박기석
김민중
손호원
정종태
유인두
Original Assignee
주식회사 시공테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 시공테크 filed Critical 주식회사 시공테크
Priority to KR1020100078310A priority Critical patent/KR101172291B1/ko
Publication of KR20120060950A publication Critical patent/KR20120060950A/ko
Application granted granted Critical
Publication of KR101172291B1 publication Critical patent/KR101172291B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor

Abstract

본 발명의 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법은, 실제 사물(Real Object)을 관찰하는 관찰자 위치 좌표를 측정하는 트래킹 센서; 상기 실제 사물과 상기 관찰자 사이에 위치하여 상기 실제 사물에 대응되는 가상 이미지(Virtual Image)를 투영하여 디스플레이하는 투명 디스플레이 패널; 및 상기 실제 사물의 위치 및 상기 실제 사물을 관찰하는 상기 관찰자 위치 좌표에 따른 상기 가상 이미지를 제작하여 상기 투명 디스플레이 패널에 제공하는 가상 이미지 렌더링 장치;를 포함하여 구성되고, 상기 관찰자 위치 좌표는, 상기 트래킹 센서가 센싱한 범위에서 상대적인 좌표인 센서 좌표로 표시되고, 상기 가상 이미지 렌더링 장치는, 상기 센서 좌표를 상기 트래킹 센서의 위치를 기준으로 현실 좌표로 변환하여 상기 관찰자 위치 좌표를 표시하는 관찰자 위치 측정모듈;을 포함하여 구성되는 것을 특징으로 한다.

Description

투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법{SYSTEM AND METHOD FOR PROJECTING OF VIRTUAL IMAGE IN CONSIDERATION OF LOCATION OF REAL OBJECTION ON DISPLAY PANEL}
본 발명은 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법에 관한 것으로, 특히 투명 디스플레이 패널에 실제 사물에 대응되는 가상 이미지를 제공함으로써, 사용자는 단순히 눈으로 볼 수 있는 실제 사물의 형태뿐만 아니라 실제 사물에 대응하는 다양한 정보를 얻을 수 있는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법에 관한 것이다.
박물관이나 특정 사물의 홍보를 위한 전시장에서는 전시물의 홍보 효과를 향상시키기 위해 전시물에 대한 설명이나 홍보 영상이 전시물의 주변에 표시되도록 하거나 음성을 통해 설명되도록 하는 장치가 제공되고 있다.
그런데 이러한 장치는 관람자가 전시물 주변에 접근하였음을 인식하여 일정한 영상이나 음성을 제공하는 것으로, 관람자가 접근한 것을 정확히 인식하지 못할 수 있습니다. 또한 관람자의 접근을 인식한 경우라 하더라도 고정된 일정한 영상이나 음성만을 플레이함으로써 한정된 데이터를 제공할 수밖에 없었다.
관람자의 욕구를 만족시키기 위해서는 단순히 실제 사물을 전시하거나 일정한 영상 또는 음성을 제공하는 것뿐만 아니라, 실제 사물을 관찰하는 관찰자와 실제 사물과의 거리 등 관계를 파악하여 실제 사물에 대한 각종 부가적인 데이터를 제공할 필요가 있다.
본 발명은 상기의 문제를 해결하기 위한 것으로, 가상 이미지 렌더링 장치가 관찰자의 위치에서 관찰한 실제 사물의 위치를 고려한 가상 이미지를 제공함으로써, 사용자는 단순히 눈으로 볼 수 있는 실제 사물의 형태뿐만 아니라 실제 사물에 대응하는 다양한 정보를 얻을 수 있는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 실시예에 따르면, 트래킹 센서를 통해 얻은 센서 좌표를 현실 좌표로 변환함으로써, 실제 사물, 투명 디스플레이 패널에 디스플레이 되는 가상 이미지가 실제 사물에 정확히 매핑되도록 디스플레이할 수 있는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법을 제공하는 것을 목적으로 한다.
상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템은, 실제 사물(Real Object)을 관찰하는 관찰자 위치 좌표를 측정하는 트래킹 센서; 상기 실제 사물과 상기 관찰자 사이에 위치하여 상기 실제 사물에 대응되는 가상 이미지(Virtual Image)를 투영하여 디스플레이하는 투명 디스플레이 패널; 및 상기 실제 사물을 관찰하는 상기 관찰자 위치 좌표에 따른 상기 가상 이미지를 제작하여 상기 투명 디스플레이 패널에 제공하는 가상 이미지 렌더링 장치;를 포함하여 구성되고, 상기 관찰자 위치 좌표가 상기 트래킹 센서가 센싱한 범위에서 상대적인 좌표인 센서 좌표로 표시되고, 상기 가상 이미지 렌더링 장치가 상기 센서 좌표를 상기 트래킹 센서의 위치를 기준으로 현실 좌표로 변환하여 상기 관찰자 위치 좌표를 표시하는 관찰자 위치 측정모듈;을 포함하여 구성되는 것을 특징으로 한다.
삭제
삭제
본 발명의 다른 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투여하는 시스템은, 상기 가상 이미지 렌더링 장치가 상기 트래킹 센서의 위치를 기준으로 상기 실제 사물의 위치를 나타내는 좌표인 실제 사물 위치 좌표를 저장하는 사물 위치 저장모듈;을 더 포함하여 구성되는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투여하는 시스템은, 상기 가상 이미지 렌더링 장치가 상기 트래킹 센서를 기준으로 표시된 상기 관찰자 위치 좌표를 상기 관찰자 위치 좌표를 기준으로 한 관찰자 기준-관찰자 위치 좌표로 변환하고, 상기 트래킹 센서를 기준으로 표시된 상기 실제 사물 위치 좌표를 상기 관찰자 위치 좌표를 기준으로 한 관찰자 기준-실제 사물 위치 좌표로 변환하는 기준 변환모듈;을 더 포함하여 구성되는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투여하는 시스템은, 상기 기준 변환모듈이,
( x1 x2 x3 0)
( y1 y2 y3 0)
( z1 z2 z3 0)
( -dot(R,P) -dot(U,P) -dot(L,P) 1) 의 View Matrix를 통해 변환하는 것을 특징으로 한다(이때, (x1, y1, z1)=R, (x2, y2, z2)=U, (x3, y3, z3)=L, (x4, y4, z4)=P).
본 발명의 다른 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투여하는 시스템은, 상기 가상 이미지 렌더링 장치가, 상기 기준 변환모듈을 통해 변환된 상기 관찰자 기준-관찰자 위치 좌표를 투영하기 위해 관찰자 기준-관찰자 위치 투영 좌표로 변환하고, 상기 관찰자 기준-사물 위치 좌표를 관찰자 기준-사물 위치 투영 좌표로 변환하는 투영모듈;을 더 포함하여 구성되는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투여하는 시스템은, 상기 투영모듈이,
(2×zn/(r-l) 0 0 0)
(0 2×zn/(t-b) 0 0)
((l+r)/(l-r) (t+b)/(b-t) zf/(zf-zn) 1)
(0 0 zn×zf/(zn-zf) 0) 의 Projection Matrix를 통해 변환하는 것을 특징으로 한다(이때 l=Left, r=Right, t=Top, b=Bottom, zn=Near, zf=Far).
본 발명의 다른 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투여하는 시스템은, 상기 트래킹 센서가 카메라를 통해 상기 관찰자의 얼굴을 인식하고, 눈, 코, 입의 위치를 측정하여 상기 관찰자 위치 좌표를 측정하는 헤드 트래킹 센서인 것을 특징으로 한다.
본 발명의 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투여하는 방법은, 트래킹 센서가 실제 사물(Real Object)을 관찰하는 관찰자 위치 좌표를 측정하는 관찰자 위치 측정 단계; 가상 이미지 렌더링 장치가 상기 관찰자 위치 좌표에서 상기 실제 사물을 관찰할 경우의 상기 실제 사물에 대응되는 가상 이미지(Virtual Image)를 제작하는 가상 이미지 렌더링 단계; 및 투명 디스플레이 패널이 상기 가상 이미지를 디스플레이하는 가상 이미지 디스플레이 단계;를 수행하되, 상기 관찰자 위치 좌표는, 상기 트래킹 센서가 센싱한 범위에서 상대적인 좌표인 센서 좌표로 표시되고, 상기 가상 이미지 렌더링 단계에서, 상기 가상 이미지 렌더링 장치가 상기 센서 좌표를 상기 트래킹 센서의 위치를 기준으로 현실 좌표로 변환하여 상기 관찰자 위치 좌표를 표시하는 관찰자 위치 표시 단계;를 수행하는 것을 특징으로 한다.
삭제
본 발명의 다른 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투여하는 방법은, 관찰자 위치 측정 단계 이전에, 상기 트래킹 센서의 위치를 기준으로 상기 실제 사물의 위치를 나타내는 좌표인 실제 사물 위치 좌표를 표시하는 사물 위치 표시 단계;를 수행하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투여하는 방법은, 상기 관찰자 위치 표시 단계 이후에, 상기 트래킹 센서를 기준으로 표시된 상기 관찰자 위치 좌표 및 상기 실제 사물 위치 좌표를 상기 관찰자 위치 좌표를 기준으로 변환하여 표시하는 기준 변환 단계;를 수행하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투여하는 방법은, 상기 기준 변환 단계 이후에, 상기 관찰자 위치 좌표를 기준으로 변환된 상기 관찰자 위치 좌표 및 상기 실제 사물 위치 좌표를 2D 데이터로 변환하는 투영 단계;를 수행하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투여하는 방법은, 상기 투영 단계에서, 상기 관찰자 위치 좌표 및 상기 투명 디스플레이 패널과의 거리에 근거하여, 상기 투명 디스플레이 패널에 디스플레이할 상기 가상 이미지의 크기를 결정하는 가상 이미지 크기 결정 단계;를 수행하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투여하는 방법은, 상기 투영 단계에서, 상기 관찰자 위치 좌표 및 상기 실제 사물 위치 좌표에 근거하여, 상기 투명 디스플레이 패널에 디스플레이할 상기 가상 이미지의 위치를 결정하는 가상 이미지 위치 결정 단계;를 수행하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투여하는 방법은, 상기 투영 단계에서, 상기 관찰자 위치 좌표 및 상기 실제 사물 위치 좌표에 근거하여, 상기 투명 디스플레이 패널에 디스플레이할 상기 가상 이미지의 방향을 결정하는 가상 이미지 방향 결정 단계;를 수행하는 것을 특징으로 한다.
본 발명의 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법은, 가상 이미지 렌더링 장치가 관찰자의 위치에서 관찰한 실제 사물의 위치를 고려한 가상 이미지를 제공함으로써, 사용자는 단순히 눈으로 볼 수 있는 실제 사물의 형태뿐만 아니라 실제 사물에 대응하는 다양한 정보를 얻을 수 있는 효과를 제공한다.
본 발명의 다른 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법은, 트래킹 센서를 통해 얻은 센서 좌표를 현실 좌표로 변환함으로써, 실제 사물, 투명 디스플레이 패널에 디스플레이 되는 가상 이미지가 실제 사물에 정확히 매핑되도록 디스플레이할 수 있는 효과를 제공한다.
도 1은 본 발명의 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 세부 구성을 도시하는 시스템 구성도.
도 2는 본 발명의 실시예에 따른 트래킹 센서가 관찰자 인식하는 예를 도시하는 예시도.
도 3은 본 발명의 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템을 도시하는 시스템 구성도.
도 4는 본 발명의 실시예에 따른 투명 디스플레이 패널에 가상 이미지를 투영하는 예를 도시하는 예시도.
도 5는 본 발명의 실시예에 따른 투명 디스플레이 패널에 가상 이미지를 투영하는 예를 도시하는 예시도.
도 6은 본 발명의 실시에에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 방법을 도시하는 흐름도,
첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다.
도 1은 본 발명의 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템을 도시하는 구성도이다.
본 발명의 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템은, 트래킹 센서(100), 가상 이미지 렌더링 장치(200) 및 투명 디스플레이 패널(300)을 포함하여 구성될 수 있다.
트래킹 센서(100)는 실제 사물(Real Object)(30)을 관찰하는 관찰자 위치 좌표(30)를 측정한다. 도 2는 본 발명의 실시예에 따른 트래킹 센서가 관찰자 인식하는 예를 도시하는 예시도이다. 트래킹 센서(100)는 도 2에 도시된 바와 같이 카메라를 통해 상기 관찰자의 얼굴을 인식하고, 눈, 코, 입의 위치를 측정하여 관찰자 위치 좌표를 측정하는 헤드 트래킹 센서일 수 있다. 트래킹 센서(100)는 실제 사물을 관찰하는 관찰자를 보다 정확히 인식하기 위해 도 3에 도시된 바와 같이 투명 디스플레이 패널의 상당 중앙에 위치하도록 설치할 수 있다.
투명 디스플레이 패널(300)은 실제 사물(30)과 관찰자 사이에 위치하여 실제 사물에 대응되는 가상 이미지(Virtual Image)(50)를 투영하여 디스플레이하는 기능을 수행한다. 투명 디스플레이 패널(300)은 도 3에 도시된 바와 같이 전시장의 적어도 한 면을 구성할 수 있다.
가상 이미지 렌더링 장치(200)는 실제 사물을 관찰하는 관찰자 위치 좌표에 따른 가상 이미지를 제작하여 투명 디스플레이 패널(300)에 제공하는 기능을 수행한다.
이러한 기능을 수행하기 위해 보다 구체적으로, 가상 이미지 렌더링 장치(200)는 관찰자 위치 측정모듈(210), 사물 위치 저장모듈(230), 기준 변환모듈(250) 및 투영모듈(270)을 포함하여 구성될 수 있다.
먼저, 관찰자 위치 측정모듈(210)은 센서 좌표를 트래킹 센서의 위치를 기준으로 현실 좌표로 변환하여 관찰자 위치 좌표를 표시하는 기능을 수행한다.
즉, 헤드 트래킹 센서가 측정한 관찰자 위치 좌표는, 트래킹 센서가 센싱한 내부에서의 상대적인 거리로 계산되어 표시되므로 헤드 트래킹을 통해 측정된 거리는 실제 거리와는 차이가 있다. 따라서 이러한 트래킹 센서의 좌표를 실제 좌표로 변환하는 과정을 거쳐야 한다.
삭제
관찰자의 위치 좌표가 결정된 후에는, 도 5에 도시된 바와 같이, 관찰자의 위치 좌표(즉, 관찰자의 눈)로부터 시작하여 투명 디스플레이 패널의 4개의 모서리로 직선을 그릴 수 있다. 이렇게 직선으로 연장선상의 피라미드(View Frustum)를 그릴 수 있고, 이러한 연장선상의 피라미드 내에 실제 사물이 존재한다. 트래킹 센서의 좌표가 고정, 투명 디스플레이 패널(300)의 4개의 모서리 좌표가 고정, 실제 사물의 좌표가 고정되어 있어, 비례식을 이용하면, 관찰자의 위치에서 투명 디스플레이 패널과 실제 사물이 일직선으로 겹쳐 보일 수 있도록, 투명 디스플레이 패널 상에 가상 이미지가 디스플레이되는 위치를 결정할 수 있다.
사물 위치 저장모듈(230)은 트래킹 센서(100)의 위치를 기준으로 실제 사물의 위치를 나타내내는 좌표인 실제 사물 위치 좌표를 저장한다. 이러한 실제 사물의 위치는 카메라 등의 센서를 통해 측정하거나 또는 실제 사물이 정적인 것이 일반적이므로 측정된 실제 사물 위치 좌표를 미리 저장할 수 있다. 한편, 실제 사물의 위치가 변경되는 경우에는 트래킹 센서(100)로부터 실제 사물까지의 거리를 수정하여 저장할 수 있음은 물론이다.
기준 변환모듈(250)은 트래킹 센서(100)의 위치를 기준으로 측정된 관찰자 위치 좌표 및 실제 사물 위치 좌표를 관찰자 위치 좌표를 기준으로 변환한다. 즉, 트래킹 센서(100)의 위치를 기준으로 표시된 관찰자 위치 좌표를 관찰자 위치 좌표를 기준으로 한 관찰자 기준-관찰자 위치 좌표로 변환하고, 트래킹 센서(100)의 위치를 기준으로 측정된 실제 사물 위치 좌표를 관찰자 위치 좌표를 기준으로 한 관찰자 기준-실제 사물 위치 좌표로 변환한다.
실제 사물 위치 좌표를 관찰자 위치 좌표를 기준으로 변환하여 다시 정의한다는 의미는 관찰자 위치 좌표(관찰자의 눈)의 이동과 회전에 따라 실제 사물 위치 좌표가 어떻게 변화하는지에 대한 것이다. 즉, 예를 들면 관찰자의 위치(관찰자의 눈)가 오른쪽으로 이동했을 때, 관찰자의 위치(관찰자의 눈)를 기준으로 봤을 때 실제 사물 위치는 왼쪽으로 이동하게 된다. 반대로 관찰자의 위치(관찰자의 눈)가 왼쪽으로 이동하면, 관찰자의 위치(관찰자의 눈)를 기준으로 봤을 때 실제 사물 위치는 오른쪽으로 이동하게 된다. 또한 회전의 경우를 보면, 관찰자가 머리를 돌리는 것과 같이 관찰자의 위치(관찰자의 눈)가 오른쪽으로 회전하면 실제 사물은 왼쪽으로 회전한 것과 같이 움직인다.
결론적으로 관찰자의 위치 좌표를 기준으로 실제 사물 위치 좌표를 변환하는 것은, 관찰자의 이동 및 회전 변환의 반대를 실제 사물의 위치에 적용한다는 의미이다. 즉, 이동 및 회전 행렬을 만들어 그 역행렬을 실제 사물에 연산하면, 실제 사물은 관찰자의 위치 좌표(관찰자의 눈)를 기준으로 하는 좌표를 가지게 된다.
이때 이러한 기준 변환모듈(250)은 예를 들어
( x1 x2 x3 0)
( y1 y2 y3 0)
( z1 z2 z3 0)
( -dot(R,P) -dot(U,P) -dot(L,P) 1)
의 View Matrix를 통해 변환할 수 있다(이때, Eye Right Axis=(x1, y1, z1)=R, Eye Up Axis=(x2, y2, z2)=U, Eye Look Axis=(x3, y3, z3)=L, Eye Position=(x4, y4, z4)=P)이고, dot(X, Y)는 Dot Procuct임).
한편, 본 발명의 실시예에 따른 가상 이미지를 투영하는 시스템은, 기준 변환모듈(250)이 관찰자 위치 좌표를 기준으로 변환한 좌표를 투명 디스플레이 패널(300)에 투영하기 위해 예를 들어 2D의 투영 데이터로 변환하는 투영모듈(270)을 더 포함할 수 있다.
이때 투영모듈(270)은
(2×zn/(r-l) 0 0 0)
(0 2×zn/(t-b) 0 0)
((l+r)/(l-r) (t+b)/(b-t) zf/(zf-zn) 1)
(0 0 zn×zf/(zn-zf) 0)
의 Projection Matrix를 통해 데이터를 변환할 수 있다(이때 l=Left, r=Right, t=Top, b=Bottom, zn=Near, zf=Far).
View Matrix와 Projection Matrix를 혼합하는 연산 방법은 다음과 같다
(x, y, z, 1) * View MAtrix * Projection Matrix = Result 2D Vertex(x', y', z')
도 6은 본 발명의 실시예에 따른 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 방법을 도시한다.
먼저, 트래킹 센서(100)가 실제 사물(Real Object)(30)을 관찰하는 관찰자 위치 좌표를 측정하는 관찰자 위치 측정 단계(S100)를 수행할 수 있다.
이때 관찰자 위치 좌표는 트래킹 센서(100)가 센싱한 범위에서 상대적인 좌표로 표시되는 센서 좌표로 표시될 수 있다.
관찰자 위치 측정 단계(S100) 이전에, 관찰자가 관찰하는 사물의 위치를 표시하는 사물 위치 표시 단계를 먼저 수행할 수 있다. 즉, 트래킹 센서의 위치를 기준으로 실제 사물의 위치를 나타내는 좌표인 실제 사물 위치 좌표를 표시할 수 있다. 본 발명의 실시예에서는 이러한 사물 위치 표시 단계를 관찰자 위치 측정 단계 이전에 수행하는 것으로 기재하였으나, 반드시 이에 한정되는 것은 아니고 실시예에 따라 관찰자 위치 측정 단계 이후에 수행할 수도 있다.
다음으로, 가상 이미지 렌더링 장치(200)가 관찰자 위치 좌표에서 실제 사물을 관찰할 경우의 실제 사물에 대응되는 가상 이미지(Virtual Image)를 제작하는 가상 이미지 렌더링 단계(S200)를 수행할 수 있다.
보다 구체적으로, 가상 이미지 렌더링 단계에서는, 가상 이미지 렌더링 장치(200)가 센서 좌표를 트래킹 센서의 위치를 기준으로 현실 좌표로 변환하여 관찰자 위치 좌표를 표시하는 관찰자 위치 표시 단계(S210)를 수행할 수 있다.
한편, 관찰자 위치 표시 단계(S210) 이후에, 트래킹 센서(100)를 기준으로 표시된 관찰자 위치 좌표 및 실제 사물 위치 좌표를 관찰자 위치 좌표를 기준으로 변환하여 표시하는 기준 변환 단계(S230)를 수행할 수 있다.
기준 변환 단계(S230) 이후에, 관찰자 위치 좌표를 기준으로 변환된 관찰자 위치 좌표 및 실제 사물 위치 좌표를 투영 데이터로 변환하는 투영 단계(S250)를 수행할 수 있다.
특히 투영 단계(S250)에서는 관찰자 위치 좌표 및 투명 디스플레이 패널과의 거리에 근거하여, 투명 디스플레이 패널에 디스플레이할 가상 이미지의 크기를 결정하는 가상 이미지 크기 결정 단계(S270)를 수행할 수 있다. 즉 관찰자가 투명 디스플레이 패널과 거리가 먼 경우에는 가상 이미지의 크기를 작게 한다거나 관찰자가 투명 디스플레이 패널과 거리가 가까운 경우에는 가상 이미지의 크기를 크게 하는 것과 같이 가상 이미지의 크기를 조절하여 관찰자가 실제 사물을 보는 것과 같이 원근감을 표현할 수 있다.
관찰자의 위치 좌표에서 투명 디스플레이 패널과의 거리는, 관찰자의 위치 좌표에서 실제 사물의 위치 좌표까지의 거리 중 실제 사물의 위치 좌표에서 투명 디스플레이 패널까지의 거리를 빼서 계산할 수 있다.
또한, 투영 단계(S250)에서는 관찰자의 위치 좌표 및 실제 사물 위치 좌표에 근거하여, 투명 디스플레이 패널에 디스플레이할 상기 가상 이미지의 위치를 결정하는 가상 이미지 위치 결정 단계(S270)를 수행할 수 있다. 관찰자에게 실제 사물에 대한 가상 이미지를 제공하기 위해서는 관찰자의 시선, 투명 디스플레이 패널 및 실제 사물의 거리를 기반으로 투명 디스플레이 패널에 실제 사물과 렌더링된 가상 이미지가 정확하게 매칭되어야 한다. 즉, 관찰자의 시선이 실제 사물보다 높은 경우에는 실제 사물을 위에서 아래로 내려다보는 것이기 때문에 실제 사물보다 높은 위치의 투명 디스플레이 패널에 가상 이미지가 투영될 것이다. 이와 반대로 관찰자의 시선이 실제 사물보다 낮은 경우에는 실제 사물을 아래에서 위로 올려다보는 것이기 때문에 실제 사물보다 낮은 위치의 투명 디스플레이 패널에 가상 이미지가 투영될 수 있다.
한편, 투영 단계(S250)에서 관찰자 위치 좌표 및 실제 사물 위치 좌표에 근거하여, 투명 디스플레이 패널에 디스플레이할 상기 가상 이미지의 방향을 결정하는 가상 이미지 방향 결정 단계(S270)를 수행할 수 있다.
마지막으로, 투명 디스플레이 패널(300)이 가상 이미지를 디스플레이하는 가상 이미지 디스플레이 단계(S300)를 수행할 수 있다.
아울러 본 발명의 바람직한 실시예들은 예시의 목적을 위해 개시된 것이며, 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이며, 이러한 수정, 변경 등은 이하의 특허청구의 범위에 속하는 것으로 보아야 할 것이다.
10 : 관찰자 위치 좌표
30 : 실제 사물(Real Object)
50 : 가상 이미지(Virtual Image)
100 : 트래킹 센서
200 : 가상 이미지 렌더링 장치
210 : 관찰자 위치 측정모듈
230 : 사물 위치 저장모듈
250 : 기준 변환모듈
270 : 투영모듈
300 : 투명 디스플레이 패널

Claims (17)

  1. 실제 사물(Real Object)을 관찰하는 관찰자 위치 좌표를 측정하는 트래킹 센서;
    상기 실제 사물과 상기 관찰자 사이에 위치하여 상기 실제 사물에 대응되는 가상 이미지(Virtual Image)를 투영하여 디스플레이하는 투명 디스플레이 패널; 및
    상기 실제 사물의 위치 및 상기 실제 사물을 관찰하는 상기 관찰자 위치 좌표에 따른 상기 가상 이미지를 제작하여 상기 투명 디스플레이 패널에 제공하는 가상 이미지 렌더링 장치;를 포함하여 구성되고,
    상기 관찰자 위치 좌표는, 상기 트래킹 센서가 센싱한 범위에서 상대적인 좌표인 센서 좌표로 표시되고,
    상기 가상 이미지 렌더링 장치는, 상기 센서 좌표를 상기 트래킹 센서의 위치를 기준으로 현실 좌표로 변환하여 상기 관찰자 위치 좌표를 표시하는 관찰자 위치 측정모듈;을 포함하여 구성되는 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템.
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서, 상기 가상 이미지 렌더링 장치는,
    상기 트래킹 센서의 위치를 기준으로 상기 실제 사물의 위치를 나타내는 좌표인 실제 사물 위치 좌표를 저장하는 사물 위치 저장모듈;을 더 포함하여 구성되는 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템.
  5. 제 4 항에 있어서, 상기 가상 이미지 렌더링 장치는,
    상기 트래킹 센서를 기준으로 표시된 상기 관찰자 위치 좌표를 상기 관찰자 위치 좌표를 기준으로 한 관찰자 기준-관찰자 위치 좌표로 변환하고, 상기 트래킹 센서를 기준으로 표시된 상기 실제 사물 위치 좌표를 상기 관찰자 위치 좌표를 기준으로 한 관찰자 기준-실제 사물 위치 좌표로 변환하는 기준 변환모듈;을 더 포함하여 구성되는 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템.
  6. 제 5 항에 있어서, 상기 기준 변환모듈은,
    ( x1 x2 x3 0)
    ( y1 y2 y3 0)
    ( z1 z2 z3 0)
    ( -dot(R,P) -dot(U,P) -dot(L,P) 1)
    의 View Matrix를 통해 변환하는 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템(이때, (x1, y1, z1)=R, (x2, y2, z2)=U, (x3, y3, z3)=L, (x4, y4, z4)=P).
  7. 제 5 항에 있어서, 상기 가상 이미지 렌더링 장치는,
    상기 기준 변환모듈을 통해 변환된 상기 관찰자 기준-관찰자 위치 좌표를 투영하기 위해 관찰자 기준-관찰자 위치 투영 좌표로 변환하고, 상기 관찰자 기준-사물 위치 좌표를 관찰자 기준-사물 위치 투영 좌표로 변환하는 투영모듈;을 더 포함하여 구성되는 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템.
  8. 제 7 항에 있어서, 상기 투영모듈은,
    (2×zn/(r-l) 0 0 0)
    (0 2×zn/(t-b) 0 0)
    ((l+r)/(l-r) (t+b)/(b-t) zf/(zf-zn) 1)
    (0 0 zn×zf/(zn-zf) 0)
    의 Projection Matrix를 통해 변환하는 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템(이때 l=Left, r=Right, t=Top, b=Bottom, zn=Near, zf=Far).
  9. 제 1 항에 있어서, 상기 트래킹 센서는,
    카메라를 통해 상기 관찰자의 얼굴을 인식하고, 눈, 코, 입의 위치를 측정하여 상기 관찰자 위치 좌표를 측정하는 헤드 트래킹 센서인 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템.
  10. 트래킹 센서가 실제 사물(Real Object)을 관찰하는 관찰자 위치 좌표를 측정하는 관찰자 위치 측정 단계;
    가상 이미지 렌더링 장치가 상기 관찰자 위치 좌표에서 상기 실제 사물을 관찰할 경우의 상기 실제 사물에 대응되는 가상 이미지(Virtual Image)를 제작하는 가상 이미지 렌더링 단계; 및
    투명 디스플레이 패널이 상기 가상 이미지를 디스플레이하는 가상 이미지 디스플레이 단계;를 수행하되,
    상기 관찰자 위치 좌표는, 상기 트래킹 센서가 센싱한 범위에서 상대적인 좌표인 센서 좌표로 표시되고,
    상기 가상 이미지 렌더링 단계에서, 상기 가상 이미지 렌더링 장치가 상기 센서 좌표를 상기 트래킹 센서의 위치를 기준으로 현실 좌표로 변환하여 상기 관찰자 위치 좌표를 표시하는 관찰자 위치 표시 단계;를 수행하는 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 방법.
  11. 삭제
  12. 제 10 항에 있어서, 관찰자 위치 측정 단계 이전에,
    상기 트래킹 센서의 위치를 기준으로 상기 실제 사물의 위치를 나타내는 좌표인 실제 사물 위치 좌표를 표시하는 사물 위치 표시 단계;를 수행하는 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 방법.
  13. 제 12 항에 있어서, 상기 관찰자 위치 표시 단계 이후에,
    상기 트래킹 센서를 기준으로 표시된 상기 관찰자 위치 좌표 및 상기 실제 사물 위치 좌표를 상기 관찰자 위치 좌표를 기준으로 변환하여 표시하는 기준 변환 단계;를 수행하는 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 방법.
  14. 제 13 항에 있어서, 상기 기준 변환 단계 이후에,
    상기 관찰자 위치 좌표를 기준으로 변환된 상기 관찰자 위치 좌표 및 상기 실제 사물 위치 좌표를 투영 데이터로 변환하는 투영 단계;를 수행하는 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 방법.
  15. 제 14 항에 있어서, 상기 투영 단계에서,
    상기 관찰자 위치 좌표 및 상기 투명 디스플레이 패널과의 거리에 근거하여, 상기 투명 디스플레이 패널에 디스플레이할 상기 가상 이미지의 크기를 결정하는 가상 이미지 크기 결정 단계;를 수행하는 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 방법.
  16. 제 14 항에 있어서, 상기 투영 단계에서,
    상기 관찰자 위치 좌표 및 상기 실제 사물 위치 좌표에 근거하여, 상기 투명 디스플레이 패널에 디스플레이할 상기 가상 이미지의 위치를 결정하는 가상 이미지 위치 결정 단계;를 수행하는 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 방법.
  17. 제 14 항에 있어서, 상기 투영 단계에서,
    상기 관찰자 위치 좌표 및 상기 실제 사물 위치 좌표에 근거하여, 상기 투명 디스플레이 패널에 디스플레이할 상기 가상 이미지의 방향을 결정하는 가상 이미지 방향 결정 단계;를 수행하는 것을 특징으로 하는 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 방법.
KR1020100078310A 2010-08-13 2010-08-13 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법 KR101172291B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100078310A KR101172291B1 (ko) 2010-08-13 2010-08-13 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100078310A KR101172291B1 (ko) 2010-08-13 2010-08-13 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120060950A KR20120060950A (ko) 2012-06-12
KR101172291B1 true KR101172291B1 (ko) 2012-08-08

Family

ID=46611649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100078310A KR101172291B1 (ko) 2010-08-13 2010-08-13 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR101172291B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262738A1 (ko) * 2019-06-28 2020-12-30 전자부품연구원 투명 oled 디스플레이를 이용한 ar 쇼케이스

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010004563A1 (en) * 2008-07-10 2010-01-14 Real View Imaging Ltd. Broad viewing angle displays and user interfaces

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010004563A1 (en) * 2008-07-10 2010-01-14 Real View Imaging Ltd. Broad viewing angle displays and user interfaces

Also Published As

Publication number Publication date
KR20120060950A (ko) 2012-06-12

Similar Documents

Publication Publication Date Title
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US9563981B2 (en) Information processing apparatus, information processing method, and program
US9401050B2 (en) Recalibration of a flexible mixed reality device
US9778815B2 (en) Three dimensional user interface effects on a display
US8466894B2 (en) Apparatus and method for displaying information
CN107284352B (zh) 车辆用周边监视装置
KR102079097B1 (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
CN110402415A (zh) 记录增强现实数据的技术
US9979946B2 (en) I/O device, I/O program, and I/O method
CN108762492A (zh) 基于虚拟场景实现信息处理的方法、装置、设备及存储介质
JP6008397B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
US20180102077A1 (en) Transparent display method and transparent display device
KR20090117531A (ko) 혼합현실 구현 시스템 및 그 방법
US20170102791A1 (en) Virtual Plane in a Stylus Based Stereoscopic Display System
TW201714050A (zh) 頭戴式裝置以及導覽方法
CN115698909A (zh) 增强现实引导
US20160078685A1 (en) Display control device, display control method, and recording medium
US11953401B2 (en) Method and apparatus for measuring optical characteristics of augmented reality device
US20210377515A1 (en) Information processing device, information processing method, and program
US20130088488A1 (en) Method, apparatus and system for adjusting stereoscopic image, television set and stereoscopic glasses
KR101894793B1 (ko) 미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치
US20150381970A1 (en) Input/output device, input/output program, and input/output method
KR101172291B1 (ko) 투명 디스플레이 패널에 실제 사물의 위치를 고려한 가상 이미지를 투영하는 시스템 및 그 방법
US10296098B2 (en) Input/output device, input/output program, and input/output method
CN111896015A (zh) 导航方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150728

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160725

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170725

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180725

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190725

Year of fee payment: 8