KR101728775B1 - 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체 - Google Patents

하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체 Download PDF

Info

Publication number
KR101728775B1
KR101728775B1 KR1020150013402A KR20150013402A KR101728775B1 KR 101728775 B1 KR101728775 B1 KR 101728775B1 KR 1020150013402 A KR1020150013402 A KR 1020150013402A KR 20150013402 A KR20150013402 A KR 20150013402A KR 101728775 B1 KR101728775 B1 KR 101728775B1
Authority
KR
South Korea
Prior art keywords
user
half mirror
display unit
display
virtual object
Prior art date
Application number
KR1020150013402A
Other languages
English (en)
Other versions
KR20160093146A (ko
Inventor
정순기
장재석
정기숙
곽윤석
이석준
Original Assignee
경북대학교 산학협력단
재단법인대구디지털산업진흥원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경북대학교 산학협력단, 재단법인대구디지털산업진흥원 filed Critical 경북대학교 산학협력단
Priority to KR1020150013402A priority Critical patent/KR101728775B1/ko
Publication of KR20160093146A publication Critical patent/KR20160093146A/ko
Application granted granted Critical
Publication of KR101728775B1 publication Critical patent/KR101728775B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Abstract

하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치는, 가상 물체를 표시하는 디스플레이부; 사용자와 상기 디스플레이부의 중간 지점에 설치되어, 거울상을 상기 디스플레이부로 반사시키는 하프미러(Half-mirror); 상기 사용자의 위치 정보를 획득하는 사용자 추적부; 및 상기 사용자의 위치 정보를 기초로, 상기 사용자의 시점에 대응하도록 상기 디스플레이부에 표시되는 가상 물체를 변환하는 제어부를 포함하고, 상기 사용자로부터 상기 가상 물체와의 거리 및 상기 거울상과의 거리가 일치한다. 이에 따라, 초점과 시점이 일치하므로, 직관적이며 몰입감 있는 가상 물체 전시 및 사용자와의 상호작용이 가능하다.

Description

하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체{HALF MIRROR BASED FOCUS-VIEW MATCHING DISPLAY DEVICE AND METHOD, RECORDING MEDIUM AND DEVICE FOR PERFORMING THE METHOD}
본 발명은 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체에 관한 것으로서, 더욱 상세하게는 사용자의 눈에 비친 거울상에 가상 물체를 겹치게 보여주며, 이들간의 관찰거리(초점)를 일치시켜, 몰입감 있는 가상 물체 전시 및 사용자와의 상호작용이 가능한 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체에 관한 것이다.
현재, 정보 디스플레이는 기술의 발전에 따라 새로운 양상으로 다양하게 발전하고 있다. 최근에는, 하프미러에 기반한 디스플레이 장치가 개발되어 증강현실 등의 다양한 컨텐츠와 결합하여 사용자에게 새로운 인터페이스가 제공되고 있다. 그러나, 하프미러는 가상 물체가 표시되는 화면과 인접하게 설치되어, 사용자를 기준으로 하는 거울상의 관찰거리와 가상 물체의 관찰거리가 달라지므로 사용자 눈의 피로감을 유발하고 몰입감이 떨어지는 단점이 있었다.
이러한 초점 불일치를 해결하기 위해, 사용자 위치를 추정하는 깊이 카메라 개발, 관계 추정용 컬러 카메라 개발 등이 제시되고 있으나, 새로운 장비의 구축이 필요하고, 컬러 카메라와 디스플레이간 위치 관계를 계산하는 시간이 필요하여 즉각적인 인터랙션에 제약이 따른다.
KR 2013-0059650 A KR 2013-0139280 A KR 2013-0126623 A
Jae Seok Jang et al., "Two-Phase Calibration for a Mirror Metaphor Augmented Reality System," in Proceedings of the IEEE, Vol. 102, No. 2, February 2014, pp. 197-203
이에, 본 발명의 기술적 과제는 이러한 점에서 착안된 것으로 본 발명의 목적은 하프미러에 반사된 거울상과 디스플레이에 전시된 가상 물체간의 초점 및 시점이 일치하는 디스플레이 장치를 제공하는 것이다.
본 발명의 다른 목적은 하프미러에 반사된 거울상과 디스플레이에 전시된 가상 물체간의 초점 및 시점이 일치하는 디스플레이 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 상기 하프미러에 반사된 거울상과 디스플레이에 전시된 가상 물체간의 초점 및 시점이 일치하는 디스플레이 방법을 수행하기 위한 컴퓨터 프로그램이 기록된 기록 매체를 제공하는 것이다.
상기한 본 발명의 목적을 실현하기 위한 일 실시예에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치는, 가상 물체를 표시하는 디스플레이부; 사용자와 상기 디스플레이부의 중간 지점에 설치되어, 거울상을 상기 디스플레이부로 반사시키는 하프미러(Half-mirror); 상기 사용자의 위치 정보를 획득하는 사용자 추적부; 및 상기 사용자의 위치 정보를 기초로, 상기 사용자의 시점에 대응하도록 상기 디스플레이부에 표시되는 가상 물체를 변환하는 제어부를 포함하고, 상기 사용자로부터 상기 가상 물체와의 거리 및 상기 거울상과의 거리가 일치한다.
본 발명의 실시예에서, 상기 하프미러와 상기 디스플레이부와의 거리는, 상기 사용자와 상기 하프미러와의 거리와 동일할 수 있다.
본 발명의 실시예에서, 상기 하프미러는 상기 사용자와 상기 디스플레이부의 정중앙에서 피사계 심도(depth of field)의 범위 내에서 이동 가능할 수 있다.
본 발명의 실시예에서, 상기 사용자 추적부는, 컬러 카메라 및 깊이 카메라 중 적어도 하나를 포함할 수 있다.
본 발명의 실시예에서, 상기 사용자 추적부는, 상기 사용자의 동작 정보를 더 획득하여 상기 제어부로 제공할 수 있다.
본 발명의 실시예에서, 상기 제어부는 상기 사용자의 동작 정보에 기반하여 상기 사용자와 상기 가상 물체와의 상호작용(interaction)을 수행할 수 있다.
본 발명의 실시예에서, 상기 제어부는 상기 사용자 추적부, 상기 디스플레이부 및 상기 하프미러 간의 위치 관계를 계산할 수 있다.
본 발명의 실시예에서, 상기 제어부는 마커를 이용한 호모그래피 기반 위치 관계 추정 기술을 이용할 수 있다.
본 발명의 실시예에서, 상기 거울상은 상기 사용자가 상기 하프미러에 반사된 형상일 수 있다.
본 발명의 실시예에서, 상기 거울상은 실제 물체가 상기 하프미러에 반사된 형상일 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법은, 가상 물체를 표시하는 디스플레이부 및 거울상을 상기 디스플레이부로 반사시키는 하프미러(Half-mirror), 사용자의 위치 정보를 획득하는 사용자 추적부를 포함하는 디스플레이 장치를 이용하고, 상기 하프미러를 사용자와 상기 디스플레이부의 중간 지점에 위치시키는 단계; 상기 디스플레이부, 상기 하프미러 및 상기 사용자 추적부의 위치 관계를 획득하는 단계; 상기 사용자의 위치 정보를 획득하는 단계; 상기 사용자의 위치 정보 및 상기 디스플레이부, 상기 하프미러 및 상기 사용자 추적부의 위치 관계를 이용하여, 상기 사용자의 시점에 대응하도록 상기 디스플레이부에 표시되는 가상 물체를 변환하는 단계; 및 상기 사용자로부터 상기 가상 물체와의 거리 및 상기 거울상과의 거리를 일치시켜, 상기 가상 물체와 상기 거울상을 표시하는 단계를 포함한다.
본 발명의 실시예에서, 상기 하프미러와 상기 디스플레이부와의 거리는, 상기 사용자와 상기 하프미러와의 거리와 동일할 수 있다.
본 발명의 실시예에서, 상기 하프미러는 상기 사용자와 상기 디스플레이부의 정중앙에서 피사계 심도(depth of field)의 범위 내에서 이동 가능할 수 있다.
본 발명의 실시예에서, 상기 하프미러를 사용자와 상기 디스플레이부의 중간 지점에 위치시키는 단계는, 상기 사용자와 상기 디스플레이부의 정중앙에서 피사계 심도(depth of field)의 범위 내에서, 상기 하프미러를 이동시키는 단계를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 디스플레이부, 상기 하프미러 및 상기 사용자 추적부의 위치 관계를 획득하는 단계는, 마커가 부착된 외부 카메라를 이용할 수 있다.
본 발명의 실시예에서, 상기 디스플레이부, 상기 하프미러 및 상기 사용자 추적부의 위치 관계를 획득하는 단계는, 마커를 이용한 호모그래피 기반 위치 관계 추정 기술을 이용할 수 있다.
본 발명의 실시예에서, 상기 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법은, 상기 사용자의 동작 정보를 획득하는 단계를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법은, 상기 사용자의 동작 정보에 기반하여 상기 사용자와 상기 가상 물체와의 상호작용을 수행하는 단계를 더 포함할 수 있다.
본 발명의 실시예에서, 상기 거울상은 상기 사용자 또는 실제 물체가 상기 하프미러에 반사된 형상일 수 있다.
상기한 본 발명의 다른 목적을 실현하기 위한 일 실시예에 따른 컴퓨터로 판독 가능한 저장 매체에는, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법을 수행하기 위한 컴퓨터 프로그램이 기록되어 있다.
이와 같은 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치에 따르면, 사용자의 시점에 맞춘 가상 물체를 통해 정보를 전달하며, 가상 물체의 관찰거리(시점)를 하프미러를 통해 비치는 거울상과의 관찰거리(초점)와 일치시켜 눈의 피로를 줄일 수 있다. 또한, 하프미러에 반사된 거울상의 초점과 디스플레이에 전시된 가상 물체간의 시점이 일치하므로, 직관적이며 몰입감 있는 가상 물체 전시 및 사용자와의 상호작용이 가능하다.
도 1은 본 발명의 일 실시예에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치의 블록도이다.
도 2는 도 1 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치의 개념도이다.
도 3은 본 발명의 다른 실시예에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치의 개념도이다.
도 4는 본 발명의 일 실시예에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법의 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법의 흐름도이다.
도 6은 본 발명의 일 실시예에 따라 장치 간의 위치 관계를 계산을 설명하기 위한 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치의 블록도이다. 도 2는 도 1 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치의 개념도이다. 도 3은 본 발명의 다른 실시예에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치의 개념도이다.
본 발명에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치(10, 이하 장치)는 하프미러(Half-mirror)를 이용하여 사용자(user)의 눈에 비친 사용자의 거울상에 가상 물체를 겹치게 보여주며, 이들간의 관찰거리를 일치시켜, 몰입감 있는 가상 물체 전시 및 사용자와의 상호작용이 가능한 디스플레이를 제공한다.
초점 및 시점 일치화 디스플레이는 실제 환경과 가상 환경을 결합하고 실시간 인터랙션이 가능한 3차원 환경을 제공할 수 있다. 또한, 미러 디스플레이는 디지털 정보 인터페이스(Digital information interface)로서 맞춤형 정보 전달을 목표로 하고, 컨트롤러 기반의 유저 인터랙션(User interaction)을 수행한다. 나아가, 엔터테인먼트(Entertainment), 에듀테인먼트(Edutainment), 디지털 사이니지(Digital signage), 건강 관리(Health care) 등의 분야에서 활용될 수 있다.
도 1을 참조하면, 본 발명에 따른 장치(10)는 하프미러(100), 디스플레이부(300), 사용자 추적부(500) 및 제어부(700)를 포함한다. 상기 하프미러(100), 상기 디스플레이부(300), 상기 사용자 추적부(500) 및 상기 제어부(700)는 각각 별도의 모듈로 이격되어 형성될 수 있고, 이와 다르게 통합된 장치로 형성될 수도 있다.
상기 장치(10)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다. 예를 들어, 상기 장치(10)는 가상 현실(Virtual Reality) 디스플레이 장치, 증강 현실(Augmented Reality) 디스플레이 장치, 미러 디스플레이 장치, 투명 디스플레이 장치, 헤드 마운티드 디스플레이(Head mounted Display; HMD), 씨스루 HMD 장치 등을 구성할 수 있다.
상기 하프미러(100)는 일정량의 빛은 통과시키고, 일정량의 빛은 반사시키는 거울이다. 상기 하프미러(100)는 사용자 또는 실제 물체를 반사하여 거울상(Virtual Object)을 제공한다. 상기 하프미러(100)는 반사된 거울상과 상기 디스플레이부(300)에 의해 표시된 가상 물체간의 관찰거리를 일치시킬 수 있도록 사용자와 상기 디스플레이부(300) 사이의 중간 지점에 위치한다.
상기 디스플레이부(300)는 가상 물체를 표시하는 스크린으로서, 가상 현실, 증강 현실, 2D 또는 3D 화면을 제공한다. 또한, 상기 하프미러(100)로부터 반사된 거울상을 상기 가상 물체와 함께 표시할 수 있다.
상기 디스플레이부(300)는 유기발광 다이오드(Organic Light-Emitting Diode; OLED) 디스플레이 패널, 액정 디스플레이(Liquid Crystal Display; LCD) 패널, 플라즈마 디스플레이 패널(Plasma Display Panel; PDP) 등을 포함할 수 있다. 또한, 사용자 입력을 처리하기 위하여 터치 스크린 기능이 상기 디스플레이부(300)에 포함되거나 별도의 터치 패드 장치로 제공될 수 있다. 이와 다르게, 상기 장치(10)는 상기 디스플레이부(300)와 별도로 형성되어 사용자의 입력을 받는 키패드 등의 입력부(미도시)를 포함할 수도 있다.
상기 사용자 추적부(500)는 상기 사용자의 위치 정보를 획득하고, 획득한 정보들을 상기 제어부(700)에 제공한다. 상기 사용자 추적부(500)는 이동 가능하며, 컬러 카메라 및 깊이 카메라 중 적어도 하나를 포함할 수 있으며, 컬러 카메라 및 깊이 카메라 모두를 포함할 수 있다.
예를 들어, 컬러 카메라와 깊이 카메라를 이용하여 사용자의 위치 정보를 획득할 수 있다. 또한, 상기 사용자 추적부(500)는 깊이 카메라를 이용하여 사용자의 동작 정보를 획득할 수 있다.
상기 제어부(700)는 상기 사용자의 위치 정보 및 장치 들간의 위치 관계를 기반으로, 상기 사용자의 시점에 맞도록 상기 디스플레이부(300)에 표시되는 가상 물체를 변환한다.
또한, 상기 제어부(700)는 상기 사용자의 동작 정보에 기반하여 상기 사용자와 상기 가상 물체와의 상호작용(interaction)을 수행한다.
상기 제어부(700)는 외부 카메라와 마커를 이용한 호모그래피 기반 위치 관계 추정 기술을 이용할 수 있다. 상기 제어부(700)는 별도의 단말이거나 또는 단말의 일부 모듈일 수 있다.
상기 제어부(700)는 이동성을 갖거나 고정될 수 있다. 상기 제어부(700)는, 서버(server) 또는 엔진(engine) 형태일 수 있으며, 디바이스(device), 기구(apparatus), 단말(terminal), UE(user equipment), MS(mobile station), 무선기기(wireless device), 휴대기기(handheld device) 등 다른 용어로 불릴 수 있다.
상기 제어부(700)는 운영체제(Operation System; OS), 즉 시스템을 기반으로 다양한 소프트웨어로 제작할 수 있다. 상기 운영체제는 소프트웨어가 장치의 하드웨어를 사용할 수 있도록 하기 위한 시스템 프로그램으로서, 윈도우 계열, 리눅스 계열, 유닉스 계열, MAC, AIX, HP-UX 등 컴퓨터 운영체제를 모두 포함할 수 있다.
본 발명의 상기 제어부(700)는 하프미러에 기반한 초점 및 시점 일치화 디스플레이를 수행하기 위한 소프트웨어(애플리케이션)가 설치되어 실행될 수 있으며, 상기 하프미러(100)의 위치, 상기 디스플레이부(300), 상기 사용자 추적부(500)를 제어할 수 있다.
도 2를 참조하면, 사용자의 시점에 맞춘 가상 물체를 통해 정보를 전달하며, 이를 하프미러(100)를 통해 비치는 거울상과의 관찰거리(초점)을 일치시키기 위해, 상기 하프미러(100)를 사용자와 상기 디스플레이부(300) 사이의 중간 지점에 위치시킨다. 즉, 상기 하프미러(100)와 상기 디스플레이부(300)와의 거리는, 상기 사용자와 상기 하프미러(100)와의 거리와 동일하다. 이를 수식으로 설명하면 다음의 수학식 1과 같다.
[수학식 1]
dobserve = 2 x dmirror = 2 x dimage = ddisplay
여기서, dobserve는 거울상의 관찰거리, 즉, 사용자와 거울상 간의 거리를 나타내고, dmirror는 사용자와 상기 하프미러(100)의 거리를 나타내고, dimage는 거울상과 상기 하프미러(100)와의 거리를 나타내고, ddisplay는 가상 물체의 관찰거리, 즉, 사용자와 디스플레이부(300) 간의 거리를 나타낸다.
종래의 하프미러에 기반한 디스플레이 장치는 가상 물체가 표시되는 화면과 인접하게 설치되어, 사용자를 기준으로 하는 거울상의 관찰거리와 가상 물체의 관찰거리가 달라지므로 초점 불일치의 문제가 있다. 이러한 초점 불일치는 사용자 눈의 피로감을 유발하고 몰입감을 떨어뜨리는 단점이 있었다.
본 발명에서는 상기 하프미러(100)를 사용자와 상기 디스플레이부(300) 사이의 중간 지점에 위치시키므로, 사용자의 시점과 하프미러(100)를 통해 비치는 거울상과의 관찰거리(초점)가 일치하게 된다. 이에 따라, 사용자의 눈의 피로를 줄일 수 있을 뿐만 아니라, 직관적이며 몰입감 있는 디스플레이를 제공할 수 있다.
또한, 상기 하프미러(100)는 사용자와 상기 디스플레이부(300) 사이의 중간 지점에 위치하지만 일정 범위 내에서 이동하여 위치할 수 있다.
도 3을 참조하면, 상기 하프미러(100)는 상기 사용자와 상기 디스플레이부(300)의 정중앙을 기준으로, 피사계 심도(depth of field)의 범위 내에 위치할 수 있다.
피사계 심도란, 어떤 거리의 피사체에 초점을 맞추면 그 앞쪽[近點]과 뒤쪽[遠點]의 일정한 거리 내에 초점이 맞는데 이때 그 범위를 이르는 말로서 초점이 맞는 것으로 인식되는 범위이다.
상기 하프미러(100)가 피사계 심도의 범위 내에 위치하는 경우에도, 사용자의 시점과 하프미러(100)를 통해 비치는 거울상과의 관찰거리(초점)가 일치할 수 있다. 상기 제어부(700)는 사용자의 시점에 따라 상기 하프미러(100)를 상기 피사계 심도의 범위 내에서 이동하도록 제어할 수 있다.
또 다른 실시예에서, 상기 하프미러(100)와 상기 디스플레이부(300)와의 거리는, 상기 사용자와 상기 하프미러(100)와의 거리의 반 이상일 수 있고, 또는 상기 사용자와 상기 디스플레이부(300)와의 거리는, 상기 사용자와 상기 하프미러(100)와의 거리의 두 배 이상일 수 있다.
이와 다르게, 상기 사용자와 상기 디스플레이부(300)와의 거리는, 상기 하프미러(100)와 상기 디스플레이부(300)와의 거리의 두 배 이상일 수도 있다. 즉, 본 발명에서 상기 하프미러(100)는 상기 사용자와 상기 디스플레이부(300)의 중앙 부분에서 일정 구간 유동적으로 위치할 수 있다.
본 발명에서는 가상 물체 전시, 증강 현실, 가상 현실을 제공하는 대형 디스플레이 장치에 적용이 가능하다.
본 발명에서는 사용자의 초점을 일치시키기 위한 별도의 장치 또는 계산 과정이 생략되므로, 사용자와 가상 물체와의 효율적인 인터랙션이 가능하여 직관적이며 몰입감 있는 디스플레이를 제공할 수 있다.
또한, 본 발명은 초점 및 시점을 일치화 시스템을 이용한 모션 지도 시스템으로서 모션 지도가 필요한 시장 및 분야에 적용 가능할 것이다. 예를 들어, 피트니스(Fitness)에서 자세 교정용, 스포츠(Sports)에서 모션 교정용으로 활용할 수 있다. 또한, 재활 훈련(Rehabilitation)에서 훈련을 유도하고, 동작 게임 컨텐츠로서 엔터테인먼트(Entertainment) 분야 및 수화 학습 등의 에듀테인먼트(Edutainment) 분야에도 적용할 수 있다.
또한, 본 발명은 종래 기술에 비해 현저한 기술적 차별성을 갖는다. 구체적으로, 실제 트레이너의 모션으로 훈련자의 모션을 지도하여 전문성을 향상시키고, 시간적 및 공간적 제약이 감소하여 온라온 및 오프라인에 무관하게 적용할 수 있어 접근성이 향상된다. 또한, 다양한 가시화 기법 및 게임 컨텐츠의 적용이 가능하여 오락성을 확보할 수 있고, 다양한 형태의 디스플레이로 확장이 가능하다. 또한, 기 상품화된 장비를 통해 제품을 제작하고 범용 데스크톱 시스템의 사용이 가능하여 제조 및 관리비용을 낮추는 경제적 효과도 기대할 수 있다.
도 4는 본 발명의 일 실시예에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법의 흐름도이다. 도 5는 본 발명의 다른 실시예에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법의 흐름도이다. 도 6은 본 발명의 일 실시예에 따라 장치 간의 위치 관계를 계산을 설명하기 위한 개념도이다.
본 실시예에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법은, 도 1의 장치(10)와 실질적으로 동일한 구성에서 진행될 수 있다. 따라서, 도 1의 장치(10)와 동일한 구성요소는 동일한 도면부호를 부여하고, 반복되는 설명은 생략한다. 또한, 본 실시예에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법은 하프미러에 기반한 초점 및 시점 일치화 디스플레이를 수행하기 위한 소프트웨어(애플리케이션)에 의해 실행될 수 있다.
도 4를 참조하면, 본 실시예에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법은, 상기 하프미러를 사용자와 상기 디스플레이부의 중간 지점에 위치시킨다(단계 S10).
상기 하프미러는 일정량의 빛은 통과시키고, 일정량의 빛은 반사시키는 거울로서, 사용자 또는 실제 물체를 반사하여 거울상(Virtual Object)을 제공한다. 상기 하프미러는 반사된 거울상과 상기 디스플레이부에 의해 표시된 가상 물체간의 관찰거리를 일치시킬 수 있도록 사용자와 상기 디스플레이부 사이의 중간 지점에 위치한다. 즉, 상기 하프미러와 상기 디스플레이부와의 거리는, 상기 사용자와 상기 하프미러와의 거리와 동일하다.
또한, 상기 하프미러는 상기 사용자와 상기 디스플레이부의 정중앙에서 피사계 심도(depth of field)의 범위 내에서 이동 가능하다. 상기 하프미러를 사용자와 상기 디스플레이부의 중간 지점에 위치시키는 단계(단계 S10)는, 상기 사용자와 상기 디스플레이부의 정중앙에서 피사계 심도의 범위 내에서, 상기 하프미러를 이동시키는 단계를 더 포함할 수 있다.
이에 따라, 사용자(user)의 눈에 비친 사용자의 거울상에 가상 물체를 겹치게 보여주며, 이들간의 관찰거리를 일치시켜, 몰입감 있는 가상 물체 전시 및 사용자와의 상호작용이 가능한 디스플레이를 제공한다.
이후, 상기 디스플레이부, 상기 하프미러 및 상기 사용자 추적부의 위치 관계를 획득한다(단계 S30). 이때, 마커가 표시된 외부 카메라를 이용할 수 있다.
도 6을 참조하면, 외부 카메라는 상기 하프미러 및 상기 디스플레이부에 부착된 마커를 감지하여 호모그래피를 통해 상기 외부 카메라, 상기 하프미러 및 상기 디스플레이부 간의 위치 관계를 계산한다(Tcm, Tcd계산, 여기서, Tab는 a에서 b로의 변환식이며, Tab=Tba -1).
또한, 상기 사용자 추적부는 상기 외부 카메라의 전면부에 부착된 마커를 감지하여 상기 사용자 추적부와 상기 외부 카메라 간의 위치 관계를 계산한다(Ttc 계산). 이로써 각 장치간의 위치 관계가 계산된다.
또한, 상기 사용자의 위치 정보를 획득한다(단계 S50). 단계 S50에서는 컬러 카메라 및 깊이 카메라 중 적어도 하나를 이용하여 상기 사용자의 위치 정보를 획득할 수 있다.
상기 사용자의 위치 정보가 획득되면, 상기 사용자의 위치 정보 및 상기 디스플레이부, 상기 하프미러 및 상기 사용자 추적부의 위치 관계를 이용하여, 상기 사용자의 시점에 대응하도록 상기 디스플레이부에 표시되는 가상 물체를 변환한다(단계 S70).
이에 따라, 상기 사용자로부터 상기 가상 물체와의 거리 및 상기 거울상과의 거리를 일치시켜, 상기 가상 물체와 상기 거울상을 표시하게 된다(단계 S70). 따라서, 사용자의 시점과 초점을 일치시켜 사용자의 눈의 피로감을 줄일 수 있다.
또한, 도 5를 참조하면, 상기 사용자의 동작 정보를 획득하는 단계(단계 S91)를 더 포함할 수 있다. 이로서, 상기 사용자의 동작 정보에 기반하여 상기 사용자와 상기 가상 물체와의 상호작용을 수행할 수 있다(단계 S92).
이에 따라, 사용자와 가상 물체와의 효율적인 인터랙션이 가능하여 직관적이며 몰입감 있는 디스플레이를 제공할 수 있다.
이와 같은, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
본 발명은 하프미러에 반사된 거울상과 디스플레이에 전시된 가상 물체간의 시점을 일치시켜 직관적이며 몰입감 있는 개인화된 상호작용 디스플레이를 제공한다. 이는 증강 현실 또는 가상 현실 디스플레이, 헤드 마운티드 디스플레이(Head Mounted Display; HMD), 정보통신분야 뿐만 아니라, 재활 훈련, 피트니스, 스포츠, 에듀테인먼트 등의 사용자의 동작 지도가 필요한 시장 및 사용자 맞춤 정보 제공이 필요한 시장에 적용 가능하다.
10: 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치
100: 하프미러
300: 디스플레이부
500: 사용자 추적부
700: 제어부

Claims (20)

  1. 가상 물체를 표시하는 디스플레이부;
    사용자와 상기 디스플레이부의 중간 지점에 설치되어, 거울상을 상기 디스플레이부로 반사시키는 하프미러(Half-mirror);
    상기 사용자의 위치 정보를 획득하는 사용자 추적부; 및
    상기 사용자의 위치 정보를 기초로, 상기 사용자의 시점에 대응하도록 상기 디스플레이부에 표시되는 가상 물체를 변환하는 제어부를 포함하고,
    상기 사용자로부터 상기 가상 물체와의 거리 및 상기 거울상과의 거리가 일치하며,
    상기 하프미러는 상기 사용자와 상기 디스플레이부의 정중앙에서 피사계 심도(depth of field)의 범위 내에서 이동 가능한, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치.
  2. 제1항에 있어서,
    상기 하프미러와 상기 디스플레이부와의 거리는, 상기 사용자와 상기 하프미러와의 거리와 동일한, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치.
  3. 삭제
  4. 제1항에 있어서, 상기 사용자 추적부는,
    컬러 카메라 및 깊이 카메라 중 적어도 하나를 포함하는, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치.
  5. 제1항에 있어서, 상기 사용자 추적부는,
    상기 사용자의 동작 정보를 더 획득하여 상기 제어부로 제공하는, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 제어부는 상기 사용자 추적부, 상기 디스플레이부 및 상기 하프미러 간의 위치 관계를 계산하는, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치.
  8. 제7항에 있어서,
    상기 제어부는 마커를 이용한 호모그래피 기반 위치 관계 추정 기술을 이용하는, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치.
  9. 제1항에 있어서,
    상기 거울상은 상기 사용자가 상기 하프미러에 반사된 형상인, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치.
  10. 제1항에 있어서,
    상기 거울상은 실제 물체가 상기 하프미러에 반사된 형상인, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치.
  11. 가상 물체를 표시하는 디스플레이부 및 거울상을 상기 디스플레이부로 반사시키는 하프미러(Half-mirror), 사용자의 위치 정보를 획득하는 사용자 추적부를 포함하는 디스플레이 장치를 이용하는 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법은,
    상기 하프미러를 사용자와 상기 디스플레이부의 중간 지점에 위치시키는 단계;
    상기 디스플레이부, 상기 하프미러 및 상기 사용자 추적부의 위치 관계를 획득하는 단계;
    상기 사용자의 위치 정보를 획득하는 단계;
    상기 사용자의 위치 정보 및 상기 디스플레이부, 상기 하프미러 및 상기 사용자 추적부의 위치 관계를 이용하여, 상기 사용자의 시점에 대응하도록 상기 디스플레이부에 표시되는 가상 물체를 변환하는 단계; 및
    상기 사용자로부터 상기 가상 물체와의 거리 및 상기 거울상과의 거리를 일치시켜, 상기 가상 물체와 상기 거울상을 표시하는 단계를 포함하며,
    상기 하프미러와 상기 디스플레이부와의 거리는, 상기 사용자와 상기 하프미러와의 거리와 동일한 것을 특징으로 하는, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법.
  12. 삭제
  13. 제11항에 있어서,
    상기 하프미러는 상기 사용자와 상기 디스플레이부의 정중앙에서 피사계 심도(depth of field)의 범위 내에서 이동 가능한, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법.
  14. 제11항에 있어서, 상기 하프미러를 사용자와 상기 디스플레이부의 중간 지점에 위치시키는 단계는,
    상기 사용자와 상기 디스플레이부의 정중앙에서 피사계 심도(depth of field)의 범위 내에서, 상기 하프미러를 이동시키는 단계를 더 포함하는, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법.
  15. 제11항에 있어서, 상기 디스플레이부, 상기 하프미러 및 상기 사용자 추적부의 위치 관계를 획득하는 단계는,
    마커가 부착된 외부 카메라를 이용하는, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법.
  16. 제15항에 있어서, 상기 디스플레이부, 상기 하프미러 및 상기 사용자 추적부의 위치 관계를 획득하는 단계는,
    마커를 이용한 호모그래피 기반 위치 관계 추정 기술을 이용하는, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법.
  17. 제11항에 있어서,
    상기 사용자의 동작 정보를 획득하는 단계를 더 포함하는, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법.
  18. 삭제
  19. 제11항에 있어서,
    상기 거울상은 상기 사용자 또는 실제 물체가 상기 하프미러에 반사된 형상인, 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법.
  20. 제11항, 제13항 내지 제17항, 제19항 중 어느 하나의 항에 따른 하프미러에 기반한 초점 및 시점 일치화 디스플레이 방법을 수행하기 위한, 컴퓨터 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020150013402A 2015-01-28 2015-01-28 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체 KR101728775B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150013402A KR101728775B1 (ko) 2015-01-28 2015-01-28 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150013402A KR101728775B1 (ko) 2015-01-28 2015-01-28 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체

Publications (2)

Publication Number Publication Date
KR20160093146A KR20160093146A (ko) 2016-08-08
KR101728775B1 true KR101728775B1 (ko) 2017-04-21

Family

ID=56711669

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150013402A KR101728775B1 (ko) 2015-01-28 2015-01-28 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체

Country Status (1)

Country Link
KR (1) KR101728775B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019112147A1 (ko) * 2017-12-07 2019-06-13 삼성전자 주식회사 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102238473B1 (ko) * 2018-10-22 2021-04-08 양민철 미러형 증강 현실 표시 시스템
KR102502350B1 (ko) * 2022-05-16 2023-02-23 주식회사 엠디에이 스마트 미러를 이용한 건설 현장 안전 관리 장비 검사 시스템
KR102460828B1 (ko) * 2022-05-16 2022-11-01 주식회사 엠디에이 스마트 미러를 이용한 운동 재활 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010070889A (ja) * 2008-09-22 2010-04-02 Seiren Co Ltd 仮想試着装置
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
KR20130059650A (ko) 2011-11-29 2013-06-07 현대자동차일본기술연구소 헤드업 디스플레이의 컨텐츠 초점 제어 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010070889A (ja) * 2008-09-22 2010-04-02 Seiren Co Ltd 仮想試着装置
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019112147A1 (ko) * 2017-12-07 2019-06-13 삼성전자 주식회사 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법
US11257467B2 (en) 2017-12-07 2022-02-22 Samsung Electronics Co., Ltd. Method for controlling depth of object in mirror display system

Also Published As

Publication number Publication date
KR20160093146A (ko) 2016-08-08

Similar Documents

Publication Publication Date Title
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
Van Krevelen et al. A survey of augmented reality technologies, applications and limitations
US10591731B2 (en) Ocular video stabilization
Mekni et al. Augmented reality: Applications, challenges and future trends
US20210142508A1 (en) Calibration system and method to align a 3d virtual scene and a 3d real world for a stereoscopic head-mounted display
Biocca et al. Attention funnel: omnidirectional 3D cursor for mobile augmented reality platforms
US7050078B2 (en) Arbitrary object tracking augmented reality applications
US10943388B1 (en) Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces
US20070035563A1 (en) Augmented reality spatial interaction and navigational system
EP2919093A1 (en) Method, system, and computer for identifying object in augmented reality
KR20220088496A (ko) 물리적 객체를 가상 현실로 이식
CN103793049A (zh) 虚拟现实显示系统
KR101728775B1 (ko) 하프미러에 기반한 초점 및 시점 일치화 디스플레이 장치 및 방법, 그 방법을 수행하기 위한 기록 매체
CN110362193A (zh) 用手或眼睛跟踪辅助的目标跟踪方法及系统
CN110622110B (zh) 提供沉浸式现实内容的方法和装置
CN108830944B (zh) 光学透视式三维近眼显示系统及显示方法
US20210373654A1 (en) Determining angular acceleration
CN110895433A (zh) 用于增强现实中用户交互的方法和装置
JP6534972B2 (ja) 映像表示装置、映像表示方法及び映像表示プログラム
US11719931B2 (en) Augmented reality gaming using virtual eyewear beams
US20230256297A1 (en) Virtual evaluation tools for augmented reality exercise experiences
KR101733519B1 (ko) 3차원 디스플레이 장치 및 방법
Fukuda et al. Head mounted display implementations for use in industrial augmented and virtual reality applications
US20220362631A1 (en) Virtual tastings and guided tours for augmented reality experiences
WO2020244576A1 (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right