KR20130128202A - 미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치 - Google Patents

미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치 Download PDF

Info

Publication number
KR20130128202A
KR20130128202A KR1020120052078A KR20120052078A KR20130128202A KR 20130128202 A KR20130128202 A KR 20130128202A KR 1020120052078 A KR1020120052078 A KR 1020120052078A KR 20120052078 A KR20120052078 A KR 20120052078A KR 20130128202 A KR20130128202 A KR 20130128202A
Authority
KR
South Korea
Prior art keywords
display
user
mirror display
augmented reality
virtual
Prior art date
Application number
KR1020120052078A
Other languages
English (en)
Other versions
KR101894793B1 (ko
Inventor
김휴대
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020120052078A priority Critical patent/KR101894793B1/ko
Publication of KR20130128202A publication Critical patent/KR20130128202A/ko
Application granted granted Critical
Publication of KR101894793B1 publication Critical patent/KR101894793B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 미러 디스플레이 기반 증강 현실 방법을 개시한다. 즉, 사용자 눈의 위치를 검출하는 위치검출단계; 미러 디스플레이의 반사면을 기준으로 상기 사용자 눈의 위치와 대칭되는 가상 위치를 산출하는 가상위치산출단계; 상기 산출된 가상 위치와 객체의 위치를 연결하는 가상 직선과 상기 미러 디스플레이의 반사면의 교차점에 해당하는 표시지점을 결정하는 표시지점결정단계; 및 상기 결정된 표시지점에 상기 객체로부터 전달되는 객체데이터를 표시하는 표시제어단계를 포함함으로써, 미러 디스플레이를 통해 댁내 기기의 정보를 표시하는 증강 현실 서비스를 제공할 수 있다.

Description

미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치{APPARATUS AND METHOD FOR AUGMENTED REALITY BASED ON MIRROR DISPLAY}
본 발명은 댁내 증강 현실 방안에 관한 것으로, 더욱 상세하게는, 사용자 눈의 위치와 객체의 위치를 기반으로 미러 디스플레이(Mirror Display)의 반사면 상의 표시지점을 계산하고 해당 위치에 반사면 상에 비친 객체의 부가정보를 표시하기 위한 미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치에 관한 것이다.
증강 현실이란 실제 존재하는 이미지에 가상적인 이미지를 추가하여 정보 전달을 수행할 수 있는 시스템으로, 주변 영상 정보에 상가명, 평점정보, 쿠폰정보 혹은 지인의 위치 정보 등을 표시해 주는 서비스이다.
이러한 증강 현실은 일반적으로 GPS를 활용한 위치 정보, 지자기 센서를 활용한 방향 정보를 기반으로 카메라로 촬영한 영상에 이미지를 추가적으로 뿌려주는 방식으로 동작한다. 또한, 안경 디스플레이에 정보를 추가적으로 표시하여 사람이 바라보는 시선에 직접 증강현실을 구현할 수 있다.
한편, 디지털 홈(Digital Home)이 확산되면서 통신 기능을 탑재한 가전기기가 증가하고 있으며, 이 가전기기들은 자신의 상태정보를 스마트폰, PC 등으로 전달할 수 있다.
이러한 가전기기로부터 전달되는 상태정보의 경우, 단순히 텍스트, 웹, 어플리케이션 등의 방식으로 사용자에게 표시해 주고 있으며 이러한 정보를 활용할 경우, 가정 내 증강 현실 시스템의 구현 또한 가능할 것이다.
본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 도달하고자 하는 목적은, 사용자 눈의 위치와 객체의 위치를 기반으로 미러 디스플레이의 반사면 상의 표시지점을 계산하고 해당 위치에 반사면 상에 비친 객체의 부가정보를 표시함으로써, 댁내 증강 현실 서비스를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 증강현실구동장치는 사용자 눈의 위치를 검출하는 사용자인식부; 미러 디스플레이의 반사면을 기준으로 상기 사용자 눈의 위치와 대칭되는 가상 위치를 산출하며, 상기 산출된 가상 위치와 객체의 위치를 연결하는 가상 직선과 상기 미러 디스플레이의 반사면의 교차점에 해당하는 표시지점을 결정하는 표시지점계산부; 및 상기 결정된 표시지점에 상기 객체로부터 전달되는 객체데이터를 표시하는 표시제어부를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 증강현실구동장치는, 사용자 눈의 위치를 검출하는 사용자인식부; 미러 디스플레이의 반사면을 기준으로 객체의 위치와 대칭되는 가상 위치를 산출하며, 상기 산출된 가상 위치와 사용자 눈의 위치를 연결하는 가상 직선과 상기 미러 디스플레이의 반사면의 교차점에 해당하는 표시지점을 결정하는 표시지점계산부; 및 상기 결정된 표시지점에 상기 객체로부터 전달되는 객체데이터를 표시하는 표시제어부를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 제 3 관점에 따른 증강현실구동장치의 동작 방법은, 사용자 눈의 위치를 검출하는 위치검출단계; 미러 디스플레이의 반사면을 기준으로 상기 사용자 눈의 위치와 대칭되는 가상 위치를 산출하는 가상위치산출단계; 상기 산출된 가상 위치와 객체의 위치를 연결하는 가상 직선과 상기 미러 디스플레이의 반사면의 교차점에 해당하는 표시지점을 결정하는 표시지점결정단계; 및 상기 결정된 표시지점에 상기 객체로부터 전달되는 객체데이터를 표시하는 표시제어단계를 포함하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 제 4 관점에 따른 증강현실구동장치의 동작 방법은, 사용자 눈의 위치를 검출하는 위치검출단계; 미러 디스플레이의 반사면을 기준으로 객체의 위치와 대칭되는 가상 위치를 산출하는 가상위치산출단계; 상기 산출된 가상 위치와 사용자 눈의 위치를 연결하는 가상 직선과 상기 미러 디스플레이의 반사면의 교차점에 해당하는 표시지점을 결정하는 표시지점결정단계; 및 상기 결정된 표시지점에 상기 객체로부터 전달되는 객체데이터를 표시하는 표시제어단계를 포함하는 것을 특징으로 한다.
이에, 미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치에 의하면, 사용자 눈의 위치와 객체의 위치를 기반으로 미러 디스플레이의 반사면 상의 표시지점을 계산하고 해당 위치에 반사면 상에 비친 객체의 부가정보를 표시함으로써, 미러 디스플레이를 통해 댁내 기기의 정보를 표시하는 증강 현실 서비스를 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 미러 디스플레이 기반 증강 현실 시스템의 개략적인 구성도.
도 2는 본 발명의 실시예에 따른 미러 디스플레이 기반 증강 현실 구현 예를 설명하기 위한 도면.
도 3은 본 발명의 실시예에 따른 증강현실구동장치의 개략적인 구성도.
도 4는 본 발명의 실시예에 따른 미러 디스플레이 기반 증강 현실 방법을 설명하기 위한 개략적인 순서도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 미러 디스플레이 기반 증강 현실 시스템의 개략적인 구성도를 도시한다.
도 1에 도시된 바와 같이, 본 발명에 따른 증강 현실 시스템은 객체의 이미지가 반사되는 반사면을 가지며, 상기 반사면에 부가정보를 디스플레이하기 위한 미러 디스플레이(100), 및 사용자 눈의 위치와 객체의 위치를 기반으로 미러 디스플레이(100)의 반사면 상의 표시지점을 계산하고 해당 위치에 반사면 상에 비친 객체의 부가정보를 표시하기 위한 증강현실구동장치(200)를 포함하는 구성을 갖는다.
여기서, 미러 디스플레이(100)는 거울의 기능을 하지만 모니터 기능을 접목하여 디지털 이미지를 추가적으로 표시해 줄 수 있는 디스플레이 장치를 지칭하는 것으로서, 예컨대, 세면 작업 도중에 날씨, 뉴스 등의 정보를 표시해 줄 수 있는 미래 디지털 홈(Digital Home)의 핵심 기술 중 하나이다.
아울러, 객체는 댁내에 위치하는 가전기기를 지칭하는 것으로서, 예컨대, 냉장고, 텔레비젼, PC, 청소기, 등이 해당될 수 있으며, 이러한 가전기기는 자체 통신 기능 예컨대, 지그비(Zigbee), 블루투스(Bluetooth), 와이파이(WiFi) 등의 무선통신 또는 그 밖의 유선통신을 이용하여 자신의 상태정보 예컨대, 배터리 잔량, 현재 동작 상태 등의 부가정보를 증강현실구동장치(200)에 제공할 수 있다.
증강현실구동장치(200)는 사용자 눈의 위치를 검출한다.
보다 구체적으로, 증강현실구동장치(200)는 예컨대, 카메라 등을 포함하는 촬상장치(도시안됨)를 통해 사용자의 안면을 촬영하고, 영상 분석을 통해 사용자 눈의 3차원 위치를 검출하게 된다.
여기서, 증강현실구동장치(200)는 도 2에 도시한 바와 같이, "z" 축을 수직으로 하고, "x-y" 평면을 수평으로 하는 좌표계를 가정하며, 미러 디스플레이(100)를 좌표계의 원점에 위치시키고, 그 반사면을 "x-z" 평면상에 위치한다고 가정한다. 이에, 미러 디스플레이(100)의 반사면을 나타내는 그래프는 "S:y = 0"과 같이 표현되게 되며, 사용자의 안면 촬영을 통해 파악된 사용자 눈의 3차원 위치는 "Pe = (xe, ye, ze)"로 나타낼 수 있다.
또한, 증강현실구동장치(200)는 검출된 사용자 눈의 위치를 기초로 미러 디스플레이(100)의 반사면 상에서 사용자 눈의 시선과 반사된 객체의 이미지가 일치되는 표시지점을 계산한다.
보다 구체적으로, 증강현실구동장치(200)는 검출된 사용자 눈의 위치를 기초로 미러 디스플레이(100)의 반사면에 투영되는 사용자 눈의 가상 위치 즉, 미러 디스플레이(100)의 반사면을 기준으로 대칭되는 사용자 눈의 가상 위치를 산출하게 된다. 여기서, 사용자는 미러 디스플레이(100)의 반사면을 통해 객체의 반사된 이미지를 보는 것이므로, 도 2에 도시한 바와 같이, 사용자 눈의 3차원 위치는 상술한 바와 같이 "Pe = (xe, ye, ze)"이며, 반사면에 투영되는 사용자 눈의 3차원 가상 위치는 "Pe' = (xe, -ye, ze)"가 된다.
아울러, 증강현실구동장치(200)는 산출된 사용자 눈의 가상 위치와 상기 반사면을 기준으로 한 객체의 기 저장된 위치를 가상 직선으로 연결하여 가상 직선과 미러 디스플레이(100)의 반사면의 교차점 다시 말해, 사용자의 시선에서 해당 객체의 이미지가 비치는 지점을 객체의 부가정보를 표시하기 위한 표시지점으로 계산한다. 여기서, 도 2에 도시한 바와 같이, 미러 디스플레이(100)의 반사면을 기준으로 한 객체의 실제 위치는 "Pd = (xd, yd, zd)"가 되며, 객체의 실제 위치와 사용자 눈의 가상 위치를 연결하는 가상 직선의 그래프는 아래 [수식 1]과 같이 표현되고, 가상 직선과 미러 디스플레이(100)의 반사면의 교차점 "Pt = (xt, yt, zt)"은 아래 [수식 2]와 같이 표현될 수 있다.
[수식 1]
Figure pat00001
[수식 2]
Figure pat00002
한편, 증강현실구동장치(200)는 객체의 위치를 기초로 미러 디스플레이(100)의 반사면 상에서 사용자 눈의 시선과 반사된 객체의 이미지가 일치되는 표시지점을 계산할 수 있다.
보다 구체적으로, 증강현실구동장치(200)는 미러 디스플레이(100)의 반사면에 투영되는 객체의 가상 위치, 즉, 미러 디스플레이(100)의 반사면을 기준으로 대칭되는 객체의 가상 위치를 산출하게 된다.
아울러, 증강현실구동장치(200)는 산출된 객체의 가상 위치와 검출된 사용자 눈의 위치를 가상 직선으로 연결함으로써, 가상 직선과 미러 디스플레이(100)의 반사면의 교차점 다시 말해, 사용자의 시선에서 해당 객체의 이미지가 비치는 지점을 객체의 부가정보를 표시하기 위한 표시지점으로 계산할 수 있다.
나아가, 증강현실구동장치(200)는 계산된 표시지점에 객체로부터 전달되는 객체데이터를 표시한다.
보다 구체적으로, 증강현실구동장치(200)는 미러 디스플레이의 반사면에 비치는 객체로부터 예컨대, Zigbee, Bluetooth, WiFi 등의 무선통신 또는 그 밖의 유선통신을 이용하여 자신의 상태정보 예컨대, 배터리 잔량, 현재 동작 상태 등의 부가정보를 수신하고, 수신된 부가정보를 상기 계산된 표시지점에 디스플레이함으로써, 미러 디스플레이(100)를 통해 댁내 객체의 부가정보를 표시하는 증강 현실 서비스를 제공하게 된다.
이하에서는 도 3을 참조하여 본 발명의 실시예에 따른 증강현실구동장치(200)의 보다 구체적인 구성을 설명하기로 한다
즉, 증강현실구동장치(200)는 사용자 눈의 위치를 검출하는 사용자인식부(210); 반사면 상에서 상기 사용자 눈의 시선과 상기 객체의 반사된 이미지가 일치되는 표시지점을 계산하는 표시지점계산부(220); 및 상기 계산된 표시지점에 상기 객체로부터 전달되는 객체데이터를 표시하는 표시제어부(230)를 포함하는 기본 구성을 가지며, 추가로, 댁내에 위치한 객체로부터 무선통신 또는 유선통신을 이용하여 부가정보를 수신하기 위한 통신부(240)를 더 포함하는 구성을 갖는다.
사용자인식부(210)는 사용자 눈의 위치를 검출한다.
보다 구체적으로, 사용자인식부(210)는 예컨대, 카메라 등을 포함하는 촬상장치(도시안됨)를 통해 사용자의 안면을 촬영하고, 영상 분석을 통해 사용자 눈의 3차원 위치를 검출하게 된다.
여기서, 사용자인식부(210)는 도 2에 도시한 바와 같이, "z" 축을 수직으로 하고, "x-y" 평면을 수평으로 하는 좌표계를 가정하며, 미러 디스플레이(100)를 좌표계의 원점에 위치시키고, 그 반사면을 "x-z" 평면상에 위치한다고 가정한다. 이에, 미러 디스플레이(100)의 반사면을 나타내는 그래프는 "S:y = 0"과 같이 표현되게 되며, 사용자의 안면 촬영을 통해 파악된 사용자 눈의 3차원 위치는 "Pe = (xe, ye, ze)"로 나타낼 수 있다.
표시지점계산부(220)는 검출된 사용자 눈의 위치를 기초로 미러 디스플레이(100)의 반사면 상에서 사용자 눈의 시선과 반사된 객체의 이미지가 일치되는 표시지점을 계산한다.
보다 구체적으로, 표시지점계산부(220)는 검출된 사용자 눈의 위치를 기초로 미러 디스플레이(100)의 반사면에 투영되는 사용자 눈의 가상 위치 즉, 미러 디스플레이(100)의 반사면을 기준으로 대칭되는 사용자 눈의 가상 위치를 산출하게 된다. 여기서, 사용자는 미러 디스플레이(100)의 반사면을 통해 객체의 반사된 이미지를 보는 것이므로, 도 2에 도시한 바와 같이, 사용자 눈의 3차원 위치는 상술한 바와 같이 "Pe = (xe, ye, ze)"이며, 반사면에 투영되는 사용자 눈의 3차원 가상 위치는 "Pe' = (xe, -ye, ze)"가 된다.
아울러, 표시지점계산부(220)는 산출된 사용자 눈의 가상 위치와 상기 반사면을 기준으로 한 객체의 기 저장된 위치를 가상 직선으로 연결하여 가상 직선과 미러 디스플레이(100)의 반사면의 교차점 다시 말해, 사용자의 시선에서 해당 객체의 이미지가 비치는 지점을 객체의 부가정보를 표시하기 위한 표시지점으로 계산한다. 여기서, 도 2에 도시한 바와 같이, 미러 디스플레이(100)의 반사면을 기준으로 한 객체의 실제 위치는 "Pd = (xd, yd, zd)"가 되며, 객체의 실제 위치와 사용자 눈의 가상 위치를 연결하는 가상 직선의 그래프는 상기 [수식 1]과 같이 표현되고, 가상 직선과 미러 디스플레이(100)의 반사면의 교차점 "Pt = (xt, yt, zt)"은 상기 [수식 2]와 같이 표현될 수 있다.
한편, 표시지점계산부(220)는 객체의 위치를 기초로 미러 디스플레이(100)의 반사면 상에서 사용자 눈의 시선과 반사된 객체의 이미지가 일치되는 표시지점을 계산할 수 있다.
보다 구체적으로, 표시지점계산부(220)는 미러 디스플레이(100)의 반사면에 투영되는 객체의 가상 위치, 즉, 미러 디스플레이(100)의 반사면을 기준으로 대칭되는 객체의 가상 위치를 산출하게 된다.
아울러, 표시지점계산부(220)는 산출된 객체의 가상 위치와 검출된 사용자 눈의 위치를 가상 직선으로 연결함으로써, 가상 직선과 미러 디스플레이(100)의 반사면의 교차점 다시 말해, 사용자의 시선에서 해당 객체의 이미지가 비치는 지점을 객체의 부가정보를 표시하기 위한 표시지점으로 계산할 수 있다.
표시제어부(230)는 계산된 표시지점에 통신부(240)를 통해 객체로부터 전달되는 객체데이터를 표시한다.
보다 구체적으로, 표시제어부(230)는 미러 디스플레이의 반사면에 비치는 객체로부터 예컨대, Zigbee, Bluetooth, WiFi 등의 무선통신 또는 그 밖의 유선통신을 이용하여 자신의 상태정보 예컨대, 배터리 잔량, 현재 동작 상태 등의 부가정보를 수신하고, 수신된 부가정보를 상기 계산된 표시지점에 디스플레이함으로써, 미러 디스플레이(100)를 통해 댁내 객체의 부가정보를 표시하는 증강 현실 서비스를 제공하게 된다.
이상에서 살펴본 바와 같이, 본 발명에 따른 미러 디스플레이 기반 증강 현실 시스템에 따르면, 사용자 눈의 위치와 객체의 위치를 기반으로 미러 디스플레이의 반사면 상의 표시지점을 계산하고 해당 위치에 반사면 상에 비친 객체의 부가정보를 표시함으로써, 미러 디스플레이를 통해 댁내 기기의 정보를 표시하는 증강 현실 서비스를 제공할 수 있다.
이하에서는, 도 4를 참조하여 본 발명의 실시예에 따른 미러 디스플레이 기반 증강 현실 방법을 설명하기로 한다. 여기서, 전술한 도 1 내지 도 3에 도시된 구성은 설명의 편의를 위해 해당 참조번호를 언급하여 설명하기로 한다.
먼저, 증강현실구동장치(200)가 사용자 눈의 위치를 검출한다(S110).
바람직하게는, 사용자인식부(210)는 예컨대, 카메라 등을 포함하는 촬상장치(도시안됨)를 통해 사용자의 안면을 촬영하고, 영상 분석을 통해 사용자 눈의 3차원 위치를 검출하게 된다.
여기서, 사용자인식부(210)는 도 2에 도시한 바와 같이, "z" 축을 수직으로 하고, "x-y" 평면을 수평으로 하는 좌표계를 가정하며, 미러 디스플레이(100)를 좌표계의 원점에 위치시키고, 그 반사면을 "x-z" 평면상에 위치한다고 가정한다. 이에, 미러 디스플레이(100)의 반사면을 나타내는 그래프는 "S:y = 0"과 같이 표현되게 되며, 사용자의 안면 촬영을 통해 파악된 사용자 눈의 3차원 위치는 "Pe = (xe, ye, ze)"로 나타낼 수 있다.
그리고 나서, 증강현실구동장치(200)가 가상 위치를 산출한다(S120).
바람직하게는, 표시지점계산부(220)는 검출된 사용자 눈의 위치를 기초로 미러 디스플레이(100)의 반사면에 투영되는 사용자 눈의 가상 위치 즉, 미러 디스플레이(100)의 반사면을 기준으로 대칭되는 사용자 눈의 가상 위치를 산출하게 된다. 여기서, 사용자는 미러 디스플레이(100)의 반사면을 통해 객체의 반사된 이미지를 보는 것이므로, 도 2에 도시한 바와 같이, 사용자 눈의 3차원 위치는 상술한 바와 같이 "Pe = (xe, ye, ze)"이며, 반사면에 투영되는 사용자 눈의 3차원 가상 위치는 "Pe' = (xe, -ye, ze)"가 된다.
한편, 표시지점계산부(220)는 표시지점계산부(220)는 미러 디스플레이(100)의 반사면에 투영되는 객체의 가상 위치, 즉, 미러 디스플레이(100)의 반사면을 기준으로 대칭되는 객체의 가상 위치를 산출하게 할 수 있다.
그런 다음, 증강현실구동장치(200)가 표시지점을 계산한다(S130-S140).
바람직하게는, 표시지점계산부(220)는 산출된 사용자 눈의 가상 위치와 상기 반사면을 기준으로 한 객체의 기 저장된 위치를 가상 직선으로 연결하여 가상 직선과 미러 디스플레이(100)의 반사면의 교차점 다시 말해, 사용자의 시선에서 해당 객체의 이미지가 비치는 지점을 객체의 부가정보를 표시하기 위한 표시지점으로 계산한다. 여기서, 도 2에 도시한 바와 같이, 미러 디스플레이(100)의 반사면을 기준으로 한 객체의 실제 위치는 "Pd = (xd, yd, zd)"가 되며, 객체의 실제 위치와 사용자 눈의 가상 위치를 연결하는 가상 직선의 그래프는 아래 [수식 1]과 같이 표현되고, 가상 직선과 미러 디스플레이(100)의 반사면의 교차점 "Pt = (xt, yt, zt)"은 아래 [수식 2]와 같이 표현될 수 있다.
[수식 1]
Figure pat00003
[수식 2]
Figure pat00004
한편, 표시지점계산부(220)는 객체의 가상 위치가 산출될 경우, 산출된 객체의 가상 위치와 검출된 사용자 눈의 위치를 가상 직선으로 연결함으로써, 가상 직선과 미러 디스플레이(100)의 반사면의 교차점 다시 말해, 사용자의 시선에서 해당 객체의 이미지가 비치는 지점을 객체의 부가정보를 표시하기 위한 표시지점으로 계산할 수 있다.
이후, 증강현실구동장치(200)가 계산된 표시지점에 객체로부터 전달되는 객체데이터를 표시한다(S150).
바람직하게는, 표시제어부(230)는 미러 디스플레이의 반사면에 비치는 객체로부터 예컨대, Zigbee, Bluetooth, WiFi 등의 무선통신 또는 그 밖의 유선통신을 이용하여 자신의 상태정보 예컨대, 배터리 잔량, 현재 동작 상태 등의 부가정보를 통신부(240)를 통해 수신하고, 수신된 부가정보를 상기 계산된 표시지점에 디스플레이함으로써, 미러 디스플레이(100)를 통해 댁내 객체의 부가정보를 표시하는 증강 현실 서비스를 제공하게 된다.
이상에서 살펴본 바와 같이, 본 발명에 따른 미러 디스플레이 기반 증강 현실 시스템에 따르면, 사용자 눈의 위치와 객체의 위치를 기반으로 미러 디스플레이의 반사면 상의 표시지점을 계산하고 해당 위치에 반사면 상에 비친 객체의 부가정보를 표시함으로써, 미러 디스플레이를 통해 댁내 기기의 정보를 표시하는 증강 현실 서비스를 제공할 수 있다.
이상에서 살펴본 바와 같이, 본 발명에 따른 미러 디스플레이 기반 증강 현실 방법에 따르면, 사용자 눈의 위치와 객체의 위치를 기반으로 미러 디스플레이의 반사면 상의 표시지점을 계산하고 해당 위치에 반사면 상에 비친 객체의 부가정보를 표시함으로써, 미러 디스플레이를 통해 댁내 기기의 정보를 표시하는 증강 현실 서비스를 제공할 수 있다.
한편, 본 발명의 실시예에 따른 미러 디스플레이 기반 증강 현실 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.
본 발명에 따른 미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치에 따르면, 사용자 눈의 위치와 객체의 위치를 기반으로 미러 디스플레이의 반사면 상의 표시지점을 계산하고 해당 위치에 반사면 상에 비친 객체의 부가정보를 표시한다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.
100: 미러 디스플레이
200: 증강현실구동장치
210: 사용자인식부 220: 표시지점계산부
230: 표시제어부 240: 통신부

Claims (4)

  1. 사용자 눈의 위치를 검출하는 사용자인식부;
    미러 디스플레이의 반사면을 기준으로 상기 사용자 눈의 위치와 대칭되는 가상 위치를 산출하며, 상기 산출된 가상 위치와 객체의 위치를 연결하는 가상 직선과 상기 미러 디스플레이의 반사면의 교차점에 해당하는 표시지점을 결정하는 표시지점계산부; 및
    상기 결정된 표시지점에 상기 객체로부터 전달되는 객체데이터를 표시하는 표시제어부를 포함하는 것을 특징으로 하는 증강현실구동장치.
  2. 사용자 눈의 위치를 검출하는 사용자인식부;
    미러 디스플레이의 반사면을 기준으로 객체의 위치와 대칭되는 가상 위치를 산출하며, 상기 산출된 가상 위치와 사용자 눈의 위치를 연결하는 가상 직선과 상기 미러 디스플레이의 반사면의 교차점에 해당하는 표시지점을 결정하는 표시지점계산부; 및
    상기 결정된 표시지점에 상기 객체로부터 전달되는 객체데이터를 표시하는 표시제어부를 포함하는 것을 특징으로 하는 증강현실구동장치.
  3. 사용자 눈의 위치를 검출하는 위치검출단계;
    미러 디스플레이의 반사면을 기준으로 상기 사용자 눈의 위치와 대칭되는 가상 위치를 산출하는 가상위치산출단계;
    상기 산출된 가상 위치와 객체의 위치를 연결하는 가상 직선과 상기 미러 디스플레이의 반사면의 교차점에 해당하는 표시지점을 결정하는 표시지점결정단계; 및
    상기 결정된 표시지점에 상기 객체로부터 전달되는 객체데이터를 표시하는 표시제어단계를 포함하는 것을 특징으로 하는 증강현실구동장치의 동작 방법.
  4. 사용자 눈의 위치를 검출하는 위치검출단계;
    미러 디스플레이의 반사면을 기준으로 객체의 위치와 대칭되는 가상 위치를 산출하는 가상위치산출단계;
    상기 산출된 가상 위치와 사용자 눈의 위치를 연결하는 가상 직선과 상기 미러 디스플레이의 반사면의 교차점에 해당하는 표시지점을 결정하는 표시지점결정단계; 및
    상기 결정된 표시지점에 상기 객체로부터 전달되는 객체데이터를 표시하는 표시제어단계를 포함하는 것을 특징으로 하는 증강현실구동장치의 동작 방법.




KR1020120052078A 2012-05-16 2012-05-16 미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치 KR101894793B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120052078A KR101894793B1 (ko) 2012-05-16 2012-05-16 미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120052078A KR101894793B1 (ko) 2012-05-16 2012-05-16 미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180101454A Division KR20180100090A (ko) 2018-08-28 2018-08-28 미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치

Publications (2)

Publication Number Publication Date
KR20130128202A true KR20130128202A (ko) 2013-11-26
KR101894793B1 KR101894793B1 (ko) 2018-09-04

Family

ID=49855449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120052078A KR101894793B1 (ko) 2012-05-16 2012-05-16 미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치

Country Status (1)

Country Link
KR (1) KR101894793B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108571A (ko) 2014-03-18 2015-09-30 광운대학교 산학협력단 광고 및 쇼핑 등 정보를 표시하기 위하여 사용자의 투영 영상 인식을 통한 미러 디스플레이의 정보 표시 장치 및 방법
KR20150108570A (ko) 2014-03-18 2015-09-30 광운대학교 산학협력단 투영 객체 인식을 통한 미러 디스플레이 기반 증강 현실 영상 서비스 장치 및 방법
KR101720016B1 (ko) 2015-10-16 2017-03-27 광운대학교 산학협력단 미러 디스플레이를 구비한 특징점 기반 의상 피팅 시스템 및 방법
CN106683195A (zh) * 2016-12-30 2017-05-17 上海网罗电子科技有限公司 一种基于室内定位的ar场景渲染方法
US10204452B2 (en) 2015-03-23 2019-02-12 Electronics And Telecommunications Research Institute Apparatus and method for providing augmented reality-based realistic experience
CN113126768A (zh) * 2021-04-25 2021-07-16 百度在线网络技术（北京）有限公司 显示控制方法、装置、系统、设备以及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090094956A (ko) * 2008-03-04 2009-09-09 성균관대학교산학협력단 차량의 미러 디스플레이 시스템
KR20110136012A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 위치와 시선방향을 추적하는 증강현실 장치
WO2012054231A2 (en) * 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090094956A (ko) * 2008-03-04 2009-09-09 성균관대학교산학협력단 차량의 미러 디스플레이 시스템
KR20110136012A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 위치와 시선방향을 추적하는 증강현실 장치
WO2012054231A2 (en) * 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150108571A (ko) 2014-03-18 2015-09-30 광운대학교 산학협력단 광고 및 쇼핑 등 정보를 표시하기 위하여 사용자의 투영 영상 인식을 통한 미러 디스플레이의 정보 표시 장치 및 방법
KR20150108570A (ko) 2014-03-18 2015-09-30 광운대학교 산학협력단 투영 객체 인식을 통한 미러 디스플레이 기반 증강 현실 영상 서비스 장치 및 방법
US10204452B2 (en) 2015-03-23 2019-02-12 Electronics And Telecommunications Research Institute Apparatus and method for providing augmented reality-based realistic experience
KR101720016B1 (ko) 2015-10-16 2017-03-27 광운대학교 산학협력단 미러 디스플레이를 구비한 특징점 기반 의상 피팅 시스템 및 방법
CN106683195A (zh) * 2016-12-30 2017-05-17 上海网罗电子科技有限公司 一种基于室内定位的ar场景渲染方法
CN113126768A (zh) * 2021-04-25 2021-07-16 百度在线网络技术（北京）有限公司 显示控制方法、装置、系统、设备以及存储介质

Also Published As

Publication number Publication date
KR101894793B1 (ko) 2018-09-04

Similar Documents

Publication Publication Date Title
US10586395B2 (en) Remote object detection and local tracking using visual odometry
US9563981B2 (en) Information processing apparatus, information processing method, and program
JP6780642B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9401050B2 (en) Recalibration of a flexible mixed reality device
US9405122B2 (en) Depth-disparity calibration of a binocular optical augmented reality system
CA2913650C (en) Virtual object orientation and visualization
KR102079097B1 (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
WO2021031755A1 (zh) 基于增强现实设备的交互方法及系统、电子设备、计算机可读介质
KR101894793B1 (ko) 미러 디스플레이 기반 증강 현실 방법 및 이에 적용되는 장치
CN108885856B (zh) 信息处理设备、信息处理方法和程序
KR102583682B1 (ko) 전자 장치 및 증강 현실 기반의 공유 정보 표시 방법
KR102499354B1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
WO2013028813A1 (en) Implicit sharing and privacy control through physical behaviors using sensor-rich devices
US10672191B1 (en) Technologies for anchoring computer generated objects within augmented reality
KR20160015972A (ko) 웨어러블 디바이스 및 그 제어 방법
KR20180042551A (ko) 전자 장치 및 그의 제어 방법
US11244145B2 (en) Information processing apparatus, information processing method, and recording medium
JP2021508109A (ja) 頭部装着型ディスプレイデバイスおよびその方法
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
JP2017161645A (ja) 表示制御方法、通信装置、表示制御プログラムおよび表示制御装置
JP2015118442A (ja) 情報処理装置、情報処理方法およびプログラム
JP6481456B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
JP5829154B2 (ja) 拡張現実システム
WO2022240933A1 (en) Depth-from- stereo bending correction
CN117356089A (zh) 视觉跟踪系统中的固有参数估计

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant