KR20160015775A

KR20160015775A - 투명 디스플레이 장치 및 그 제어 방법

Info

Publication number: KR20160015775A
Application number: KR1020140098464A
Authority: KR
Inventors: 김성현; 박상용
Original assignee: 삼성전자주식회사
Priority date: 2014-07-31
Filing date: 2014-07-31
Publication date: 2016-02-15
Also published as: US20160035138A1; KR102127356B1; US9916635B2

Abstract

투명 디스플레이 장치가 개시된다. 본 투명 디스플레이 장치는, 투명한 재질의 투명 디스플레이, 카메라, AR 객체를 생성하는 그래픽 처리부, 투명 디스플레이에 AR 객체를 디스플레이하는 투명 AR 모드 및 카메라의 촬영 이미지 상에 상기 AR 객체를 디스플레이하는 비디오 AR 모드 중 하나의 모드로 동작하다가 기 설정된 이벤트가 발생하면 타 AR 모드로 전환하는 제어부를 포함한다.

Description

투명 디스플레이 장치 및 그 제어 방법 { TRANSPARENT DISPLAY APPARATUS AND CONTROL METHOD THEREOF }

본 발명은 투명 디스플레이 장치 및 그 제어 방법에 대한 것으로, 보다 상세하게는, AR 기능을 제공하는 투명 디스플레이 장치 및 그 제어 방법에 대한 것이다.

전자 기술의 발달에 힘입어 다양한 분야에서, 다양한 유형의 디스플레이 장치가 사용되고 있다. 특히, 최근에는 투명 디스플레이 장치와 같은 차세대 디스플레이 장치에 대한 연구 논의가 가속화되고 있다.

투명 디스플레이 장치란 투명한 성질을 가져서 장치 뒷쪽 배경이 그대로 비치는 장치를 의미한다. 종래에는 실리콘(Si), 갈륨비소(GaAs) 등과 같은 불투명 반도체 화합물을 이용하여 디스플레이 패널을 제작하였으나, 기존의 디스플레이 패널로는 감당할 수 없는 다양한 응용분야가 개척되면서, 새로운 형태의 전자 소자에 대한 개발 노력이 이루어졌었다. 이러한 노력 하에 개발된 것 중 하나가 투명 디스플레이 장치이다.

투명 디스플레이 장치는 투명한 산화물 반도체막을 포함하는 형태로 구현되어, 투명한 성질을 가지게 된다. 투명 디스플레이 장치를 사용할 경우 사용자는 장치 뒷쪽에 위치하는 후면 배경을 보면서, 필요한 정보를 투명 디스플레이 장치 화면을 통해 볼 수 있게 된다. 따라서, 기존 디스플레이 장치들이 가지고 있는 공간적, 시간적 제약을 해소할 수 있게 된다.

예를 들어, 뒷쪽에 비치는 객체에 대한 정보를 생생하게 표시하는 AR (Augmented Reality)이 다양한 용도로 활용되고 있다.

이와 같이, 투명 디스플레이 장치는 그 투명한 성질 때문에 기존 디스플레이 장치에 비해 많은 장점을 가지게 되지만, 반대로 그 투명한 성질 때문에 발생하는 문제점도 가지고 있다. 가령, 투명한 성질 때문에 사용 환경에 따라서는 화면 상의 정보가 잘 보이지 않게 되는 문제점이 있을 수 있다.

따라서, 투명 디스플레이 장치를 보다 효과적으로 다양하게 사용할 수 있는 기술에 대한 필요성이 대두되었다.

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은,　투명 디스플레이 장치의 사용 환경에 따라 적합한 AR 모드로 자동 전환할 수 있는　투명 디스플레이 장치 및 그 디스플레이 방법을 제공함에 있다.

이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 투명 디스플레이 장치는, 투명 디스플레이, 카메라, AR 객체를 생성하는 그래픽 처리부 및, 상기 투명 디스플레이에 상기 AR 객체를 디스플레이하는 투명 AR 모드 및 상기 카메라의 촬영 이미지 상에 상기 AR 객체를 디스플레이하는 비디오 AR 모드 중 하나의 모드로 동작하다가 기 설정된 이벤트가 발생하면 타 AR 모드로 전환하는 제어부를 포함한다.

또한, 피사체와의 거리를 감지하는 감지부를 더 포함하며, 상기 제어부는, 상기 감지부에 의해 감지된 피사체와의 거리가 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환할 수 있다.

또한, 배경 정보를 감지하는 감지부를 더 포함하며, 상기 제어부는, 상기 감지부에 의해 감지된 조도 정보 및 시청 환경 정보 중 적어도 하나가 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환할 수 있다.

또한, 배터리 잔량을 감지하는 감지부를 더 포함하며, 상기 제어부는, 상기 감지부에 의해 감지된 배터리 잔량이 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환할 수 있다.

또한, 상기 제어부는, 투명 AR 모드로 동작 중 모드 전환 이벤트가 발생되는 경우, 상기 투명 디스플레이의 투명도를 점진적으로 감소시켜 비디오 AR 모드에 따른 화면을 디스플레이하도록 제어할 수 있다.

또한, 상기 제어부는, 모드 전환 이벤트에 따라, 전환될 AR 모드를 메인 화면으로 디스플레이하고, 현재 AR 모드를 보조 화면으로 상기 투명 디스플레이의 일 영역 상에 디스플레이하도록 제어할 수 있다.

또한, 상기 제어부는, 모드 전환 이벤트에 따라, 전환될 AR 모드에 따른 화면을 현재 AR 모드에 따른 화면 상에 중첩하여 디스플레이하도록 제어할 수 있다.

또한, 상기 제어부는, 모드 전환 이벤트에 따라, 화면을 분할하여 전환될 AR 모드를 분할된 제1 화면으로 디스플레이하고, 현재 AR 모드를 분할된 제2 화면으로 디스플레이하도록 제어할 수 있다.

또한, 사용자의 시선을 인식하는 시선 인식부를 더 포함하며, 상기 제어부는, 상기 인식된 사용자의 시선에 기초하여 사용자의 시선에서 벗어날 확률이 적은 영역에 상기 AR 객체를 디스플레이하도록 제어할 수 있다.

또한, 상기 투명 디스플레이의 표면에 구비되는 가이드부를 더 포함하며, 상기 제어부는, 상기 가이드부와 매핑 가능한 형상의 가이드 GUI를 디스플레이하여 사용자의 시점과 상기 카메라의 촬영 시점이 일치되도록 가이드할 수 있다.

또한, 상기 제어부는, 상기 카메라에 의해 촬영되는 영상을 에지 영상 형태로 상기 투명 디스플레이에 디스플레이하여 상기 투명 디스플레이를 통해 사용자에게 투과되어 보이는 영상과 상기 카메라에 의해 촬영되는 영상이 일치되도록 가이드할 수 있다.

한편, 본 발명의 일 실시 예에 따른 투명 디스플레이 및 카메라를 구비하는 투명 디스플레이 장치의 제어 방법은, 상기 투명 디스플레이에 AR 객체를 디스플레이하는 투명 AR 모드 및 상기 카메라의 촬영 이미지 상에 AR 객체를 디스플레이하는 비디오 AR 모드 중 하나의 모드로 동작하는 단계 및, 기 설정된 이벤트가 발생하면 타 AR 모드로 전환하는 단계를 포함한다.

또한, 피사체와의 거리를 감지하는 단계를 더 포함하며, 상기 타 AR 모드로 전환하는 단계는, 상기 감지된 피사체와의 거리가 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환할 수 있다.

또한, 조도 정보 및 시청 환경 정보 중 적어도 하나를 감지하는 단계를 더 포함하며, 상기 타 AR 모드로 전환하는 단계는, 상기 감지된 조도 정보 및 시청 환경 정보 중 적어도 하나가 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환할 수 있다.

또한, 배터리 잔량을 감지하는 단계를 더 포함하며, 상기 타 AR 모드로 전환하는 단계는, 상기 감지된 배터리 잔량이 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환할 수 있다.

또한, 상기 타 AR 모드로 전환하는 단계는, 투명 AR 모드로 동작 중 모드 전환 이벤트가 발생되는 경우, 상기 투명 디스플레이의 투명도를 점진적으로 감소시켜 비디오 AR 모드에 따른 화면을 디스플레이할 수 있다.

또한, 상기 타 AR 모드로 전환하는 단계는, 모드 전환 이벤트에 따라, 전환될 AR 모드를 메인 화면으로 디스플레이하고, 현재 AR 모드를 보조 화면으로 상기 투명 디스플레이의 일 영역 상에 디스플레이할 수 있다.

또한, 상기 타 AR 모드로 전환하는 단계는, 모드 전환 이벤트에 따라, 전환될 AR 모드에 따른 화면을 현재 AR 모드에 따른 화면 상에 중첩하여 디스플레이할 수 있다.

또한, 상기 타 AR 모드로 전환하는 단계는, 모드 전환 이벤트에 따라, 화면을 분할하여 전환될 AR 모드를 분할된 제1 화면으로 디스플레이하고, 현재 AR 모드를 분할된 제2 화면으로 디스플레이할 수 있다.

또한, 상기 투명 디스플레이 장치는, 상기 투명 디스플레이의 표면에 구비되는 가이드부를 더 포함하며, 상기 가이드부와 매핑 가능한 형상의 가이드 GUI를 디스플레이하여 사용자의 시점과 상기 카메라의 촬영 시점이 일치되도록 가이드하는 단계를 더 포함할 수 있다.

또한, 상기 카메라에 의해 촬영되는 영상을 에지 영상 형태로 상기 투명 디스플레이에 디스플레이하여 상기 투명 디스플레이를 통해 사용자에게 투과되어 보이는 영상과 상기 카메라에 의해 촬영되는 영상이 일치되도록 가이드하는 단계를 더 포함할 수 있다.

이상과 같이, 본 발명의 다양한 실시 예에 따르면, 투명 디스플레이 장치에서 제공되는 AR 기능을 보다 효율적으로 제공할 수 있게 된다.

도 1a 내지 도 1c는 본 발명의 이해를 돕기 위한 투명 디스플레이 장치의 동작을 설명하기 위한 도면들이다.
도 2는 본 발명의 일 실시 예에 따른 투명 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3은 투명 OLED 형으로 구현된 투명 디스플레이의 세부 구성 예를 나타내는 도면이다.
도 4는 본 발명의 구체적인 실시 예에 따른 투명 디스플레이 장치의 구성을 설명하기 위한 블럭도이다.
도 5는 본 발명의 일 실시 예에 따른 AR 모드 전환 기능을 설명하기 위한 흐름도이다.
도 6은 도 5에 도시된 실시 예를 구체적인 예를 들어 설명하기 위한 도면이다.
도 7은 본 발명의 다른 실시 예에 따른 AR 모드 전환 기능을 설명하기 위한 흐름도이다.
도 8은 도 7에 도시된 실시 예를 구체적인 예를 들어 설명하기 위한 도면이다.
도 9는 본 발명의 또 다른 실시 예에 따른 AR 모드 전환 기능을 설명하기 위한 흐름도이다.
도 10은 본 발명의 또 다른 실시 예에 따른 AR 모드 전환 기능을 설명하기 위한 흐름도이다.
도 11은 도 10에 도시된 실시 예를 구체적인 예를 들어 설명하기 위한 도면이다.
도 12는 본 발명의 또 다른 실시 예에 따른 AR 모드 전환 기능을 설명하기 위한 도면이다.
도 13은 본 발명의 또 다른 실시 예에 따른 AR 모드 전환 기능을 설명하기 위한 도면이다.
도 14는 본 발명의 또 다른 실시 예에 따른 AR 모드 제공 방법을 설명하기 위한 도면이다.
도 15a 내지 도 15c는 본 발명의 또 다른 실시 예에 따른 가이드 기능을 설명하기 위한 도면이다.
도 16a 내지 도 16d는 본 발명의 다양한 구현 예에 따른 가이드 부 및 가이드 GUI의 형태를 설명하기 위한 도면이다.
도 17a 내지 도 17c는 가이드 GUI의 조정 방법을 설명하기 위한 도면들이다.
도 18은 본 발명의 또 다른 실시 예에 따른 가이드 제공 방법을 설명하기 위한 도면이다.
도 19는 본 발명의 일 실시 예에 따른 투명 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.

도 1a 내지 도 1c는 본 발명의 이해를 돕기 위한 투명 디스플레이 장치의 동작을 설명하기 위한 도면들이다.

도 1a 및 도 1b에 도시된 바와 같이 본 발명에 따른 투명 디스플레이 장치(100)는 휴대 가능한 단말이 될 수 있으며, 휴대폰, PMP, PDA, 노트북 등 다양한 형태로 구현 가능하다.

도 1a는 비디오 AR 모드를 설명하기 위한 것으로, 비디오 AR 모드는 도시된 바와 같이 카메라 촬영 영상에 AR 객체를 디스플레이하는 모드가 될 수 있다. 이 경우, AR 객체는 촬영 영상에 함께 렌더링되어 디스플레이되거나, 촬영 영상에 OSD 형태로 디스플레이되거나, 촬영 영상이 디스플레이된 Layer와 다른 Layer에 디스플레이되는 등 다양한 형태로 제공될 수 있다.

도 1b는 투명 AR 모드를 설명하기 위한 것으로, 투명 AR 모드는 도시된 바와 같이 후방에 위치한 객체가 투명하게 비치는 상태에서 AR 객체를 디스플레이하는 모드가 될 수 있다. 특히, 투명 AR 모드는 투명한 디스플레이를 통해 후면 배경이 투명하게 비치는 상태에서 AR 객체를 디스플레이할 수 있다. 이 경우, 디스플레이되는 정보는 후면 배경에 포함된 객체와 관련된 정보가 될 수 있다.

구체적으로, 투명 디스플레이 장치(100)는 후방에 위치한 객체를 촬영하고, 촬영된 이미지를 디스플레이하진 않지만, 촬영된 이미지에 기초하여 후방에 위치한 객체와 관련된 정보를 제공할 수 있다. 즉, 사용자의 관심 영역은 사용자의 육안을 통해 투명 스크린을 통과해서 보고, 스크린 상에는 AR 정보를 제공하여 보다 자연스러운 화면 구성이 가능하게 된다.

도 1c는 도 1b에 도시된 투명 AR 모드와 관련된 동작을 설명하기 위한 도면이다.

일반적으로, 사람의 눈은 디스플레이의 정보와 너머에 있는 대상을 함께 볼 수(cognition) 없다. 구체적으로, 인간의 눈은 수정체의 모양을 변화시킴에 의해서 원거리와 근거리의 상들의 초점을 맞추어 정확한 시각을 나타내게 하는데, 인간은 흥미를 끄는 자극에 대하여 또는 주된 관심사에 대한 선택주의(selective attention)으로 특정 대상에 주의를 맞추고 다른 것들은 무시하는 경향이 있다.

즉, 인간의 시각 시스템은 무의식적 작용이나 의식적 작용을 통해 주어진 환경에서 상대적으로 두드러지거나 선호되는 특정 사물에 선택적으로 주의를 집중하도록 구성되어 있다. 이에 따라 투명 디스플레이로 스크린 너머 대상과 스크린상의 AR을 동시에 보려면 대상이 스크린 뒤에 일정 거리 내에 있는 경우로만 한정된다.

구체적으로, 도 1c에 도시된 바와 같이 사용자는 관심 영역과 스크린상 AR 정보를 눈을 번갈아 가면서 보게 된다.

이에 따라 투명 AR 모드 시, 스크린 너머의 영역과 스크린과의 거리가 멀면 육안으로 동시에 정보를 확인할 수 없을 뿐만 아니라 피로도도 상승하고 집중력이 저하된다는 문제점이 있다.

또한, 투명 AR 모드 시 주변 조명 등 시청 환경에 따라 화면 몰입도가 떨어진다. 비디오 AR 모드시 햇빛이 강한 환경에서 디스플레이 화면이 잘 안보이며, 투명 AR 모드 시 밝은 곳에서 어두운 곳 진입 시 눈이 일시적으로 적응을 못하는 상황 등 각 AR 모드는 시청 환경에 영향을 많이 받게 된다.

이에 따라, 본 발명에서는 투명 디스플레이 장치의 사용 환경에 따라 비디오 AR 모드 및 투명 AR 모드를 적절히 전환하거나, 해당 모드에 따른 화면을 적절히 배치하도록 하는 방안을 제시하도록 한다.

도 2는 본 발명의 일 실시 예에 따른 투명 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 2에 따르면, 투명 디스플레이 장치(100)는 투명 디스플레이부(110), 감지부(120) 및 제어부(130)를 포함한다.

도 2a는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 2a에 따르면, 디스플레이 장치(100)는 투명 디스플레이(110), 카메라(120), 그래픽 처리부(130) 및 제어부(140)를 포함한다.

투명 디스플레이(110)는 투명한 재질로 구현되어 정보를 디스플레이한다. 여기서, 정보는 이미지, 텍스트, 컨텐츠 재생 화면, 어플리케이션 실행 화면, 웹 브라우저 화면, 각종 그래픽 객체 등이 될 수 있다.

투명 디스플레이(110)는 실시 예에 따라 투명 LCD(Liquid Crystal Display) 형, 투명 OLED(Organic Light-Emitting Diode) 형, 투명 TFEL(Thin-Film Electroluminescent Panel) 형, 투사형 등과 같은 다양한 형태로 구현될 수 있다. 이하에서는, 투명 디스플레이(110)의 구조에 대한 다양한 실시 예를 설명한다.

투명 LCD 형이란 현재 사용되고 있는 LCD 장치에서 백라이트 유닛을 제거하고, 한 쌍의 편광판, 광학 필름, 투명 박막 트랜지스터, 투명 전극 등을 사용하여 구현한 투명 디스플레이 장치를 의미한다. 투명 LCD 장치에서는 편광판이나 광학 필름등에 의해 투과도가 떨어지고, 백라이트 유닛 대신 주변 광을 이용하게 되므로 광 효율이 떨어지지만, 대면적 투명 디스플레이를 구현할 수 있다는 장점이 있다. 투명 TFEL 형이란 투명 전극, 무기 형광체, 절연막으로 이루어진 교류형 무기박막 EL 디스플레이(AC-TFEL)를 사용하는 장치를 의미한다. AC-TFEL은 무기 형광체 내부에 가속이 된 전자가 지나가면서 형광체를 여기시켜 빛을 내게 하는 디스플레이이다. 투명 디스플레이(130)가 투명 TFEL 형태로 구현된 경우, 제어부(130)는 적절한 위치로 전자가 투사되도록 조정하여, 정보 표시 위치를 결정할 수 있다. 무기 형광체, 절연막이 투명한 특성을 가지므로, 매우 투명한 디스플레이를 구현할 수 있다.

그 밖에, 투명 OLED 형이란 자체 발광이 가능한 OLED를 이용하는 투명 디스플레이 장치를 의미한다. 유기 발광층이 투명하기 때문에, 양쪽 전극을 투명 전극으로 사용하면, 투명 디스플레이 장치로 구현 가능하다. OLED는 유기 발광층 양쪽에서 전자와 정공을 주입하여 이들이 유기 발광층 내에서 결합되면서 빛을 내게 된다. 투명 OLED 장치는 이러한 원리를 사용하여 원하는 위치에 전자 및 정공을 주입하여, 정보를 표시한다.

도 3은 투명 OLED 형으로 구현된 투명 디스플레이의 세부 구성 예를 나타내는 도면이다. 설명의 편의를 위하여 투명 OLED(Organic Light-Emitting Diodes) 형으로 구현된 투명 디스플레이에 대해서는 참조부호 110-1을 부여한다.

도 3에 따르면, 투명 디스플레이(110)는 투명 기판(111-1), 투명 트랜지스터층(112-2), 제1 투명 전극(113-1), 투명 유기 발광 층(Transparent Organic Light-Emitting layer)(114-1), 제2 투명 전극(115-1), 연결 전극(116-1)을 포함한다. 　

투명기판(111-1)은 투명한 성질을 가지는 플라스틱과 같은 폴리머 재료 또는 유리를 사용할 수 있다. 투명 기판(111-1)의 재질은 투명 디스플레이 장치(100)가 적용된 사용 환경에 따라 결정될 수 있다. 가령, 폴리머 재료는 가볍고 유연하다는 장점이 있어 휴대형 디스플레이 장치에 사용될 수 있으며, 유리는 상점의 쇼윈도(show window)나 일반 창문 등에 사용할 수 있다.

투명 트랜지스터층(112-2)이란 기존 박막 트랜지스터의 불투명한 실리콘을 투명한 아연산화물, 산화 티타늄 등과 같은 투명 물질로 대체하여 제작한 트랜지스터를 포함하는 레이어를 의미한다. 투명 트랜지스터층(112-2) 내에는 소스, 게이트, 드레인 및 각종 유전막(117-1, 118-1)이 마련되며, 드레인과 제1 투명 전극(113-1)을 전기적으로 연결하는 연결 전극(116-1)도 마련될 수 있다. 도 3에서는 투명 트랜지스터 층(112-1) 내에 소스, 게이트, 드레인으로 이루어진 하나의 투명 트랜지스터만이 도시되었으나, 실제로는 디스플레이 표면의 전체 영역에 고르게 분포된 복수 개의 투명 트랜지스터가 마련된다. 제어부(130)는 투명 트랜지스터층(112-2) 내의 각 트랜지스트들의 게이트로 제어 신호를 인가하여, 해당 투명 트랜지스터를 구동시켜 정보를 표시할 수 있다.

제1 투명 전극 (113-1) 및 제2 투명 전극(115-1)은 투명 유기 발광층(114-1)을 기준으로 서로 반대 방향에 배치된다. 제1 투명 전극, 투명 유기 발광층 및 제2 투명 전극(113-1, 114-1, 115-1)은 투명 유기 발광 다이오드(Organic Light-Emitting Diodes)를 형성한다.

투명 유기 발광 다이오드는 구동 방식에 따라 크게 수동형(Passive Matrix OLED)과 능동형 (Active Matrix OLED)으로 분류된다. PMOLED는 제1 및 제2 투명 전극(113-1, 115-1)이 서로 교차하는 부분이 화소를 형성하는 구조이다. 반면, AMOLED는 각 화소를 구동하는 박막 트랜지스터(TFT)가 있는 구조이다. 도 3에서는 능동형을 나타내고 있다.

제1 투명 전극 (113-1) 및 제2 투명 전극(115-1)은 각각 복수 개의 라인 전극을 포함하며, 라인 전극의 정렬 방향은 서로 수직하게 형성되며, 제1 투명 전극(113-1) 및 제2 투명 전극(115-1) 간에는 복수의 교차 영역이 형성된다. 각 교차 영역에는 도 3에 도시된 바와 같이 투명 트랜지스터가 연결된다.

제어부(130)는 투명 트랜지스터를 이용하여 각 교차 영역 별로 전위차가 형성되도록 한다. 전위차가 형성된 교차 영역 내에서 각 전극으로부터 전자와 정공이 투명 유기 발광층(114-1)으로 유입되어 결합하면서 발광이 이루어진다. 반면, 전위차가 형성되지 않은 교차 영역은 발광이 이루어지지 않으며, 이에 따라 후면 배경이 그대로 투명하게 비치게 된다.

한편, 상술한 바와 같이 투명 디스플레이(110)는 투명 LCD(Liquid Crystal Display) 형, 투명 TFEL(Thin-Film Electroluminescent Panel) 형, 투명 OLED 형 이외에 투사형으로도 구현될 수 있다. 투사형이란 HUD(Head Up Display)와 같이 투명한 스크린에 영상을 투사하여 디스플레이하는 방식을 의미한다.

다시 도 2를 참고하면, 카메라(120)는 이미지 센서와 같은 촬상 소자를 이용하여 후방 배경을 촬상하여 후방 배경 이미지를 생성할 수 있다.

그래픽 처리부(130)는 제어부(140)의 제어에 따라 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 생성한다.

특히, 그래픽 처리부(130)는 상술한 비디오 AR 모드 및 투명 AR 모드 중 적어도 하나의 모드에서 투명 디스플레이(110)에 디스플레이되는 AR 객체를 생성할 수 있다.

구체적으로, 연산부(미도시)는 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부(미도시)는 연산부(미도시)에서 연산한 속성값에 기초하여 AR 객체 또는 AR 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부(미도시)에서 생성된 AR 객체 또는 AR 객체를 포함하는 화면은 투명 디스플레이부(110)의 디스플레이 영역 내에 표시된다.

제어부(140)는 투명 디스플레이 장치(100)의 전반적인 동작을 제어한다.

특히, 제어부(140)는 투명 디스플레이(110)에 AR 객체를 디스플레이하는 투명 AR 모드 및 카메라(120)의 촬영 이미지 상에 AR 객체를 디스플레이하는 비디오 AR 모드 중 하나의 모드로 동작하다가 기 설정된 이벤트가 발생하면 타 모드로 전환하도록 제어한다.

여기서, 기설정된 이벤트는 피사체와의 거리가 기설정된 조건을 만족하는 이벤트, 조도 정보 및 시청 환경 정보 중 적어도 하나가 기설정된 조건을 만족하는 이벤트, 배터리 잔량이 기설정된 조건을 만족하는 이벤트, 전화 또는 메시지가 수신되는 이벤트 중 적어도 하나가 될 수 있다.

예를 들어, 도 1c에서 설명한 바와 같이 투명 AR 모드에서 투명 디스플레이(110)를 통해 투과되어 보이는 스크린 너머 대상과 투명 디스플레이(110)에 디스플레이된 AR 객체를 동시에 보려면 스크린 너머 대상이 스크린 뒤에 일정 거리 내에 있는 경우로 한정된다. 이에 따라 스크린 너머 대상과 스크린 사이의 거리가 기설정된 임계 거리 이상으로 되는 이벤트가 발생되면, 비디오 AR 모드로 전환할 수 있다.

또한, 투명 AR 모드에서 주변 조명이 밝은 장소에서 어두운 장소로 이동하게 되면, 눈의 일시적인 적응에 따른 시청 끊김 현상이 발생할 수 있다. 이에 따라 주변 조명이 기설정된 임계 값 이하로 되는 이벤트가 발생되면, 비디오 AR 모드로 전환할 수 있다.

또한, 비디오 AR 모드에서는 영상을 디스플레이하여야 하므로 투명 AR 모드보다 배터리 소모 정도가 크게 된다. 이에 따라 배터리 잔량이 기설정된 임계 값 이하로 되는 이벤트가 발생되면, 투명 AR 모드로 전환할 수 있다.

또한, 투명 AR 모드로 동작 중에 전화 또는 메시지가 수신되는 이벤트가 발생되면, 비디오 AR 모드로 전환하여 사용자가 보던 정보를 유지하면서 수신되는 전화 또는 메시지에 응답하도록 할 수 있다.

또한, 제어부(140)는 투명 AR 모드에서 비디오 AR 모드로 전환하는 경우 수명 디스플레이(110)가 투명 상태에서 반투명 상태로 점진적으로 변하면서 카메라 촬영 영상이 디스플레이되도록 제어할 수 있다.

또한, 제어부(140)는 모드 전환 이벤트에 따라 기존 AR 모드에 따른 화면을 전환될 AR 모드에 따른 화면으로 완전히 대체하여 디스플레이하도록 제어할 수 있다. 즉, 제어부(140)는 화면 전체에 제공되는 기존 AR 모드에 따른 화면을 제거하고, 전환될 AR 모드에 따른 화면을 화면 전체에 제공할 수 있다.

또는, 제어부(140)는 모드 전환 이벤트에 따라 기존 AR 모드에 따른 화면을 보조 화면으로 디스플레이하고, 전환될 AR 모드에 따른 화면을 메인 화면을 디스플레이하도록 제어하는 것도 가능하다. 즉, 제어부(140)는 기존 AR 모드에 따른 화면을 기설정된 크기 미만의 보조 화면으로 제공하고, 전환될 AR 모드에 따른 화면을 기설정된 크기 이상의 메인 화면을 제공할 수 있다.

또는 제어부(140)는 모드 전환 이벤트에 따라 화면을 분할하여 전환될 AR 모드를 분할된 제1 화면으로 디스플레이하고, 기존 AR 모드를 분할된 제2 화면으로 디스플레이하도록 제어하는 것도 가능하다. 즉, 제어부(140)는 화면을 좌우 또는 상하로 이등분하고, 기존 AR 모드에 따른 화면을 제1 화면으로 제공하고 전환될 AR 모드에 따른 화면을 제2 화면으로 제공할 수 있다.

또한 제어부(140)는 AR 모드 전환을 위한 기설정된 이벤트가 발생하면, AR 모드 전환을 가이드 하는 UI를 제공할 수도 있다.

한편, 제어부(140)는 대응되는 AR 객체를 제공하기 위해 촬상된 후방 배경 이미지를 분석하여 후방 배경 이미지에 포함된 객체의 속성, 예를 들어, 객체의 색상이나 객체에 써져 있는 텍스트, 객체에 그려지거나 부착된 이미지, 객체의 위치 등을 인식할 수도 있다. 예를 들어, 객체의 색상의 경우에는 카메라를 통해 촬상된 이미지에서 에지 검출을 하고, 검출된 에지 내부의 색상을 검출할 수 있다. 텍스트나 이미지의 경우에도 카메라를 통해 촬상된 이미지로부터 텍스트 판독 또는 이미지 판독 알고리즘을 이용하여 검출할 수 있다. 또한, 촬상과 함께 GPS(Global Positioning System)로부터 위도도·경도·고도의 위치뿐만 아니라 3차원의 속도정보와 함께 정확한 시간까지 획득할 수 있다. 이러한 색상이나, 텍스트, 이미지, 위치 정보, 시간 정보 등이 검출되면, 제어부(140)는 검출된 객체 정보에 대응되는 대응되는 AR 객체를 렌더링하도록 그래픽 처리부(130)를 제어할 수 있다.

다만, 제어부(140)는 경우에 따라 기설정된 이벤트에 따라 AR 모드 전환을 바로 수행하지 않고 AR 모드 전환을 권고하는 UI를 제공할 수도 있다.

또한, 제어부(140)는 AR 정보 제공시, 사용자의 시선 인식을 통해 사용자의 시선의 시선이 벗어날 확률이 적은 즉, 히팅(hitting)율이 높은 AR 정보 만을 제공할 수 있다.

또한, 제어부(140)는 복수의 사용자의 관심 영역이 중복되는 부분의 정보, 즉 히팅율이 적은 AR 정보 만을 제공할 수 있다.

또한, 제어부(140)는 사용자의 시선에 따라 AR 정보가 사용자에게 명확하게 인식될 수 있도록 AR 정보의 디스플레이 형태를 변경하여 제공할 수 잇다. 예를 들어, AR 정보의 크기, 형상, 색상, 명암 등을 변경하여 디스플레이할 수 있다.

또한, 제어부(140)는 사용자의 모션 인식을 통해 AR 기능을 제공하거나, AR 모드를 자동으로 변경하는 것도 가능하다. 예를 들어, 제어부(140)는 AR 기능이 OFF 되어 있는 상태에서 AR 기능을 ON시키기 위한 사용자 모션이 인식되면 AR 기능을 자동으로 ON 시킬 수 있다.

한편, 본 발명의 다른 실시 예에 따르면 투명 디스플레이(110)의 일 측 표면에는 가이드부(미도시)가 구비될 수 있다. 여기서, 가이드부(미도시)는 투명 디스플레이(110) 후면 또는 전면에 프린팅된 형태, 물리적 가이드가 구비된 형태 등으로 형성될 수 있으며, 기설정된 라인, 기설정된 도형 등의 형태로 구현될 수 있다.

이 경우, 제어부(140)는 AR 기능이 수행되는 경우, 가이드부와 매핑 가능한 형상의 가이드 GUI를 디스플레이하여 사용자의 시점과 카메라의 촬영 시점이 일치되도록 가이드할 수 있다. 예를 들어, 디스플레이되는 가이드는 투명 디스플레이 장치(100)에 구비된 가이드 부와 동일한 형상이 될 수도 있으나, 유사 또는 상이한 형상이 될 수 있다. 다만, 유사 또는 상이한 형상의 경우 투명 디스플레이 장치(100)에 구비된 가이드 부와 기설정된 연관 형상을 가지도록 구현될 수 있다.

이에 따라 사용자는 디스플레이된 가이드 라인 위치를 조정하여 카메라의 촬영 각도가 사용자의 시선과 일치하도록 설정할 수 있다. 이 경우, 가이드 라인의 위치 조정은 화면 터치, 상하 좌우 버튼 조작 등 다양한 형태로 이루어질 수 있다.

또한, 제어부(140)는 카메라(120)에 의해 촬영되는 영상을 에지 영상 형태로 투명 디스플레이(110)에 디스플레이하여 투명 디스플레이(110)를 통해 사용자에게 투과되어 보이는 영상과 카메라(120)에 의해 촬영되는 영상이 일치되도록 가이드할 수 있다.

다만, 상술한 가이드 기능은 AR 모드 뿐 아니라 일반 촬영 모드에도 적용가능함은 물론이다.

도 4는 본 발명의 구체적인 실시 예에 따른 투명 디스플레이 장치의 구성을 설명하기 위한 블럭도이다. 도 4에 따르면, 투명 디스플레이 장치(100)는 투명 디스플레이(110), 카메라(120), 그래픽 처리부(130), 제어부(140), 감지부(150), 저장부(160) 및 입력부(170)를 포함한다. 도 4에 도시된 구성요소들 중 도 2에 도시된 구성요소와 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.

감지부(150)는 투명 디스플레이(110) 주변의 배경 정보를 센싱한다. 여기서, 배경 정보는, 조도 정보, 배경에 포함된 객체에 대한 정보 등을 포함할 수 있다. 이에 따라 감지부(150)는 조도 센서, IR 센서, CMOS 센서, 촬상 센서 등으로 구현 가능하다. 이 경우, 조도 센서는 여러 가지 광전지를 이용할 수 있지만, 매우 낮은 조도의 측정에는 광전관(光電管)을 이용하는 것도 가능하다. 예를 들어, CDS 조도 센서는 투명 디스플레이 장치(100)에 구비되어 양 방향에 대한 조도를 감지할 수 있다. 이 경우, 조도 센서는 투명 디스플레이 장치(100)의 양면의 기설정된 적어도 하나의 영역에 설치될 수도 있지만, 양면의 각 픽셀 단위에 설치되는 것도 가능하다. 예를 들어, CMOS 센서가 투명 디스플레이(110)의 크기에 대응되도록 확대된 형태의 조도 센서를 설치하여 각 영역 또는 각 픽셀 별 조도 상태를 측정하는 것도 가능하다.

이 경우, 제어부(140)는 감지부(150)에 의해 센싱된 배경 정보에 기초하여 AR 모드의 전환 상태를 제어할 수 있다.

예를 들어, 투명 AR 모드 상태에서, 주변 조명이 밝은 장소에서 어두운 장소로 이동하게 되면 눈의 일시적인 적응에 따른 시청 끊김 현상이 발생할 수 있다. 이에 따라 제어부(140)는 주변 조도가 기설정된 임계 값 이하로 되는 이벤트가 발생되면, 비디오 AR 모드로 전환할 수 있다.

또한, 비디오 AR 모드 상태에서, 주변 조명이 어두운 장소에서 밝은 장소로 이동하게 되면 화면이 잘 안보이는 문제가 발생할 수 있다. 이에 따라 제어부(140)는 주변 조도가 기설정된 임계값을 초과하게 되는 이벤트가 발생되면, 투명 AR 모드로 전환할 수 있다.

또한, 감지부(150)는 피사체와의 거리를 센싱한다. 이 경우, 감지부(150)는 촬상 센서, 뎁스 센서, 거리 센서 등으로 구현 가능하다.

이 경우, 제어부(140)는 감지부(150)에 의해 센싱된 피사체와의 거리에 기초하여 AR 모드의 전환 상태를 제어할 수 있다.

예를 들어, 투명 AR 모드 상태에서, 투명 디스플레이(110)를 통해 투과되어 보이는 스크린 너머 대상과 투명 디스플레이(110)에 디스플레이된 AR 객체를 동시에 보려면 스크린 너머 대상이 스크린 뒤에 일정 거리 내에 있는 경우로 한정된다. 이에 따라 제어부(140)는 스크린 너머 대상과 스크린 사이의 거리가 기설정된 임계 거리 이상으로 되는 이벤트가 발생되면, 비디오 AR 모드로 전환할 수 있다.

또한, 감지부(150)는 배터리 잔량을 센싱한다. 이 경우, 감지부(150)는 배터리 잔량 측정 회로를 포함하도록 구현될 수 있다.

이 경우, 제어부(140)는 감지부(150)에 의해 센싱된 배터리 잔량에 기초하여 AR 모드의 전환 상태를 제어할 수 있다.

예를 들어, 비디오 AR 모드는 카메라 촬영 영상을 디스플레이하여야 하므로 투명 AR 모드보다 상대적으로 배터리 소모량이 크게 된다. 이에 따라 비디오 AR 모드로 동작하는 상태에서 배터리 잔량이 기설정된 임계값 이하가 되는 이벤트가 발생되면, 투명 AR 모드로 전환할 수 있다.

또한, 제어부(140)는 감지부(150)에 의해 센싱된 조도 정보에 기초하여 투명 디스플레이(110) 상에 디스플레이되는 AR 객체에 대응되는 픽셀 영역의 휘도 값 및 색상 값 중 적어도 하나를 조정할 수 있다. 예를 들어, 제어부(140)는 두명 디스플레이 장치(100) 주변 조도가 모두 높아 정보가 디스플레이되는 정보에 대한 식별력이 약한 경우, 해당 정보에 대응되는 픽셀 영역의 휘도를 감소시켜 디스플레이함으로써 디스플레이된 AR 객체가 선명하게 인식되도록 할 수 있다. 이 경우, 제어부(140)는 투명 디스플레이(110)를 구성하는 디스플레이 소자(예를 들어, LCD, OLED 등)의 특성에 따라 휘도를 상이하게 조정할 수 있다.

또한, 제어부(140)는 감지부(150)에 의해 센싱된 배경 정보에 기초하여 투명 디스플레이(110) 상에 디스플레이되는 AR 객체의 디스플레이 위치를 변경할 수 있다. 예를 들어, 투명 디스플레이 장치(100)의 후방에 위치한 객체가 투명하게 비치는 상태에서 정보를 디스플레이하는 경우, 해당 객체가 사용자에게 보여지는 위치, 해당 객체의 형상 및 색상 등에 기초하여 정보의 디스플레이 상태를 변경하여 디스플레이할 수 있다. 여기서, 객체란 구체적인 형상을 가지고 존재하는 것으로, 판매 가능한 상품, 동식물, 가구, 벽, 벽지 등과 같은 다양한 사물이 될 수 있다.

이 경우, 감지부(150)는 촬상된 이미지를 통해 후방 배경에 포함된 객체의 위치를 감지하거나, 광센서를 이용하여 후방으로부터 입사되는 광의 세기를 감지하고, 그 광의 세기 분포를 분석하여 객체의 위치를 감지할 수 있다. 또 다른 예로, 사용자 또는 관리자가 객체의 위치를 직접 입력하여, 객체의 위치를 결정할 수도 있다.

또한, 감지부(150)는 투명 디스플레이 장치(100)의 전방에 위치한 사용자의 위치를 검출할 수 있다. 이 경우에도 상술한 바와 마찬가지로 촬상 소자를 이용하거나, 광 센서를 이용하여 사용자의 위치를 검출할 수 있다.

이상과 같이, 감지부(150)가 후방 배경에 포함된 객체의 위치 및 사용자의 위치를 감지하는 방식은 다양한 실시 예에 따라 상이하게 구현될 수 있다.

저장부(160)에는 카메라(120)에서 촬상된 이미지, 객체 위치 및 사용자의 위치에 대한 정보 및 기타 다양한 정보와, 투명 디스플레이 장치(100)의 동작과 관련하여 사용자가 설정한 각종 세팅 정보, 시스템 구동 소프트웨어(Operating Software), 각종 어플리케이션 프로그램 등이 저장될 수 있다.

입력부(170)는 투명 디스플레이 장치(100)의 동작과 관련하여 다양한 사용자 명령을 입력받기 위한 부분이다. 입력부(170)는 투명 디스플레이의 적어도 일 면에 구비된 터치 패널 또는 터치 스크린, 투명 디스플레이 장치(100)의 본체에 구비된 각종 버튼, 투명 디스플레이 장치(100)에 연결된 키보드, 마우스 등과 같은 외부 입력 수단으로부터 각종 입력 신호를 입력받는 I/O(Input/Output Interface) 등과 같이 다양한 형태로 구현될 수 있다. 사용자는 입력부(170)를 통해 AR 기능, AR 모드 자동 전환 기능을 ON/OFF 시킬 수 있고, AR 객체 표시 위치를 이동하기 위한 조건이나, 이동시의 표시 속성 변경 방식 등을 설정할 수 있다.

일 예로, 투명 디스플레이(110)의 전면 및 후면에서 모두 터치 조작이 가능하도록 양 면에 터치 패널이 구비될 수 있다.

또한, 투명 디스플레이 장치(100)는 사용자의 시선 인식을 위한 시선 인식부(미도시)를 더 포함할 수 있다.

시선 인식부(미도시)는 사용자의 위치, 구체적으로 사용자의 얼굴 위치를 트랙킹하여 해당 정보를 제어부(140)에 제공한다. 이를 위해 트랙킹부(미도시)는 촬상부(미도시) 및 검출부(미도시)를 포함할 수 있다.

촬상부(미도시)는 디스플레이 장치(100)의 외곽 영역에 배치되어 사용자를 촬상한다. 예를 들어, 촬상부(미도시)는 디스플레이 장치(100)의 상단 중앙, 좌단 중앙 또는 우단 중앙 베젤 영역에 배치될 수 있으나, 이에 한정되는 것은 아니다.

촬상부(미도시)는 촬상을 위해 렌즈를 포함한 렌즈 모듈과 이미지 센서를 포함한다. 렌즈를 통해 입력된 형상은 필름의 역할을 하는 이미지 센서에 광학 신호로서 입력되고, 이미지 센서는 입력된 광학 신호를 전기적 신호로 변환하여 검출부(미도시)로 전송한다.

검출부(미도시)는 촬상부(미도시)로부터 수신된 사용자 촬영 이미지로부터 사용자의 얼굴 위치를 검출하고 사용자의 얼굴 위치를 트랙킹한다. 구체적으로, 검출부(미도시)는 이전 프레임 및 현재 프레임에서 검출된 사용자 얼굴 영역의 위치에 기초하여 사용자의 이동 위치를 트랙킹하고, 해당 정보를 제어부(140)에 제공할 수 있다.

얼굴 영역 검출 방법으로는 종래의 다양한 방식이 이용될 수 있다. 구체적으로, 직접인식방법과 통계를 이용한 방법이 이용될 수 있다. 직접인식방법은, 화면에 나타나는 얼굴 영상의 윤곽 피부색 및 구성요소의 크기나 서로 간의 거리 등의 물리적인 특징을 이용한 규칙을 만들고 그 규칙에 따라 비교, 검사 및 측정한다. 통계를 이용한 방법은, 미리 학습된 알고리즘에 따라 얼굴 영역을 검출할 수 있다.

즉, 입력된 얼굴이 가지고 있는 고유의 특징들을 데이터화하여 준비된 대량의 데이터 베이스(얼굴과 그 외의 사물의 형체들)과 비교분석하는 방법이다. 특히, 미리 학습된 알고리즘에 따라 얼굴 영역을 검출할 수 있는데 MLP(Multi Layer Perceptron)와 SVM (Support Vector Machine)와 같은 방식이 이용될 수 있다. 이에 대한 자세한 설명은 생략하도록 한다.

한편, 제어부(140)는 RAM(141), ROM(142), 메인 CPU(143), 제1 내지 n 인터페이스(144-1 ~ 144-n), 버스(145)를 포함한다.

RAM(141), ROM(142), 메인 CPU(143), 제1 내지 n 인터페이스(144-1 ~ 144-n) 등은 버스(145)를 통해 서로 연결될 수 있다.

제1 내지 n 인터페이스(144-1 내지 144-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.

메인 CPU(133)는 저장부(160)에 액세스하여, 저장부(160)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 저장부(160)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.

ROM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(143)는 ROM(142)에 저장된 명령어에 따라 저장부(160)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(143)는 저장부(160)에 저장된 각종 어플리케이션 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.

도 5는 본 발명의 일 실시 예에 따른 AR 모드 전환 기능을 설명하기 위한 흐름도이다.

도 5에 도시된 실시 예에 따르면, 기설정된 이벤트에 따라 AR 기능이 실행되면(S510), 카메라 및 거리 센서를 ON 시킨다(S520). 여기서, 기설정된 이벤트는 사용자 명령을 포함한 다양한 이벤트가 될 수 있다.

이어서, 카메라를 통해 촬영된 영상에 기반하여 사용자 맞춤 정보를 분석한다(S530). 구체적으로, 촬영된 영상에 기반하여 대응되는 정보를 추출/검색하여 해당 정보에 대응되는 AR 객체를 생성할 수 있다. 예를 들어, 촬영된 영상이 음식물인 경우 해당 음식물의 칼로리 정보에 대응되는 AR 객체를 생성할 수 있다.

이어서, 스크린 즉, 투명 디스플레이 및 객체 간 거리(d)를 모니터링한다(S540). 이 경우, 상술한 바와 같이 카메라, 거리 센서, 뎁스 센서 등이 거리를 모니터링하는데 활용될 수 있다.

투명 디스플레이 및 객체 간 거리(d)에 기초하여, 투명 디스플레이 및 객체 간 거리(d)가 기설정된 임계 거리(Ta)보다 크지 않은 경우(S550:N)에는 투명 AR 모드를 활성화시킨다(S560). 즉, 투명한 스크린을 통해 후면 배경이 투명하게 비치는 상태에서 AR 객체를 디스플레이할 수 있다.

디스플레이 및 객체 간 거리(d)가 기설정된 임계 거리(Ta)보다 큰 경우(S550:Y)에는 투명/불투명 상태를 조정하여(S570) 비디오 AR 모드를 활성화시킨다(S580). 즉, 불투명하게 조정된 스크린에 카메라를 통해 촬영된 영상이 디스플레이되는 상태에서 AR 객체를 디스플레이할 수 있다.

이에 따라 투명 디스플레이 및 객체 간 거리(d) 거리에 따른 자연스러운 화면 구성이 가능하게 된다.

도 6은 도 5에 도시된 실시 예를 구체적인 예를 들어 설명하기 위한 도면이다.

도 6에 도시된 바에 따르면, AR 기능이 ON 된 상태에서 기설정된 임계 거리(Ta) 이내에서 객체, 예를 들어 파스타(610)가 촬영되면, 투명 AR 모드가 실행되어 파스타(610)가 투명하게 비치는 상태에서 객체에 대응되는 정보, 예를 들어, 칼로리 정보(620)를 포함하는 AR 객체가 디스플레이될 수 있다.

이어서, 객체와 스크린과의 거리(d)가 기설정된 임계 거리(Ta)를 초과하게 되면, 투명 AR 모드가 비디오 AR 모드로 전환될 수 있다. 구체적으로, 스크린이 점점 불투명하게 조정되면서 카메라에 의해 촬영된 영상(630)이 디스플레이되면서 해당 영상에 영상에 포함된 객체, 예를 들어 파스타, 샐러드, 빵 등에 대응되는 AR 정보(631 내지 634)가 함께 디스플레이될 수 있다. 이 경우, AR 객체는 촬영 영상에 함께 렌더링되어 디스플레이될 수도 있지만, 디스플레이되는 영상에 OSD 형태로 디스플레이될 수도 있고, 촬영 영상이 디스플레이된 Layer와 다른 Layer에 디스플레이되는 등 다양한 형태로 제공될 수 있다.

도 7은 본 발명의 다른 실시 예에 따른 AR 모드 전환 기능을 설명하기 위한 흐름도이다.

도 7에 도시된 실시 예에 따르면, 기설정된 이벤트에 따라 AR 기능이 실행되면(S710), 카메라 및 조도 센서를 ON 시킨다(S720). 여기서, 기설정된 이벤트는 사용자 명령을 포함한 다양한 이벤트가 될 수 있다.

이어서, 카메라를 통해 촬영된 영상에 기반하여 사용자 맞춤 정보를 분석한다(S730). 구체적으로, 촬영된 영상에 기반하여 대응되는 정보를 추출/검색하여 해당 정보에 대응되는 AR 객체를 생성할 수 있다. 예를 들어, 촬영된 영상이 음식물인 경우 해당 음식물의 칼로리 정보에 대응되는 AR 객체를 생성할 수 있다.

이어서, 주변 조명(또는 조도)를 센싱한다(S740).이 경우, 상술한 바와 같이 카메라, 조도 센서 등이 조명을 센싱하는데 활용될 수 있다.

주변 조명이 기설정된 임계값 이상으로 변하지 않는 경우(S750:N)에는 기존 AR 모드를 유지한다(S760).

또한, 주변 조명이 기설정된 임계값 이상으로 변하는 경우(S750:Y)에는 AR 모드를 전환할 수 있다(S770). 다만, 경우에 따라서는 AR 모드 전환을 유도하는 UI를 제공하는 것도 가능하다.

이 경우, 기존 AR 모드를 전환될 AR 모드로 완전히 대체하는 것도 가능하지만, 기존 AR 모드를 보조 화면으로 제공하고 전환될 AR 모드를 메인 화면으로 제공하는 것도 가능하다. 또는 화면을 분할하여 제공하는 것도 가능하다.

도 8은 도 7에 도시된 실시 예를 구체적인 예를 들어 설명하기 위한 도면이다.

도 8에 도시된 바와 같이, 비디오 AR 모드를 제공하는 상태 즉, 카메라 촬영 영상(810)에 AR 객체(821 내지 824)가 제공되고 있는 상태에서, 주변 조명이 투명 AR 모드를 제공하기에 적합한 상태로 변경되는 경우를 가정하도록 한다.

예를 들어, 조명이 어두운 실내에서 조명이 밝은 실외, 특히 햇빛이 쨍쨍한 곳으로 이동하는 경우 비디오 AR 모드에 따른 화면을 보조 화면(840)으로 디스플레이하고, 투명 AR 모드에 따른 화면을 메인 화면(830)에 디스플레이할 수 있다.

한편, 도면에는 도시되지 않았지만 반대로 조명이 밝은 환경에서 투명 AR 모드를 실행하다가 조명이 어두운 환경으로 이동하게 되면 투명 AR 모드를 보조 화면으로 제공하고 비디오 AR 모드를 메인 화면으로 제공할 수 있다.

도 9는 본 발명의 또 다른 실시 예에 따른 AR 모드 전환 기능을 설명하기 위한 흐름도이다.

도 9에 도시된 실시 예에 따르면, 기설정된 이벤트에 따라 AR 기능이 실행되면(S910), 카메라, 조도 센서, 거리 센서 등을 ON 시킨다(S920). 여기서, 기설정된 이벤트는 사용자 명령을 포함한 다양한 이벤트가 될 수 있다.

이어서, 카메라를 통해 촬영된 영상에 기반하여 사용자 맞춤 정보를 분석한다(S930). 구체적으로, 촬영된 영상에 기반하여 대응되는 정보를 추출/검색하여 해당 정보에 대응되는 AR 객체를 생성할 수 있다.

이어서, 배터리 정보(B)를 센싱한다(S940). 이 경우, 상술한 바와 같이 배터리 측정 회로 등이 배터리 잔량을 센싱하는데 활용될 수 있다.

센싱된 배터리 잔량(B)이 기설정된 임계값(Ba)보다 작지 않은 경우(S950:N)에는 기존 AR 모드를 유지한다(S960).

또한, 센싱된 배터리 잔량(B)이 기설정된 임계값(Ba)보다 작은 경우(S950:Y)에는 AR 모드를 전환할 수 있다(S770). 다만 이 경우, 기존 AR 모드가 투명 AR 모드인 경우에는 기존 AR 모드를 유지하고, 기존 AR 모드가 배터리 소모량이 많은 비디오 AR 모드인 경우, 투명 AR 모드로 전환할 수 있다. 다만, 경우에 따라서는 AR 모드 전환을 유도하는 UI를 제공하는 것도 가능하다.

또한, 도면에는 도시되지 않았지만, 센싱된 배터리 잔량(B)이 기설정된 최소 임계값보다 작은 경우에는 AR 모드를 강제로 종료하는 것도 가능하다.

도 10은 본 발명의 또 다른 실시 예에 따른 AR 모드 전환 기능을 설명하기 위한 흐름도이다.

도 10에 따르면, 기설정된 이벤트에 따라 차량의 전방 유리창에 구비된 투명 디스플레이에서 AR 기능이 실행되면(S1010), 카메라, 조도 센서, 기후 센서 등 기본적인 차량용 센서를 ON 시키고, 기본 AR 화면을 구성할 수 있다.(S1020). 여기서, 기설정된 이벤트는 사용자 명령을 포함한 다양한 이벤트가 될 수 있다.

이어서, 조명, 날씨 등 운전 환경을 모니터링한다(S1040). 이 경우, 상술한 바와 같이 카메라, 조도 센서, 기후 센서 등이 운전 환경을 모니터링하는데 이용될 수 있다.

이어서, 운전 환경에 기설정된 변화가 있는 경우(S1050:Y), 즉 운전자의 운전에 영향을 미치는 환경 변화가 있는 경우 투명 AR 모드 및 비디오 AR 모드를 별도로 처리하여 오버레이시켜 제공할 수 있다(S1070). 예를 들어, 날씨가 어두어지고 비가 오는 경우 전방 시야 확보가 어려워 투명 AR 모드에 따른 화면을 운전자가 인식하기 어려워지므로 비디오 AR 모드에 따른 객체를 투명 AR 모드에 오버레이시켜 제공할 수 있다.

다만, 운전 환경에 변화가 기설정된 변화가 없는 경우(S1050:N), 기존 AR 모드를 유지할 수 있다.

한편, 투명 AR 모드 및 비디오 AR 모드가 오버레이되어 제공되는 S1070 단계에서, 다시 운전 환경이 안정되는 경우에는 기존 AR 모드로 변경할 수 있다.

도 11은 도 10에 도시된 실시 예를 구체적인 예를 들어 설명하기 위한 도면이다.

도 11에 도시된 바와 같이, 차량의 전방 유리창(1110)에서 투명 AR 모드를 제공하는 상태 즉, 차량 전방 투명 디스플레이(1110)에 AR 객체(1120)가 제공되고 있는 상태(도 11 상측)에서, 운전 환경이 변화하는 경우를 가정하도록 한다.

도 11의 하측에 도시된 바와 같이 날씨가 어두어지고 비가 오는 경우 전방 시야 확보가 어려워 투명 AR 모드에 따른 화면을 운전자가 인식하기 어려워지므로 비디오 AR 모드에 따른 객체(1130)를 투명 AR 모드에 오버레이시켜 제공할 수 있다. 예를 들어, 도로의 윤곽선, 전방 물체의 실루엣 등을 비디오 AR 기반으로 전면 유리창에 투영해주어 운전자의 안전 운전을 도와줄 수 있다.

도 12는 본 발명의 또 다른 실시 예를 설명하기 위한 도면이다.

도 12에 도시된 바와 같이 AR 기반 네비게이션 동작시 사용자의 현재 위치 즉, 투명 디스플레이 장치(100)의 위치와 목표 위치가 기설정된 거리 이상인 경우 비디오 AR 모드를 제공하여 길 안내를 수행할 수 있다(도 12 상측). 즉, 카메라에 의해 촬상된 영상(1210)을 AR 객체와 함께 디스플레이할 수 있다.

이 후, 목표 위치로부터 기설정된 거리 내에 진입하게 되면 투명 AR 모드로 전환하여(도 12 하측), 안전하고 편안한 길 안내를 제공할 수 있다.

또는 도면에는 도시되지 않았지만, 전면에 구비된 카메라로 사용자의 시선 위치를 파악하여 디스플레이 정면을 바라보는 경우는 투명 AR 모드를 제공하고, 디스플레이 상측, 하측, 측면 등을 바라보는 경우에는 비디오 AR 모드를 제공하는 것도 가능하다.

도13은 본 발명의 또 다른 실시 예에 따른 AR 모드 전환 기능을 설명하기 위한 도면이다.

도 13에 도시된 바와 같이 투명 AR 모드로 동작 중에 전화 또는 메시지가 수신되는 이벤트가 발생되면, 투명 디스플레이 장치(100)는 해당 이벤트에 따른 내용을 디스플레이하면서 비디오 AR 모드로 변경될 수 있다.

예를 들어, 투명 디스플레이 장치(100)는 메시지가 수신되면 화면의 일 영역 상에 수신된 메시지와 관련된 UI(1310)를 제공하고, 다른 영역 상에 비디오 AR 모드에 따른 UI화면(1320)을 제공할 수 있다.

도 14 는 본 발명의 또 다른 실시 예에 따른 AR 모드 제공 방법을 설명하기 위한 도면이다.

도 14에 따르면, AR 정보 제공시, 사용자의 시선을 감지하여 사용자의 시선의 시선이 벗어날 확률이 적은 즉, 히팅(hitting)율이 높은 AR 정보(1410)만을 제공할 수 있다.

또한, 도면에는 도시되지 않았지만 복수의 사용자의 관심 영역이 중복되는 부분의 정보, 즉 히팅율이 적은 AR 정보 만을 제공할 수 있다.

도 15a 내지 도 15c는 본 발명의 또 다른 실시 예에 따른 가이드 기능을 설명하기 위한 도면이다.

도 15a에 도시된 바와 같이 투명 디스플레이 장치(100)의 디스플레이 표면에 구비되는 가이드부(1511) 및 디스플레이 영상 내에 디스플레이되는 가이드 GUI(1512)를 통해 사용자 시점에 따른 영상과 카메라 영상이 일치되도록 가이드할 수 있다.

도 15b에 도시된 예에 따르면, 사용자 시점에 따라 투명 디스플레이를 통해 보여지는 영상의 기준이 되는 십자 형상의 가이드부(1511)와 카메라 영상(1520)의 기준이 되는 동일한 형상의 가이드 GUI(1512)가 함께 제공된다.

이 경우, 사용자는 도 15c에 도시된 바와 같이 가이드 GUI(1512)의 위치가 가이드부(1511)의 위치와 일치되도록 조정하여 사용자 시점과 카메라 시점이 일치되도록 할 수 있다.

도 16a 내지 도 16d는 본 발명의 다양한 구현 예에 따른 가이드 부 및 가이드 GUI의 형태를 설명하기 위한 도면이다.

도 16a 내지 도 16d에서 점선은 투명 디스플레이 장치(100)의 디스플레이 표면에 구비되는 가이드부(1611, 1621, 1631, 1641)를, 실선은 디스플레이 영상 내에 디스플레이되는 가이드 GUI(1612, 1622, 1632, 1642)를 나타낸다. 또한, 각 도면에서 가장 하측에 도시된 도면은 가이드 부(1611, 1621, 1631, 1641)와 가이드 GUI(1612, 1622, 1632, 1642)가 함께 제공되어 일치된 경우를 도시하는 것으로 설명의 편의를 위해 영상을 제거하고 도시하였다.

도시된 바와 같이 가이드부 및 가이드 GUI는 동일한 형상 뿐 아니라, 서로 매칭될 수 있는 다양한 형태로 제공될 수 있다.

도 17a 내지 도 17c는 가이드 GUI의 조정 방법을 설명하기 위한 도면들이다.

도 17a 및 도 17b에 도시된 바와 같이 사용자는 가이드 GUI(1720)의 위치를 조정하여 사용자가 촬영하고자 하는 각도를 설정할 수도 있다. 이 경우, 가이드 GUI(1720)은 화면 터치, 상하 좌우 버튼 조작 등 다양한 형태로 이루어질 수 있다.

예를 들어 사용자가 좌측 11°각도에서 촬영하고자 하는 경우, 가이드 GUI(1720)를 가이드부(1710)로부터 그에 대응되는 거리 만큼 이동시킬 수 있다.

도 17c는 촬영 각도에 대응되는 이동 거리를 예를 들어 설명하기 위한 표로서, 도 17c에 도시된 바에 따르면 디스플레이 두께가 2 mm 인 경우 촬영하고자 하는 각도인 11 °에 해당되는 200 μm 만큼 이동시킬 수 있다.

도 18은 본 발명의 또 다른 실시 예에 따른 가이드 제공 방법을 설명하기 위한 도면이다.

도 18에 따르면, 투명 디스플레이 장치(100)는 카메라에 의해 촬영되는 영상(1820)이 에지 영상 형태로 디스플레이하여 가이드 GUI의 기능을 제공할 수 있다. 이 경우, 에지 영상의 위치는 화면 터치, 상하 좌우 버튼 조작 등 다양한 형태의 사용자 조작에 따라 조정될 수 있다. 본 실시 예에서, 사용자는 투명 디스플레이를 통해 사용자에게 투과되어 보이는 에지 영상(1810)과 카메라에 의해 촬영되는 영상(1820)이 정합되도록 에지 영상(1810)의 위치를 조정하여 사용자의 시선과 카메라의 촬영 방향이 일치되도록 할 수 있다.

도 19는 본 발명의 일 실시 예에 따른 투명 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.

도 19에 도시된 투명 디스플레이 및 카메라를 구비하는 투명 디스플레이 장치의 제어 방법에 따르면, 투명 디스플레이에 AR 객체를 디스플레이하는 투명 AR 모드 및 카메라의 촬영 이미지 상에 AR 객체를 디스플레이하는 비디오 AR 모드 중 하나의 모드로 동작한다(S1910). 예를 들어, AR 모드를 선택과 함께 AR 기능을 실행하는 사용자 명령에 따라 하나의 AR 모드로 동작할 수 있다.

이어서, 기 설정된 이벤트가 발생하면(S1920:Y), 타 AR 모드로 전환한다(S1930).

또한, 제어 방법은, 피사체와의 거리를 감지하는 단계를 더 포함하며, 타 AR 모드로 전환하는 S1930 단계에서는, 감지된 피사체와의 거리가 기설정된 거리 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환할 수 있다.

또한, 제어 방법은, 조도 정보 및 시청 환경 정보 중 적어도 하나를 감지하는 단계를 더 포함하며, 타 AR 모드로 전환하는 S1930 단계에서는, 감지된 조도 정보 및 시청 환경 정보 중 적어도 하나가 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환할 수 있다.

또한, 배터리 잔량을 감지하는 단계를 더 포함하며, 타 AR 모드로 전환하는 S1930 단계에서는, 감지된 배터리 잔량이 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환할 수 있다.

또한, 타 AR 모드로 전환하는 S1930 단계에서는 투명 AR 모드로 동작 중 모드 전환 이벤트가 발생되는 경우, 투명 디스플레이의 투명도를 점진적으로 감소시켜 비디오 AR 모드에 따른 화면을 디스플레이할 수 있다.

또한, 타 AR 모드로 전환하는 S1930 단계에서는, 모드 전환 이벤트에 따라, 전환될 AR 모드를 메인 화면으로 디스플레이하고, 현재 AR 모드를 보조 화면으로 투명 디스플레이의 일 영역 상에 디스플레이할 수 있다.

또한, 타 AR 모드로 전환하는 S1930 단계에서는, 모드 전환 이벤트에 따라, 전환될 AR 모드에 따른 화면을 현재 AR 모드에 따른 화면 상에 중첩하여 디스플레이할 수 있다.

또한, 타 AR 모드로 전환하는 S1930 단계는, 모드 전환 이벤트에 따라, 화면을 분할하여 전환될 AR 모드를 분할된 제1 화면으로 디스플레이하고, 현재 AR 모드를 분할된 제2 화면으로 디스플레이할 수 있다.

또한, 투명 디스플레이 장치는, 투명 디스플레이의 표면에 구비되는 가이드부를 더 포함하며, 제어 방법은, 가이드부와 매핑 가능한 형상의 가이드 GUI를 디스플레이하여 사용자의 시점과 상기 카메라의 촬영 시점이 일치되도록 가이드하는 단계를 더 포함할 수 있다.

또한, 제어 방법은, 카메라에 의해 촬영되는 영상을 에지 영상 형태로 투명 디스플레이에 디스플레이하여 투명 디스플레이를 통해 사용자에게 투과되어 보이는 영상과 카메라에 의해 촬영되는 영상이 일치되도록 가이드하는 단계를 더 포함할 수 있다.

이상과 같이, 본 발명의 다양한 실시 예에 따르면, 사용 환경에 적합한 AR 모드를 자동으로 제공하여 사용자의 편의성이 향상된다.

한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.

구체적으로는, 본 발명의 일 실시 예에 따르면, 투명 디스플레이에 AR 객체를 디스플레이하는 투명 AR 모드 및 카메라의 촬영 이미지 상에 AR 객체를 디스플레이하는 비디오 AR 모드 중 하나의 모드로 동작하는 단계 및 기 설정된 이벤트가 발생하면 타 AR 모드로 전환하는 단계를 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.

비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 투명 디스플레이　　　　　　　　　　　120 : 카메라
130 : 그래픽 처리부 140 : 제어부　　　　　　　　　　　　　　　　　　　　

Claims

투명 디스플레이 장치에 있어서,
투명 디스플레이;
카메라;
AR(Augmented Reality) 객체를 생성하는 그래픽 처리부; 및
상기 투명 디스플레이에 상기 AR 객체를 디스플레이하는 투명 AR 모드 및 상기 카메라의 촬영 이미지 상에 상기 AR 객체를 디스플레이하는 비디오 AR 모드 중 하나의 모드로 동작하다가 기 설정된 이벤트가 발생하면 타 AR 모드로 전환하는 제어부;를 포함하는 투명 디스플레이 장치.
제1항에 있어서,
피사체와의 거리를 감지하는 감지부;를 더 포함하며,
상기 제어부는,
상기 감지부에 의해 감지된 피사체와의 거리가 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환하는 것을 특징으로 하는 투명 디스플레이 장치.
제1항에 있어서,
배경 정보를 감지하는 감지부;를 더 포함하며,
상기 제어부는,
상기 감지부에 의해 감지된 조도 정보 및 시청 환경 정보 중 적어도 하나가 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환하는 것을 특징으로 하는 투명 디스플레이 장치.
제1항에 있어서,
배터리 잔량을 감지하는 감지부;를 더 포함하며,
상기 제어부는,
상기 감지부에 의해 감지된 배터리 잔량이 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환하는 것을 특징으로 하는 투명 디스플레이 장치.
제1항에 있어서,
상기 제어부는,
투명 AR 모드로 동작 중 모드 전환 이벤트가 발생되는 경우, 상기 투명 디스플레이의 투명도를 점진적으로 감소시켜 비디오 AR 모드에 따른 화면을 디스플레이하도록 제어하는 것을 특징으로 하는 투명 디스플레이 장치.
제1항에 있어서,
상기 제어부는,
모드 전환 이벤트에 따라, 전환될 AR 모드를 메인 화면으로 디스플레이하고, 현재 AR 모드를 보조 화면으로 상기 투명 디스플레이의 일 영역 상에 디스플레이하도록 제어하는 것을 특징으로 하는 투명 디스플레이 장치.
제1항에 있어서,
상기 제어부는,
모드 전환 이벤트에 따라, 전환될 AR 모드에 따른 화면을 현재 AR 모드에 따른 화면 상에 중첩하여 디스플레이하도록 제어하는 것을 특징으로 하는 투명 디스플레이 장치.
제1항에 있어서,
상기 제어부는,
모드 전환 이벤트에 따라, 화면을 분할하여 전환될 AR 모드를 분할된 제1 화면으로 디스플레이하고, 현재 AR 모드를 분할된 제2 화면으로 디스플레이하도록 제어하는 것을 특징으로 하는 투명 디스플레이 장치.
제1항에 있어서,
사용자의 시선을 인식하는 시선 인식부;를 더 포함하며,
상기 제어부는,
상기 인식된 사용자의 시선에 기초하여 사용자의 시선에서 벗어날 확률이 적은 영역에 상기 AR 객체를 디스플레이하는 것을 특징으로 하는 투명 디스플레이 장치.
제1항에 있어서,
상기 투명 디스플레이의 표면에 구비되는 가이드부;를 더 포함하며,
상기 제어부는,
상기 가이드부와 매핑 가능한 형상의 가이드 GUI를 디스플레이하여 사용자의 시점과 상기 카메라의 촬영 시점이 일치되도록 가이드하는 것을 특징으로 하는 투명 디스플레이 장치.
제1항에 있어서,
상기 제어부는,
상기 카메라에 의해 촬영되는 영상을 에지 영상 형태로 상기 투명 디스플레이에 디스플레이하여 상기 투명 디스플레이를 통해 사용자에게 투과되어 보이는 영상과 상기 카메라에 의해 촬영되는 영상이 일치되도록 가이드하는 것을 특징으로 하는 투명 디스플레이 장치.
투명 디스플레이 및 카메라를 구비하는 투명 디스플레이 장치의 제어 방법에 있어서,
상기 투명 디스플레이에 AR 객체를 디스플레이하는 투명 AR 모드 및 상기 카메라의 촬영 이미지 상에 AR 객체를 디스플레이하는 비디오 AR 모드 중 하나의 모드로 동작하는 단계; 및
기 설정된 이벤트가 발생하면 타 AR 모드로 전환하는 단계;를 포함하는 제어 방법.
제12항에 있어서,
피사체와의 거리를 감지하는 단계;를 더 포함하며,
상기 타 AR 모드로 전환하는 단계는,
상기 감지된 피사체와의 거리가 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환하는 것을 특징으로 하는 제어 방법.
제12항에 있어서,
조도 정보 및 시청 환경 정보 중 적어도 하나를 감지하는 단계;를 더 포함하며,
상기 타 AR 모드로 전환하는 단계는,
상기 감지된 조도 정보 및 시청 환경 정보 중 적어도 하나가 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환하는 것을 특징으로 하는 제어 방법.
제12항에 있어서,
배터리 잔량을 감지하는 단계;를 더 포함하며,
상기 타 AR 모드로 전환하는 단계는,
상기 감지된 배터리 잔량이 기설정된 조건을 만족하는 이벤트가 발생하면, 타 AR 모드로 전환하는 것을 특징으로 하는 제어 방법.
제12항에 있어서,
상기 타 AR 모드로 전환하는 단계는,
투명 AR 모드로 동작 중 모드 전환 이벤트가 발생되는 경우, 상기 투명 디스플레이의 투명도를 점진적으로 감소시켜 비디오 AR 모드에 따른 화면을 디스플레이하는 것을 특징으로 하는 제어 방법.
제12항에 있어서,
상기 타 AR 모드로 전환하는 단계는,
모드 전환 이벤트에 따라, 전환될 AR 모드를 메인 화면으로 디스플레이하고, 현재 AR 모드를 보조 화면으로 상기 투명 디스플레이의 일 영역 상에 디스플레이하거나, 화면을 분할하여 전환될 AR 모드를 분할된 제1 화면으로 디스플레이하고 현재 AR 모드를 분할된 제2 화면으로 디스플레이하도록 제어하는 것을 특징으로 하는 제어 방법.
제12항에 있어서,
상기 타 AR 모드로 전환하는 단계는,
모드 전환 이벤트에 따라, 전환될 AR 모드에 따른 화면을 현재 AR 모드에 따른 화면 상에 중첩하여 디스플레이하는 것을 특징으로 하는 제어 방법.
제12항에 있어서,
상기 투명 디스플레이 장치는,
상기 투명 디스플레이의 표면에 구비되는 가이드부를 더 포함하며,
상기 가이드부와 매핑 가능한 형상의 가이드 GUI를 디스플레이하여 사용자의 시점과 상기 카메라의 촬영 시점이 일치되도록 가이드하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.
제12항에 있어서,
상기 카메라에 의해 촬영되는 영상을 에지 영상 형태로 상기 투명 디스플레이에 디스플레이하여 상기 투명 디스플레이를 통해 사용자에게 투과되어 보이는 영상과 상기 카메라에 의해 촬영되는 영상이 일치되도록 가이드하는 단계;를 더 포함하는 것을 특징으로 하는 제어 방법.