KR101896099B1 - 투명 디스플레이 장치 및 그 디스플레이 방법 - Google Patents

투명 디스플레이 장치 및 그 디스플레이 방법 Download PDF

Info

Publication number
KR101896099B1
KR101896099B1 KR1020170142444A KR20170142444A KR101896099B1 KR 101896099 B1 KR101896099 B1 KR 101896099B1 KR 1020170142444 A KR1020170142444 A KR 1020170142444A KR 20170142444 A KR20170142444 A KR 20170142444A KR 101896099 B1 KR101896099 B1 KR 101896099B1
Authority
KR
South Korea
Prior art keywords
user
information
area
display
unit
Prior art date
Application number
KR1020170142444A
Other languages
English (en)
Other versions
KR20170125306A (ko
Inventor
윤일국
이근호
이창수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170142444A priority Critical patent/KR101896099B1/ko
Publication of KR20170125306A publication Critical patent/KR20170125306A/ko
Application granted granted Critical
Publication of KR101896099B1 publication Critical patent/KR101896099B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G06K9/00671—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • G09F9/35—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements being liquid crystals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

투명 디스플레이 장치가 개시된다. 본 장치는, 정보를 디스플레이하는 투명 디스플레이부, 투명 디스플레이부로부터 제1 방향에 있는 물체의 위치를 감지하는 제1 감지부, 투명 디스플레이부로부터 제2 방향에 있는 사용자의 위치를 감지하는 제2 감지부, 감지된 물체의 위치 및 사용자의 위치를 기반으로, 사용자의 위치에서 투명 디스플레이상에 물체가 투과되어 보이는 영역을 추정하는 제어부를 포함한다. 여기서, 제어부는, 투과되어 보이는 영역을 고려하여 투명 디스플레이부에 정보를 디스플레이한다. 이에 따라, 정보의 식별력을 높일 수 있다.

Description

투명 디스플레이 장치 및 그 디스플레이 방법 { TRANSPARENT DISPLAY APPARATUS AND METHOD THEREOF }
본 발명은 투명 디스플레이 장치 및 그 디스플레이 방법에 대한 것으로, 보다 상세하게는, 화면 각 영역의 식별력을 고려하여 객체를 디스플레이하는 투명 디스플레이 장치 및 그 디스플레이 방법에 대한 것이다.
전자 기술의 발달에 힘입어 다양한 분야에서, 다양한 유형의 디스플레이 장치가 사용되고 있다. 특히, 최근에는 투명 디스플레이 장치와 같은 차세대 디스플레이 장치에 대한 연구 논의가 가속화되고 있다.
투명 디스플레이 장치란 투명한 성질을 가져서 장치 뒷쪽 배경이 그대로 비치는 장치를 의미한다. 종래에는 실리콘(Si), 갈륨비소(GaAs) 등과 같은 불투명 반도체 화합물을 이용하여 디스플레이 패널을 제작하였으나, 기존의 디스플레이 패널로는 감당할 수 없는 다양한 응용분야가 개척되면서, 새로운 형태의 전자 소자에 대한 개발 노력이 이루어졌었다. 이러한 노력 하에 개발된 것 중 하나가 투명 디스플레이 장치이다.
투명 디스플레이 장치는 투명한 산화물 반도체막을 포함하는 형태로 구현되어, 투명한 성질을 가지게 된다. 투명 디스플레이 장치를 사용할 경우 사용자는 장치 뒷쪽에 위치하는 후면 배경을 보면서, 필요한 정보를 투명 디스플레이 장치 화면을 통해 볼 수 있게 된다. 따라서, 기존 디스플레이 장치들이 가지고 있는 공간적, 시간적 제약을 해소할 수 있게 된다.
투명 디스플레이 장치는 다양한 용도로 다양한 환경에서 편리하게 사용될 수 있다. 가령, 상점의 쇼윈도가 투명 디스플레이 장치로 구현될 경우 사용자가 지나가면 광고 문구를 쇼윈도에 표시하여 사용자가 흥미를 가지도록 구현할 수 있다. 또한, 일반 가정 내에서 베란다 창문을 투명 디스플레이 장치로 구현할 경우, 사용자는 각종 멀티미디어 컨텐츠를 사이즈가 큰 베란다 창문을 통해 시청할 수 있게 되어, 사용자 만족도를 증대시킬 수도 있다.
이와 같이, 투명 디스플레이 장치는 그 투명한 성질 때문에 기존 디스플레이 장치에 비해 많은 장점을 가지게 되지만, 반대로 그 투명한 성질 때문에 발생하는 문제점도 가지고 있다. 가령, 투명한 성질 때문에 화면 상의 정보가 잘 보이지 않게 되는 문제점이 있을 수 있다.
따라서, 투명 디스플레이 장치를 보다 효과적으로 다양하게 사용할 수 있는 기술에 대한 필요성이 대두되었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은,　정보를 효과적으로 디스플레이 할 수 있는　투명 디스플레이 장치 및 그 디스플레이 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 투명 디스플레이 장치는, 정보를 디스플레이하는 투명 디스플레이부, 상기 투명 디스플레이부로부터 제1 방향에 있는 물체의 위치를 감지하는 제1 감지부, 상기 투명 디스플레이부로부터 제2 방향에 있는 사용자의 위치를 감지하는 제2 감지부, 상기 감지된 물체의 위치 및 사용자의 위치를 기반으로, 상기 사용자의 위치에서 상기 투명 디스플레이상에 상기 물체가 투과되어 보이는 영역을 추정하는 제어부를 포함한다. 여기서, 상기 제어부는, 상기 투과되어 보이는 영역을 고려하여 상기 투명 디스플레이부에 상기 정보가 디스플레이되도록 제어한다.
*그리고, 상기 제1 감지부는, 상기 투명 디스플레이부의 제1 방향에 있는 상기 물체를 포함하는 적어도 하나의 사물을 촬상하는 제1 촬상부, 상기 촬상된 적어도 하나의 사물의 이미지 픽셀 정보를 이용하여 에지를 검출하는 제1 검출부, 상기 검출된 에지를 이용하여 상기 적어도 하나의 사물 중에서 상기 물체를 식별하고, 상기 식별된 물체의 위치 및 식별 영역을 검출하는 제2 검출부를 포함한다.
여기서, 상기 제어부는, 상기 검출된 식별 영역의 크기 및 위치를 이용하여 상기 사용자의 위치에서 상기 투명 디스플레이부 상에 상기 물체가 투과되어 보이는 영역을 추정할 수 있다.
또한, 상기 투명 디스플레이부는, 기 설정된 사이즈의 가상 분할 영역으로 구분되고, 상기 제어부는, 상기 가상 분할 영역 중에서 상기 식별 영역이 차지하는 영역을 상기 물체가 투과되어 보이는 영역으로 추정할 수 있다.
여기서, 상기 가상 분할 영역은 매트릭스 테이블로 매핑되고, 상기 제어부는, 상기 매트릭스 테이블 내에서 상기 물체가 투과되어 보이는 영역에 매핑되는 셀과, 상기 정보의 표시 영역에 매핑되는 셀 간의 상관 관계에 따라, 상기 정보의 표시 위치를 조정할 수 있다.
그리고, 상기 제어부는, 상기 정보의 표시 위치를 조정하면서, 상기 정보의 표시 속성을 변경하며, 상기 표시 속성은, 정보 표시 영역의 크기, 컬러, 굵기, 폰트, 배경색 중 적어도 하나가 될 수 있다.
또한, 본 투명 디스플레이 장치는, 상기 매트릭스 테이블이 저장된 저장부를 더 포함할 수 있다. 여기서, 상기 제어부는 상기 매트릭스 테이블 내의 각 셀 중에서 상기 제1 감지부에서 감지된 상기 물체의 위치에 매칭되는 셀과, 상기 제2 감지부에서 감지된 상기 사용자의 위치에 매칭되는 셀의 중복 영역 또는 가산 영역과, 상기 정보의 표시 영역의 적어도 일부가 겹치면 상기 정보의 표시 위치를 타 영역으로 이동시킬 수 있다.
그리고, 상기 제1 촬상부는 복수 개이며, 상기 제어부는 상기 복수 개의 제1 촬상부 중에서, 상기 제2 감지부에서 감지된 상기 사용자의 위치에 대응되는 제1 촬상부를 선택적으로 구동시켜 촬상을 수행할 수 있다.
또는, 상기 제1 촬상부는 상기 사용자의 위치에 따라 회전 가능할 수 있다.
*또한, 상기 제2 감지부는, 상기 제2 방향으로 촬상을 수행하는 제2 촬상부, 상기 제2 촬상부에서 촬상된 이미지를 이용하여 상기 사용자의 위치를 검출하는 사용자 위치 검출부를 포함할 수 있다.
여기서, 상기 제어부는 상기 사용자의 위치를 이용하여 상기 사용자의 가시 범위를 추정하고, 상기 사용자의 가시 범위 내에서 상기 정보를 표시할 수 있다.
그리고, 상기 제어부는, 상기 사용자와의 거리에 따라, 상기 정보가 디스플레이되는 영역의 크기를 상이하게 조정할 수 있다.
또는, 상기 제어부는, 상기 투명 디스플레이 부의 전체 영역 중에서 상기 사용자의 위치에 대응되는 영역에 사용자 UI 화면을 디스플레이할 수도 있다.
한편, 본 발명의 일 실시 예에 따른 투명 디스플레이 장치의 디스플레이 방법은, 투명 디스플레이부로부터 제1 방향에 있는 물체의 위치를 감지하는 단계, 상기 투명 디스플레이부로부터 제2 방향에 있는 사용자의 위치를 감지하는 단계, 상기 감지된 물체의 위치 및 사용자의 위치를 기반으로, 상기 사용자의 위치에서 상기 투명 디스플레이상에 상기 물체가 투과되어 보이는 영역을 추정하는 단계, 상기 추정된 영역을 고려하여 상기 투명 디스플레이부에 상기 정보를 디스플레이하는 단계를 포함한다.
여기서, 상기 물체의 위치를 감지하는 단계는, 상기 투명 디스플레이부의 제1 방향에 있는 상기 물체를 포함하는 적어도 하나의 사물을 촬상하는 단계, 상기 촬상된 적어도 하나의 사물의 이미지 픽셀 정보를 이용하여 에지를 검출하는 단계, 상기 검출된 에지를 이용하여 상기 적어도 하나의 사물 중에서 상기 물체를 식별하고, 상기 식별된 물체의 위치 및 식별 영역을 검출하는 단계를 포함할 수 있다.
또한, 상기 추정하는 단계는, 상기 검출된 식별 영역의 크기 및 위치를 이용하여 상기 사용자의 위치에서 상기 투명 디스플레이부 상에 상기 물체가 투과되어 보이는 영역을 추정할 수 있다.
그리고, 상기 추정하는 단계는, 상기 투명 디스플레이부를 기 설정된 사이즈의 가상 분할 영역으로 구분하고, 상기 가상 분할 영역 중에서 상기 식별 영역이 차지하는 영역을 상기 물체가 투과되어 보이는 영역으로 추정할 수 있다.
여기서, 상기 가상 분할 영역은 매트릭스 테이블로 매핑될 수 있다. 그리고, 상기 정보를 디스플레이하는 단계는, 상기 매트릭스 테이블 내에서 상기 물체가 투과되어 보이는 영역에 매핑되는 셀과, 상기 정보의 표시 영역에 매핑되는 셀 간의 상관 관계에 따라, 상기 정보의 표시 위치를 조정하여 디스플레이할 수 있다.
또한, 본 디스플레이 방법은, 상기 정보의 표시 속성을 변경하는 단계를 더 포함할 수 있다. 그리고, 상기 표시 속성은, 정보 표시 영역의 크기, 컬러, 굵기, 폰트, 배경색 중 적어도 하나가 될 수 있다.
또한, 본 디스플레이 방법은, 상기 매트릭스 테이블을 저장하는 단계를 더 포함할 수도 있다.
여기서, 상기 정보를 디스플레이하는 단계는, 상기 매트릭스 테이블 내의 각 셀 중에서 상기 물체의 위치에 매칭되는 셀과, 상기 사용자의 위치에 매칭되는 셀의 중복 영역 또는 가산 영역과, 상기 정보의 표시 영역의 적어도 일부가 겹치면 상기 정보의 표시 위치를 타 영역으로 이동시켜 디스플레이할 수 있다.
그리고, 상기 촬상하는 단계는, 상기 투명 디스플레이 장치에 마련된 복수 개의 제1 촬상부 중에서, 상기 사용자의 위치에 대응되는 제1 촬상부를 선택적으로 구동시켜 촬상을 수행할 수 있다.
*또한, 상기 촬상하는 단계는, 상기 투명 디스플레이 장치에 마련된 제1 촬상부를 상기 사용자의 위치에 따라 회전시켜 촬상할 수도 있다.
또한, 상기 사용자의 위치를 감지하는 단계는, 상기 제2 방향으로 촬상을 수행하는 단계, 상기 촬상된 이미지를 이용하여 상기 사용자의 위치를 검출하는 단계, 상기 사용자의 위치를 이용하여 상기 사용자의 가시 범위를 추정하는 단계를 포함할 수 있다.
이 경우, 상기 정보를 디스플레이하는 단계는, 상기 사용자의 가시 범위 내에서 상기 정보를 표시할 수 있다.
그리고, 본 디스플레이 방법은, 상기 사용자와의 거리를 검출하는 단계, 상기 사용자와의 거리에 따라, 상기 정보가 디스플레이되는 영역의 크기를 상이하게 조정하는 단계를 더 포함할 수도 있다.
또는, 상기 투명 디스플레이 부의 전체 영역 중에서 상기 사용자의 위치에 대응되는 영역에 사용자 UI를 디스플레이하는 단계를 더 포함할 수도 있다.
이상과 같이, 본 발명의 다양한 실시 예에 따르면, 투명 디스플레이 장치에서 디스플레이되는 객체의 식별력을 높일 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 투명 디스플레이 장치의 동작을 설명하기 위한 도면,
도 2는 본 발명의 일 실시 예에 따른 투명 디스플레이 장치의 구성을 설명하기 위한 블럭도,
도 3은 투명 디스플레이 장치에 적용되는 투명 디스플레이부의 세부 구성의 일 예를 나타내는 도면,
도 4는 투명 디스플레이 장치에 적용되는 투명 디스플레이부의 세부 구성의 다른 예를 나타내는 도면,
도 5는 본 발명의 다양한 실시 예에 따른 투명 디스플레이 장치의 구성을 설명하기 위한 블럭도,
도 6은 투명 디스플레이부의 전체 영역을 복수 개로 구분한 상태를 나타내는 도면,
도 7은 도 6의 투명 디스플레이부에 매핑되는 매트릭스 테이블을 이용하여 식별력 저하 영역을 기록하는 방법을 설명하기 위한 도면,
도 8은 도 7의 매트릭스 테이블을 이용하여 객체를 이동하는 방법을 설명하기 위한 도면,
도 9는 사용자 및 물체를 촬상하는 촬상부를 구비한 투명 디스플레이 장치의 일 예를 나타내는 도면,
도 10은 도 9의 투명 디스플레이 장치에서 사용자 및 물체를 촬상하여 식별력 저하 영역을 검출하는 방법을 설명하기 위한 도면,
도 11은 사용자의 위치에 따라 적응적으로 동작하는 복수의 촬상부를 포함하는 투명 디스플레이 장치의 구성을 나타내는 도면,
도 12 및 도 13은 쇼윈도 형태로 구현된 투명 디스플레이 장치에서 사용자의 위치 이동에 따라 화면을 재구성하는 방법을 설명하기 위한 도면,
도 14는 사용자의 이동 지점 및 촬상 각도를 고려하여 매트릭스 테이블을 수정하는 방법을 설명하기 위한 도면,
도 15는 랩탑 컴퓨터 형태로 구현된 투명 디스플레이 장치의 동작을 설명하기 위한 도면,
도 16은 도 15의 투명 디스플레이 장치에서 물체가 추가된 경우의 객체 표시 위치 이동을 설명하기 위한 도면,
도 17은 물체 위치 및 사용자 위치가 중복되는 면적의 크기에 따라 이동 거리가 달라지는 실시 예를 설명하기 위한 도면,
도 18은 위치 이동과 함께 객체의 표시 형태를 변경하는 실시 예를 설명하기 위한 도면,
도 19는 사용자의 위치 이동으로 인해 정보 표시 위치가 이동하는 실시 예를 설명하기 위한 도면,
도 20은 차량용 디스플레이 형태로 구현된 투명 디스플레이 장치의 동작을 설명하기 위한 도면,
도 21은 객체 표시 위치를 자동으로 변경하는 기능을 설정하기 위한 설정 화면의 일 예를 나타내는 도면,
도 22 및 도 23은 본 발명의 다양한 실시 예에 따른 투명 디스플레이 장치의 디스플레이 방법을 설명하기 위한 흐름도,
도 24는 본 발명의 다른 실시 예에 따른 투명 디스플레이 장치의 동작을 설명하기 위한 도면,
도 25는 본 발명의 또 다른 실시 예에 따른 투명 디스플레이 장치의 동작을 설명하기 위한 도면,
도 26은 근거리 무선 통신 모듈을 통해 입력된 사용자 정보에 따라 정보를 추가 표시하는 실시 예를 설명하기 위한 도면,
도 27은 본 발명의 다양한 실시 예에 따른 투명 디스플레이 장치에서 사용될 수 있는 제어부의 세부 구성의 일 예를 나타내는 블럭도,
도 28은 저장부에 저장되어 제어부에 의해 이용될 수 있는 소프트웨어 계층도,
도 29는 사용자의 위치 이동에 따라 사용자 UI 화면을 추가로 표시하는 실시 예를 나타내는 도면,
도 30 및 도 31은 사용자와의 거리에 따라 정보 표시 영역의 크기를 조정하는 실시 예를 나타내는 도면,
도 32는 사용자의 가시 범위 변경으로 인한 정보 표시 영역의 위치 변경 방법을 설명하기 위한 도면,
도 33은 근거리 무선 통신 방식에 따라 획득된 사용자 정보에 기초하여 정보의 표시 속성을 변경하는 방법을 설명하기 위한 도면,
도 34는 사용자 정보에 따라 정보의 내용을 변경하는 방법을 설명하기 위한 도면,
도 35는 카메라로 구현된 투명 디스플레이 장치의 동작을 설명하기 위한 도면, 그리고,
도 36은 사용자 위치 이동에 따라 감지 영역을 변경하는 투명 디스플레이 장치의 동작을 설명하기 위한 도면이다.
이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 투명 디스플레이 장치의 동작을 설명하기 위한 도면이다. 도 1에 따르면, 투명 디스플레이 장치(100)는 디스플레이 화면이 투명하게 구현되어, 후면 배경이 투명하게 비치게 된다.　이에 따라, 정보가 후면 배경과 겹치게 되면, 정보가 잘 보이지 않게 되어 식별력이 떨어진다는 문제점이 발생할 수 있다.
도 1에서와 같이 투명 디스플레이 장치(100)를 기준으로 제1 방향에 임의의 물체(20)가 놓여지고, 그 반대인 제2 방향에 사용자(10)가 위치한 경우, 사용자(10)는 투명 디스플레이 장치(100)를 통해서 반대 측의 물체(20)를 그대로 볼 수 있다. 이하, 본 명세서에서는 설명의 편의를 위하여 투명 디스플레이 장치(100)의 화면을 기준으로 제2 방향, 즉, 사용자가 위치한 쪽을 전방으로 정의하고, 제1 방향, 즉, 사용자의 반대쪽을 후방으로 정의한다.
투명 디스플레이 장치(100)는 제1 방향에 위치한 물체(20)의 위치와 제2 방향에 위치한 사용자(10)의 위치를 각각 인식한 후, 표시할 정보의 위치나 컬러, 크기 등과 같은 속성을 평가한다. 투명 디스플레이 장치(100)는 평가 결과에 따라 정보의 표시 위치를 이동시켜 디스플레이한다.
투명 디스플레이가 구현되는 방법 및 이를 위한 투명 디스플레이 구조에 대해서는 후술하는 부분에서 도면과 함께 구체적으로 설명한다.
물체(20)란 구체적인 형상을 가지고 존재하는 것으로, 판매 가능한 상품, 동식물, 가구, 벽, 벽지 등과 같은 다양한 사물이 될 수 있다.
투명 디스플레이 장치(100)는 후방에 위치한 물체(20)가 투명하게 비치는 상태에서 정보(30)를 디스플레이할 수 있다. 정보란 이미지, 텍스트, 컨텐츠 재생 화면, 어플리케이션 실행 화면, 웹 브라우저 화면, 각종 그래픽 객체 등이 될 수 있다.
투명 디스플레이 장치(100)는 사용자(10)의 위치 및 물체(20)의 위치를 각각 감지하고, 사용자의 위치에서 물체(20)를 보았을 때 투명 디스플레이부 상에서 물체가 투과되어 보이는 영역을 추정한다. 이하에서는, 설명의 편의를 위하여 물체가 투과되어 보이는 영역을 투과 영역이라 한다. 투과 영역에 정보가 표시되면, 후방의 물체 존재로 인해 정보의 식별력이 저하된다. 따라서, 투과 영역은 다르게는 식별력 저하 영역이라고 칭할 수도 있다.
투명 디스플레이 장치(100)는 투과 영역을 추정하기 위해서 투명 디스플레이부의 전체 영역을 기 설정된 사이즈의 가상 분할 영역으로 구분할 수 있다. 투명 디스플레이 장치(100)는, 구분된 가상 분할 영역 중에서, 물체(20)의 위치에 대응되는 영역을 투과 영역으로 추정할 수 있다.
이 경우, 투명 디스플레이 장치(100)는 사용자(10)의 위치 및 형상을 디스플레이 표면에 매핑시킨 매핑 영역(10')과, 물체(20)의 위치 및 형상을 디스플레이 표면에 매핑시킨 매핑 영역(20') 간의 상관 관계를 고려하여, 투과 영역을 추정할 수도 있다. 가령, 두 매핑 영역이 서로 오버랩되는 영역(10'∩20') 이 투과 영역으로 추정될 수 있다.
투명 디스플레이 장치(100)는 각 매핑 영역들을 정확하게 산출하기 위해서 가상 분할 영역을 매트릭스 테이블로 매핑시킬 수 있다. 이 경우, 매트릭스 테이블 내에서 물체의 투과 영역에 매핑되는 셀과, 정보가 표시될 영역에 매핑되는 셀들 간의 상관 관계를 고려하여, 오버랩되는지 여부를 판단한다. 투명 디스플레이 장치(100)는 두 영역이 서로 오버랩된다면 정보의 표시 위치를 조정한다.
즉, 투명 디스플레이 장치(100)는 투과 영역이 추정되면, 투과 영역에 표시되어 있던 정보(30)를 식별력이 저하될 염려가 없는 타 영역으로 이동시켜 디스플레이한다. 정보(30) 표시를 이동시키는 방향 및 이동 거리는 투과 영역과 정보(30) 표시 위치가 중복되는 정도, 중복되는 영역의 위치, 식별력이 저하되지 않는 타 영역의 위치 등을 고려하여 결정할 수 있다.
또한, 투명 디스플레이 장치(100)는 정보(30)의 위치와 함께 또는 별도로 크기, 컬러, 굵기, 폰트 등과 같은 다양한 표시 속성을 조정할 수도 있다.
이 경우, 투명 디스플레이 장치(100)는 물체의 특성과 정보의 표시 속성을 비교한다. 예를 들어, 겹치는 영역의 넓이, 겹치는 영역의 색상, 물체와 투명 디스플레이 장치(100) 간의 거리, 사용자와 투명 디스플레이 장치(100)간의 거리 등을 판단하여 그 판단 결과에 따라 정보의 표시 속성을 변경할 수 있다.
구체적으로는, 물체의 투과 영역 중에서 겹치는 영역의 물체 색상이 정보의 표시 색상과 유사하다면, 정보의 표시 색상을 다른 색으로 변경하여 표시한다. 또는, 사용자가 투명 디스플레이 장치(100)와 멀리 떨어져 있다면 정보의 표시 영역의 크기를 확대하여 표시하고, 가깝다면 정보의 표시 영역을 작게 표시한다. 겹치는 영역이 넓은 경우에는 정보의 표시 위치의 이동 거리가 길어지므로, 그 길어진 방향에 맞는 형태로 정보의 레이아웃을 변경하여 줄 수도 있다. 또는 물체가 멀리 떨어져 있는 경우, 물체에 대한 확대 이미지를 정보로 제공하여 줄 수도 있다.
한편, 정보(30) 표시 위치를 이동시키는 동작은 정보(30) 표시 위치가 투과 영역에 위치하게 되는 조건 이외에 부가적으로 설정된 조건이 충족되었을 때 수행하도록 세팅될 수도 있다. 가령, 투명 디스플레이 장치(100)는 사용자가 정보(30) 표시 위치를 자동으로 수행하도록 하는 기능을 온(ON)시킨 상태에서만, 상술한 바와 같이 물체(20) 및 사용자(10)의 위치를 파악하여 투과 영역을 검출하고, 그 영역의 위치에 따라 정보(30) 표시 위치를 변경할 수 있다. 또는, 　정보(30) 표시 위치가 투과 영역 내에 기 설정된 시간 이상 포함되어 있거나, 물체(20) 및 사용자가 기 설정된 시간 이상 이동하지 않아 투과 영역이 고정적으로 정해질 때, 상술한 바와 같은 정보(30) 표시 위치 이동 동작을 수행할 수도 있다.
도 2는 본 발명의 일 실시 예에 따른 투명 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 2에 따르면, 투명 디스플레이 장치(100)는 제1 감지부(110), 제2 감지부(120), 제어부(130), 투명 디스플레이부(140)를 포함한다.
제1 감지부(110)는 투명 디스플레이 장치(100)의 제1 방향에 존재하는 물체의 위치를 감지한다. 제2 감지부(120)는 투명 디스플레이 장치(100)의 제2 방향에 존재하는 사용자의 위치를 감지한다. 제어부(130)는 감지된 물체의 위치 및 사용자의 위치를 고려하여 투명 디스플레이부(140) 상에 정보를 디스플레이한다.
제1 감지부(110) 및 제2 감지부(120)는 다양한 방식으로 물체 및 사용자의 위치를 감지할 수 있다. 이하에서는 제1 및 제2 감지부(110, 120)의 감지 방법에 대한 다양한 예를 설명한다.
<물체 및 사용자 위치 감지 방법에 대한 다양한 실시 예>
일 예로, 제1 감지부(110)는 카메라와 같은 촬상 소자를 이용하여 후방 배경 이미지를 촬상하고, 그 촬상된 후방 배경 이미지를 분석하여, 물체와의 거리, 물체의 위치 등을 감지할 수 있다. 이에 대해서는, 후술하는 도 5에 대한 설명 부분에서 구체적으로 설명한다. 　
다른 예로, 제1 감지부(110)는 광센서를 이용하여 후방으로부터 입사되는 광의 세기를 감지하고, 그 광의 세기 분포를 분석하여 물체의 위치를 감지할 수 있다.
광센서는 포토 다이오드, 포토 트랜지스터, CCD (Charge Coupled Device) 등으로 구현될 수 있으며, 투명 디스플레이부(140)의 전체 영역에 균일하게 분포된다. 각 광센서들은 입사되는 광의 세기를 산출한다. 통상적으로, 물체(20)가 놓여진 주변 배경의 컬러와 물체(20)의 컬러가 상이하면, 물체(20)로부터 반사되는 반사광의 세기와, 그 주변 배경으로부터 반사되는 반사광의 세기가 달라진다. 이에 따라, 투명 디스플레이부(140)를 투과하는 각 반사광들의 세기를 검출하여, 다른 세기를 가지는 반사광이 입사되는 광센서의 위치를 물체(20)의 위치로 판단할 수 있다.
또 다른 예로, 사용자 또는 관리자가 물체의 위치를 직접 입력하여, 물체의 위치를 결정할 수도 있다. 이 경우, 제1 감지부(110)는 터치 스크린, 키보드, 마우스, 조이스틱, 터치 패드, 버튼 등과 같은 다양한 입력 수단으로 구현될 수 있다. 사용자 또는 관리자는 입력 수단을 통해 후방의 물체 위치를 직접 정할 수 있다.
가령, 투명 디스플레이부(140)의 전체 영역을 복수 개의 영역(예를 들어, 9개)으로 구분한다. 사용자 또는 관리자가 그 영역 중 적어도 하나 이상을 선택하게 되면, 선택된 영역이 곧 물체의 위치에 대응되는 디스플레이 영역, 즉, 투과 영역으로 인식될 수 있다. 따라서, 사용자가 선택한 영역을 제외한 나머지 영역에 정보가 표시된다.
또 다른 예로, 제1 감지부(110)는 근거리 무선 통신 모듈로 구현될 수도 있다. 근거리 무선 통신 모듈이란 근거리 무선 통신 태그나 근거리 무선 통신 리더 또는 이들 모두를 포함하고 있는 모듈을 의미한다. 근거리 무선 통신 리더란 근거리 무선 통신 태그가 부착된 외부 물체와 태깅되었을 때, 근거리 무선 통신 태그에 기록된 정보를 근거리 무선 통신 방식에 따라 리딩하는 장치이다. 여기서, 태깅이란 근거리 무선 통신 태그 및 근거리 무선 통신 리더 중 적어도 하나가 이동하여, 태그 및 리더가 서로의 통신 가능 범위 이내로 위치하게 되는 행위를 의미한다. 근거리 무선 통신 방식의 예로는, NFC(Near Field Communication)가 사용될 수 있다. NFC란 13.56Mz 주파수 대역을 사용하는 비접촉식 근거리 무선통신 방식이다. NFC 기술을 이용하면, 복수의 단말기가 약 10 cm 이내와 같이 근거리로 접근하였을 때 데이터가 송수신될 수 있다.
이 경우, 근거리 무선 통신 태그가 부착된 물체가 제1 감지부(110)에 태깅되면, 제1 감지부(110)는 물체의 배치 위치에 대한 정보를 근거리 무선 통신 태그로부터 제공받고, 제공된 배치 위치를 물체의 실제 위치로 판단한다.
또 다른 예로, 제1 감지부(110)는 촬상부 및 근거리 무선 통신 모듈 모두를 포함하는 형태로 구현될 수 있다. 이 경우, 근거리 무선 통신 태그가 부착된 물체가 태깅되면, 근거리 무선 통신 태그에 기록된 물체의 형상 및 컬러 등에 대한 속성 정보를 수신한다. 그리고 나서, 촬상부에서 촬상된 이미지 중에서, 속성 정보에 해당하는 영역을 검출하여, 그 검출된 영역을 물체의 실제 위치로 판단한다.
이상과 같은 다양한 실시 예에서 제1 감지부(110)는 물체의 위치를 감지하는 것으로 설명하였으나, 물체의 위치 이외에 물체의 색상이나 물체에 써져 있는 텍스트, 물체에 그려지거나 부착된 이미지 등을 인식할 수도 있다. 물체의 색상의 경우에는 카메라를 통해 촬상된 이미지에서 에지 검출을 하고, 검출된 에지 내부의 색상을 검출할 수 있다. 또는, 근거리 무선 통신 태그를 통해 해당 물체의 색상 정보를 제공받을 수도 있다. 텍스트나 이미지의 경우에도 카메라를 통해 촬상된 이미지로부터 텍스트 판독 또는 이미지 판독 알고리즘을 이용하여 검출하거나, 근거리 무선 통신 방식으로 제공받을 수 있다. 이러한 색상이나, 텍스트, 이미지 등이 검출되면, 투명 디스플레이 장치(100)는 해당 물체가 어떠한 종류의 것인지 파악하여, 그에 맞는 정보를 디스플레이하여 줄 수 있다.
한편, 제2 감지부(120)는 투명 디스플레이 장치(100)의 전방에 위치한 사용자의 위치를 검출한다.
제2 감지부(120) 역시 제1 감지부(110)와 마찬가지로 촬상 소자를 이용하거나, 광 센서를 이용하여 사용자의 위치를 검출할 수 있다.
다른 예로, 제2 감지부(120)는 복수의 근거리 무선 통신 모듈로 구현되어, 각 모듈 중에서 태깅이 이루어진 모듈의 위치를 기준으로 사용자의 위치를 검출할 수도 있다.
제2 감지부(120)는 이러한 근거리 무선 통신 모듈을 복수 개 구비하여, 태깅이 이루어진 모듈이 설치된 투명 디스플레이부의 영역을 투과 영역으로 인식할 수 있다. 구체적으로는, 투명 디스플레이 장치(100)가 대형 쇼윈도로 구현된 경우, 쇼윈도의 바깥쪽 표면 또는 그 주변에 일정 간격으로 복수의 근거리 무선 통신 모듈을 설치할 수 있다.
이 경우, 사용자가 지나가다가 관심 있는 상품이 존재하는 위치에 서서, 그 주변의 근거리 무선 통신 모듈에 대해 자신의 사용자 단말 장치를 태깅할 수 있다. 여기서의 사용자 단말 장치는 근거리 무선 통신 모듈이 구비된 휴대폰이나, PDA, 태블릿 PC, MP3 플레이어 등이 될 수 있다. 또는, 사용자는 근거리 무선 통신 태그가 구비된 네임 카드나, 신용 카드 등으로 태깅을 할 수도 있다. 이와 같이, 사용자가 태깅을 하면, 제2 감지부(120)는 태깅된 모듈이 설치된 위치에 사용자가 존재한다고 판단하고, 후방의 물체 위치와 사용자의 위치를 고려하여 투과 영역을 추정할 수 있다.
또는 제2 감지부(120)는 투명 디스플레이부(140)를 기준으로 제2 방향 측 바닥 등에 배치된 복수의 센서를 포함할 수 있다. 센서는 광센서나, 압력 센서, 모션 감지 센서 등이 사용될 수 있다. 이에 따라, 사용자가 특정 포인트에 위치하게 되면 그 포인트에 배치된 센서에서 센싱 신호가 검출된다. 제2 감지부(120)는 센싱 신호에 검출된 센서의 위치를 사용자의 위치로 결정할 수 있다.
이상과 같이, 제1 및 제2 감지부(110, 120)가 물체 및 사용자의 위치를 감지하는 방식은 다양한 실시 예에 따라 상이하게 구현될 수 있다.
제어부(130)는 제1 및 제2 감지부(110, 120)에서 각각 감지한 물체(20) 위치 및 사용자(10)의 위치를 기반으로, 사용자(10)가 투명 디스플레이부(140)를 바라보았을 때 투명 디스플레이부(140) 상에서 물체(20)가 보이는 영역, 즉, 투과 영역을 추정한다.
그리고, 제어부(130)는 투명 디스플레이부(140)에서 투과 영역에 포함되는 정보(30)를 디스플레이하고 있는지 확인하고, 확인된 정보의 표시 위치를 타 영역으로 이동하도록 결정한다.
투명 디스플레이부(140)는 물체(20)가 투명하게 비치는 상태에서 정보(30)를 디스플레이한다. 상술한 바와 같이 정보는 다양한 예로 구현될 수 있다. 정보(30)가 투과 영역과 겹치는 경우, 투명 디스플레이부(140)는 제어부(130)에 의해 결정된 위치에 정보(30)를 이동시켜 표시한다. 이에 따라, 정보(30)는 식별력이 저하되지 않는 영역에 표시되므로, 식별력이 높아지게 된다.
투명 디스플레이부(140)는 실시 예에 따라 투명 LCD(Liquid Crystal Display) 형, 투명 TFEL(Thin-Film Electroluminescent Panel) 형, 투명 OLED 형, 투사형 등과 같은 다양한 형태로 구현될 수 있다. 이하에서는, 투명 디스플레이부(140)의 구조에 대한 다양한 실시 예를 설명한다.
< 투명 디스플레이부 구조에 대한 다양한 실시 예 >
투명 LCD 형이란 현재 사용되고 있는 LCD 장치에서 백라이트 유닛을 제거하고, 한 쌍의 편광판, 광학 필름, 투명 박막 트랜지스터, 투명 전극 등을 사용하여 구현한 투명 디스플레이 장치를 의미한다. 투명 LCD 장치에서는 편광판이나 광학 필름등에 의해 투과도가 떨어지고, 백라이트 유닛 대신 주변 광을 이용하게 되므로 광 효율이 떨어지지만, 대면적 투명 디스플레이를 구현할 수 있다는 장점이 있다. 투명 TFEL 형이란 투명 전극, 무기 형광체, 절연막으로 이루어진 교류형 무기박막 EL 디스플레이(AC-TFEL)를 사용하는 장치를 의미한다. AC-TFEL은 무기 형광체 내부에 가속이 된 전자가 지나가면서 형광체를 여기시켜 빛을 내게 하는 디스플레이이다. 투명 디스플레이부(130)가 투명 TFEL 형태로 구현된 경우, 제어부(130)는 적절한 위치로 전자가 투사되도록 조정하여, 정보 표시 위치를 결정할 수 있다. 무기 형광체, 절연막이 투명한 특성을 가지므로, 매우 투명한 디스플레이를 구현할 수 있다. 　
그 밖에, 투명 OLED형이란 자체 발광이 가능한 OLED를 이용하는 투명 디스플레이 장치를 의미한다. 유기 발광층이 투명하기 때문에, 양쪽 전극을 투명 전극으로 사용하면, 투명 디스플레이 장치로 구현 가능하다. OLED는 유기 발광층 양쪽에서 전자와 정공을 주입하여 이들이 유기 발광층 내에서 결합되면서 빛을 내게 된다. 투명 OLED 장치는 이러한 원리를 사용하여 원하는 위치에 전자 및 정공을 주입하여, 정보를 표시한다.
도 3은 투명 OLED 형으로 구현된 투명 디스플레이부의 세부 구성 예를 나타내는 도면이다. 설명의 편의를 위하여 투명 OLED(Organic Light-Emitting Diodes) 형으로 구현된 투명 디스플레이부에 대해서는 참조부호 140-1을 부여한다.
도 3에 따르면, 투명 디스플레이부(140-1)는 투명 기판(141-1), 투명 트랜지스터층(142-2), 제1 투명 전극(143-1), 투명 유기 발광 층(Transparent Organic Light-Emitting layer)(144-1), 제2 투명 전극(145-1), 연결 전극(146-1)을 포함한다. 　
투명기판(141-1)은 투명한 성질을 가지는 플라스틱과 같은 폴리머 재료 또는 유리를 사용할 수 있다. 투명 기판(141-1)의 재질은 투명 디스플레이 장치(100)가 적용된 사용 환경에 따라 결정될 수 있다. 가령, 폴리머 재료는 가볍고 유연하다는 장점이 있어 휴대형 디스플레이 장치에 사용될 수 있으며, 유리는 상점의 쇼윈도(show window)나 일반 창문 등에 사용할 수 있다.
투명 트랜지스터층(142-2)이란 기존 박막 트랜지스터의 불투명한 실리콘을 투명한 아연산화물, 산화 티타늄 등과 같은 투명 물질로 대체하여 제작한 트랜지스터를 포함하는 레이어를 의미한다. 투명 트랜지스터층(142-2) 내에는 소스, 게이트, 드레인 및 각종 유전막(147-1, 148-1)이 마련되며, 드레인과 제1 투명 전극(143-1)을 전기적으로 연결하는 연결 전극(146-1)도 마련될 수 있다. 도 3에서는 투명 트랜지스터 층(142-1) 내에 소스, 게이트, 드레인으로 이루어진 하나의 투명 트랜지스터만이 도시되었으나, 실제로는 디스플레이 표면의 전체 영역에 고르게 분포된 복수 개의 투명 트랜지스터가 마련된다. 제어부(130)는 투명 트랜지스터층(142-2) 내의 각 트랜지스트들의 게이트로 제어 신호를 인가하여, 해당 투명 트랜지스터를 구동시켜 정보를 표시할 수 있다.
제1 투명 전극 (143-1) 및 제2 투명 전극(145-1)은 투명 유기 발광층(144-1)을 기준으로 서로 반대 방향에 배치된다. 제1 투명 전극, 투명 유기 발광층 및 제2 투명 전극(143-1, 144-1, 145-1)은 투명 유기 발광 다이오드(Organic Light-Emitting Diodes)를 형성한다.
투명 유기 발광 다이오드는 구동 방식에 따라 크게 수동형(Passive Matrix OLED)과 능동형 (Active Matrix OLED)으로 분류된다. PMOLED는 제1 및 제2 투명 전극(143-1, 145-1)이 서로 교차하는 부분이 화소를 형성하는 구조이다. 반면, AMOLED는 각 화소를 구동하는 박막 트랜지스터(TFT)가 있는 구조이다. 도 3에서는 능동형을 나타내고 있다.
제1 투명 전극 (143-1) 및 제2 투명 전극(145-1)은 각각 복수 개의 라인 전극을 포함하며, 라인 전극의 정렬 방향은 서로 수직하게 형성된다. 가령, 제1 투명 전극(143-1)의 라인 전극들이 가로 방향으로 배열되었다면, 제2 투명 전극(145-1)의 라인 전극들은 세로 방향으로 배열된다. 이에 따라, 제1 투명 전극(143-1) 및 제2 투명 전극(145-1) 간에는 복수의 교차 영역이 형성된다. 각 교차 영역에는 도 3에 도시된 바와 같이 투명 트랜지스터가 연결된다.
제어부(130)는 투명 트랜지스터를 이용하여 각 교차 영역 별로 전위차가 형성되도록 한다. 전위차가 형성된 교차 영역 내에서 각 전극으로부터 전자와 정공이 투명 유기 발광층(144-1)으로 유입되어 결합하면서 발광이 이루어진다. 반면, 전위차가 형성되지 않은 교차 영역은 발광이 이루어지지 않으며, 이에 따라 후면 배경이 그대로 투명하게 비치게 된다.
제1 및 제2 투명 전극(143-1, 145-1)으로는 ITO(indium tin oxide)가 사용될 수 있다. 또는, 그래핀과 같은 신소재가 사용될 수도 있다. 그래핀이란 탄소원자가 서로 연결돼 벌집 모양의 평면 구조를 이루며 투명한 성질을 가지는 물질을 의미한다. 그 밖에, 투명 유기 발광 층(144-1)도 다양한 재료로 구현될 수 있다.
한편, 상술한 바와 같이 투명 디스플레이부(140)는 투명 LCD(Liquid Crystal Display) 형, 투명 TFEL(Thin-Film Electroluminescent Panel) 형, 투명 OLED 형 이외에 투사형으로도 구현될 수 있다. 투사형이란 HUD(Head Up Display)와 같이 투명한 스크린에 영상을 투사하여 디스플레이하는 방식을 의미한다.
도 4는 투사형 투명 디스플레이 장치로 구현되는 경우, 투명 디스플레이부의 세부 구성의 예를 나타내는 도면이다. 투사형으로 구현된 실시 예에서는 설명의 편의를 위하여 투명 디스플레이부에 대해 참조부호 140-2를 부여한다.
투사형 투명 디스플레이부(140-2)는 투명 스크린(141-2), 광학 장치(142-2), 광원 장치(143-2)를 포함한다.
광원 장치(143-2)는 VFD(Vacuum Fluorescent Display), CRT(Cathode Ray Tube), LCD, LED 등과 같은 다양한 종류의 광원을 이용하여, 정보를 표기하기 위한 광을 발산한다.
광학 장치(142-2)는 광원 장치(143-2)에서 발산되는 광을 투명 스크린(141-2) 측으로 전달하여 투사하는 장치이다. 광학 장치(142-2)는 적어도 하나 이상의 렌즈 및 거울을 포함하는 도광판으로 구현될 수 있다.
광원 장치(143-2) 및 광학 장치(142-2)는 하나의 디스플레이 모듈로 구현될 수도 있다. 이에 따라, 투명 스크린(141-2)의 상하좌우 측 경계 부분에 배치되어 투명 스크린(141-2)으로 광을 투사하여, 투명 스크린(141-2)에 정보가 표시되도록 할 수 있다. 그 밖에, 레이저를 광원으로 이용하는 홀로그래피 방식으로 구현될 수도 있다. 이 경우, 레이저를 이용하여 투명 스크린(141-2) 상에 직접 정보를 묘사하게 된다.
투명 스크린(141-2)은 일반적인 유리로 이루어질 수 있다. 도 4의 투명 디스플레이부(140-2)의 구성은, 투명 디스플레이 장치(100)가 차량이나 선박, 비행기 등과 같은 이동체의 유리창, 일반 가정에서의 창문, 상점 쇼윈도 등에 적용되었을 때, 채용 가능하다. 이상과 같이, 투명 디스플레이 장치(100)는 다양한 환경에 적용되어, 사용자의 위치 및 물체의 위치를 인식하고, 그 위치에 기초하여 화면을 구성하여 디스플레이한다.
제어부(130)는 사용자 및 물체에 대해 인식된 위치를 기초로, 투과 영역을 판단한다. 투과 영역을 판단하는 방법에 대해서는 후술한다.
한편, 상술한 바와 같이 사용자의 위치 및 후방 물체의 위치는 다양한 방식으로 인식될 수 있다. 도 5에서는 이러한 다양한 방식들 중에서 카메라와 같은 촬상부를 이용하여 위치를 감지하는 실시 예로 구현된 투명 디스플레이 장치에 대해 설명한다.
도 5는 본 발명의 구체적인 실시 예에 따른 투명 디스플레이 장치의 구성을 설명하기 위한 블럭도이다. 도 5에 따르면, 투명 디스플레이 장치(100)는 제1 감지부(110), 제2 감지부(120), 제어부(130), 투명 디스플레이부(140), 저장부(150), 입력부(160)를 포함한다.
제1 감지부(110)는 물체의 위치를 감지한다. 제1 감지부(110)는 제1 촬상부(111), 제1 검출부(112) 및 제2 검출부(113)를 포함한다.
제1 촬상부(111)는 투명 디스플레이 장치(100)의 제1 방향으로 촬상을 수행한다. 이에 따라, 제1 방향에 있는 물체를 포함하는 적어도 하나의 사물을 촬상할 수 있다. 설명의 편의를 위해서, 본 명세서에서는 제1 촬상부(111)가 촬상한 이미지를 후방 배경 이미지라 명명한다.
제1 검출부(112)는 후방 배경 이미지의 각 이미지 픽셀 정보를 이용하여 각 사물의 에지를 검출한다. 에지 검출은 다양한 검출 알고리즘에 따라 이루어질 수 있다.
일 예로, 제1 검출부(112)는 후방 배경 이미지를 m*n 픽셀 단위로 분할하여 복수의 블럭으로 구분한다. 제1 검출부(112)는 각 블럭의 대표값을 검출한다. 대표값은 해당 블럭 내의 전체 픽셀들의 평균 픽셀값, 해당 블럭 내의 각 픽셀들의 픽셀값 중에서 가장 많은 픽셀값, 각 픽셀들의 픽셀값들을 전부 가산한 총 픽셀값 등이 될 수 있다. 제1 검출부(112)는 검출된 각 대표값들을 비교하여, 서로 유사한 대표값들을 가지면서 연속적으로 배치된 블럭들이 존재하는지 확인한다. 동일한 물체가 촬상된 영역에 포함된 블럭들은 대표값이 서로 유사한 범위를 가지게 된다.
제1 검출부(112)는 연속된 유사 블럭들이 확인되면, 확인된 유사 블럭들과 상이한 대표값을 가지는 블럭간의 경계 지점에 해당하는 블럭을 에지 부분으로 검출한다.
제2 검출부(113)는 검출된 에지를 이용하여 제1 촬상부(111)가 촬상한 각 사물들 중에서 물체를 식별하고, 식별된 물체의 위치와 촬상 이미지 상에서의 식별 영역을 검출한다. 일 예로, 제2 검출부(113)는 제1 검출부(112)에서 검출된 에지 부분이 폐곡선을 형성하면, 후방 배경 이미지의 전체 블럭들 중에서 폐곡선 내에 해당하는 블럭들의 위치를 물체의 위치로 검출한다. 그리고, 후방 배경 이미지와 투명 디스플레이부(140)의 전체 영역을 비교하여, 투명 디스플레이부(140)의 전체 영역 중 물체가 식별되는 식별 영역을 검출한다.
한편, 투명 디스플레이 장치(100)는 각 물체에 대한 특성 정보를 이용하여, 물체의 위치 및 식별 영역을 검출할 수도 있다. 특성 정보는 근거리 무선 통신 방식이나, 기타 통신 방식에 의해 물체로부터 직접 제공되거나, 그 밖의 소스로부터 제공될 수 있다. 가령, 각 물체가 근거리 무선 통신 태그를 구비하고 투명 디스플레이 장치(100)가 근거리 무선 통신 리더를 구비한 경우라면, 각 물체를 근거리 무선 통신 리더에 태깅하여 해당 물체에 대한 특성 정보를 수신할 수 있다. 특성 정보에는 해당 물체의 컬러, 형상, 크기, 배치 위치 등이 포함될 수 있다. 제2 검출부(113)는 후방 배경 이미지상에서 검출된 에지를 기준으로 후방 배경 이미지 내에 포함된 각 사물을 구분한다. 이에 따라, 구분된 사물들 중에서 특성 정보에 부합되는 사물을 상술한 물체(20)로 인식하고, 그 위치를 검출할 수 있다. 예를 들어, 진열대 위에 놓여진 물체(20)의 경우, 진열대도 함께 촬상되어 후방 배경 이미지 내에 포함된다. 이 경우, 제2 검출부(113)는 물체(20)의 컬러에 부합되는 이미지 픽셀 정보를 가지는 영역을 해당 물체(20)의 위치로 판단할 수 있다. 　
또는, 물체를 공급하는 공급자의 서버나 공급자의 단말 장치로부터 해당 물체에 대한 특성 정보를 수신하거나, 투명 디스플레이 장치(100)에 연결된 입력 수단을 통해서 특성 정보를 직접 입력할 수도 있다. 제2 검출부(113)는 이상과 같이 다양한 소스를 통해 제공된 특성 정보를 이용하여, 물체의 투과 영역을 정확하게 검출할 수 있다.
제2 감지부(120)는 제2 촬상부(121) 및 사용자 위치 검출부(122)를 포함한다. 제2 촬상부(121)는 투명 디스플레이 장치(100)를 기준으로 제2 방향으로 촬상을 수행한다. 이에 따라, 전방 배경 이미지를 획득한다.
사용자 위치 검출부(122)는 제2 촬상부(121)에서 촬상된 전방 배경 이미지를 분석하여 사용자의 위치를 검출한다. 사용자의 위치 검출 방식은 상술한 제1 검출부(112)의 물체 위치 검출 방식과 동일하게 구현될 수 있다.
또한, 사용자에 대한 특성 정보도 미리 등록을 시켜 두거나, 사용자가 구비한 근거리 무선 통신 모듈이 포함된 사용자 단말 장치 또는 태그를 통해서 제공받고, 그 특성 정보에 따라 사용자의 위치를 정확하게 검출할 수도 있음은 물론이다.
한편, 제1 감지부 및 제2 감지부(110, 120)의 감지 시점은 실시 예 별로 다양하게 결정될 수 있다.
일 예로, 제어부(130)는 물체를 배치하거나 가지고 온 사람이나 사용자의 외부 입력에 따라 제1 및 제2 감지부(110, 120)를 구동시킬 수 있다. 가령, 사용자가 투명 디스플레이부(140)의 표면을 터치하거나, 별도로 마련된 입력 수단을 통해 임의의 입력 신호를 입력하는 경우에 제1 및 제2 감지부(110, 120)를 구동시켜, 물체 및 사용자의 위치를 감지할 수 있다. 투명 디스플레이 장치(100)가 음성 인식 모듈이나, 모션 인식 모듈을 구비하고 있다면, 특정 음성이나 특정 제스쳐를 취하여 제1 및 제2 감지부(110, 120)를 각각 구동시킬 수도 있다. 도 5의 실시 예에서는 제1 및 제2 감지부(110, 120)가 촬상 방식으로 물체 및 사용자의 위치를 감지하는 경우를 설명하였으나, 상술한 바와 같이 제1 및 제2 감지부(110, 120)는 촬상 방식이외에, 광센서 이용 방식, 근거리 무선 통신 방식, 사용자 직접 설정 방식과 같이 다양하게 구현될 수 있다. 이러한 각 방식에서도, 위치 인식을 위한 사용자 명령이 있은 후에, 촬상, 광센싱, 근거리 무선 통신, 사용자 영역 지정 등을 수행하여 위치를 감지하도록 구현될 수 있다.
다른 예로, 투명 디스플레이 장치(100)가 움직임 감지 센서를 구비하고 있는 경우라면, 제어부(130)는 움직임 감지 센서를 이용하여 사용자나 물체의 움직임을 감지하여, 그 움직임이 일정 시간 이상 정지하면 제1 및 제2 감지부(110, 120)를 구동시켜 물체 및 사용자의 위치를 감지할 수도 있다. 이에 따라, 불필요한 전력 소모를 방지할 수도 있다.
또 다른 예로, 근거리 무선 통신 모듈을 구비하고 있는 경우라면, 태깅이 이루어졌을 때 제1 및 제2 감지부(110, 120)를 구동시켜 물체 및 사용자의 위치를 감지할 수도 있다. 구체적으로는, 물체를 매장 내에 배치하면서 매장 내 또는 투명 디스플레이 장치(100)에 마련된 근거리 무선 통신 모듈에 태깅하는 경우, 사용자가 자신이 가지고 있는 근거리 무선 통신 리더를 매장 외부 또는 투명 디스플레이 장치(100)에 마련된 근거리 무선 통신 모듈에 태깅하는 경우가 발생하면, 제어부(130)는 제1 및 제2 감지부(110, 120)를 구동시킬 수 있다.
제어부(130)는 제1 및 제2 감지부(110, 120)에서 각각 감지된 물체의 위치 및 사용자의 위치에 기반하여, 투과 영역을 판단한다.
제어부(130)는 투명 디스플레이부(140)의 전체 영역을 복수 개로 구분하고, 구분된 각 영역들 중에서 사용자의 위치에서 물체가 보여지는 영역을 투과 영역으로 판단한다. 제어부(130)는 투과 영역 내에 정보가 표시되어 있으면, 해당 정보의 표시 위치를 변경한다.
저장부(150)에는 제1 촬상부(111), 제2 촬상부(121)에서 각각 촬상한 이미지, 물체 위치 및 사용자의 위치에 대한 정보 및 기타 다양한 정보와, 투명 디스플레이 장치(100)의 동작과 관련하여 사용자가 설정한 각종 세팅 정보, 시스템 구동 소프트웨어(Operating Software), 각종 어플리케이션 프로그램 등이 저장될 수 있다.
입력부(160)는 투명 디스플레이 장치(100)의 동작과 관련하여 다양한 사용자 명령을 입력받기 위한 부분이다. 입력부(160)는 투명 디스플레이부(140) 상에 구현되는 터치 스크린, 투명 디스플레이 장치(100)의 본체에 구비된 각종 버튼, 투명 디스플레이 장치(100)에 연결된 키보드, 마우스 등과 같은 외부 입력 수단으로부터 각종 입력 신호를 입력받는 I/O(Input/Output Interface) 등과 같이 다양한 형태로 구현될 수 있다. 사용자는 입력부(160)를 통해 정보 표시 위치 이동 기능을 온 또는 오프(ON/OFF) 시킬 수 있고, 정보 표시 위치를 이동하기 위한 조건이나, 이동시의 표시 속성 변경 방식 등을 설정할 수 있다.
제어부(130)는 입력부(160)에 의해 입력된 사용자 명령에 따라 상술한 동작을 수행할 수 있다. 즉, 사용자가 정보 표시 위치 이동 기능을 온 시킨 경우, 제어부(130)는 제1 및 제2 감지부(110, 120)를 제어하여 물체 및 사용자의 위치를 감지하고, 그 감지 결과를 저장부(150)에 저장한다. 그리고, 저장된 결과를 기초로, 투과 영역을 판단하고, 투과 영역 내에 표시되어야 하는 정보의 표시 위치를 조정한다. 이 경우, 제어부(130)는 투명 디스플레이부(140)의 전체 영역을 복수 개의 영역으로 구분하고, 그 영역들 중에서 투과 영역에 해당하지 않는 영역으로 정보를 이동시킨다.
도 6은 투명 디스플레이부(140)의 전체 영역을 복수 개의 블럭으로 구분한 상태를 설명하기 위한 도면이다.
도 6에 따르면, 투명 디스플레이부(140)의 전체 영역은 복수 개의 세로 라인(V1　~ Vx) 및 복수 개의 가로 라인(H1　~ Hy)으로 이루어지는 가상 분할 영역으로 구분된다. 가상 분할 영역은 매트릭스 형태로 구현될 수 있다.
고 해상도를 요구하는 경우 매트릭스의 각 셀들은 하나의 픽셀 단위로 이루어질 수도 있지만, 연산 부담을 고려하여 각 셀들은 복수 개의 픽셀 단위로 구성될 수 있다. 더 크게는, 가상 분할 영역은 투명 디스플레이부(140)의 전체 영역을 4분할, 6분할, 9분할, 12분할 등으로 나누어서 구성할 수도 있다.
제어부(130)는 사용자의 위치 및 물체의 위치를 각각 투명 디스플레이부(140)의 전체 영역 중 대응되는 영역에 매칭시킨다. 도 6에서는 물체(20)는 (Vn+4, Hm +2), (Vn +5, Hm +2), (Vn +6, Hm +2), (Vn +7, Hm +2), (Vn +4, Hm +3), (Vn +5, Hm +3), (Vn +6, Hm+3), (Vn +7, Hm +3), (Vn +4, Hm +4), (Vn +5, Hm +4), (Vn +6, Hm +4), (Vn +7, Hm +4), (Vn +4, Hm +5), (Vn+5, Hm +5), (Vn +6, Hm +5), (Vn +7, Hm +5) 영역에 비치게 된다. 이하에서는, 물체(20)가 투명 디스플레이 부(140) 상에서 비치는 영역을 참조부호 20'로 표기한다.
반면, 사용자의 위치는 (Vn +3, Hm +1), (Vn +4, Hm +1), (Vn +5, Hm +1), (Vn +6, Hm +1), (Vn+3, Hm +2), (Vn +4, Hm +2), (Vn +5, Hm +2), (Vn +6, Hm +2), (Vn +3, Hm +3), (Vn +4, Hm +3), (Vn +5, Hm+3), (Vn +6, Hm +3), (Vn +3, Hm +4), (Vn +4, Hm +4), (Vn +5, Hm +4), (Vn +6, Hm +4), (Vn +3, Hm +5), (Vn+4, Hm +5), (Vn +5, Hm +5), (Vn +6, Hm +5), (Vn +4, Hm +6), (Vn +5, Hm +6), (Vn +4, Hm +7), (Vn +5, Hm+7), (Vn +4, Hm +8), (Vn +5, Hm + 8)영역에 비치게 된다. 이하에서는 사용자(10)가 투명 디스플레이부(140) 상에 비치는 영역을 참조부호 10'로 표기한다. 또한, 도 6에서는, 정보(30)가 물체 매칭 영역(20') 및 사용자 매칭 영역(10')과 일부분 겹치는 위치에 표시된 상태를 나타낸다.
제어부(130)는 제1 감지부(110)에서 감지된 물체 위치와 제2 감지부(120)에서 감지된 사용자 위치를 각각 저장부(150)에 저장된 매트릭스 테이블에 기록한다. 이에 따라, 두 위치가 겹치는 부분을 투과 영역으로 판단한다.
또는, 제어부(130)는 물체를 투명 디스플레이부(140)에 그대로 수직하게 투영시켜 물체 매칭 영역(20')을 결정하고, 사용자도 수직하게 투영시켜 사용자 매칭 영역(10')을 결정할 수 있다. 이 경우, 사용자의 위치에서 물체가 보이는 영역, 즉, 투과 영역은 물체 매칭 영역(20') 및 사용자 매칭 영역(10') 사이에 형성될 수 있다. 이 경우, 제어부(130)는 물체와 투명 디스플레이부(140)간의 거리, 사용자와 투명 디스플레이부(140) 간의 거리, 및 그 거리들의 비율에 따라 투과 영역을 결정할 수 있다. 즉, 제어부(130)는 투명 디스플레이부(140)의 표면과 물체를 수직으로 연결한 지점을 중심으로 두고 물체의 형상 및 물체의 크기를 고려하여, 상술한 물체 매칭 영역(20')을 판단할 수 있다. 또한, 사용자 매칭 영역(10')도 마찬가지로 사용자와 투명 디스플레이부(140)의 표면을 수직으로 연결한 지점을 중심으로 두고 사용자의 형상 및 크기를 고려하여 판단할 수 있다. 이에 따르면, 물체와 사용자가 투명 디스플레이부(140) 표면으로부터 수직하게 서로 대칭되도록 위치하였다면, 사용자 매칭 영역(10') 및 물체 매칭 영역(20') 간의 중복 영역이 그대로 투과 영역에 해당한다.
반면, 물체 및 사용자가 각각 투명 디스플레이부(140)를 기준으로 45도 각도로 기울어진 상태로 위치하였다면, 사용자 매칭 영역(10') 및 물체 매칭 영역(20') 사이의 영역 중 정중앙 영역이 투과 영역에 해당한다. 이와 같이, 투과 영역은 사용자, 물체와의 거리와 그 각도에 따라 산출될 수 있다. 이에 대해서는 후술하는 부분에서 구체적으로 설명한다.
한편, 제어부(130)는 사용자 또는 물체의 위치 변경이나 신규 사용자 또는 신규 물체의 출현이 감지되면, 그 감지 결과에 따라 매트릭스 테이블을 갱신한다.
도 7은 저장부(150)에 저장된 매트릭스 테이블의 일 예를 나타낸다. 도 7에 따르면, 매트릭스 테이블(700)은 도 6의 투명 디스플레이부(140)를 복수의 영역으로 구분한 것과 동일한 방식으로 구성할 수 있다. 즉, 매트릭스 테이블(700)은 복수 개의 세로 라인(V1　~ Vx) 및 복수 개의 가로 라인(H1　~ Hy)으로 이루어질 수 있으며, 각 세로 라인 및 각 가로 라인이 교차하는 셀에 데이터가 기록될 수 있다.
도 7에 따르면, 매트릭스 테이블(700) 내의 각 셀에는 기본 값이 기록되고, 셀 중에서 물체의 위치에 해당하는 셀에는 기 설정된 제1 값, 사용자의 위치에 해당하는 셀에는 제2 값이 기록된다. 도 7에서 기본값, 제1 값, 제2 값은 각각 0, 1, 2로 설정되었으나, 이는 설명의 편의를 위하여 임의로 정한 값일 뿐이며 이에 한정되는 것은 아니다.
제어부(130)는 제1 감지부(110)에서 감지된 결과에 따라 매트릭스 테이블(700) 내의 (Vn +4, Hm +2), (Vn +5, Hm +2), (Vn +6, Hm +2), (Vn +7, Hm +2), (Vn +4, Hm +3), (Vn +5, Hm+3), (Vn +6, Hm +3), (Vn +7, Hm +3), (Vn +4, Hm +4), (Vn +5, Hm +4), (Vn +6, Hm +4), (Vn +7, Hm +4), (Vn+4, Hm+5), (Vn+5, Hm+5), (Vn+6, Hm+5), (Vn+7, Hm+5) 번째 셀에는 2를 기록한다.
그리고, 제2 감지부(120)에서 감지된 결과에 따라 매트릭스 테이블(700) 내의 (Vn +3, Hm +1), (Vn +4, Hm +1), (Vn +5, Hm +1), (Vn +6, Hm +1), (Vn +3, Hm +2), (Vn +4, Hm +2), (Vn+5, Hm +2), (Vn +6, Hm +2), (Vn +3, Hm +3), (Vn +4, Hm +3), (Vn +5, Hm +3), (Vn +6, Hm +3), (Vn +3, Hm+4), (Vn +4, Hm +4), (Vn +5, Hm +4), (Vn +6, Hm +4), (Vn +3, Hm +5), (Vn +4, Hm +5), (Vn +5, Hm +5), (Vn+6, Hm +5), (Vn +4, Hm +6), (Vn +5, Hm +6), (Vn +4, Hm +7), (Vn +5, Hm +7), (Vn +4, Hm +8), (Vn +5, Hm+8) 번째 셀에는 1을 기록한다.
제어부(130)는 두 영역 간에 서로 겹치는 영역인 (Vn +4, Hm +2), (Vn +5, Hm +2), (Vn+6, Hm +2), (Vn +4, Hm +3), (Vn +5, Hm +3), (Vn +6, Hm +3), (Vn +4, Hm +4), (Vn +5, Hm +4), (Vn +6, Hm+4), (Vn +4, Hm +5), (Vn +5, Hm +5), (Vn +6, Hm +5) 번째 셀에는 1과 2를 합산한 결과값인 3을 기록한다.
다만, 이는 일 예에 불과하며 반드시 이에 한정되는 것은 아니다. 즉, 두 영역 간의 중복 영역에 해당하는 셀에는 두 값을 합산한 값이 아니라, 해당 셀이 중복 영역에 해당함을 나타내도록 별도로 설정된 제3 값을 기록하여 둘 수도 있다.
제어부(130)는 투명 디스플레이부(140) 상에서 정보(30)가 표시된 영역과 매트릭스 테이블(700)을 비교한다. 이에 따라, 매트릭스 테이블 내의 각 셀 중에서 3이 기록된 셀(교집합 영역에 해당함)과, 정보 표시 영역이 일부분이라도 겹치면 정보(30)의 표시 위치를 이동시킨다. 실시 예에 따라서는, 매트릭스 테이블 내의 각 셀 중에서 1, 2, 3 중 어느 하나의 값이라도 기록된 셀(합집합 영역에 해당함)에 위치한 경우에도 표시 위치를 이동시킬 수 있다.
도 8은 제어부(130)에 의해 정보 표시 위치가 변경된 상태를 나타내는 도면이다. 도 8에 따르면, 매트릭스 테이블 내에서 1, 2, 3중 어느 하나가 기록된 셀과 겹치는 영역에 표시되어 있던 정보(30)가 (Vn +1, Hm -1), (Vn, Hm), (Vn +1, Hm), (Vn +2, Hm), (Vn, Hm +1), (Vn +1, Hm +1), (Vn +2, Hm +1), (Vn -1, Hm +2), (Vn, Hm +2), (Vn +1, Hm +2), (Vn +2, Hm+2), (Vn+3, Hm+2) 영역으로 이동하여 표시되는 것을 나타낸다.
제어부(130)는 투과 영역과 정보 표시 영역 간의 오버랩 영역의 위치와 식별력이 저하되지 않는 주변의 타 영역과의 거리 등을 기초로 정보(30)의 이동 거리 및 이동 방향을 결정할 수 있다. 도 8에서는 원 위치로부터 좌상측으로 3 또는 4 영역 정도 쉬프트되어 투과 영역과 어느 정도 이격되어 표시되는 것을 나타내고 있으나, 반드시 이에 한정되는 것은 아니며, 투과 영역과 거의 접하는 영역까지만 이동시켜, 가능한 한 원 위치와 가깝게 표시할 수도 있다.
또는, 정보 표시 영역의 이동 방향은 관리자 또는 사용자가 미리 정해둘 수 있다. 가령, 정보 표시 영역은, 물체의 위치, 사용자의 위치, 사용자의 가시 범위 등을 기준으로 상, 하, 좌, 우, 대각선 방향 등과 같은 일정한 방향으로 이동되도록 설정해 둘 수 있다. 　
한편, 도 7에서는 하나의 매트릭스 테이블(700)을 이용하여 물체 위치, 사용자 위치, 정보 위치를 종합적으로 판단하는 것으로 설명하였으나, 물체, 사용자, 정보 별로 별도의 매트릭스 테이블을 생성하여, 그 매트릭스 테이블들을 비교하여 투과 영역을 판단할 수도 있다.
또는, 제어부(130)는 매트릭스 테이블을 마련하는 대신, 사용자를 촬상한 이미지 프레임 및 물체를 촬상한 이미지 프레임을 서로 다른 레이어로 조합하여, 조합된 상태에서 사용자 영역 및 물체 영역 간의 겹치는 영역이나 그 중간 영역 중 일 영역을 투과 영역으로 판단할 수 있다. 이 경우, 조합된 프레임과 정보를 포함하는 화면 프레임을 직접 비교하여, 정보가 투과 영역에 겹치는지를 파악할 수 있다.
도 9는 제1 촬상부(111) 및 제2 촬상부(121)의 배치 위치를 설명하기 위한 도면이다. 도 9는 투명 디스플레이 장치(100)의 위쪽에서 내려다본 상태의 도면이다. 도 9에 따르면, 제1 촬상부(111)는 투명 디스플레이 장치(100)를 기준으로 사용자의 반대측 상부에 부착되어, 물체(20)를 촬상한다. 반면, 제2 촬상부(121)는 투명 디스플레이 장치(100)를 기준으로 사용자 측의 상부에 부착되어 사용자(10)를 촬상한다.
도 9에서는 제1 촬상부(111) 및 제2 촬상부(121)는 각각 하나씩 마련되어, 상부 중앙 부분에 설치된다.
도 9에서 사용자(10)가 (a)지점에 위치하여 사용자(10) 및 물체(20)가 나란하게 배치된 경우, 투명 디스플레이 장치(100) 상에서 투과 영역은 사용자(10) 및 물체(20)를 연결한 선과 투명 디스플레이부(140)가 만나는 T(a)지점에 형성된다. 따라서, 투명 디스플레이 장치(100)는 투과 영역 T(a)가 　아닌 타 영역에 정보를 표시한다.
한편, 투명 디스플레이 장치(100)는 물체(20)를 그대로 투명하게 보여주기 때문에, 물체(20)가 고정된 위치에 있더라도 사용자의 위치에 따라 투명 디스플레이부(140) 상에서 물체(20)의 이미지가 맺히는 위치 및 형상이 다르게 된다. 즉, 도 9에서 사용자가 (b) 지점에 위치하게 되면 투과 영역은 T(b) 지점에 형성되고, 사용자가 (c) 지점에 위치하게 되면 투과 영역은 T(c) 지점에 형성된다. 또한, 물체(20)가 정사각 큐빅 형상인 경우, 사용자가 (a) 지점에 위치하고 눈높이가 물체(20)와 같은 경우에는 정사각형상으로 보이게 되지만, (b) 지점이나 (c) 지점에 위치하게 되면 직사각 형상이나 마름모 형상 등으로 보일 수도 있게 된다. 따라서, 사용자의 위치 이동에 따라 물체(20)에 대한 식별 영역을 정확하게 검출하여야 할 필요가 있다.도 10은 사용자 위치 및 물체 위치에 기초하여 투과 영역을 산출하는 방법을 설명하기 위한 도면이다. 도 10에서 사용자의 위치 이동이 있더라도 삼각 함수 법을 이용하여 물체(20)의 식별 영역을 추정하는 방법을 설명한다. 도 10에서는 뎁스 카메라나 거리 감지 센서 등을 이용하여 물체와의 거리, 배치 각도 등을 측정한 후, 측정 값을 이용하여 물체(20)의 식별 영역을 추정하는 실시 예에 대하여 설명한다.
도 10에 따르면, 제1 촬상부(111) 및 제2 촬상부(121)가 각각 도 9와 마찬가지로 상부 중앙에 설치될 수 있다. 제1 촬상부(111) 및 제2 촬상부(121)의 설치 위치가 서로 대응된다면, 그 지점을 원점(0, 0)으로 보고 물체(20)의 실제 위치를 L1(x1, y1), 사용자(10)의 실제 위치를 L2(x2, y2)로 가정한다.
제1 촬상부(111) 및 제2 촬상부(121)가 각각 뎁스 카메라로 구현된 경우, 제1 검출부(112)는 제1 촬상부(111)에서 촬상된 후방 배경 이미지를 이용하여 물체와의 거리(d1), 물체 방향과 투명 디스플레이 장치(100)의 표면과의 각도(θ1)를 검출할 수 있다. 또한,제2 검출부(122)는 제2 촬상부(121)에서 촬상된 전방 배경 이미지를 이용하여 사용자와의 거리(d2), 사용자 방향과 투명 디스플레이 장치(100)의 표면 간의 각도(θ2)를 검출할 수 있다.
제어부(130)는 삼각함수법을 이용하여 x1, y1, x2, y2를 각각 산출할 수 있다. 즉, d1*sinθ1=y1, d1*cosθ1=x1이 된다. 그리고, d2*sinθ2=y2, d2*cosθ2=x2가 된다. 이에 따라, x1, y1, x2, y2가 산출되면, L1과 L2 지점을 연결하는 직선 방정식이 구해진다. 즉, y=(y1-y2)*x/(x1-x2)+y1-(y1-y2)*x1/(x1-x2)와 같은 방정식을 구할 수 있다. 따라서, 투명 디스플레이부(140) 상에서 물체가 보이는 영역인 T는 ((x2y1-x1y2)/(y1-y2), 0)로 산출될 수 있다. 이에 따라, 제어부(130)는 산출된 T 지점에 표시될 정보를 그 주변 영역으로 이동시킬 수 있다.
도 10에서는 T 지점을 하나의 좌표값으로 기재하였으나, 이는 설명의 편의를 위한 것이며 실제로는 물체의 크기와 사용자 및 물체 간의 직선 거리를 이용하여 T 지점을 중심으로 일정 거리 이내의 영역들을 모두 투과 영역으로 추정할 수 있다.
도 9 및 도 10에서는 제1 및 제2 촬상부(111, 121)가 각각 1개씩 마련된 경우를 도시하였으나, 각 촬상부는 복수개로 마련될 수도 있다. 즉, 촬상부가 복수 개로 마련된 경우, 사용자가 위치 이동을 하더라도 그 위치 이동 방향에 대응되는 촬상부를 이용하여 물체에 대한 식별 영역을 추정할 수 있다. 이에 따라, 정확한 식별 영역 추정이 가능해진다.
도 11은 촬상부가 복수 개로 마련된 실시 예에 따른 투명 디스플레이 장치의 구성을 나타낸다.
도 11에 따르면, 6개의 제1 촬상부(111-1 ~ 111-6), 6개의 제2 촬상부(121-1 ~ 121-6)가 서로 반대 방향에서 대칭되는 형태로 배치된다. 서로 대칭되는 위치에 배치된 제1 촬상부 및 제2 촬상부는 서로 연동할 수 있다. 즉, 사용자가 (a) 지점에 위치하면 세번째 제1 촬상부(111-3) 및 세번째 제2 촬상부(121-3)에서 각각 촬상된 이미지를 이용하여 투과 영역 T(a)를 판단한다. 이러한 상태에서 사용자가 (b) 지점으로 이동하면 네번째 제1 촬상부(111-4) 및 네번째 제2 촬상부(121-4)에서 각각 촬상된 이미지를 이용하여 투과 영역 T(b)를 판단한다.
사용자의 위치는 별도로 마련된 모션 감지 센서(미도시)를 이용하여 감지할 수도 있고, 제2 촬상부(121-1 ~ 121-6)에서 각각 촬상된 이미지를 이용하여 사용자의 위치를 분석한 후, 전체 제1 촬상부(111-1 ~ 111-6)들 중에서 그에 대칭되는 제1 촬상부를 선택적으로 작동시켜 물체의 위치를 감지할 수도 있다.
가령, 첫번째 제2 촬상부(121-1)에서 사용자가 촬상되었다고 판단되면, 제어부(130)는 사용자가 촬상된 프레임들을 서로 비교하여 사용자의 움직임 벡터를 산출할 수 있다. 이에 따라, 사용자의 이동 방향이 판단되면, 이동 방향에 존재하는 다음 촬상부를 구동시켜 촬상을 수행할 수 있다. 즉, 도 11에서 사용자(10)가 우측으로 이동 중이라면 제어부(130)는 첫번째 제2 촬상부(121-1)에서 촬상된 이미지를 기초로 사용자의 이동 방향을 예측하고 두 번째 제1 촬상부(111-2)와 두 번째 제2 촬상부(121-2)를 턴-온시켜 촬상을 수행하도록 한다. 사용자가 계속 우측으로 이동하면, 세번째 제1 및 제2 촬상부(111-3, 121-3)를 턴-온시켜 촬상을 수행하도록 한다. 제어부(130)는 턴-온된 촬상부들로부터 촬상된 이미지를 기초로 투과 영역을 판단할 수 있다. 　
이와 같이 복수의 제1 촬상부(111-1 ~ 111-6), 복수의 제2 촬상부(121-1 ~ 121-6)를 이용하게 되면, 사용자의 시선 방향이 변경되더라도 투명 디스플레이부(140) 상에서 물체가 식별되는 영역을 정확하게 인식하여, 투과 영역을 판단할 수 있게 된다.
한편, 좀 더 개량된 실시 예에 따르면 제어부(130)가 개입하지 않고, 제1 촬상부(111-1 ~ 111-6) 간에 또는 제2 촬상부(121-1 ~ 121-6)가 서로 유선 또는 무선 통신 프로토콜에 따른 통신을 수행하여 사용자의 위치 이동 방향을 다른 촬상부로 통지하여 줄 수도 있다. 가령, 첫번째 제2 촬상부(121-1)에서 사용자가 촬상된 경우, 제2 촬상부(121-1)는 첫 번째 제1 촬상부(111-1)로 사용자 감지 신호를 전송한다. 첫 번째 제1 촬상부(111-1)는 사용자 감지 신호에 따라 물체(20)를 촬상하여, 이미지를 제어부(130)로 제공할 수 있다. 이러한 상태에서 사용자가 우측으로 이동하게 되면, 첫번째 제2 촬상부(121-1)는 두 번째 제1 및 제2 촬상부(111-2, 121-2)로 각각 사용자 감지 신호를 전송한다. 이러한 방식으로, 사용자 위치 이동에 적응적으로 반응하여, 투과 영역을 정확하게 감지하고, 그에 따라 정보(30)의 표시 위치를 이동시킬 수 있다.
도 11에서는 제1 및 제2 촬상부 모두가 복수 개로 구현된 경우를 설명하였으나, 반드시 이에 한정되는 것은 아니며, 제1 촬상부만이 복수 개로 마련되고, 제2 촬상부는 하나만 마련될 수도 있고, 그 반대의 경우도 가능하다.
각 촬상부는 동영상 카메라, 정지 영상 카메라, 뎁스(depth) 카메라 등과 같이 다양한 형태로 구현될 수 있다. 뎁스 카메라란 IR(InfraRed) 패턴을 발산하고 주변 환경으로부터 반사되는 IR 패턴을 수신하여 IR 영상을 획득하는 카메라를 의미한다. 제어부(130)는 IR 영상을 분석하여 주변 환경에 위치한 각 사물들과의 거리를 알 수 있다.
한편, 제어부(130)는 물체와의 거리 또는 사용자와의 거리를 고려하여, 각 촬상부에서 촬상된 물체 또는 사용자의 위치를 캘리브레이션할 수도 있다. 이에 따라, 정확한 투과 영역을 산출할 수 있다.
도 11에서는 복수의 촬상부를 이용하는 실시 예를 설명하였으나, 사용자의 시선 방향에 따라 촬상부를 회전시켜 촬상 각도를 조정하는 실시 예로도 구현할 수 있다. 복수의 촬상부가 마련된 경우에는, 사용자(10)의 위치와 물체(20)의 위치를 연결하는 직선상에 위치하거나, 그 직선과 근접한 위치의 촬상부를 선택하여 촬상을 수행할 수 있다. 이 경우, 선택된 촬상부가 회전되어 촬상 각도를 상기 직선이 향하는 방향으로 조절할 수 있다. 즉, 촬상부의 회전 각도가 조절될 수 있다. 이에 따라, 사용자가 위치 이동을 하여 시선 방향이 바뀌더라도 그에 부합되는 투과 영역을 판단할 수 있다.
도 12 및 도 13은 사용자의 시선 방향에 맞게 물체의 위치를 인식하기 위하여 촬상부를 회전시키는 투명 디스플레이 장치의 구성의 일 예를 나타내는 도면이다. 도 12 및 도 13은 투명 디스플레이 장치(100)가 쇼윈도로 구현된 경우를 나타낸다.
먼저, 도 12에 따르면, 가방과 같은 물체(20-1)가 놓여진 쇼윈도의 바깥 쪽에 위치한 사용자(10)가 정중앙에 서서 물체(20-1)를 바라보는 경우, 중앙부 상단에 배치된 제1 촬상부(111)는 기준 위치에서 촬상을 수행한다. 정보(30-1)는 사용자(10)가 바라본 물체(20-1) 위치와 겹치지 않는 영역에 표시된다. 도 12와 같이 쇼윈도로 구현된 경우, 정보(30-1)는 물체(20-1)와 관련된 설명이나, 해당 상점에 대한 광고 문구 등과 같이 다양한 정보가 될 수 있다. 투명 디스플레이 장치(100)를 관리하는 관리자는 투명 디스플레이 장치(100)에 구비된 입력부를 통해서 정보(30-1) 내용을 직접 입력할 수도 있고, PC와 같은 사용자 단말 장치를 이용하여 정보를 구성한 후 투명 디스플레이 장치(100)로 전달할 수도 있다.
이러한 상태에서 사용자가 일 방향으로 이동하게 되면, 그 방향에 맞게 제1 촬상부(111)를 회전시켜서 사용자의 위치에서 바라본 물체(20-1)의 위치를 정확하게 추정할 수 있다.
도 13은 사용자(10)가 왼쪽으로 이동한 상태를 나타낸다. 이 경우, 제1 촬상부(111)는 우측 방향으로 회전된다. 이에 따라, 물체(20-1)가 투명 디스플레이부(140) 상에 맺히는 위치도 변경되고, 사용자(10)가 정중앙에 위치하였을 때에는 보이지 않던 신규 물체(20-2)가 촬상 범위 내에 들어올 수 있다. 투명 디스플레이 장치(100)는 사용자(10)의 위치 이동에 따라, 물체(20-1)의 주변에 표시되어 있던 정보(30-1)의 표시 위치를 변경한다. 이 경우, 변경된 위치에 맞게 정보(30-1)의 표시 형태도 함께 변경할 수 있다. 또한, 투명 디스플레이 장치(100)는 신규 물체(20-2)에 대한 새로운 정보(30-2)도 추가적으로 디스플레이할 수 있다.
한편, 도 13에 도시된 바와 같이, 쇼윈도 상에서 물체(20-1)와 쇼윈도 가장 자리까지의 실제 거리(d3)와, 촬상부(111)에서 촬상된 이미지 상에서의 물체(20-1) 및 그 가장 자리까지의 거리(d4)는 다를 수 있다.
이 경우, 제어부(130)는 실제 거리(d3)와 이미지 상의 거리(d4) 간의 비율을 반영하여, 매트릭스 테이블의 셀 값을 정정할 수 있다.
도 14에서는 매트릭스 테이블의 각 셀 값을 정정하는 방법을 설명하기 위한 도면이다. 도 14에 따르면, 촬상부(111)의 전환된 촬상 범위 내에서 실제 촬상된 이미지에 따르면, V2, V3, V4라인과 Hm, Hm+1, Hm+2라인이 교차하는 셀에 첫번째 물체(20-1)에 대응되는 값 1을 기록하고, Vk, Vk+1 라인과 Hm, Hm+1, Hm+2, Hm+3, Hm+4 라인이 교차하는 셀에 두번째 물체(20-2)에 대응되는 값 2를 기록한다.
하지만, 제어부(130)는 d3과 d4 간의 비율에 대응되는 거리만큼 첫번째 물체(20-1)의 위치를 우측으로 쉬프트시키고, 두 번째 물체(20-2)의 위치는 고정되도록 매트릭스 테이블(700)의 각 셀 값을 수정한다.
쉬프트 거리는 반복 실험을 통해서 획득한 최적치를 기록한 데이터베이스로부터 획득할 수 있다.
한편, 상술한 바와 같이, 정보의 표시 이동 거리 및 이동 방향은 투과 영역과 겹치는 영역의 위치에 따라 결정될 수 있다. 이하에서는, 정보의 표시 이동 거리 및 이동 방향을 변경하는 다양한 실시 예들에 대하여 설명한다.
도 15는 투명 디스플레이 장치(100)가 랩탑 컴퓨터로 구현된 경우를 나타낸다. 도 15에 따르면, 투명 디스플레이 장치(100)의 투명 디스플레이부(140)에는 물체(20)가 투명하게 비친다.
이에 따라, 사용자(10)의 실제 위치와 물체(20)의 위치에 따라 투과 영역(20')이 결정된다. 투명 디스플레이 장치(100)는 투과 영역(20') 내에 표시되는 정보(30)의 표시 위치를 타 영역으로 변경한다.
도 16은 도 15와 같은 상황에서 신규 물체가 진입한 경우를 나타낸다. 도 16에 따르면, 신규 물체(40)가 투명 디스플레이부(140)의 후방으로 이동하여, 그 디스플레이 영역(40')이 정보(30) 표시 위치와 겹치게 되면, 정보(30)의 표시 위치는 다시 타 영역으로 변경된다. 이 경우, 식별력이 저하되지 않는 남은 영역의 형태 및 위치에 맞게 정보(30)의 표시 형태도 변경된다. 도 16에 따르면, 가로 방향으로 긴 직사각형 형태로 표시되고 있던 정보(30)가 이동과 함께 세로 방향으로 긴 직사각형 형태로 변경되는 것을 나타낸다.
*투명 디스플레이 장치(100)는 신규 물체(40)가 움직이는 동안에는 투과 영역에 대한 판단을 미루게 된다. 투명 디스플레이 장치(100)는 신규 물체(40)가 일정 시간(예를 들어, 5초 이상) 동안 정지하면, 그 상태에서 투과 영역을 판단한다.
도 17은 투과 영역과 정보 표시 위치 간의 오버랩 정도에 따라 정보 표시를 이동시키는 방법을 설명하기 위한 도면이다. 도 17에 따르면, 정보(30)의 일부분만이 투과 영역(20')과 겹치는 경우, 투명 디스플레이 장치(100)는 그 겹치는 너비만큼 정보(30) 표시 위치를 이동시킨다. 이동 방향은 정보(30) 내에서 겹치지 않는 부분이 존재하는 방향이 될 수 있다. 도 17에서는 정보(30)의 우측 부분이 겹치므로, 좌측 방향으로 표시가 이동된다.
도 17에 도시된 바와 같이, 정보의 표시 위치의 이동 방향은 투과 영역(20') 내에서의 오버랩 영역의 위치에 따라 결정될 수 있다. 가령, 정보(30) 전체가 투과 영역(20') 내에 포함되는 경우, 투과 영역(20')의 각 경계로부터 정보(30)까지의 거리를 고려하여, 이동 방향을 결정한다. 예를 들어, 정보(30)가 투과 영역(20')의 하측 경계와 가장 가깝게 표시되었다면, 정보(30) 표시의 이동 방향은 하측이 된다. 또한, 이동 거리는 투과 영역(20')의 하측 경계로부터 정보(30)의 상측 경계까지의 거리보다 큰 값으로 결정될 수 있다.
또는, 정보의 표시 위치의 이동 방향은 물체 기준, 사용자 기준, 디스플레이 기준, 가시 범위 기준 등과 같은 다양한 기준에 따라 결정될 수 있다.
가령, 물체를 기준으로 결정되는 경우, 투과 영역의 상, 하, 좌, 우, 좌상, 좌하, 우상, 우하 방향 중 하나를 우선 이동 방향으로 설정할 수 있다. 나머지 방향에 대해서도 각각 우선 순위를 설정하여 둘 수 있다. 우선 이동 방향으로 공간 여유가 없는 경우에는, 차순위 이동 방향으로 이동하도록 설정할 수 있다. 도 17과 같이 정보(30)와 투과 영역(50)이 겹치는 경우, 우측 방향이 우선 이동 방향으로 설정되어 있더라도 우측 공간이 부족하므로 이동할 수 없다. 이 경우, 차 순위 이동 방향이 좌측이라면 도 17에 도시된 바와 같이 좌측으로 이동될 수 있다.
또는, 사용자의 위치를 기준으로 결정되는 경우, 투명 디스플레이부(140)의 전체 영역 중 투과 영역을 기준으로 사용자가 위치한 방향에 대해 우선 순위를 설정할 수 있다. 이 경우　상, 하, 좌, 우, 좌상, 좌하, 우상, 우하 방향에 대해 우선 순위가 설정될 수 있다. 이에 따라, 최우선 순위방향으로 먼저 이동시킬 것을 고려하고 이동이 불가능하면 다음 순위의 이동 방향으로 순차적으로 이동 방향을 결정한다.
그 밖에, 투명 디스플레이부(140)의 디스플레이 표면 상의 절대적인 방향을 우선 기준으로 설정하여 이에 맞게 이동시킬 수도 있으며, 사용자의 가시범위를 고려하는 경우에는 물체 투과 영역을 기준으로 가시 범위 이내에서 정보 표시 방향을 상, 하, 좌, 우, 좌상, 좌하, 우상, 우하 방향 중 하나로 결정할 수 있다.
그 밖에, 투과 영역을 기준으로 정하지 않고, 디스플레이 표면 전체를 기준으로 상하좌우측 가장자리나, 각 모서리 부분으로 정보 표시 위치를 이동할 수도 있다.
한편, 정보 표시가 이동되는 영역이, 정보가 표시되고 있던 원 영역과 크기 및 형태가 다를 경우, 그에 맞추어 정보의 레이아웃도 변경될 수 있다.
도 18은 식별력이 저하되지 않는 나머지 영역의 크기 및 형태에 따라 정보(30)의 레이아웃을 변경하는 방법을 나타낸다. 도 18에 따르면, 식별력 저항 영역(50)과 정보(30)가 겹쳐서, 가장 가까운 경계 방향인 좌상측으로 정보(30)가 이동되는 경우, 현재 정보(30)의 크기 및 형태와 이동될 영역의 크기가 다를 수 있다. 이러한 경우, 정보(30)의 크기 및 형태를 이동될 영역에 맞게 변경하면서, 정보(30) 내의 레이아웃도 함께 변경하여 새로운 정보(30') 형태로 표시한다.
또한, 정보의 표시 위치는 사용자의 위치 이동에 따라서도 변경될 수 있다.
한편, 도 15 내지 도 18에서 설명한 바와 같이 투명 디스플레이 장치(100)가 랩탑 컴퓨터로 구현되는 경우, 사용자의 위치는 통상적으로 크게 변하지 않는다고 볼 수 있다. 즉, 랩탑 컴퓨터 사용을 위해서는 대부분 랩탑 컴퓨터의 정면에서 근거리 내에 사용자가 위치한다. 따라서, 사용자의 위치는 굳이 감지하지 않더라도, 투과 영역을 추정할 수 있다. 랩탑 컴퓨터 이외에 카메라나 휴대폰, PDA, MP3 플레이어, 전자 책, 전자 수첩 등과 같이 디스플레이 사이즈가 상대적으로 소형이고, 사용자가 지근거리에서 사용하는 것이 일반적인 장치의 경우에도 사실 상 사용자의 위치가 큰 의미가 없을 수 있다. 이러한 경우에는 상술한 제2 감지부가 생략된 상태로 투명 디스플레이 장치(100)가 구현될 수 있다. 이 경우, 투명 디스플레이 장치(100)는 후방의 물체를 촬상하여 그 위치 및 거리를 파악하여, 투과 영역을 추정할 수 있다. 그리고, 추정된 투과 영역을 고려하여 정보를 표시할 수 있다. 다만, 화상 통화 등을 위해서 투명 디스플레이 장치(100)가 이미 사용자를 촬상하기 위한 카메라를 구비한 경우에는 그 카메라를 이용하여 사용자의 위치나 시선 방향 등을 감지하여, 투과 영역을 추정할 수 있음은 물론이다.
한편, 투명 디스플레이 장치(100)는 사용자가 빈번하게 지나다니는 곳에 설치되는 게시판이나, 광고판, 키오스크 등으로 구현될 수 있다. 이 경우, 사용자의 위치 이동 시마다 반응하여 정보 표시 상태를 변경하기에는 무리가 따를 수 있다. 도 19는 사용자의 위치 이동을 고려하여 정보 표시 위치를 변경하는 경우에 대한 도면이다.
도 19에 따르면, 사용자(10)가 투명 디스플레이부(140)를 사이에 두고 물체(20)의 정면에 위치한 경우, 정보(30)는 물체(20)의 투과 영역(20')의 일 측에 표시된다.
이러한 상태에서 사용자가 한 쪽 방향으로 이동을 하게 되면, 사용자의 위치에 따라 투과 영역(20')이 변경된다. 이에 따라, 이전에 정보(30)가 표시되어 있던 영역과 투과 영역(20')이 겹치게 되므로, 정보(30) 표시 위치는 다시 변경된다. 이 경우, 사용자가 움직임을 멈추지 않고 계속 이동하는 경우에는 움직임이 멈출 때 까지는 정보(30) 표시 위치를 변경하지 않고 대기할 수도 있다.도 20은 투명 디스플레이 장치(100)가 차량에 적용된 경우를 나타낸다. 구체적으로는, 투명 디스플레이부(140)가 차량의 전면 유리에 적용된 상태를 나타낸다.
도 20에 따르면, 사용자(10)가 차량에 탑승하여 운행 중인 상태에서 각종 정보들이 전면 유리에 표시된다. 본 실시 예에서의 정보(30)는 차량 상태나 차량 운행, 주변 환경 등에 관련된 다양한 정보일 수 있다. 가령, 네비게이션 화면이나 연료 잔량, 속도, RPM, 주변 교통 상황, 주변 차량 정보 등이 전면 유리에 표시될 수 있다. 　
도 20의 투명 디스플레이부(140)는 도 4와 같은 투사형으로 구현될 수 있다. 이 경우, 차량의 전면 유리가 투명 스크린(141-2)이 된다. 투명 디스플레이 장치(100)는 차량 전방의 물체(20)가 전면 유리에 비치는 영역을 투과 영역으로 판단하고, 그 영역이 아닌 타 영역에 정보(30)를 디스플레이한다. 도 20에서와 같이 차량의 경우에는, 투명 디스플레이부(140) 즉, 전면 유리의 사이즈가 크지만, 사용자가 운전석에서 고정된 자세를 유지하게 되므로, 사용자의 위치 이동 폭은 크지 않다. 따라서, 이 경우에도 사용자의 위치를 감지하기 위한 제2 감지부가 사용되지 않을 수 있다. 이에 따라, 차량 전방의 물체(20)가 유리(141-2)에 비치는 영역만을 고려하여 투과 영역을 판단할 수 있다.
또는, 제2 감지부가 마련된 경우에는, 제2 감지부를 이용하여 사용자의 시선을 추적하여, 그 시선이 향하는 방향으로 정보(30) 표시 위치를 이동시킬 수도 있다. 이 경우, 제2 감지부(120)는 차량 내부의 룸미러나 운전석 상단 또는 사용자가 착용한 안경 등에 배치된 제2 촬상부(121)를 이용하여 사용자의 얼굴 영역을 촬상한다. 그리고, 이미지 프로세싱 기법을 이용하여, 촬상된 이미지를 분석하여 사용자의 동공 영역을 검출하고, 그 동공 영역의 위치 변화를 추적하여 사용자의 시선을 파악할 수 있다. 제어부(130)는 사용자의 시선이 파악되면, 파악된 시선에 맞는 위치에 정보(30)를 표시한다.
한편, 상술한 다양한 실시 예들에서 개시된 투명 디스플레이 장치(100)는 정보 표시 위치 이동 기능을 사용자의 설정에 따라 선택적으로 수행할 수 있다. 도 21은 해당 기능을 설정하기 위한 설정 화면의 일 예를 나타내는 도면이다.
도 21은 투명 디스플레이부(140) 상에 기능 설정을 위한 UI 화면(60)이 표시된 상태를 나타낸다. 도 21에서는 단순히 기능 온 또는 오프를 선택하기 위한 메뉴 만이 UI 화면(60)에 표시되었으나, 그 기능 실행을 위한 조건이나 정보 표시 속성 등을 설정하기 위한 메뉴도 UI 화면(60)에 함께 표시되어 사용자가 선택할 수 있다. 즉, 사용자는 투과 영역 내에 정보가 몇 초 이상 포함되었을 때 정보 표시 위치를 이동시킬 지, 정보 표시 위치 이동 거리를 어느 정도로 할 것인지, 정보 표시를 이동시켰을 경우 크기, 형태, 컬러, 폰트, 굵기 등을 어떻게 변경할 것인지, 정보 표시 위치 이동 방향을 어느 쪽으로 할 것인지 등을 선택할 수 있다. 사용자는 정보를 표시하는 어플리케이션마다 상술한 기능을 설정할 수 있다. 　
입력부(160)가 터치 스크린으로 구현된 경우, 사용자는 UI 화면(60)을 직접 터치하여 기능을 설정할 수 있다. 사용자가 설정한 설정 정보는 저장부(150)에 저장된다.
이에 따라, 투명 디스플레이 장치(100)는 어플리케이션을 실행시켜 정보를 표시하게 되면, 실행된 어플리케이션에 대해 저장부(140)에 기 저장된 설정 정보에 따라 정보 표시 이동 기능을 실행할 수 있게 된다.
도 22는 본 발명의 일 실시 예에 따른 투명 디스플레이 장치에서의 디스플레이 방법을 설명하기 위한 흐름도이다.
도 22에 따르면, 물체의 위치 및 사용자의 위치가 감지되면(S2210), 감지된 위치를 기준으로 투과 영역을 판단한다(S2220).
물체의 위치 및 사용자의 위치는 물체 및 사용자를 각각 촬상한 이미지로부터 검출할 수도 있으며, 별도로 마련된 광센서를 이용하여 투명 디스플레이부를 투과하는 광의 세기를 검출하여 위치를 검출할 수도 있다.
또한 투과 영역은 물체가 투명 디스플레이부(140) 상에 비치는 영역과, 사용자가 투명 디스플레이부(140)에 매칭되는 영역 간의 교집합에 해당하는 영역 또는 합집합에 해당하는 영역으로 결정될 수 있다. 투과 영역을 판단하기 위해서는 상술한 바와 같이 매트릭스 테이블이 이용될 수 있다.
투과 영역이 판단되면, 투명 디스플레이 장치는 투과 영역 내에 정보가 위치하는지 여부를 판단한다(S2230). 구체적으로는, 매트릭스 테이블에 정보의 표시 위치를 매칭시키고, 그 매칭 셀과 투과 영역에 해당하는 셀을 비교하여, 적어도 일부가 겹치면 투과 영역 내에 정보가 위치한다고 판단할 수 있다.
이에 따라, 투과 영역 내에 정보가 포함된다고 판단되면, 투명 디스플레이 장치는 정보 표시 위치를 타 영역으로 이동시킨다(S2240). 구체적으로는 매트릭스 테이블 내에서 물체 및 사용자 중 어느 하나에도 매칭되지 않는 셀을 파악하고, 그 파악된 셀 중에서 현재 정보 표시 위치와 가장 근접한 셀을 검출하여, 검출된 셀에 대응되는 영역에 정보를 표시한다.
반면, 투과 영역 내에 정보가 포함되지 않는 경우에는, 별도의 조치 없이 정보를 그 위치 그대로 표시한다(S2250).
결과적으로, 투명 디스플레이 장치(100)에 있어서 물체와 사용자의 위치가 겹치는 영역에 정보가 표시되는 것을 방지할 수 있어서, 정보의 식별력을 높일 수 있게 된다.
도 23은 본 발명의 다른 실시 예에 따른 투명 디스플레이 장치의 디스플레이 방법을 설명하기 위한 흐름도이다.
도 23에 따르면, 투명 디스플레이 장치(100)는 주위에 사용자가 감지되지 않을 때에는 아무런 정보도 표시하지 않고 있다가, 사용자가 감지되었을 때 물체와 관련된 정보를 디스플레이할 수 있다.
도 23의 디스플레이 방법에 따르면, 사용자가 주위로 이동하였음이 감지되면(S2310), 물체의 위치와 사용자의 위치를 각각 판단한다(S2320).
그리고 나서, 판단 결과를 바탕으로 투과 영역을 판단한다(S2330). 위치 판단 방법 및 투과 영역 판단 방법에 대해서는 상술한 다양한 실시 예를 통해 설명하였으므로, 중복 설명은 생략한다.
투과 영역이 판단되면, 투명 디스플레이 장치(100)는 물체와 관련된 정보를 투과 영역의 주변에 디스플레이한다(S2340). 여기서, 표시되는 정보는 물체와 관련하여 관리자가 미리 입력해 둔 정보일 수 있다. 가령, 투명 디스플레이 장치(100)가 상점의 쇼윈도에 적용된 경우, 물체의 이름, 가격, 스펙 등에 대한 정보가 물체 주변에 표시될 수 있다. 또는, 투명 디스플레이 장치(100)가 통신 기능을 구비한 경우, 물체와 관련된 정보를 네트워크를 통해 연결된 서버 장치로부터 수신하여 수시로 업그레이드시켜 표시할 수도 있다.
이러한 상태에서 신규 물체가 인식되면(S2350), 투명 디스플레이 장치(100)는 투과 영역을 재판단한다(S2360).
이에 따라, 새로운 투과 영역과 이전 정보 표시 위치가 겹치게 되었다면, 이전 정보 표시 위치를 변경하고, 신규 물체에 대한 새로운 정보도 전체 투과 영역과 겹치지 않는 영역에 추가로 디스플레이한다(S2370).
한편, 신규 물체가 인식되지 않고 신규 사용자가 추가된 경우라면(S2390), 신규 사용자의 위치에서 물체를 보았을 때 식별력이 저하되는 영역까지 포함시켜 투과 영역을 재판단한다(S2400).
이에 따라, 재판단된 투과 영역과 겹치지 않도록 이전 정보 표시 위치를 갱신한다(S2410).
한편, 투명 디스플레이 장치는 신규 물체가 인식되는 시간 또는 신규사용자가 인식되는 시간이 각각 기 설정된 임계 시간 미만이거나, 그 위치가 고정적이지 않고 지속적으로 변경한다면 일시적인 식별력 장애 사유로 보고 투과 영역을 재판단하지 않게 된다. 　
이상과 같이, 투명 디스플레이 장치는 사용자, 물체의 개수 및 위치에 적응적으로 반응하여, 적절한 위치에 정보를 표시하거나 정보 표시 위치를 이동시킬 수 있다.
한편, 이상과 같은 다양한 실시 예들에서는 정보가 투과 영역에 겹치는 경우 정보의 표시 위치를 이동시키는 것으로 설명하였으나, 그 밖에 다양한 실시 예로 변형 가능하다. 특히, 투명 디스플레이 장치(100)는 물체를 투명하게 보여주면서, 그에 덧붙여서 정보를 표시하는 것이므로 상황에 따라서는 물체 표시 위치와 겹치는 상태로 정보를 표시하여야 하는 경우가 있을 수 있다. 가령, 물체가 대형 지도인 경우, 그 대형 지도 상에서 특정 위치를 지정하기 위한 정보를 표시하기 위해서는 물체가 비치는 영역과 정보의 표시 위치가 겹칠 수 밖에 없다. 도 24는 이러한 경우에 대해서 식별력을 높을 수 있는 실시 예에 대하여 설명한다.
도 24는 본 발명의 또 다른 실시 예에 따른 투명 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 24에 따르면, 투명 디스플레이부(140) 후방에 다수의 물체(21, 22, 23)가 존재하고, 각 물체에 대응되는 정보(31, 32)가 디스플레이된 상태에서 사용자가 접근한 경우를 나타낸다.
도 24의 투명 디스플레이 장치(100)에서는 물체의 종류 및 특성에 따라 정보의 표시 위치를 이동하거나, 정보의 표시 속성을 변경하여 식별력을 향상시킨다.
도 24에 도시된 바와 같이 물체가 단일 색상의 물체(22)라면, 물체(22) 및 정보(30)의 속성을 파악하여 식별력 저하 여부를 판단하고, 판단 결과에 따라 정보(30)의 표시 상태를 변경할 수 있다. 가령, 물체(22)가 붉은 색인 경우, 정보(30)의 컬러도 붉은 색 또는 유사한 색이면서 투과 영역 내에 위치한다면, 식별력이 저하될 것으로 판단하고, 정보(30)의 표시 속성을 변경할 수 있다. 이 때 컬러는 물체(22)의 컬러의 보색에 해당하는 컬러로 변경할 수 있다.
또한, 컬러만을 변경하는 것이 아니라, 컬러 및 위치를 모두 변경할 수 있다. 반면, 물체(20) 및 정보(30)의 컬러가 서로 다른 색이라면, 투과 영역 내에 정보(30)가 위치하더라도 정보(30)의 표시 속성을 그대로 유지할 수도 있다.
또한, 물체가 지도(23)라면, 지도(23)와 겹치는 정보(31)의 표시 위치를 이동시키지 않고, 그 컬러를 식별력이 높은 원색으로 변경하여 식별력을 높일 수 있다.
반면, 물체가 알록달록한 무늬가 있는 그림(24)이나 벽지라면, 그 물체와 겹치는 정보(33)의 표시 위치를 타 영역으로 변경한다.
　이러한 동작을 위하여, 관리자는 투명 디스플레이 장치(100)의 후방에 있는 물체 각각에 대하여, 그 물체가 비칠 수 있는 후보 영역을 정하고, 후보 영역 별로 정보 표시 이동을 수행할 것인지 정하고, 표시 속성을 변경할 것인지를 설정하여 둘 수 있다.
도 24의 실시 예에서는 투명 디스플레이부(140)를 기준으로 각 물체(21, 22, 23, 24)에 정확하게 대칭되는 전방 위치 및 높이에서 바라보았을 때, 물체(21, 22, 23, 24)가 보이는 영역을 기준 영역으로 두고, 그 기준 영역의 상하좌우 측으로 마진을 부여하여 기준 영역을 포함하는 후보 영역을 정할 수 있다. 마진은 투명 디스플레이부(140)의 가로 세로 길이, 투명 디스플레부(140)의 전체 영역 상에서 기준 영역의 위치를 고려하여, 상하좌우 각각에 대해 다르게 부여할 수 있다. 즉, 우측 경계까지의 거리가 좌측 경계보다 2배 길다면, 우측 마진을 좌측 마진보다 2배 이상으로 큰 값으로 부여할 수 있다. 이와 같이 각 물체에 대해 후보 영역이 결정되면, 그 후보 영역 내에 표시되는 정보에 대해 표시 이동을 할것인지, 표시 속성을 변경할 것인지 여부를 설정하여 둘 수 있게 된다.
또는, 투명 디스플레이 장치(100)는 후방 배경 이미지 상에서 검출된 물체의 에지 부분을 검출하고, 그 에지 내에 서로 다른 컬러를 가지는 일정 면적 이상의 영역이 임계 개수 이상 포함되어 있는지를 판단하여, 알록달록한 부분인지, 아닌지를 판단할 수 있다. 가령, 임계 개수가 5개로 설정되어 있다면, 5개 이상의 컬러가 포함된 그림이나 벽지 부분에 표시되는 정보는 표시 위치를 이동시키고, 나머지 경우에는 정보의 표시 속성을 변경시켜 식별력을 유지할 수 있다. 지도의 경우, 지도 전체 색상은 일정하며 각종 명칭이나 선들은 일정 크기 미만이므로, 표시 속성을 변경하는 것으로 결정될 수 있다.
이와 같이, 도 24의 실시 예에 따르면, 정보의 특성을 고려하여 위치 이동 및 표시 속성 변경을 적응적으로 수행할 수 있어서, 식별력을 향상시키면서 동시에 투명 디스플레이 장치(100)의 활용도를 다양화시킬 수 있게 된다. 한편, 도 24에서는 컬러만을 변경시키는 것으로 도시하였으나, 컬러 이외에 형태, 크기, 굵기, 폰트 등과 같은 속성도 함께 변경시킬 수 있음은 물론이다.
한편, 투명 디스플레이 장치(100)는 사용자의 위치에 따라 정보의 표시 위치를 이동시키는 것과 함께, 신규 정보를 추가로 표시하는 동작도 수행할 수 있다.
도 25는 본 발명의 또 다른 실시 예에 따른 투명 디스플레이 장치의 동작을 설명하기 위한 것이다. 도 25에 따르면, 사용자의 위치 변화에 따라 다양한 정보를 표시하거나 위치를 이동시켜, 사용자의 흥미를 유발시킬 수 있다.
도 25에 따르면, 사용자(10)가 제2 촬상부(121)의 촬상 범위 이내에서 감지되지 않으면, 투명 디스플레이 장치(100)는 아무런 정보도 표시하지 않는다.
이러한 상태에서, 사용자(10)가 촬상 범위 이내로 진입하면, 현재 진열되어 있는 상품(20)에 대한 설명 문구를 포함하는 정보(30-1)를 해당 상품(20) 주변에 디스플레이한다. 아울러, 상품(20)과는 관련이 없는 각종 선전 문구를 포함하는 정보(30-2)를 투명 디스플레이부(140)의 일 영역에 디스플레이한다. 설명 문구를 포함하는 정보(30-1)와 달리, 선전 문구를 포함하는 정보(30-2)는 껌벅거리거나 표시 속성을 주기적으로 변경시켜 사용자의 흥미를 유발시킬 수 있다.
사용자(10)가 촬상 범위 내에서 계속 이동을 하는 경우, 사용자의 위치 이동에 맞게 정보(30-1, 30-2)의 표시 위치를 이동시킨다. 도 25에 따르면, 사용자가 이동하는 방향 쪽의 투명 디스플레이부(140) 영역으로 정보(30-1, 30-2)를 이동시켜 사용자가 상품(20)을 정확하게 볼수 없는 각도에서도, 정보(30-1, 30-2)를 확인할 수 있도록 한다.
투명 디스플레이 장치(100)는 사용자의 위치 이동 방향을 고려하여 사용자가 촬상 범위를 이탈할 것으로 판단되면, 이러한 상황에 맞는 새로운 정보(30-3)를 추가로 디스플레이한다.
사용자(10)가 촬상 범위를 이탈한 것으로 판단되면, 투명 디스플레이 장치(100)는 정보(30-1, 30-2, 30-3)를 삭제하고, 대기 상태로 들어간다. 도 25에서는 정보(30-1, 30-2, 30-3)를 모두 삭제하는 것으로 설명하였으나, 이 중 선전 문구를 포함하는 정보(30-2)는 항상 기준 위치에 표시하여 둘 수도 있음은 물론이다.
도 25에 도시된 바와 같이, 투명 디스플레이 장치(100)는 상점에 적용되어, 다양한 방식으로 활용될 수 있다.
한편, 상술한 여러 실시 예들에서는 관리자가 입력한 정보나 외부 장치로부터 수신한 정보, 어플리케이션 실행에 따른 정보 등을 정보로 표시하는 경우로 설명하였으나, 사용자 정보를 취득할 수 있는 경우, 사용자 정보와 연관된 정보를 정보로 표시하여 줄 수도 있다.
도 26은 사용자 정보를 수신하여, 그 정보에 대응되는 정보를 적응적으로 표시하는 투명 디스플레이 장치에 대한 실시 예를 설명하기 위한 도면이다.
도 26에 따르면, 투명 디스플레이 장치(100)는 근거리 무선 통신 모듈(200)을 더 포함할 수 있다. 근거리 무선 통신 모듈(200)은 근거리 무선 통신 태그, 근거리 무선 통신 리더, 또는 이들 모두를 포함하는 모듈로 구현될 수 있다. 일 예로, NFC(Near Field Communication) 모듈이 사용될 수 있다.
도 26에 따르면, 투명 디스플레이 장치(100)는 복수의 상품(20-1, 20-2, 20-3, 20-4)이 진열된 쇼윈도에 적용될 수 있다. 쇼윈도, 즉, 투명 디스플레이부(140)에는 선전 문구를 포함하는 정보(30)가 디스플레이된다. 이러한 정보(30)는 사용자(10)가 촬상 범위 이내로 들어오지 않은 경우에도 지속적으로 디스플레이될 수 있다. 　
이러한 상태에서 사용자(10)가 촬상 범위 이내로 진입하면, 진열된 각 상품(20-1, 20-2, 20-3, 20-4)이 투명 디스플레이부(140)에 비치는 영역(20'-1, 20'-2, 20'-3, 20'-4) 주변에 각 상품에 대응되는 정보(30-1, 30-2, 30-3, 30-4)를 디스플레이한다. 각 정보(30-1, 30-2, 30-3, 30-4)의 표시 위치는 사용자(10)의 위치 이동에 따라 변경될 수 있다.
이러한 상태에서 사용자(10)가 근거리 무선 통신 모듈이 구비된 자신의 사용자 단말 장치(300)를 근거리 무선 통신 모듈(200)에 태깅하면, 사용자 정보가 검출된다. 여기서, 투명 디스플레이 장치(100)에 구비된 근거리 무선 통신 모듈(200)은 근거리 무선 통신 리더가 될 수 있고, 사용자 단말 장치(300)에 구비된 근거리 무선 통신 모듈(200)은 근거리 무선 통신 태그가 될 수 있다.
투명 디스플레이 장치(100)는 상술한 근거리 무선 통신 방식에 따라 사용자 단말 장치(300)로부터 사용자 정보가 제공되면, 제공된 사용자 정보를 활용하여 다양한 유형의 정보를 투명 디스플레이부(140)에 표시할 수 있다.
일 예로, 사용자가 근거리 무선 통신 모듈이 포함된 사용자 단말 장치(300) 또는 카드를 구비한 상태에서 통신 가능 범위 내로 접근하여 근거리 무선 통신 모듈(200)에 태깅하면, 근거리 무선 통신 모듈에 포함된 사용자 정보를 수신한다. 사용자 정보에는 사용자 성명이나 ID, 성별, 나이 등과 같은 식별 정보가 포함될 수 있다.
투명 디스플레이 장치(100)는 수신된 사용자 정보에 부합하는 정보를 서버 장치로 요청한다. 이에 따라, 사용자(10)의 쇼핑 이력이나, 사용자가 기 선택한 위시 리스트(wish list), 직업 등을 수신할 수 있다. 투명 디스플레이 장치(100)는 서버 장치로부터 수신된 부가 정보 및 근거리 무선 통신 모듈에 의해 검출된 식별 정보 등을 이용하여, 사용자가 관심을 가질만한 상품을 확인할 수 있다.
확인 결과, 쇼윈도에 진열된 상품 중에서 사용자가 관심을 가질만한 상품이 존재한다면, 해당 상품에 관련된 각종 설명을 포함하는 정보를 투명 디스플레이부(140), 즉, 쇼윈도에 디스플레이할 수 있다.
반면, 투명 디스플레이 장치(100)는 쇼윈도에 진열되지 않은 상품 중에서 사용자가 구매할 가능성이 있는 상품이 존재한다면, 해당 상품에 관련된 정보를 포함하는 정보를 투명 디스플레이 부(140), 즉, 쇼윈도에 디스플레이할 수 있다.
도 26에 따르면, 진열된 상품들(20-1, 20-2, 20-3, 20-4)에 대한 정보 정보(30-1, 30-2, 30-3, 30-4) 이외에 매장 내 상품들에 대한 정보 정보(30-5, 30-6, 30-7)가 새로이 표시된다. 새로이 표시되는 정보 정보(30-5, 30-6, 30-7)는 해당 상품의 위치를 알려주기 위한 화살표 마크를 포함할 수 있다.
이러한 동작을 구현하기 위하여, 투명 디스플레이 장치(100)의 저장부(150)에는 해당 매장이 가지고 있는 상품에 대한 간단한 설명이나 위치를 나타내는 정보와, 그 정보를 표현하기 위한 정보에 대한 정보 등이 미리 저장되어 있을 수 있다. 이러한 정보들은 취미, 특기, 직업 등과 같은 다양한 기준에 의해 그룹화될 수 있다. 이에 따라, 제어부(150)는 사용자에 대한 부가 정보에 매핑되는 그룹 내의 정보들을 탐색하여 디스플레이하여 줄 수도 있다.
한편, 상술한 예와 달리, 부가 정보 자체도 사용자 단말 장치(300)로부터 직접 제공받을 수 있으며, 이 경우에는 그 부가 정보를 바로 이용하여 관련된 정보 정보를 투명 디스플레이부(140) 상에 표시할 수 있다.
이와 같은 신규한 정보 정보들이 추가로 표시되는 경우, 기존에 표시되어 있던 정보(30-1, 30-2, 30-3, 30-4)들의 표시는 삭제되거나, 도 26에 도시된 바와 같이 일부 정보(30-1)의 표시 위치가 새로운 정보 정보(30-5)와 겹치지 않도록 이동될 수도 있다. 이러한 위치 이동은 상술한 바와 같이 구성된 매트릭스 테이블에 기초하여 이루어질 수 있다. 즉, 각 정보들의 위치도 매트릭스 테이블에 함께 기록하여, 위치 이동 시의 참고 자료로 활용할 수 있다.
또한, 상술한 실시 예에서는 근거리 무선 통신 모듈을 이용하여 사용자 정보를 확인하는 것으로 설명하였으나, 이와 달리, 투명 디스플레이 장치(100)는 WiFi, 블루투스, 지그비 등과 같은 무선 통신 방식에 따라 사용자 단말 장치로부터 사용자 정보를 수신할 수도 있다. 이 경우, 사용자 정보는 사용자 성명이나 ID, 주민번호 등과 같은 식별 정보 이외에 사용자의 쇼핑 이력, 위시 리스트 등이 더 포함될 수도 있다.
상술한 바와 같이, 투명 디스플레이 장치(100)에서 표시되는 정보는 일반적인 OSD(On Screen Display) 메시지, 그래픽 이미지 등 뿐만 아니라 각종 어플리케이션 실행 화면, 컨텐츠 재생 화면, 웹 페이지 등이 될 수 있다. 제어부(130)는 기 저장된 다양한 어플리케이션을 실행하여 이러한 정보를 생성할 수 있다.
예를 들어, 컨텐츠 재생 화면의 경우, 제어부(130)는 저장부(150)에 저장된 컨텐츠 데이터를 독출하거나, 외부 소스로부터 컨텐츠 데이터를 수신한다. 그리고, 제어부(130)는 컨텐츠 데이터에 대한 디코딩, 렌더링, 스케일링 등을 순차적으로 수행하여 컨텐츠 재생 화면을 생성할 수 있다.
투명 디스플레이부(140)가 도 3에서 설명한 바와 같은 투명 OLED로 구현된 경우, 제어부(130)는 생성된 컨텐츠 재생 화면에 따라 투명 디스플레이부(140) 내의 각 셀에 구비된 투명 박막 트랜지스터를 온/오프시켜 컨텐츠 재생 화면의 각 픽셀을 표현한다. 상술한 여러 실시 예들에서 설명한 바와 같이 정보 표시를 이동시켜야 하는 경우, 제어부(130)는 컨텐츠 재생 화면이 표시될 픽셀 좌표를 상이하게 변경하여, 변경된 위치에 컨텐츠 재생 화면이 표시되도록 한다. 반면, 정보의 표시 속성을 변경하여야 하는 경우, 제어부(130)는 렌더러, 스케일러 등을 이용하여 변경할 수 있다. 제어부(130)를 포함한 투명 디스플레이 장치(100)의 세부 구성은 도 27에서 설명한다.
도 27은 투명 디스플레이 장치(100)에 적용되는 제어부(130)의 세부 구성의 일 예를 나타내는 도면이다. 도 27에 따르면, 제어부(130)는 시스템 메모리(131), 메인 CPU(132), 이미지 프로세서(133), 시스템 버스(134), 인터페이스(135), 제1 카메라 인터페이스(136), 제2 카메라 인터페이스(137), 입력 인터페이스(138), 네트워크 인터페이스(139)를 포함한다.
시스템 메모리(131), 메인 CPU(132), 이미지 프로세서(133), 각 인터페이스들(135, 136, 137, 138, 139) 들은 시스템 버스(134)를 통해 서로 연결되어, 각종 데이터나 신호 등을 송수신할 수 있다.
인터페이스(135)는 저장부(150)와 연결되어 각종 프로그램, 컨텐츠, 데이터 등을 송수신한다. 일 예로, 사용자가 저장부(150)에 저장된 컨텐츠를 확인하기 위한 확인 명령을 입력하면, 메인 CPU(132)는 인터페이스(135)를 통해 저장부(150)에 액세스하여, 저장된 컨텐츠에 대한 리스트를 생성한 후, 그 리스트를 투명 디스플레이부(140) 상에 디스플레이한다. 이러한 상태에서 사용자가 하나의 컨텐츠를 선택하여 재생 명령을 입력하면, 메인 CPU(132)는 저장부(150)에 저장된 컨텐츠 재생 프로그램을 실행시킨다. 컨텐츠 재생 프로그램에 포함된 명령어에 따라 메인 CPU(132)는 이미지 처리부(133)를 제어하여 컨텐츠 재생 화면을 구성한다.
이미지 처리부(133)는 디코더, 렌더러, 스케일러 등을 포함할 수 있다. 이에 따라, 저장된 컨텐츠을 디코딩하고, 디코딩된 컨텐츠 데이터를 렌더링하여 프레임을 구성하고, 구성된 프레임의 사이즈를 정보 표시 영역에 맞게 스케일링한다.
메인 CPU(132)는 상술한 바와 같이 정보의 표시 위치를 이동시켜야 하는 이벤트가 발생하면, 이미지 처리부(133)에서 렌더링된 프레임이 표시될 픽셀 좌표 값을 변경한다. 그리고, 투명 디스플레이부(140) 상에서, 변경된 픽셀 좌표값에 해당하는 디스플레이 영역에 정보를 디스플레이한다.
제1 카메라 인터페이스(136) 및 제2 카메라 인터페이스(137)는 각각 카메라와 연결된다. 상술한 실시 예들에서는 제1 및 제2 감지부(110, 120)가 각각 물체의 위치와 사용자의 위치를 직접 감지하는 것으로 설명하였으나, 이와 다르게 제1 감지부(110) 및 제2 감지부(120)는 각각 카메라로만 구현될 수도 있다. 이 경우, 메인 CPU(132)는 각 카메라에서 촬상된 이미지를 제1 및 제2 카메라 인터페이스부(136, 137)를 통해 입력받고, 저장부(150)에 저장된 이미지 분석 프로그램을 실행시켜 각 이미지 내에 포함된 물체 및 사용자의 위치를 각각 판단할 수 있다.
입력 인터페이스(138)는 입력부(160)와 연결되어, 사용자가 입력한 다양한 선택 신호 등을 수신한다. 도 27에서는 하나의 입력 인터페이스(138)만이 도시되었으나, 입력부(160)가 키보드, 마우스, 조이스틱 등과 같은 다양한 입력 수단을 포함하는 경우,각 입력 수단에 대응되는 개수만큼의 입력 인터페이스(138)가 마련될 수도 있다. 메인 CPU(132)는 입력 인터페이스(138)를 통해 입력되는 사용자 신호에 따라, 투명 디스플레이부(140)에 각종 정보를 디스플레이하거나, 정보 표시 위치 이동 기능을 설정하기 위한 UI 화면(60)을 디스플레이하는 등의 동작을 수행한다.
네트워크 인터페이스(139)는 네트워크를 통해 외부 장치들과 연결되는 부분이다. 가령, 메인 CPU(132)는 웹 브라우저 프로그램이 실행되면, 네트워크 인터페이스(139)를 통해서 웹 서버에 액세스한다. 웹 서버로부터 웹 페이지 데이터가 수신되면, 메인 CPU(132)는 이미지 처리부(133)를 제어하여 웹 페이지 화면을 구성하고, 구성된 웹 페이지 화면을 투명 디스플레이부(140)에 디스플레이한다.
시스템 메모리(131)는 ROM(131-1) 및 RAM(131-2)을 포함한다. ROM(131-1)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU(132)는 ROM(131-1)에 저장된 명령어에 따라 저장부(150)에 저장된 O/S를 RAM(131-2)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(132)는 저장부(150)에 저장된 각종 어플리케이션 프로그램을 RAM(131-2)에 복사하고, RAM(131-2)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
이상과 같이, 메인 CPU(132)는 저장부(150)에 저장된 어플리케이션 프로그램의 실행에 따라 다양한 종류의 정보를 생성하여, 투명 디스플레이부(140)에 디스플레이할 수 있다.
한편, 본 발명의 또 다른 실시 예에 따르면, 사용자 위치 이동을 감지하여, 투명 디스플레이부(140) 상에서 사용자의 이동된 위치에 대응되는 영역에, 적절한 객체(object)를 디스플레이할 수 있다.
상술한 바와 같이 제어부(130)는 저장부(150)에 저장된 프로그램을 시스템 메모리(131)에 복사하고 실행시켜, 다양한 동작을 수행할 수 있다.
도 28은 저장부(150)에 저장된 소프트웨어의 계층을 설명하기 위한 도면이다. 도 28에 따르면, 저장부(150)에는 베이스 모듈(2810), 디바이스 관리 모듈(2820), 통신 모듈(2830), 프리젠테이션 모듈(2840), 웹 브라우저 모듈(2850), 서비스 모듈(2860)을 포함한다.
베이스 모듈(2810)이란 투명 디스플레이 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈을 의미한다.
베이스 모듈(2810)은 스토리지 모듈(2811), 위치 기반 모듈(2812), 보안 모듈(2813), 네트워크 모듈(2814) 등을 포함한다.
스토리지 모듈(2811)이란 데이터베이스(DB)나 레지스트리를 관리하는 프로그램 모듈이다. 위치 기반 모듈(2812)이란 GPS 칩과 같은 하드웨어와 연동하여 위치 기반 서비스를 지원하는 프로그램 모듈이다. 보안 모듈(2813)이란 하드웨어에 대한 인증(Certification), 요청 허용(Permission), 보안 저장(Secure Storage) 등을 지원하는 프로그램 모듈이고, 네트워크 모듈(2814)이란 네트워크 연결을 지원하기 위한 모듈로 DNET 모듈, UPnP 모듈 등을 포함한다.
디바이스 관리 모듈(2820)은 외부 입력 및 외부 디바이스에 대한 정보를 관리하고, 이를 이용하기 위한 모듈이다. 디바이스 관리 모듈(2820)은 센싱 모듈(2821), 디바이스 정보관리 모듈(2822), 원격 제어 모듈(2823)등을 포함 할 수 있다. 센싱 모듈(2821)은 제1 감지부(110) 및 제2 감지부(120)와 같은 각종 센서들로부터 제공되는 센서 데이터를 분석하는 모듈이다. 구체적으로는, 물체의 위치나 사용자의 위치, 색상, 형태, 크기 및 기타 프로필을 검출하는 동작을 수행하는 프로그램 모듈이다. 그 밖에, 센싱 모듈(2821)은 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수 있다. 디바이스 정보 관리 모듈(2822)은 각종 디바이스에 대한 정보를 제공하는 모듈이며, 원격 제어 모듈(2823)은 전화기나 TV, 프린터, 카메라, 에어컨 등과 같은 주변 디바이스를 원격적으로 제어하는 동작을 수행하는 프로그램 모듈이다.
통신 모듈(2830)은 외부와 통신을 수행하기 위한 모듈이다. 통신 모듈(2830)은 메신저 프로그램, SMS(Short Message Service) & MMS(Multimedia Message Service) 프로그램, 이메일 프로그램 등과 같은 메시징 모듈(2831), 전화 정보 수집기(Call Info Aggregator) 프로그램 모듈, VoIP 모듈 등을 포함하는 전화 모듈(2832)을 포함할 수 있다.
프리젠테이션 모듈(2840)은 디스플레이 화면을 구성하기 위한 모듈이다. 프리젠테이션 모듈(2840)은 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈(2841), UI 및 그래픽 처리를 수행하는 UI & 그래픽 모듈(2842)을 포함한다. 멀티미디어 모듈(2841)은 플레이어 모듈, 캠코더 모듈, 사운드 처리 모듈 등을 포함할 수 있다. 이에 따라, 각종 멀티미디어 컨텐츠를 재생하여 화면 및 음향을 생성하여 재생하는 동작을 수행한다. UI & 그래픽 모듈(2842)은 이미지를 조합하는 이미지 합성기(Image Compositor module)(2842-1), 이미지를 디스플레이할 화면 상의 좌표를 조합하여 생성하는 좌표 조합 모듈(2842-2), 하드웨어로부터 각종 이벤트를 수신하는 X11 모듈(2842-3), 2D 또는 3D 형태의 UI를 구성하기 위한 툴(tool)을 제공하는 2D/3D UI 툴킷(2842-4) 등을 포함할 수 있다.
웹 브라우저 모듈(2850)은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 웹 브라우저 모듈(2850)은 웹 페이지를 구성하는 웹 뷰(web view) 모듈, 다운로드를 수행하는 다운로드 에이전트 모듈, 북마크 모듈, 웹킷(Webkit) 모듈 등과 같은 다양한 모듈을 포함할 수 있다.
그 밖에, 서비스 모듈(2860)은 다양한 서비스를 제공하기 위한 어플리케이션 모듈을 의미한다. 예를 들면, 서비스 모듈(2860)은 지도나 현재 위치, 랜드 마크, 경로 정보 등을 제공하는 네비게이션 서비스 모듈, 게임 모듈, 광고 어플리케이션 모듈 등과 같은 다양한 모듈을 포함할 수 있다.
제어부(130) 내의 메인 CPU(132)는 인터페이스(135)를 통해서 저장부(150)에 액세스하여, 저장부(150)에 저장된 각종 모듈들을 RAM(131-2)에 복사하고, 복사된 모듈의 동작에 따라 동작을 수행한다.
구체적으로는 메인 CPU(132)는 센싱 모듈(2821)의 동작에 따라 물체의 위치 및 사용자의 위치를 감지하고, 투과 영역을 판단한다. 그리고, 프리젠테이션 모듈(2840)을 실행시켜, 투과 영역이 아닌 타 위치에 정보가 표시되도록 한다. 구체적으로는, 좌표 조합 모듈(2842-2)을 이용하여 이동될 위치의 좌표를 생성한 후, 그 좌표 위치에 정보를 표시한다. 또한, 메인 CPU(132)는 이미지 조합 모듈(2842-1)을 이용하여, 정보의 크기, 색상, 형태, 레이아웃 등과 같은 다양한 속성을 변경한다.
표시되는 정보는 멀티미디어 모듈(2841)에 의해 재생되는 멀티미디어 컨텐츠가 될 수도 있고, UI & 그래픽 모듈(2842)에서 생성되는 각종 UI나 그래픽 이미지, 텍스트 등과 같이 될 수도 있다.
또한, 메인 CPU(132)는 메시징 모듈(2841)을 실행시켜, 통신 상대 노드로부터 메신저, SMS 메시지, MMS 메시지, 이메일 등을 수신할 수 있다. 수신된 각종 메시지는 투명 디스플레이부(140)에 표시된다.
한편, 도 25 및 도 26 등에서 도시한 바와 같이, 투명 디스플레이 장치가 쇼윈도에 적용되는 경우, 메인 CPU(132)는 UI & 그래픽 모듈(2842)을 실행시켜, 각종 광고 이미지나 광고 문구 등을 디스플레이할 수도 있다. 이러한 광고 이미지나 광고 문구는 웹 서버나 기타 네트워크 장치를 통해 수신될 수 있다. 메인 CPU(132)는 웹 브라우저 모듈(2850)을 실행시켜 네트워크 인터페이스(139)를 통해서 외부의 웹 서버에 액세스하고, 그 웹 서버로부터 웹 페이지 데이터를 수신한 후, 그 웹 페이지 데이터에 따른 화면을 디스플레이할 수 있다.
이상과 같이 저장부(150)에는 다양한 구조의 프로그램이 저장되어 있을 수 있으며, 제어부(130)는 저장부(150)에 저장된 프로그램을 이용하여 상술한 다양한 실시 예에 따른 동작을 수행할 수 있다.
도 29는 사용자의 위치에 대응되는 영역에 사용자 UI(User Interface) 화면을 디스플레이하는 실시 예를 나타낸다.
도 29에 따르면, 사용자가 투명 디스플레이부(140)를 사이에 두고 물체(20)와 반대 방향에 위치한 상태에서 한쪽 방향으로 이동하면, 이동된 위치에 따라 투과 영역(20')이 변경되고, 변경된 위치를 고려하여 적절한 위치에 객체(30)가 표시된다.
이러한 상태에서, 투명 디스플레이 장치(100)는 사용자가 투명 디스플레이부(140)를 기준으로 일정 거리 내로 접근하였다고 판단되면, 사용자(10)의 위치에 대응되는 영역에 사용자 UI를 디스플레이한다. 사용자 UI에는 물체(20)에 대한 정보나, 투명 디스플레이 장치(100)가 적용된 환경(예를 들어, 매장)에 대한 정보, 정보(30)를 다른 정보로 변경하기 위한 메뉴나, 정보(30) 표시 속성을 변경하기 위한 메뉴 등이 포함될 수 있다. 사용자(10)는 사용자 UI를 통해 해당 매장이 구비한 다른 상품들에 대한 정보를 확인할 수도 있고, 그 밖에, 담당자를 호출할 수도 있다.
또한, 상술한 바와 같이 정보의 표시 속성은 사용자의 위치에 따라 변경될 수 있다. 도 30 및 도 31은 사용자와 투명 디스플레이부 간의 거리에 따라 정보의 표시 영역의 크기를 상이하게 조정하는 실시 예를 나타내는 도면이다.
도 30에 도시된 바와 같이 사용자가 LD만큼 떨어진 위치에 존재하면, 투과 영역(20')의 일 측에 상대적으로 큰 사이즈의 정보(30)를 표시한다.
반면, 도 31에 도시된 바와 같이 사용자가 LD보다 작은 SD 만큼 떨어진 위치에 존재하면, 정보(30)를 그 거리에 비례하는 만큼 축소시켜 표시한다.
이에 따라, 사용자가 거리에 상관 없이, 정보를 편리하게 식별할 수 있게 된다.
도 32는 사용자의 가시 범위에 따라 정보(30)의 표시 위치를 조정하는 방법을 나타내는 도면이다.
도 32에 따르면, 사용자가 물체(20)의 정면에서 바라보았을 때는 투과 영역(20')이 정면에 형성되고, 정보(30)는 그 일 측에 표시된다.
이러한 상태에서 사용자가 좌측으로 이동하여 가시 범위가 변경되었을 경우, 투명 디스플레이 장치(100)는 사용자의 가시 범위 내에서 투과 영역(20')을 회피하여 정보(30)를 디스플레이한다.
사용자의 가시 범위는 사용자의 이미지를 촬상하여 얼굴 방향 또는 시선을 추적하여 산출할 수 있다. 또는, 사용자의 위치와 물체(20)의 위치를 연결하는 선을 기준으로, 사용자의 위치에서 일반 사람의 시각 이내의 범위를 가시 범위로 산출할 수도 있다.
한편, 복수의 물체가 존재하는 경우, 사용자의 위치에 대응되는 물체에 대해서만 적응적으로 정보를 표시할 수 있다.
또한, 복수의 정보가 표시되어 있는 경우, 사용자의 위치 이동이 있으면 사용자의 위치에 대응되는 디스플레이 영역에 각 정보를 수렴하여 디스플레이할 수도 있다.
한편, 상술한 바와 같이 정보의 위치 뿐만 아니라 정보의 표시 속성도 함께 변경될 수 있다. 이전 상황과 현재 상황에 대한 평가 결과 동일한 환경인 경우에는 정보의 표시 속성은 그대로 유지되고, 단순히 위치 이동만 이루어질 수 있다. 가령, 동일한 사용자와 동일한 물체가 존재하는 상태에서 물체 또는 사용자가 위치만을 이동한 경우, 그 이동된 위치에 따라 투과 영역이 변경되므로, 변경된 투과 영역을 피한 타 영역에 동일한 속성의 정보를 표시한다.
반면, 투과 영역의 면적이 커서 회피할 수 있는 공간이 충분하지 않은 경우, 정보의 표시 색상만을 물체의 색상과 대비되는 색상으로 변경하여 표시할 수 있다. 또는, 물체의 색상이 정보 표시 색상과 유사하여 정보 표시 위치를 이동하더라도 식별력이 저하될 우려가 있는 경우에는 정보의 표시 위치를 이동시키면서 정보의 표시 색상도 함께 변경할 수 있다. 또는, 위치 이동으로 인해 사용자와 가장 가까운 물체에 대한 정보, 또는 사용자와 가장 가까운 위치에 표시되는 정보, 사용자의 시선이 향하는 위치에 표시되는 정보 등의 색상을 변경할 수도 있다.
굵기의 경우도 컬러와 유사하게 변경될 수 있다. 가령, 사용자로부터 멀리 떨어진 물체에 대한 정보나, 멀리 떨어진 디스플레이 영역에 표시되는 정보의 경우에는 굵은 선으로 표시하고, 가까운 곳에 표시되는 정보의 경우에는 얇은 선으로 표시할 수 있다. 또는 사용자의 시선이 향하는 곳에 표시되는 정보의 경우에는 굵은 선으로 표시할 수 있다. 이러한 예시는 설정 상태에 따라 달라질 수 있음은 물론이다. 가령, 사용자로부터 멀리 떨어진 위치의 정보에 대해서 오히려 얇은 굵기로 표시되도록 설정할 수도 있다.
크기의 경우도 마찬가지로 사용자의 시선이 향하는 곳인지, 사용자와 멀리 떨어진 물체에 대한 정보인지, 사용자와 멀리 떨어진 위치에 표시되는 정보인지, 사용자 및 투명 디스플레이부(140) 사이의 거리가 먼지 가까운지 등에 따라서 상이한 크기로 결정될 수 있다.
이상과 같은 색상, 크기, 굵기 이외에도, 언어, 폰트 등과 같은 다양한 속성이 다르게 설정될 수 있다.
이러한 속성들은 상술한 바와 같이 사용자, 물체 등의 위치나, 그 표시 환경에 따라 달라질 수 있지만, 이와 상이한 실시 예에서는 근거리 무선 통신 방식이나 기타 통신 방식에 의해 사용자에 대한 정보에 따라 다르게 설정될 수도 있다.
즉, 근거리 무선 통신 방식에 의해 사용자 정보가 제공된 경우, 사용자 정보에 기초하여 객체의 굵기나 컬러, 크기, 언어, 폰트 등을 조정할 수도 있고, 정보의 종류나 정보의 수준도 다르게 표시할 수도 있다. 가령, 사용자 정보에 따라 특정 정보에 대해서는 더 굵고, 크게 표시할 수 있다.
도 33은 근거리 무선 통신 방식으로 제공된 사용자 정보에 따라 정보의 표시 속성을 상이하게 변경하는 실시 예에 대한 도면이다.
도 33에 따르면, 사용자(10)가 노인이나 외국인이라 하더라도, 일단은 그 사용자(10) 위치 및 물체(20)의 위치를 고려하여 적절한 위치에 정보(30)를 표시한다. 이러한 상태에서 사용자가 자신의 사용자 단말 장치(300)를 근거리 무선 통신 모듈(200)에 태깅시키면, 근거리 무선 통신 모듈(200)은 사용자 정보를 수신한다. 사용자 정보에는 사용자의 이름, 성별, 나이, 국적 등이 포함될 수 있다.
투명 디스플레이 장치(100)는 사용자 정보가 수신되면, 그 사용자 정보에 부합되는 속성을 결정한다.
도 33에서는 나이가 많은 노인이 태깅한 경우를 도시하였다. 이 경우, 투명 디스플레이 장치(100)는 원래 표시되어 있던 정보를 더 굵고 더 크게 표시한다. 이에 따라, 시력이 좋지 않은 노인도 정보(30)를 용이하게 인식할 수 있게 된다.
또는, 외국인인 경우, 그 국적에 따라 영어나, 일본어, 프랑스어, 중국어 등과 같은 다양한 언어로 정보를 표시한다.
한편, 정보의 표시 속성 이외에 정보의 내용이나 수준도 다르게 변경될 수 있다. 가령, 40대 주부가 태깅을 한 경우에는 40대 주부가 관심 있어 할 정보를 표시하도록 하거나, 10대 학생이 태깅을 한 경우에는 성인물 등에 대한 정보는 표시하지 않도록 구현할 수 있다.
도 33에서는 근거리 무선 통신 방식으로 사용자 정보를 수신하여 그에 맞게 정보를 변경하는 실시 예를 설명하였으나, 그 밖에 WiFi, 지그비, 블루투스와 같은 다양한 무선 통신 방식이 사용될 수 있음도 물론이다. 또는, 투명 디스플레이부(140) 표면 또는 외측에 구비된 단말기를 통해 사용자가 자신의 정보를 직접 입력하도록 구현할 수도 있다.
또는, 무선 통신 방식을 이용하지 않고, 투명 디스플레이 장치(100)가 직접 사용자의 이미지를 촬상하여, 촬상된 이미지를 분석하여 사용자의 특성을 판단할 수도 있다.
도 34는 사용자를 촬상하여 그 특성을 파악하고 그 특성에 따라 정보 표시 상태를 변경하는 실시 예를 나타내는 도면이다.
도 34에 따르면, 제1 사용자(10-1)가 투명 디스플레이부(140) 정면에 서 있는 경우에는, 제1 사용자(10-1)를 촬상하여 이미지를 획득한다. 투명 디스플레이 장치(100)는 획득된 이미지를 분석하여 어른인지 아이인지를 판단한다. 구체적으로는 획득된 이미지의 세로 길이, 그 이미지 상에서 제1 사용자(10-1)에 대응되는 영역의 세로 길이 및 투명 디스플레이부(140)와 제1 사용자(10-1) 간의 거리를 이용하여 비례적으로 제1 사용자(10-1)의 키를 산출할 수 있다. 이에 따라, 산출된 키가 임계치를 넘으면 제1 사용자(10-1)를 어른으로 간주한다.
제1 사용자(10-1)가 어른으로 판단되면, 투명 디스플레이 장치(100)는 어른을 위하여 마련한 정보(30-1)를 어른(10-1) 눈높이에 맞는 높이에 디스플레이한다.
이러한 상태에서 제1 사용자(10-1)가 촬상 범위를 벗어나고, 제2 사용자(10-2)가 새로이 촬상 범위 내로 들어온 경우, 제2 사용자(10-2)를 촬상하여 이미지를 획득하고, 획득된 이미지를 분석하여 어른인지 아이인지 다시 판단한다. 이에 따라, 아이라고 판단되면, 이전에 표시되어 있던 정보(30-1)를 삭제하고, 아이를 위하여 마련한 정보(30-2, 30-3)를 아이 눈높이에 맞는 높이에 디스플레이한다.
결과적으로, 사용자에 맞는 다양한 정보를 식별력 있게 제공하여 줄 수 있게 된다.
상술한 다양한 실시 예들에서는 정보들이 모두 박스 형태로 표현되었으나, 이는 설명의 편의를 위한 것일 분이며 정보는 텍스트로만 표현될 수도 있다. 또는 정보가 표시되는 영역의 바탕 색을 불투명하게 처리하여, 정보가 후방 배경과 확연하게 구별되도록 구현할 수도 있다.
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법들은, 투명 디스플레이가 가능한 모든 유형의 장치에 적용될 수 있다. 예를 들어, 창문, HUD(Head up display) 시스템, HMD(Helmet Mount Display) 시스템, 노트북, PC 모니터, TV, , PDA, 전자 액자, 태블릿 PC, 카메라　등과 같은 다양한 장치에 적용될 수 있다.
도 35는 카메라로 구현된 투명 디스플레이 장치를 나타내는 도면이다. 도 35에 따르면, 카메라(1000)는 투명 디스플레이부(1400)를 포함한다. 투명 디스플레이부(1400)는 종래의 일반 카메라 장치에서 라이브 뷰(live view)를 표시하는 일반 디스플레이 유닛을 대체하여 그 위치에 마련될 수 있다. 이에 따라, 사용자는 CCD(Charge Coupled Device) 어레이 등과 같은 촬상 소자를 촬상된 라이브 뷰를 보는 것이 아니라, 투명 디스플레이부(1400)에 투명하게 비치는 실제 카메라의 앞쪽 배경을 보면서 촬상을 수행할 수 있다.
이 경우, 투명 디스플레이부(1400)는 앞쪽을 향하는 촬상 소자를 이용하여 앞쪽 배경에 위치하는 피사체(20)의 위치를 감지할 수 있다. 카메라(1000)는 뎁스 카메라나 기타 거리 감지 센서를 이용하여 피사체와 카메라(1000) 사이의 거리를 감지할 수도 있다. 카메라(1000)는 감지된 거리와 피사체의 위치에 기초하여 투명 디스플레이부(1400) 상에서 피사체가 비치는 투과 영역을 판단할 수 있다. 카메라(1000)의 경우 카메라(1000)를 사용하고자 하는 사용자가 카메라(1000)를 기준으로 위치할 사용자와 카메라(1000) 간의 통계적인 거리 또는 각도 등에 근거하여, 사용자의 위치를 검출하는 과정이 없이도 투과 영역이 판단될 수도 있다. 또한, 카메라(1000)를 사용하고자 하는 사용자의 위치 및/또는 사용자의 시선을 검출하여, 사용자 시선에 대응하는 피사체(20), 대응하는 피사체(20)의 위치 및/또는 대응하는 피사체(20)의 식별 영역이 추정될 수 있다. 이에 따라, 사용자의 위치, 사용자의 시선, 대응하는 피사체(20)의 위치 및/또는 피사체(20)의 식별 영역 등을 기반으로 투명 디스플레이부(1400)에 물체가 보이는 투과 영역이 판단될 수도 있다.
이에 따라 투과 영역(20')이 판단되면, 카메라(1000)는 투명 디스플레이부(1400) 상에서 투과 영역(20') 이외의 영역에 정보(30)를 표시한다. 도 35에서는 선택 가능한 메뉴에 대한 정보(30)가 표시된 상태를 도시하였으나, 이 외에도 카메라(1000)의 배터리 잔량, 동작 모드, 메모리 용량 등과 같은 다양한 정보들이 표시될 수도 있으며, 이러한 정보들 역시 투과 영역(20')을 회피한 타 영역에 표시하여 식별력을 높일 수 있다.
이상과 같이, 투명 디스플레이 장치(1000)는 카메라로도 구현될 수 있다.
한편, 상술한 부분에서는, 사용자의 위치 이동에 따라 투과 영역을 정확하게 판단하기 위하여, 촬상부를 복수 개로 구비하거나, 촬상부를 회전시키는 실시 예에 대하여 설명한 바 있다. 하지만, 이 밖에, 촬상부도 사용자의 위치 이동에 따라 이동하도록 구현할 수도 있다.
도 36은 본 발명의 또 다른 실시 예에 따른 투명 디스플레이 장치를 나타내는 도면이다. 도 35에 따르면, 투명 디스플레이 장치(100)의 상측에는 레일(36) 및 레일(36)을 따라 이동 가능한 이동체(3600)가 마련된다.
제1 촬상부(111) 및 제2 촬상부(121)는 각각 서로 반대 방향을 향하도록 이동체(3600)에 부착된다. 이동체(3600)는 사용자의 위치에 따라 이동한다.
사용자가 존재하지 않는 대기 상태의 경우, 이동체(3600)는 투명 디스플레이부(140)의 중심부나 한쪽 끝 부분에서 고정된 상태로 대기할 수 있다.
이 중, 대기 상태에서 이동체(3600)가 투명 디스플레이부(140)의 중심부에 위치하는 경우를 예로 들면, 제어부(130)는 제2 촬상부(121)에서 촬상된 이미지에서 사용자가 최초 감지되면, 이미지 내에서의 사용자 위치를 판단한다. 제어부(130)는 사용자의 위치가 판단되면, 이미지의 중심을 기준으로 사용자가 위치한 방향으로 이동체(3600)를 이동시키면서 지속적으로 촬상을 수행한다. 이에 따라, 사용자가 중심에 위치한 이미지가 획득되면, 그 때부터는 사용자의 위치 이동 방향 및 속도에 따라 이동체(3600)를 이동시킨다. 상술한 바와 같이 제1 및 제2 촬상부(111, 121)가 각각 이동체(3600)에 부착된 상태이므로, 이동체(3600)의 이동에 의해 제1 촬상부(110)의 촬상 범위도 변경된다. 이에 따라, 제1 촬상부(110)에서 촬상된 이미지에서 검출된 물체의 식별 영역은, 사용자의 눈에 인식되는 투과 영역과 일치하게 된다.
또는, 도 36에 도시된 바와 같이, 이동체(3600)가 한쪽 끝에서 대기하는 중에 사용자가 촬상 범위 내로 진입하는 경우를 예로 들면, 제어부(130)는 사용자가 중심에 위치하는 이미지가 획득될 때까지 이동체(3600)를 대기시킨다. 이러한 상태에서 연속적으로 촬상되는 이미지에서의 사용자 위치를 비교하여, 움직임 벡터를 산출한다. 제어부(130)는 사용자(10)가 중심에 위치한 이미지가 획득되면, 움직임 벡터에 따라 이동체(3600)를 이동시킨다. 이에 따라, 제1 촬상부(110)에서 촬상된 이미지에서 검출된 물체의 식별 영역은, 사용자의 눈에 인식되는 투과 영역과 일치하게 된다.
그 밖에, 이동체(3600)는 사용자가 좌에서 우로 또는 우에서 좌로 지나가는 것이 아니라, 뒤쪽으로 멀어진 경우에는, 그 시점의 이동 위치에서 대기할 수도 있다. 또는, 대기 상태에서 주기적으로 좌우로 왕복하면서 사용자가 감지되는지 확인할 수도 있다. 이러한 다양한 경우에서도, 사용자가 감지되면 그 사용자가 감지된 위치로 이동체(3600)를 이동시켜, 사용자의 가시 범위 내에 들어오는 물체를 인식하고, 그에 대응되는 투과 영역을 결정하여 정보를 표시하여 줄 수 있게 된다.
이상과 같이, 본 발명의 다양한 실시 예에 따르면, 사용자의 위치 및 물체의 위치를 고려하여, 정보를 보다 효과적으로 전달할 수 있게 된다.
한편, 이러한 다양한 실시 예에 따른 방법들은 프로그래밍되어 각종 저장 매체에 저장될 수 있다. 이에 따라, 저장 매체를 실행하는 다양한 유형의 전자 장치에서 상술한 다양한 실시 예에 따른 방법들이 구현될 수 있다.
구체적으로는, 본 발명의 일 실시 예에 따르면, 투명 디스플레이부의 물체의 위치 및 사용자의 위치를 각각 감지하는 단계, 감지된 위치를 기초로 투과 영역을 추정하는 단계, 추정된 투과 영역에 포함되는 정보의 표시 위치를 이동하는 단계를 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110 : 제1 감지부　　　　　　　　　　　　　　　120 : 제2 감지부
130 : 제어부　　　　　　　　　　　　　　　　　140 : 투명 디스플레이부

Claims (24)

  1. 디스플레이;
    상기 디스플레이로부터 제1 방향에 있는 물체의 위치를 감지하는 제1 감지부;
    상기 디스플레이로부터 제2 방향에 있는 사용자의 위치를 감지하는 제2 감지부; 및
    상기 디스플레이에 정보를 표시하고, 상기 감지된 물체의 위치 및 사용자의 위치를 기반으로, 상기 사용자의 위치에서 상기 디스플레이 상에 상기 물체가 투과되어 보이는 제1 영역을 판단하고, 상기 판단된 제1 영역이 상기 디스플레이에서 상기 정보가 표시된 영역과 오버랩되는 경우, 상기 판단된 제1 영역과 오버랩되지 않는 제2 영역으로 상기 정보를 이동시켜 디스플레이하도록 상기 디스플레이를 제어하는 제어부;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 제1 감지부는,
    상기 디스플레이의 제1 방향에 있는 상기 물체를 포함하는 적어도 하나의 사물을 촬상하는 제1 촬상부;
    상기 촬상된 적어도 하나의 사물의 이미지 픽셀 정보를 이용하여 에지를 검출하는 제1 검출부;
    상기 검출된 에지를 이용하여 상기 적어도 하나의 사물 중에서 상기 물체를 식별하고, 상기 식별된 물체의 위치 및 식별 영역을 검출하는 제2 검출부;를 포함하는 디스플레이 장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 검출된 식별 영역의 크기 및 위치를 이용하여 상기 사용자의 위치에서 상기 디스플레이 상에 상기 물체가 투과되어 보이는 영역을 판단하는 디스플레이 장치.
  4. 제2항에 있어서,
    상기 디스플레이는,
    기 설정된 사이즈의 가상 분할 영역으로 구분되고,
    상기 제어부는,
    상기 가상 분할 영역 중에서 상기 식별 영역이 차지하는 영역을 상기 물체가 투과되어 보이는 영역으로 판단하는 것을 특징으로 하는 디스플레이 장치.
  5. 제4항에 있어서,
    상기 가상 분할 영역은 매트릭스 테이블로 매핑되고,
    상기 제어부는,
    상기 매트릭스 테이블 내에서 상기 물체가 투과되어 보이는 영역에 매핑되는 셀과, 상기 정보의 표시 영역에 매핑되는 셀 간의 상관 관계에 따라, 상기 정보의 표시 위치를 조정하는 것을 특징으로 하는 디스플레이 장치.
  6. 제5항에 있어서,
    상기 제어부는,
    상기 정보의 표시 위치를 조정하면서, 상기 정보의 표시 속성을 변경하며,
    상기 표시 속성은, 정보 표시 영역의 크기, 컬러, 굵기, 폰트, 배경색 중 적어도 하나인 것을 특징으로 하는 디스플레이 장치.
  7. 제5항에 있어서,
    상기 매트릭스 테이블이 저장된 저장부;를 더 포함하며,
    상기 제어부는
    상기 매트릭스 테이블 내의 각 셀 중에서 상기 제1 감지부에서 감지된 상기 물체의 위치에 매칭되는 셀과, 상기 제2 감지부에서 감지된 상기 사용자의 위치에 매칭되는 셀의 중복 영역 또는 가산 영역과, 상기 정보의 표시 영역의 적어도 일부가 겹치면 상기 정보의 표시 위치를 타 영역으로 이동시키는 것을 특징으로 하는 디스플레이 장치.
  8. 제2항에 있어서,
    상기 제1 촬상부는, 복수 개이며,
    상기 제2 감지부는,
    상기 디스플레이를 기준으로 상기 복수 개의 제1 촬상부와 대칭되도록 배치된 복수 개의 제2 촬상부를 포함하고,
    상기 제어부는,
    상기 복수 개의 제2 촬상부 중에서 상기 사용자의 위치를 검출하기 위해 이용된 이미지를 촬영한 제2 촬상부와 대칭되도록 배치된 제1 촬상부를 이용하여 촬상을 수행하는 것을 특징으로 하는 디스플레이 장치.
  9. 제2항에 있어서,
    상기 제1 촬상부는 상기 사용자의 위치에 따라 회전 가능한 것을 특징으로 하는 디스플레이 장치.
  10. 제1항에 있어서,
    상기 제2 감지부는,
    상기 제2 방향으로 촬상을 수행하는 제2 촬상부;
    상기 제2 촬상부에서 촬상된 이미지를 이용하여 상기 사용자의 위치를 검출하는 사용자 위치 검출부;를 포함하며,
    상기 제어부는 상기 사용자의 위치를 이용하여 상기 사용자의 가시 범위를 추정하고, 상기 사용자의 가시 범위 내에서 상기 정보를 표시하는 것을 특징으로 하는 디스플레이 장치.
  11. 제1항에 있어서,
    상기 제어부는,
    상기 사용자와의 거리에 따라, 상기 정보가 디스플레이되는 영역의 크기를 상이하게 조정하는 것을 특징으로 하는 디스플레이 장치.
  12. 제1항에 있어서,
    상기 제어부는,
    상기 제2 감지부에서 감지된 상기 사용자의 위치가 이동되는 경우, 상기 이동된 사용자의 위치를 기반으로 상기 디스플레이 상에 상기 물체가 투과되어 보이는 제1 영역을 판단하는 것을 특징으로 하는 디스플레이 장치.
  13. 디스플레이를 포함하는 디스플레이 장치의 디스플레이 방법에 있어서,
    상기 디스플레이로부터 제1 방향에 있는 물체의 위치를 감지하는 단계;
    상기 디스플레이로부터 제2 방향에 있는 사용자의 위치를 감지하는 단계;
    상기 디스플레이에 정보를 표시하는 단계;
    상기 감지된 물체의 위치 및 사용자의 위치를 기반으로, 상기 사용자의 위치에서 상기 디스플레이 상에 상기 물체가 투과되어 보이는 제1 영역을 판단하는 단계; 및
    상기 판단된 제1 영역이 상기 디스플레이에서 상기 정보가 표시된 영역과 오버랩되는 경우, 상기 판단된 제1 영역과 오버랩되지 않는 제2 영역으로 상기 정보를 이동시켜 디스플레이하는 단계;를 포함하는 디스플레이 방법.
  14. 제13항에 있어서,
    상기 물체의 위치를 감지하는 단계는,
    상기 디스플레이의 제1 방향에 있는 상기 물체를 포함하는 적어도 하나의 사물을 촬상하는 단계;
    상기 촬상된 적어도 하나의 사물의 이미지 픽셀 정보를 이용하여 에지를 검출하는 단계;
    상기 검출된 에지를 이용하여 상기 적어도 하나의 사물 중에서 상기 물체를 식별하고, 상기 식별된 물체의 위치 및 식별 영역을 검출하는 단계;를 포함하는 디스플레이 방법.
  15. 제14항에 있어서,
    상기 판단하는 단계는,
    상기 검출된 식별 영역의 크기 및 위치를 이용하여 상기 사용자의 위치에서 상기 디스플레이 상에 상기 물체가 투과되어 보이는 영역을 판단하는 것을 특징으로 하는 디스플레이 방법.
  16. 제14항에 있어서,
    상기 판단하는 단계는,
    상기 디스플레이를 기 설정된 사이즈의 가상 분할 영역으로 구분하고, 상기 가상 분할 영역 중에서 상기 식별 영역이 차지하는 영역을 상기 물체가 투과되어 보이는 영역으로 판단하는 것을 특징으로 하는 디스플레이 방법.
  17. 제16항에 있어서,
    상기 가상 분할 영역은 매트릭스 테이블로 매핑되고,
    상기 정보를 디스플레이하는 단계는,
    상기 매트릭스 테이블 내에서 상기 물체가 투과되어 보이는 영역에 매핑되는 셀과, 상기 정보의 표시 영역에 매핑되는 셀 간의 상관 관계에 따라, 상기 정보의 표시 위치를 조정하여 디스플레이하는 것을 특징으로 하는 디스플레이 방법.
  18. 제17항에 있어서,
    상기 정보의 표시 속성을 변경하는 단계;를 더 포함하며,
    상기 표시 속성은, 정보 표시 영역의 크기, 컬러, 굵기, 폰트, 배경색 중 적어도 하나인 것을 특징으로 하는 디스플레이 방법.
  19. 제17항에 있어서,
    상기 매트릭스 테이블을 저장하는 단계;를 더 포함하며,
    상기 정보를 디스플레이하는 단계는,
    상기 매트릭스 테이블 내의 각 셀 중에서 상기 감지된 상기 물체의 위치에 매칭되는 셀과, 상기 감지된 상기 사용자의 위치에 매칭되는 셀의 중복 영역 또는 가산 영역과, 상기 정보의 표시 영역의 적어도 일부가 겹치면 상기 정보의 표시 위치를 타 영역으로 이동시켜 디스플레이하는 것을 특징으로 하는 디스플레이 방법.
  20. 제14항에 있어서,
    상기 디스플레이 장치는,
    상기 물체의 위치를 감지하기 위한 복수 개의 제1 촬상부 및 상기 디스플레이를 기준으로 상기 복수 개의 제1 촬상부와 대칭되도록 배치되어 상기 사용자의 위치를 감지하기 위한 복수 개의 제2 촬상부를 포함하고,
    상기 촬상하는 단계는,
    상기 복수 개의 제2 촬상부 중에서 상기 사용자의 위치를 검출하기 위해 이용된 이미지를 촬영한 제2 촬상부와 대칭되도록 배치된 제1 촬상부를 이용하여 촬상을 수행하는 것을 특징으로 하는 디스플레이 방법.
  21. 제14항에 있어서,
    상기 촬상하는 단계는,
    상기 디스플레이 장치에 마련된 제1 촬상부를 상기 사용자의 위치에 따라 회전시켜 촬상하는 것을 특징으로 하는 디스플레이 방법.
  22. 제13항에 있어서,
    상기 사용자의 위치를 감지하는 단계는, 　
    상기 제2 방향으로 촬상을 수행하는 단계;
    상기 촬상된 이미지를 이용하여 상기 사용자의 위치를 검출하는 단계;
    상기 사용자의 위치를 이용하여 상기 사용자의 가시 범위를 추정하는 단계;를 포함하며,
    상기 정보를 디스플레이하는 단계는,
    상기 사용자의 가시 범위 내에서 상기 정보를 표시하는 것을 특징으로 하는 디스플레이 방법.
  23. 제13항에 있어서,
    상기 사용자와의 거리를 검출하는 단계;
    상기 사용자와의 거리에 따라, 상기 정보가 디스플레이되는 영역의 크기를 상이하게 조정하는 단계;를 더 포함하는 것을 특징으로 하는 디스플레이 방법.
  24. 제13항에 있어서,
    상기 판단하는 단계는,
    상기 감지된 사용자의 위치가 이동되는 경우, 상기 이동된 사용자의 위치를 기반으로 상기 디스플레이 상에 상기 물체가 투과되어 보이는 제1 영역을 판단하는 것을 특징으로 하는 디스플레이 방법.　
KR1020170142444A 2017-10-30 2017-10-30 투명 디스플레이 장치 및 그 디스플레이 방법 KR101896099B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170142444A KR101896099B1 (ko) 2017-10-30 2017-10-30 투명 디스플레이 장치 및 그 디스플레이 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170142444A KR101896099B1 (ko) 2017-10-30 2017-10-30 투명 디스플레이 장치 및 그 디스플레이 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120036475A Division KR101793628B1 (ko) 2012-04-08 2012-04-08 투명 디스플레이 장치 및 그 디스플레이 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180103994A Division KR101971521B1 (ko) 2018-08-31 2018-08-31 투명 디스플레이 장치 및 그 디스플레이 방법

Publications (2)

Publication Number Publication Date
KR20170125306A KR20170125306A (ko) 2017-11-14
KR101896099B1 true KR101896099B1 (ko) 2018-09-07

Family

ID=60387515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170142444A KR101896099B1 (ko) 2017-10-30 2017-10-30 투명 디스플레이 장치 및 그 디스플레이 방법

Country Status (1)

Country Link
KR (1) KR101896099B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI790738B (zh) * 2020-11-20 2023-01-21 財團法人工業技術研究院 用於防止動暈之圖像顯示系統及圖像顯示方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101691564B1 (ko) * 2010-06-14 2016-12-30 주식회사 비즈모델라인 시선방향 추적을 이용한 증강현실 제공 방법
KR20120029228A (ko) * 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법

Also Published As

Publication number Publication date
KR20170125306A (ko) 2017-11-14

Similar Documents

Publication Publication Date Title
KR101793628B1 (ko) 투명 디스플레이 장치 및 그 디스플레이 방법
US10509460B2 (en) Transparent display apparatus and method thereof
US20180348988A1 (en) Approaches for three-dimensional object display
TWI624786B (zh) 多顯示裝置及控制其顯示器的方法
US9367153B2 (en) Display apparatus and method thereof
KR102126503B1 (ko) 디스플레이 장치 및 그 제어 방법
KR20160015775A (ko) 투명 디스플레이 장치 및 그 제어 방법
KR101971521B1 (ko) 투명 디스플레이 장치 및 그 디스플레이 방법
KR20170057823A (ko) 에지 스크린을 통한 터치 입력 방법 및 전자 장치
KR101896099B1 (ko) 투명 디스플레이 장치 및 그 디스플레이 방법
KR102231587B1 (ko) 디스플레이 장치 및 그의 제어 방법
KR102113301B1 (ko) 디스플레이 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right