KR102047494B1 - 투명 디스플레이 장치 및 그 객체 선택 방법 - Google Patents

투명 디스플레이 장치 및 그 객체 선택 방법 Download PDF

Info

Publication number
KR102047494B1
KR102047494B1 KR1020120099737A KR20120099737A KR102047494B1 KR 102047494 B1 KR102047494 B1 KR 102047494B1 KR 1020120099737 A KR1020120099737 A KR 1020120099737A KR 20120099737 A KR20120099737 A KR 20120099737A KR 102047494 B1 KR102047494 B1 KR 102047494B1
Authority
KR
South Korea
Prior art keywords
transparent display
display device
information
user
selecting
Prior art date
Application number
KR1020120099737A
Other languages
English (en)
Other versions
KR20140033652A (ko
Inventor
윤일국
이근호
이창수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120099737A priority Critical patent/KR102047494B1/ko
Priority to CN201380047074.4A priority patent/CN104620197B/zh
Priority to PCT/KR2013/008104 priority patent/WO2014038898A1/en
Priority to EP13183710.6A priority patent/EP2706435B1/en
Priority to US14/022,530 priority patent/US9965137B2/en
Publication of KR20140033652A publication Critical patent/KR20140033652A/ko
Application granted granted Critical
Publication of KR102047494B1 publication Critical patent/KR102047494B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G06F16/436—Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/487—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Molecular Biology (AREA)
  • Library & Information Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Burglar Alarm Systems (AREA)
  • Display Racks (AREA)

Abstract

투명 디스플레이 장치가 객체를 인식하고 선택하는 방법 및 그 투명 디스플레이 장치가 제공된다. 투명 디스플레이 장치의 객체 선택 방법은 투명 디스플레이 장치와 통신 연결된 적어도 하나의 객체로부터 식별 정보를 수신하는 단계와, 사용자의 의도에 대한 정보를 획득하는 단계 및 적어도 하나의 객체 중, 사용자의 의도에 대한 정보에 기초하여 객체를 선택하는 단계를 포함한다.

Description

투명 디스플레이 장치 및 그 객체 선택 방법{ Transparent Display Apparatus and Object Selection Method Thereof }
본 발명은 투명 디스플레이 장치가 객체를 선택하는 방법 및 그 투명 디스플레이 장치에 대한 것으로서, 보다 상세하게는, 투명 디스플레이 장치가 사용자의 의도를 고려하여 객체를 선택하는 방법 및 그 투명 디스플레이 장치에 관한 것이다.
다양한 분야에서 다양한 유형의 디스플레이 장치가 사용되고 있다. 특히, 최근에는 투명 디스플레이 장치와 같은 차세대 디스플레이 장치에 대한 연구 논의가 가속화되고 있다.
투명 디스플레이 장치란 디스플레이 패널이 투명하여 장치의 반대 방향을 투과하여 볼 수 있는 장치를 의미한다. 종래에는 실리콘(Si), 갈륨비소(GaAs) 등과 같은 불투명한 반도체 화합물을 이용하여 디스플레이 패널을 제작하였으나, 기존의 디스플레이 패널로는 감당할 수 없는 다양한 응용분야가 개척되면서 새로운 형태의 전자 소자에 대한 개발 노력이 이루어졌다. 이러한 노력 하에 개발된 것 중 하나가 투명 디스플레이 장치이다.
투명 디스플레이 장치는 투명한 산화물 반도체막을 포함하는 형태로 구현되어 투명한 성질을 가진다. 투명 디스플레이 장치를 사용하는 경우, 사용자는 장치 반대편에 위치하는 객체를 보면서 필요한 정보를 투명 디스플레이 장치 화면을 통해 보면서 투명 디스플레이 장치에 사용자의 의도를 반영하기 위한 정보를 입력할 수 있다.
또한, 투명 디스플레이 장치는 다른 기기와 통신을 수행함으로써 다양한 기능을 수행할 수 있다. 예를 들어, 투명 디스플레이 장치가 통신이 가능한 텔레비전, 에어컨과 같은 가전제품과 통신을 연결하여 동영상 컨텐트를 제공하거나 제품을 제어할 수 있다.
그러나, 투명 디스플레이 장치가 객체에 대한 기능을 수행하기 위해, 복수의 객체들 중 투명 디스플레이 장치가 가지는 특징에 따라 기능을 수행할 대상이 되는 객체를 선택하기 위한 방법 및 장치가 필요하였다.
상술한 종래 기술의 문제점을 해결하기 위하여, 본 발명의 일 실시예는 사용자의 의도에 대한 정보에 따라 객체를 선택하는 투명 디스플레이 장치 및 그 객체 선택 방법을 제공한다.
또한, 본 발명의 일 실시예는 사용자의 의도에 대한 정보에 따라 선택된 객체의 정보를 표시하는 투명 디스플레이 장치 및 그 방법을 제공한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시 예는 투명 디스플레이 장치와 통신 연결된 적어도 하나의 객체로부터 식별 정보를 수신하는 단계와, 사용자의 의도에 대한 정보를 획득하는 단계 및 적어도 하나의 객체 중, 사용자의 의도에 대한 정보에 기초하여 객체를 선택하는 단계를 포함하고, 선택된 객체는 투명 디스플레이에 있어서 사용자와 마주 보는 제 1 면과 반대편인 제 2 면과 마주보는 방향에 위치한 것일 수 있다.
또한, 본 발명의 다른 일 실시예에 따른 투명 디스플레이 장치의 객체 선택 방법은, 선택된 객체에 대한 정보를 사용자 및 객체의 위치에 기초하여, 투명 디스플레이 장치의 화면 상에서 선택된 객체에 관한 정보를 표시할 위치를 결정하는 단계 및 결정된 위치에 객체에 대한 정보를 표시하는 단계를 더 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 객체에 대한 정보를 표시하는 단계에서, 투명 디스플레이 장치는 객체의 형태를 표시 할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따른 투명 디스플레이 장치의 객체 선택 방법은 투명 디스플레이 장치에 대한 사용자의 입력에 따라 선택된 객체에 대한 정보가 표시되는 위치를 변경하는 단계를 더 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 객체를 선택하는 단계는 사용자의 의도에 대한 정보에 따라 위치 또는 방향을 결정하는 단계 및 식별 정보를 수신한 적어도 하나의 객체 중 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 위치한 객체를 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 위치한 객체를 선택하는 단계는 투명 디스플레이 장치에 구비된 적외선 센서를 이용하여 결정된 위치 또는 방향으로 적외선 통신을 수행하는 단계와, 적외선 통신을 통해 신호를 수신한 객체로부터 식별 정보를 수신하는 단계 및 수신된 식별 정보를 기초로 객체를 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 위치한 객체를 선택하는 단계는 투명 디스플레이 장치가 식별 정보를 수신한 적어도 하나의 객체로 소정의 적외선 신호 전송에 대한 요청을 전송하는 단계와, 투명 디스플레이 장치에 구비된 적외선 신호 수신기를 통해 인식된 소정의 적외선 신호가 수신된 방향에 따라 객체가 위치한 방향을 확인하는 단계 및 객체가 위치한 방향이 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 위치한 객체를 선택하는 단계는 투명 디스플레이와 통신 연결된 객체와 동기화를 수행하는 단계와, 객체로 구비된 발광 소자를 통해 객체가 소정의 시점에 광원을 발생하도록 요청하는 정보를 전송하는 단계와, 투명 디스플레이 장치에 구비된 촬영 수단을 이용하여 소정의 시점에 객체가 발생한 광원을 포함하는 영상을 촬영하는 단계와, 촬영된 영상에 포함된 광원의 위치를 기초로 상기 객체의 위치를 결정하는 단계 및 결정된 객체의 위치가 사용자 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 위치한 객체를 선택하는 단계는 초음파 위치 인식 장치를 이용해 객체의 위치를 인식하는 단계 및 객체의 위치가 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 위치한 객체를 선택하는 단계는 적어도 하나의 객체로 제스처에 대한 정보를 전송하는 단계와, 전송된 제스처를 인식하는 단계와, 제스처가 인식된 위치를 객체의 위치로 결정하는 단계 및 객체의 위치가 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 위치한 객체를 선택하는 단계는 사물지능통신을 이용하여 객체의 위치를 확인하는 단계 및 객체의 위치가 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 상기 사용자의 의도에 대한 정보는 사용자의 시선의 방향에 대한 정보 또는 투명 디스플레이 장치에 대한 터치 입력에 대한 정보를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 객체를 선택하는 단계는 수신된 식별 정보를 투명 디스플레이 장치에 표시하는 단계와, 음성인식을 이용하여 식별 정보에 대응되는 음성 입력을 획득하는 단계 및 음성 입력에 대응되는 식별 정보에 따라 객체를 선택하는 단계를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 식별 정보를 수신하는 단계는 투명 디스플레이 장치를 통해 사용자가 볼 수 있는 영역 내에 위치한 객체에 대한 식별 정보를 선택적으로 수신하는 것을 특징으로 할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따른 투명 디스플레이 장치의 객체 선택 방법은 식별 정보가 수신된 적어도 하나의 객체 중 투명 디스플레이를 통해 사용자가 볼 수 있는 영역 내에 위치한 객체에 대한 정보를 선택적으로 표시하는 단계를 더 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면 객체를 선택하는 단계는 투명 디스플레이 장치에 구비된 촬영 수단을 통해 객체의 형상이 포함된 영상을 획득하는 단계와, 획득된 영상에 대한 영상 인식에 기초하여 객체의 위치를 확인하는 단계 및 확인된 위치에 따라 객체를 선택하는 단계를 포함할 수 있다.
본 발명의 일 실시 예에 따른 투명 디스플레이 장치는 적어도 하나의 객체로부터 식별 정보를 수신하는 통신 수단을 포함하는 정보 송수신부와, 사용자의 의도에 대한 정보를 획득하는 사용자 감지부 및 적어도 하나의 객체 중, 사용자 감지부를 통해 획득된 사용자의 의도에 대한 정보에 기초하여 객체를 선택하는 객체 선택부를 포함할 수 있고, 선택된 객체는 투명 디스플레이에 있어서 사용자와 마주 보는 제 1 면과 반대편인 제 2 면과 마주보는 방향에 위치한 것일 수 있다.
또한, 본 발명의 다른 일 실시예에 따르면 객체 선택부는 선택된 객체에 대한 정보를 사용자 및 객체의 위치에 기초하여, 투명 디스플레이 장치의 화면 상에서 선택된 객체에 관한 정보를 표시할 위치를 결정하고, 투명 디스플레이 장치는 결정된 위치에 객체에 대한 정보를 표시하는 화면을 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 투명 디스플레이부는 결정된 위치에 상기 객체의 형태를 표시하는 것을 특징으로 할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 객체 선택부는 투명 디스플레이 장치에 대한 사용자의 입력에 따라 선택된 객체에 대한 정보가 표시되는 위치를 변경하는 단계를 더 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 객체 선택부는 사용자의 의도에 대한 정보에 따라 위치 또는 방향을 결정하는 위치 확인부를 포함하고, 식별 정보를 수신한 적어도 하나의 객체 중 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 위치한 객체를 선택하는 것을 특징으로 할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 위치 확인부는 적외선 센서를 구비하여 위치 확인부가 결정한 위치 또는 방향으로 적외선 통신을 수행하는 적외선 통신 모듈을 포함하고, 객체 선택부는 통신 수단을 통해 적외선 통신부로부터 적외선 신호를 수신한 객체로부터 식별 정보를 수신함에 따라서, 식별 정보를 전송한 객체를 선택하는 것을 특징으로 할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 위치 확인부는 통신 수단을 이용하여 투명 디스플레이 장치가 식별 정보를 수신한 적어도 하나의 객체로 소정의 적외선 신호 전송에 대한 요청을 전송하는 신호 요청부를 포함하고, 투명 디스플레이 장치에 구비된 적외선 신호 수신기를 통해 인식된 적외선 신호가 수신된 방향에 따라 객체가 위치한 방향을 확인하고, 객체 선택부는 객체가 위치한 방향이 위치 확인부가 결정한 위치 또는 방향에 대응되는 객체를 선택하는 것을 특징으로 할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 위치 확인부는 객체에 구비된 발광 소자를 통해 객체가 소정의 시점에 광원을 발생하도록 요청하는 정보를 전송하는 신호 요청부를 포함하고, 투명 디스플레이 장치에 구비된 촬영 수단을 이용하여 촬영된 영상에 포함된 광원의 위치를 기초로 객체의 위치를 결정하고, 객체 선택부는 위치 확인부가 결정한 객체의 위치가 사용자 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택하는 것을 특징으로 할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 위치 확인부는 초음파 위치 인식 장치를 이용해 상기 객체의 위치를 확인하고, 객체 선택부는 확인된 객체의 위치가 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택하는 것을 특징으로 할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 위치 확인부는 객체로 제스처에 대한 정보를 전송하고, 전송된 제스처가 인식된 위치에 따라 객체의 위치를 결정하고, 객체 선택부는 객체의 위치가 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택하는 것을 특징으로 할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 위치 확인부는 사물지능통신을 이용하여 객체의 위치를 확인하고, 객체 선택부는 객체의 위치가 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택하는 것을 특징으로 할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 사용자의 의도에 대한 정보는 사용자의 시선의 방향에 대한 정보 또는 투명 디스플레이 장치에 대한 터치 입력에 대한 정보를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 객체 선택부는 수신된 식별 정보를 투명 디스플레이 장치에 구비된 투명 디스플레이부를 통해 표시하고, 음성인식을 이용하여 식별 정보에 대응되는 음성 입력을 획득하는 위치 확인부를 포함하고, 음성 입력에 대응되는 식별 정보에 따라 객체를 선택할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 정보 송수신부는 투명 디스플레이 장치를 통해 사용자가 볼 수 있는 영역 내에 위치한 객체에 대한 식별 정보를 선택적으로 수신할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 객체 선택부는 식별 정보가 수신된 적어도 하나의 객체 중 투명 디스플레이를 통해 사용자가 볼 수 있는 영역 내에 위치한 객체를 선택하고, 투명 디스플레이 장치는 객체 선택부가 선택한 객체의 식별 정보를 표시하는 투명 디스플레이부를 포함할 수 있다.
또한, 본 발명의 또 다른 일 실시예에 따르면, 객체 선택부는 투명 디스플레이 장치에 구비된 촬영 수단을 통해 획득된 영상에 대한 영상 인식에 기초하여 객체의 위치를 확인하는 위치 확인부를 포함하고, 확왼인된 위치에 따라 객체를 선택할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 투명 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 2 는 본 발명의 일 실시 예에 따른 투명 디스플레이 장치의 구성을 설명하기 위한 구조도이다.
도 3 은 투명 디스플레이 장치에 적용될 수 있는 투명 디스플레이부의 세부 구성의 일 예를 나타내는 도면이다.
도 4 는 투명 디스플레이 장치에 적용될 수 있는 투명 디스플레이부의 세부 구성의 다른 예를 나타내는 도면이다.
도 5 는 본 발명의 일 실시 예에 따라 투명 디스플레이 장치가 객체를 선택하는 프로세스를 나타낸 순서도이다.
도 6 은 본 발명의 일 실시 예에 다라 투명 디스플레이 장치가 객체에 대한 정보를 표시하는 프로세스를 나타낸 순서도이다.
도 7 은 본 발명의 일 실시 예에 따라 투명 디스플레이 장치가 사용자 및 객체의 위치에 따라 정보를 표시하는 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 8 은 본 발명의 일 실시 예에 따라 객체를 선택하는 프로세스를 나타낸 순서도이다.
도 9 는 본 발명의 일 실시 예에 따라 적외선 통신을 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
도 10 은 본 발명의 다른 실시 예에 따라 적외선 통신을 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
도 11 은 본 발명의 일 실시 예에 따라 적외선 통신을 이용하여 객체가 위치한 방향을 확인하는 방법을 설명하기 위한 도면이다.
도 12 는 본 발명의 일 실시 예에 따라 객체에 의해 발생된 광원을 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
도 13 은 본 발명의 일 실시 예에 다라 객체에 의해 발생된 광원을 이용하여 객체의 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 14 는 본 발명의 일 실시 예에 따라 초음파 인식 장치를 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
도 15 는 본 발명의 일 실시 예에 따라 초음파 인식 장치를 이용하여 객체의 위치를 인식하는 방법을 설명하기 위한 도면이다.
도 16 은 본 발명의 일 실시 예에 따라 제스처 인식을 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
도 17 은 본 발명의 일 실시 예에 따라 제스처 인식을 이용하여 객체의 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 18 은 본 발명의 일 실시 예에 따라 사물지능통신을 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
도 19 는 본 발명의 일 실시 예에 따라 사물지능통신을 이용하여 객체의 위치를 확인하는 방법을 설명하기 위한 도면이다.
도 20 은 본 발명의 일 실시 예에 따라 음성 인식을 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
도 21 은 본 발명의 일 실시 예에 따라 투명 디스플레이 장치가 객체에 대한 식별 정보를 디스플레이 하는 일 예를 나타낸 도면이다.
도 22 는 본 발명의 다른 실시 예에 따라 투명 디스플레이 장치가 객체에 대한 정보를 디스플레이 하는 일 예를 나타낸 도면이다.
도 23 은 본 발명의 일 실시 예에 따라 영상 인식에 기초하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
도 24 는 본 발명의 일 실시 예에 따라 투명 디스플레이 장치를 통해 사용자가 볼 수 있는 영역 내에 위치한 객체를 선택하기 위한 방법을 설명하기 위한 도면이다.
도 25 는 본 발명의 일 실시 예에 따라 투명 디스플레이 장치에 표시된 객체에 대한 정보가 표시되는 위치를 변경하는 방법을 설명하기 위한 일 예이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 투명 디스플레이 장치의 동작을 설명하기 위한 도면이다.
투명 디스플레이 장치(100)는 디스플레이 화면이 투명하게 구현되어 사용자(120)는 투명 디스플레이 장치(100) 반대편의 객체(110)를 디스플레이 화면을 투과하여 볼 수 있다.
도 1 에서와 같이 투명 디스플레이 장치(100)를 기준으로 사용자(120)와 마주보는 제 1 면과 반대편인 제 2 면과 마주보는 방향에 적어도 하나의 객체(110)가 위치한 경우, 사용자(120)는 투명 디스플레이 장치(100)를 투과하여 객체(110)를 볼 수 있다.
여기서, 본 발명의 일 실시예에 따르면 객체(110)는 투명 디스플레이 장치(100)와 통신 연결된 장치일 수 있다. 예를 들어, 객체(110)는 투명 디스플레이 장치(100)와 통신 가능한 텔레비전, 냉장고 및 에어컨 등이 될 수 있다.
여기서, 투명 디스플레이 장치(100)와 객체(110) 간에 연결된 통신은 데이터 통신이 가능한 모든 종류의 유무선 통신을 포함한다. 예를 들어, 무선 인터넷 통신이나 블루투스(Bluetooth) 통신 규격에 따른 근거리 무선 통신 등을 통해 투명 디스플레이 장치(100)와 객체(110)간의 통신 연결을 수행할 수 있다.
투명 디스플레이 장치(100)는 객체(110)와 통신 연결을 통해 데이터를 송수신하거나 객체(110)를 제어할 수 있다. 예를 들어, 투명 디스플레이 장치(100)는 객체(110)로부터 객체(110)의 식별 정보나 객체(110)에 대한 각종 정보를 수신할 수 있다. 또 다른 예로, 투명 디스플레이 장치(100)는 투명 디스플레이 장치(100)에 저장된 콘텐트를 객체(110)로 전송하고, 객체(110)가 전송된 콘텐트를 재생하도록 할 수 있다.
여기서, 객체(110)의 식별 정보는 객체를 구별하기 위한 ID나 객체(110)에 접속하기 위한 정보를 포함할 수 있다. 예를 들어, 객체의 IP 주소가 객체(110)의 식별 정보에 포함될 수 있다.
또한, 객체(110)에 대한 정보는 객체(110)의 형태, 객체(110)의 종류, 객체(110)의 색상이나 객체(110)와 관련된 이미지 등 객체와 관련된 각종 정보를 포함할 수 있다. 예를 들어, 객체(110)가 모니터인 경우, 객체(110)에 대한 정보는 모니터 형태의 아이콘을 포함할 수 있다.
본 발명의 일 실시예에 따른 투명 디스플레이 장치(100)는 투명 디스플레이 장치(100)에 대한 사용자(120)의 위치 및 객체(110)의 위치를 인식할 수 있다. 투명 디스플레이 장치(100)는 다양한 방식으로 사용자(120) 및 객체(110)의 위치를 감지할 수 있다. 투명 디스플레이 장치(100)가 사용자(120)를 감지하는 방법과 객체(110)를 감지하는 방법에 대해서는 후술하는 부분에서 도면과 함께 구체적으로 설명한다.
도 2 는 본 발명의 일 실시 예에 따른 투명 디스플레이 장치의 구성을 설명하기 위한 구조도이다.
투명 디스플레이 장치(100)는 사용자 감지부(210)와, 객체 선택부(220)와, 정보 송수신부(230)와, 투명 디스플레이부(240) 및 제어부(200)를 포함할 수 있다.
사용자 감지부(210)는 투명 디스플레이 장치(100)의 제 1 면과 마주보는 방향에 위치한 사용자(120)의 위치를 확인하고, 사용자(120)의 의도에 대한 정보를 획득할 수 있다. 객체 선택부(220)는 사용자의 의도에 대한 정보에 대응되는 객체를 선택할 수 있다. 정보 송수신부(230)는 객체(110)와 통신을 수행하고, 객체(110)로부터 객체(110)의 식별 정보를 수신할 수 있다. 투명 디스플레이부(240)는 투명한 화면에 정보를 표시할 수 있다. 제어부(200)는 상기 각 부를 제어할 수 있다.
여기서, 사용자 감지부(210) 및 객체 선택부(220)는 그 일부 또는 전부가 본 발명의 구현 방법에 따라 제어부(200)와 하나의 구성으로 구현될 수 있다.
또한, 사용자(120)의 의도에 대한 정보는 투명 디스플레이 장치(100)가 객체를 선택하는 방법에 있어서 사용자(120)가 선택하고자 하는 객체(110)에 대한 정보이다. 예를 들어, 사용자(120)의 의도에 대한 정보는 사용자(120)의 시선의 방향에 대한 정보, 사용자(120)의 투명 디스플레이 장치(120)에 대한 터치 입력 또는 사용자(120)의 음성 입력에 대한 정보를 포함할 수 있다.
사용자 감지부(210)는 다양한 방식으로 사용자(120)의 의도에 대한 정보를 획득할 수 있다. 여기서, 사용자(120)의 의도에 대한 정보는 사용자(120)의 행동 또는 동작 등을 분석하여 사용자(120)가 선택하고자 하는 객체(110)를 선택하기 위한 정보이다.
일 예로, 사용자 감지부(210)는 사용자(120)의 시선의 방향을 검출함으로써 사용자(120)의 의도에 대한 정보를 획득할 수 있다. 예를 들어, 사용자 감지부(210)는 촬상 소자를 이용하여 촬영된 영상으로부터 눈동자를 검출함으로써 눈동자의 움직임에 따라 사용자의 시선의 방향을 확인할 수 있다. 또 다른 예로, 감지부(210)는 촬상 소자를 이용하여 촬영된 영상으로부터 사용자(120)얼굴의 눈과 코 및 얼굴 전체 윤곽을 검출하고, 검출된 눈과 코 및 얼굴 전체 윤곽의 상대적 위치에 따라 사용자(120)의 얼굴이 향한 방향을 추정할 수 있다.
다른 예로, 사용자 감지부(210)는 투명 디스플레이 장치(100)에 대한 터치 입력 정보로부터 사용자(120)의 의도에 대한 정보를 획득할 수 있다. 예를 들어, 사용자(120)의 의도에 대한 정보는 사용자(120)의 위치 및 터치 입력 정보를 포함하고, 사용자(120)의 의도에 대한 정보에 따라 사용자 감지부(210)는 사용자(120)가 사용자(120)의 위치로부터 투명 디스플레이 장치(100)에 터치 입력한 지점을 잇는 선분의 연장선상에 위치한 객체(110)를 선택하고자 하는 것으로 판단할 수 있다.
다른 예로, 사용자 감지부(210)는 음성 입력으로부터 사용자(120)의 의도에 대한 정보를 획득할 수 있다. 예를 들어, 음성 입력을 인식한 결과가 객체(110) 중 어느 하나에 대응되는 경우, 사용자 감지부(210)는 사용자가 음성 인식의 결과에 대응되는 객체(110)를 선택하고자 하는 것으로 인식할 수 있다.
또한, 사용자 감지부(210)는 다양한 방식으로 사용자의 위치를 확인할 수 있다.
일 예로, 사용자 감지부(210)는 카메라와 같은 촬상 소자를 이용하여 후방 배경 이미지를 촬영하고, 그 촬영된 영상을 분석하여, 물체와의 거리, 물체의 위치 등을 확인할 수 있다. 예를 들어, 사용자 감지부(210)는 촬상 소자를 이용하여 촬영된 영상의 각 이미지 픽셀 정보를 이용하여 각 사물의 에지(edge)를 검출할 수 있다. 사용자 감지부(210)는 검출된 에지를 이용하여 촬영된 영상에서 사용자가 촬영된 영역을 검출하고, 검출된 영역에 따라 사용자의 위치를 확인할 수 있다.
다른 예로, 사용자 감지부(210)는 광센서를 이용하여 입사되는 빛의 세기를 감지하고, 빛의 세기 분포를 분석함으로써 사용자의 위치를 확인할 수 있다. 광센서는 포토 다이오드, 포토 트랜지스터, CCD(Charge Coupled Device) 등으로 구현될 수 있으며, 투명 디스플레이부(240)의 전체 영역에 균일하게 분포될 수 있다. 각 광센서들은 입사되는 빛의 세기를 산출한다. 일반적으로, 물체 주변 배경의 색상과 물체의 색상이 상이하면 물체로부터 반사되는 반사광의 세기와 주변 배경으로부터 반사되는 반사광의 세기가 달라진다. 이에 따라서, 사용자 감지부(210)는 투명 디스플레이부(240)를 투과하는 각 반사광들의 세기를 검출하고, 다른 세기를 가지는 반사광이 입사되는 광센서의 위치를 사용자(120)의 위치로 판단할 수 있다.
또 다른 예로, 사용자(120)의 위치는 투명 디스플레이 장치(100)에 대한 소정의 위치로 기 설정되어 있을 수 있다. 예를 들어, 투명 디스플레이 장치(100) 제 1 면의 중앙으로부터 일정 거리 떨어진 곳을 사용자(120)의 위치로 기 설정되어 있을 수 있다.
또 다른 예로, 사용자(120) 또는 관리자가 사용자(120)의 위치를 직접 입력하여 사용자(120)의 위치를 결정할 수 있다. 이 경우 사용자 감지부(210)는 터치 스크린, 키보드, 마우스, 조이스틱, 터치 패드, 버튼 등과 같은 다양한 입력 수단을 포함할 수 있다.
이상과 같은 실시예 이외에도 사용자 감지부(210)는 사용자(120)의 제스처나 텍스트 등을 인식할 수도 있다. 예를 들어, 사용자 감지부(210)는 사용자(120)의 시선이나 위치 이외에 사용자(120)의 손이 움직이는 방향을 인식할 수도 있다.
객체 선택부(220)는 투명 디스플레이 장치(100)의 제 1 면의 반대편인 제 2 면과 마주보는 방향에 위치한 객체(110) 중 사용자 감지부(210)에서 획득된 사용자(120)의 의도에 대한 정보에 따라 객체를 선택할 수 있다.
본 발명의 일 실시 예에 따르면, 객체 선택부(220)는 객체(110)의 위치 또는 방향에 따라 객체를 선택할 수 있다. 또한, 본 발명의 다른 일 실시 예에 따르면, 객체 선택부(220)는 음성 입력에 대한 음성 인식 결과 및 객체(110)로부터 수신된 식별 정보에 따라 객체를 선택할 수 있다.
또한, 본 발명의 일 실시예에 따르면 객체 선택부(220)는 객체(110)의 위치 또는 방향을 확인하기 위한 위치 감지부(710)와 객체(110)의 위치 또는 방향에 따라 객체(110)를 선택하는 결정부를 포함할 수 있다.
정보 송수신부(230)는 객체(110)와의 통신 연결에 기초하여 정보를 송수신할 수 있다. 정보 송수신부(230)는 객체(110)로부터 식별 정보를 수신할 수 있다. 또한, 정보 송수신부(230)는 객체(110)를 제어하기 위한 요청을 포함하는 정보를 전송할 수 있다.
투명 디스플레이부(240)는 투명한 화면에 정보를 디스플레이한다. 투명 디스플레이부(240)는 실시 예에 따라 투명 LCD(Liquid Crystal Display)형, 투명 TFEL(Thin-Film Electroluminescent Panel) 형, 투명 OLED 형, 투사형 등과 같은 다양한 형태로 구현될 수 있다.
투명 LCD 형이란 현재 사용되고 있는 LCD 장치에서 백라이트 유닉을 제거하고, 한 쌍의 편광판, 광학 필름, 투명 박막 트랜지스터, 투명 전극 등을 사용하여 구현한 투명 디스플레이 장치를 의미한다. 투명 LCD 장치에서는 편광판이나 광학 필름등에 의해 투과도가 떨어지고, 백라이트 유닛 대신 주변 광을 이용하게 되므로 광 효율이 떨어지지만, 대면적 투명 디스플레이를 구현할 수 있다는 장점이 있다. 투명 TFEL 형이란 투명 전극, 무기 형광체, 절연막으로 이루어진 교류형 무기박막 EL 디스플레이(AC-TFEL)를 사용하는 장치를 의미한다. AC-TFEL은 무기 형광체 내부에 가속이 된 전자가 지나가면서 형광체를 여기시켜 빛을 내게 하는 디스플레이다. 투명 디스플레이부(240)가 투명 TFEL 형태로 구현된 경우, 제어부(200)는 적절한 위치로 전자가 투사되도록 조정하여, 정보 표시 위치를 결정할 수 있다. 무기 형광체, 절연막이 투명한 특성을 가지므로, 매우 투명한 디스플레이를 구현할 수 있다.
그 밖에, 투명 OLED 형이란 자체 발광이 가능한 OLED를 이용하는 투명 디스플레이 장치를 의미한다. 유기 발광층이 투명하므로, 양쪽 전극을 투명 전극으로 사용하면 투명 디스플레이 장치로 구현 가능하다. OLED는 유기 발광층 양쪽에서 전자와 정공을 주입하여 이들이 유기 발광층 내에서 결합되면서 빛을 내게 된다. 투명 OLED 장치는 이러한 원리를 사용하여 원하는 위치에 전자 및 정공을 주입하여 정보를 표시한다.
제어부(200)는 상기 각 부를 제어한다. 또한, 도 2에서 제어부(200)는 사용자 감지부(210), 객체 선택부(220) 및 정보 송수신부(230)와 별도의 구성으로 기재되었으나, 제어부(200)는 사용자 감지부(210), 객체 선택부(220) 및 정보 송수신부(230)의 정보 처리를 위한 기능을 수행할 수 있다.
도 3 은 투명 디스플레이 장치에 적용될 수 있는 투명 디스플레이부의 세부 구성의 일 예를 나타내는 도면이다. 투명 디스플레이부(240-1)는 투명 기판(241), 투명 트랜지스터층(242), 제1 투명 전극(243), 투명 유기 발광 층(Transparent Organic Light-Emitting layer)(244), 제2 투명 전극(245), 연결 전극 246을 포함한다.
투명 기판(241)은 투명한 성질을 가지는 플라스틱과 같은 폴리머 재료 또는 유리를 사용할 수 있다. 투명 기판(241)의 재질은 투명 디스플레이 장치(100)가 적용된 사용 환경에 따라 결정될 수 있다. 가령, 폴리머 재료는 가볍고 유연하다는 장점이 있어 휴대형 디스플레이 장치에 사용될 수 있으며, 유리는 상접의 쇼윈도(show window)나 일반 창문 등에 사용될 수 있다.
투명 트랜지스터층(242)은 기존 박막 트랜지스터의 불투명한 실리콘을 투명한 아연산화물, 산화 티타늄 등과 같은 투명 물질로 대체하여 제작한 트랜지스터를 포함하는 레이어이다. 투명 트랜지스터층 (242) 내에는 소스, 게이트, 드레인 및 각종 유전막(247, 248)이 마련되며, 드레인과 제 1 투명 전국(243)을 전기적으로 연결하는 연결 전극(246)도 마련될 수 있다. 도 3에는 투명 트랜지스터 층(242) 내에 소스, 게이트, 드레인으로 이루어진 하나의 투명 트랜지스터만이 도시되었으나, 실제로는 디스플레이 표면의 전체 영역에 고르게 분포된 복수 개의 투명 트랜지스터가 마련된다. 제어부(200)는 투명 트랜지스터층(242) 내의 각 트랜지스터들의 게이트로 제어 신호를 인가하여, 해당 투명 트랜지스터를 구동시켜 정보를 표시할 수 있다.
제 1 투명 전극(243) 및 제 2 투명 전극(245)은 투명 유기 발광층(244)을 기준으로 서로 반대 방향에 배치된다. 제 1 투명 전극(243), 투명 유기 발광층(244) 및 제 2 투명 전극(245)은 투명 유기 발광 다이오드(Organic Light-Emitting Diodes)를 형성한다.
투명 유기 발광 다이오드는 구동 방식에 따라 크게 수동형(Passive Matrix OLED)와 능동형(Active Matrix OLED)으로 분류된다. PMOLED는 제 1 투명 전극(243) 및 제 2 투명 전극(245)이 서로 교차하는 부분이 화소를 형성한다. 반면, AMOLED는 각 화소를 구동하는 박막 트랜지스터(TFT)가 있는 구조이다. 도 3에 나타난 구조는 능동형의 경우이다.
제 1 투명 전극(243) 및 제 2 투명 전극(245)은 각각 복수 개의 라인 전극을 포함하며, 라인 전극의 정렬 방향은 서로 수직하게 형성된다. 예를 들어, 제 1 투명 전극(243)의 라인 전극들이 가로 방향으로 배열된 경우, 제 2 투명 전극(245)의 라인 전극들은 세로 방향으로 배열된다. 이에 따라, 제 1 투명 전극(243) 및 제 2 투명 전극(245) 간에는 복수의 교차 영역이 형성된다. 각 교차 영역에는 도 3 에 도시된 바와 같은 투명 트랜지스터가 연결된다.
제어부(200)는 투명 트랜지스터를 이용하여 각 교차 영역 별로 전위치가 형성되도록 할 수 있다. 전위차가 형성된 교차 영역 내에서 각 전극으로 전자와 정공이 투명 유기 발광증(244)으로 유입되어 결합하면서 발광이 이루어진다. 반면, 전위차가 형성되지 않은 교차 영역은 발광이 이루어지지 않으며, 이에 따라 후면 배경이 그대로 투명하게 비치게 된다.
제 1 투명 전극(243) 및 제 2 투명 전극(244)으로는 ITO(Indium Tin Oxide)가 사용될 수 있다. 또는 그래핀과 같은 신소재가 사용될 수도 있다. 그래핀이란 탄소원자가 서로 연결되어 벌집 모양의 평면 구조를 이루며 투명한 성질을 가지는 물질을 의미한다. 그 밖에, 투명 유기 발광층(244)도 다양한 재료로 구현될 수 있다.
한편, 상술한 바와 같이 투명 디스플레이부(240)는 투명 LCD(Liquid Cristal Display)형, 투명 TFEL(Thin-Film Electroluminescent Panel)형, 투명 OLED형 이외에 투사형으로도 구현될 수 있다. 투사형이란 HUD(Head Up Display)와 같이 투명한 스크린에 영상을 투사하여 디스플레이하는 방식을 의미한다.
도 4 는 투명 디스플레이 장치에 적용될 수 있는 투명 디스플레이부의 세부 구성의 다른 예를 나타내는 도면이다. 도 4는 디스플레이부(240)를 투명 디스플레이 장치로 구현하는 경우의 세부 구성이다.
투사형 투명 디스플레이부(240-2)는 투명 스크린(410), 광학 장치(420) 및 광원 장치(430)를 포함할 수 있다.
광원 장치(430)는 VFD(Vacuum Fluorescent Display), CRT(Cathode Ray Tube), LCD, LED 등과 같은 다양한 종류의 광원을 이용하여 정보를 표시하기 위한 빛을 생성한다.
광학 장치(420)는 광원 장치(430)에서 발산된 빛을 투명 스크린(410) 측으로 전달하여 투사한다. 광학 장치(420)는 적어도 하나 이상의 렌즈 및 거울을 포함하는 도광판으로 구현될 수 있다.
광원 장치(430) 및 광학 장치(420)는 하나의 디스플레이 모듈로 구현될 수도 있다. 이에 따라, 투명 스크린(410)의 상하좌우 측 경계 부분에 배치되어 투명 스크린(410)으로 광을 투사하여 정보를 표시할 수 있다. 그 밖에, 레이저를 광원으로 이용하는 홀로그래피 방식으로 구현될 수도 있다. 이 경우, 레이저를 이용하여 투명 스크린(410) 상에 직접 정보를 묘사할 수 있다.
투명 스크린(410)은 일반적인 유리나 임의의 투명한 물질로 이루어질 수 있다.
도 5 는 본 발명의 일 실시 예에 따라 투명 디스플레이 장치가 객체를 선택하는 프로세스를 나타낸 순서도이다.
먼저, 투명 디스플레이 장치(100)는 객체(110)로부터 식별 정보를 수신한다(S500). 여기서, 객체(110)의 식별 정보는 객체를 구별하기 위한 ID나 객체(110)에 접속하기 위한 정보를 포함할 수 있다. 예를 들어, 객체의 IP 주소가 객체(110)의 식별 정보에 포함될 수 있다. 투명 디스플레이 장치(100)는 수신된 식별 정보를 기초로 객체(110)를 구별할 수 있다.
이후, 투명 디스플레이 장치(100)는 사용자(120)의 의도에 대한 정보를 획득할 수 있다. 여기서, 사용자(120)의 의도에 대한 정보는 사용자(120)가 선택하고자 하는 객체(110)를 결정하기 위한 정보로서, 다양한 입력 방식에 의해 결정될 수 있다.
이후, 투명 디스플레이 장치(100)는 사용자(120)의 의도에 대한 정보에 따라 객체를 선택할 수 있다(S520). 또한, 투명 디스플레이 장치(100)는 사용자가 볼 수 있는 영역 내에 위치한 객체(110)에 대한 정보를 선택적으로 표시할 수 있다. 사용자가 볼 수 있는 영역 내에 위치한 객체(110)는 도 24에 나타난 객체1(110-1) 및 객체2(110-2)와 같이 사용자(120)의 위치에서 디스플레이 장치(100)의 투명 디스플레이를 통해 볼 수 있는 위치에 있는 객체(110)를 의미한다.
객체(110)에 대한 정보는 투명 디스플레이 장치(100)가 표시하고자 하는 객체(110)의 식별 정보에 대응하는 객체(110)로부터 수신하거나, 저장 매체에 저장된 정보로부터 객체(110)의 식별 정보에 대응하는 정보를 검색함으로써 획득될 수 있다.
도 6 은 본 발명의 일 실시 예에 다라 투명 디스플레이 장치가 객체에 대한 정보를 표시하는 프로세스를 나타낸 순서도이다.
먼저, 투명 디스플레이 장치(100)는 객체에 대한 정보를 투명 디스플레이부(240) 상에 표시할 위치를 결정할 수 있다(S600). 투명 디스플레이 장치(100)는 투명 디스플레이 장치(100), 사용자(120) 및 객체(110) 간의 상대적인 위치에 따라 객체에 관한 정보를 표시할 위치를 결정할 수 있다. 객체에 관한 정보를 결정하는 방법은 도 7과 함께 후술한다.
이후, 투명 디스플레이 장치(100)는 결정된 위치에 객체(110)에 대한 정보를 표시할 수 있다(S610). 여기서, 객체(110)에 대한 정보는 객체(110)와 관련된 정보로서 투명 디스플레이 장치(100)를 통해 사용자(120)에게 제공되는 정보이다. 예를 들어, 객체(110)에 대한 정보는 객체(110)의 명칭, 모델명, 식별 정보와 같은 정보를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따라면, 객체(110)에 대한 정보는 객체(110)의 형태를 나타내는 영상을 포함할 수 있으며, 사용자(120)가 투명 디스플레이 장치(100)를 통해 보이는 객체(110) 상에 객체(110)의 형태가 나타나도록 할 수 있다.
이후, 투명 디스플레이 장치(100)는 객체(110)에 대한 정보가 표시되는 위치를 변경할 수 있다(S620). 예를 들어, 사용자(120)가 투명 디스플레이 장치(100)에 표시된 객체(110)의 형태를 터치 입력을 통해 객체(110)에 대한 정보가 표시되는 위치를 변경하도록 할 수 있다. 또한, 다른 예로, 사용자(120), 투명 디스플레이 장치(100) 또는 객체(110)의 위치가 변경됨에 따라서 객체(110)에 대한 정보가 표시되는 위치를 변경할 수 있다. 여기서, 사용자 감지부(210) 및 객체 선택부(220)에 의해 감지된 사용자(120) 또는 객체(110)의 위치에 따라 객체(110)에 대한 정보가 표시되는 위치를 변경할 수 있다. 또는, 투명 디스플레이 장치(110)에 구비된 동작 인식 센서로부터 인식된 투명 디스플레이 장치(110)의 움직임에 따라 객체(110)에 대한 정보가 표시되는 위치를 변경할 수 있다. 예를 들어, 투명 디스플레이 장치(110)가 투명 디스플레이 장치(110)의 하단 방향으로 이동하는 경우, 기존에 정보가 표시되는 위치로부터 상단 방향으로 이동되도록 객체(110)에 대한 정보가 표시되는 위치를 변경할 수 있다.
도 7 은 본 발명의 일 실시 예에 따라 투명 디스플레이 장치가 사용자 및 객체의 위치에 따라 정보를 표시하는 위치를 결정하는 방법을 설명하기 위한 도면이다.
도 7 에 따르면, 사용자의 위치를 감지하는 사용자 감지부(210) 및 객체 선택부(220)에 포함되며, 객체(110)의 위치를 확인하는 위치 확인부(710)가 투명 디스플레이 장치(100)의 상부 중앙에 설치될 수 있다. 위치 확인부(710)의 위치는 위치 확인부(710)가 객체 위치를 감지하는 방법이나 본 발명의 실시예에 따라 변경될 수 있다.
도 7 에서와 같이 사용자 감지부(210) 및 위치 확인부(710)의 위치가 서로 대응되는 경우, 그 지점을 원점(0, 0)으로 보고, 객체(110)의 실제 위치를 L1(x1, y1), 사용자(120)의 위치를 L2(x2, y2)로 가정한다.
사용자 감지부(210) 및 위치 확인부(710)가 각각 뎁스 카메라로 구현된 경우, 위치 확인부(710)는 위치 확인부(710)에서 촬상된 후방 배경 이미지를 이용하여 객체(110)와의 거리(d1), 물체의 방향과 투명 디스플레이 장치(100)의 표면과의 각도(θ1)를 검출할 수 있다. 또한, 사용자 감지부(210)는 사용자 감지부(210)에서 촬상된 전방 배경 이미지를 이용하여 사용자(120)와의 거리(d2), 사용자(120) 방향과 투명 디스플레이 장치(100) 표면 간의 각도(θ2)를 검출할 수 있다.
객체 선택부(220)는 삼각함수법을 이용하여 x1, y1, x2, y2를 각각 산출할 수 있다. 즉, d1*sin θ1=y1, d1*cos θ1=x1이 된다. 그리고, d2*sin θ2=y2, d2*cos θ2=x2가 된다. 이에 따라, x1, y1, x2, y2가 산출되면, L1과 L2지점을 연결하는 직선 방정식이 구해진다. 즉, y=(y1-y2)*x/(x1-x2)+y1-(y1-y2)*x1/(x1-x2)와 같은 방정식을 구할 수 있다. 따라서, 투명 디스플레이부(240) 상에서 사용자(120)에게 객체(110)가 보이는 영역인 T는 ((x2y1-x1y2)/y1-y2), 0)으로 산출될 수 있다. 이에 따라, 객체 선택부(220)가 산출한 T지점에 투명 디스플레이부(240)가 객체(110)에 대한 정보를 표시할 수 있다.
도 7에서 T 지점을 하나의 좌표값으로 기재하였으나, 본 발명의 실시예에 따라 T 지점을 중심으로 일정 거리 이내의 영역을 객체(110)에 대한 정보가 표시되는 영역으로 결정할 수 있다.
도 7에서 사용자 감지부(210) 및 위치 확인부(710)는 하나의 장치로 구성된 경우를 도시하였으나, 사용자 감지부(210) 및 위치 확인부(710)는 복수의 장치를 포함할 수 있다. 예를 들어, 사용자 감지부(210) 및 위치 확인부(710)는 복수의 카메라를 포함할 수 있다.
도 8 은 본 발명의 일 실시 예에 따라 객체를 선택하는 프로세스를 나타낸 순서도이다.
먼저, 투명 디스플레이 장치(100)는 사용자(120)의 의도에 대한 정보에 따라 위치 또는 방향을 결정할 수 있다(S800). 여기서, 위치 또는 방향은 투명 디스플레이 장치(100)에 대한 상대적인 위치 또는 방향을 의미한다.
또한, 사용자(120)의 의도에 대한 정보는 위치 또는 방향을 결정하기 위한 정보를 포함할 수 있다. 본 발명의 일 실시 예에 따르면, 사용자(120)의 의도에 대한 정보는 사용자(120)의 시선의 방향에 대한 정보를 포함할 수 있다. 사용자(120)의 시선의 방향에 대한 정보는 시표추적(eye tracking)이나 안면 인식 등 다양한 방법에 따라 획득된 정보를 포함할 수 있다. 또한, 본 발명의 다른 일 실시예에 따르면, 사용자(120)의 의도에 대한 정보는 사용자(120)의 위치 및 터치 입력에 대한 정보를 포함할 수 있다. 예를 들어, 사용자(120)의 의도에 대한 정보가 도 7에서 사용자(120)의 위치 및 T영역에 대한 터치 입력에 대한 정보를 포함하는 경우, 객체 선택부(220)는 사용자(120)의 위치와 T영역을 잇는 선분의 연장선에 따라 방향을 결정할 수 있다.
이후, 객체 선택부(220)는 결정된 위치 또는 방향에 따라 객체(110)를 선택할 수 있다(S810). 본 발명의 일 실시예에 따르면, 객체 선택부(220)는 결정된 위치 또는 방향에 위치한 객체(110)를 확인하고, 확인된 객체를 선택할 수 있다. 객체 선택부(220)가 결정된 위치 또는 방향에 위치한 객체를 확인하는 방법은 도 9 내지 도 19에서 도면과 함께 후술하다.
도 9 는 본 발명의 일 실시 예에 따라 적외선 통신을 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
본 발명의 일 실시예에 따르면 객체 선택부(220)는 객체(110)가 위치한 방향을 확인하는 위치 확인부(710)를 포함할 수 있다. 또한, 위치 확인부(710)는 소정의 방향으로 적외선 신호를 전송하거나 수신할 수 있는 적외선 통신 모듈을 포함할 수 있다.
또한, 여기서 발명의 실시예로서 적외선 통신 모듈을 들었으나, 적외선 통신 이외에 직진성을 가지는 빛에 대한 광센서 및 발광 소자와 같은 소정의 방향으로 통신이 가능한 다른 통신 방식으로 대체될 수 있다.
위치 확인부(710)는 S800단계에서 결정된 방향으로 적외선 신호를 방출할 수 있다(S900). 이후, 적외선 신호를 수신한 객체(110)로부터 식별 정보를 수신할 수 있다(S910). 예를 들어, S800단계에서 결정된 방향으로 소정의 패턴을 가지는 적외선 신호를 방출하면, 적외선 신호가 방출된 방향에 위치한 객체(110)는 적외선 수신기를 이용하여 소정의 패턴을 가지는 적외선 신호를 인식함에 따라 투명 디스플레이 장치(100)로 식별 정보를 전송할 수 있다. 여기서, 식별 정소는 객체(110)와 투명 디스플레이 장치(100) 간에 연결된 임의의 통신 수단을 통해 전송될 수 있다.
이후, 객체 선택부(710)는 수신된 식별 정보를 기초로 객체를 선택할 수 있다(S920). 예를 들어, S500 단계에서 수신된 식별 정보가 a, b, c이고, S900 단계에서 적외선 신호를 방출한 후 S910 단계에서 수신된 식별 정보가 b인 경우, 식별 정보가 b에 해당하는 객체(110)를 선택할 수 있다.
도 10 은 본 발명의 다른 실시 예에 따라 적외선 통신을 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
본 발명의 일 실시예에 따르면 객체 선택부(220)는 객체(110)가 위치한 방향을 확인하는 위치 확인부(710)를 포함할 수 있다. 또한, 위치 확인부(710)는 소정의 방향으로 적외선 신호를 전송하거나 수신할 수 있는 적외선 통신 모듈을 포함할 수 있다.
또한, 여기서 발명의 실시예로서 적외선 통신 모듈을 들었으나, 적외선 통신 이외에 직진성을 가지는 빛에 대한 광센서 및 발광 소자와 같은 소정의 방향으로 통신이 가능한 다른 통신 방식으로 대체될 수 있다.
투명 디스플레이 장치(100)는 정보 송수신부(230)를 통해 통신 연결된 하나 이상의 각 객체(110)로 소정의 적외선 신호를 전송할 것을 요청하는 정보를 전송할 수 있다(S1000). 이후, 투명 디스플레이 장치(100)의 위치 확인부(710)는 소정의 적외선 신호가 수신된 방향에 따라 객체(110)가 위치한 방향을 확인할 수 있다. 예를 들어, 각각의 객체(110)에 각기 다른 패턴의 적외선 신호를 전송할 것을 요청하고, 수신된 적외선 신호의 패턴에 따라 객체(110)를 구별하고, 적외선 신호가 수신된 방향에 따라 객체(110)가 위치한 방향을 감지할 수 있다.
이후, 객체 선택부(220)는 S1010 단계에서 위치한 방향이 감지된 객체(110)들 중 S800 단계에서 확인된 방향에 위치한 객체(110)를 선택할 수 있다(S1020).
도 11 은 본 발명의 일 실시 예에 따라 적외선 통신을 이용하여 객체가 위치한 방향을 확인하는 방법을 설명하기 위한 도면이다.
투명 디스플레이 장치(100)의 객체 선택부(220)는 객체(100)의 위치를 확인하기 위해 복수의 적외선 통신 모듈(1115)을 구비하는 위치 확인부(710)를 포함할 수 있다.
본 발명의 일 실시 예에 따르면, 도 11에서와 같이 적외선 통신 모듈(1115)은 여러 방향으로 적외선 신호를 방출하거나, 여러 방향으로부터 적외선 신호를 수신하기 위해 여러 방향으로 배치된 것으로 도시되어 있다. 그러나, 위치 확인부(710)에 적외선 통신 모듈(1115)은 하나가 구비되고, 적외선 통신 모듈(1115)의 방향을 변경하도록 구현하는 것 또한 가능하다.
본 발명의 일 실시 예에 따르면, 위치 확인부(710)는 사용자(120)의 시선의 방향에 따라 객체(110)로 적외선 신호를 전송할 수 있다. 또는, 위치 확인부(710)는 하나 이상의 객체(110)로부터 수신된 적외선 신호의 방향에 따라 객체(110)가 위치한 방향을 확인할 수 있다.
도 11에서 투명 디스플레이 장치(100)는 하나의 위치 확인부(710)를 구비하는 것으로 도시되어 있으나, 투명 디스플레이 장치(100)는 여러 위치에 위치 확인부(710)를 구비함으로써 객체(110)의 위치를 확인하는데 있어서 정확도를 높일 수 있다.
도 12 는 본 발명의 일 실시 예에 따라 객체에 의해 발생된 광원을 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
먼저, 투명 디스플레이 장치(100)는 객체(110)와 동기화를 수행한다(S1200). 이후, 투명 디스플레이 장치(100)는 정보 송수신부(230)를 통해 객체로 소정의 시점에 광원을 발생하도록 요청하는 정보를 전송할 수 있다(S1210).
S1210 단계에 객체(110)로 전송된 정보에 따라 객체(110)가 소정의 시점에 광원을 발생하면, 촬상 수단을 구비한 위치 확인부(710)는 소정의 시점에 광원을 포함하는 영상을 촬영한다(S1220).
이후, 위치 확인부(710)는 영상에 포함된 광원의 위치를 기초로 객체의 위치를 결정할 수 있다(S1230). 이후, 객체 선택부(220)는 S1230에서 결정된 객체가 위치한 방향이 사용자(120)의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택할 수 있다.
도 13 은 본 발명의 일 실시 예에 다라 객체에 의해 발생된 광원을 이용하여 객체의 위치를 결정하는 방법을 설명하기 위한 도면이다. 도 13은 본 발명의 일 실시 예에 따라, 위치 확인부(710)에서 촬영된 영상을 복수 개의 블록으로 구분한 것이다.
도 13에 따르면, 위치 확인부(710)는 촬영된 영상을 복수 개의 세로 라인(V1 ~ Vx) 및 복수 개의 가로 라인(H1 ~ Hy)로 이루어지는 영역으로 분할될 수 있다. 분할된 영역은 매트릭스 형태로 구현될 수 있다.
매트릭스의 각 셀들은 하나의 픽셀단위로 이루어질 수도 있으나, 연산 부담을 고려하여 각 셀들은 복수 개의 픽셀 단위로 구성될 수 있다.
위치 확인부(710)는 각 영역 중 밝기가 가장 밝은 영역을 광원이 촬영된 위치로 결정할 수 있다. 도 13에서 (Vx, Hy)가 광원이 촬영된 위치로 결정할 수 있다. 위치 확인부(710)는 광원이 촬영된 위치에 따라 객체(110)의 위치 또는 방향을 매칭할 수 있다. 도 7에 있어서 T지점이 (Vx, Hy)라고 할 때, T지점을 산출하는 방식과 반대로 사용자의 위치 및 T지점의 위치에 따라서 객체(110)의 위치를 산출할 수 있다. 산출된 객체(110)의 위치에 따라서, 객체 선택부(220)는 사용자(120)의 의도에 대한 정보에 따라 결정된 위치 또는 방향과 일치한 곳에 위치한 객체(110)를 선택할 수 있다.
도 14 는 본 발명의 일 실시 예에 따라 초음파 인식 장치를 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
먼저, 객체 선택부(220)에 포함된 위치 확인부(710)는 초음파 인식 장치를 이용하여 객체(110)의 위치를 인식할 수 있다(S1400). 초음파 인식 장치는 일반적으로 초음파와 무선 통신 파의 시간차이를 이용하여 비이컨(beacon)(1510)과 수신기(1520) 사이의 거리를 측정한 후, 세 개 이상의 거리로서 위치를 찾아내는 구조이다. 초음파의 전파속도는 상온에서 약 343m/sec이며, 무선 통신 파의 속도는 빛의 속도와 같으므로 무선 통신 파가 전달되는 시간은 0으로 볼 수 있으므로, 초음파가 도달한 시점과 무선 통신 파가 도달한 시점 간의 시간차이를 이용하여 거리를 측정할 수 있다.
이후, 객체 선택부(220)는 위치 확인부(710)에 의해 위치가 확인된 하나 이상의 객체(110) 중에서 객체(110)의 위치가 사용자(120)의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체(110)를 선택할 수 있다(S1410).
도 15 는 본 발명의 일 실시 예에 따라 초음파 인식 장치를 이용하여 객체의 위치를 인식하는 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 투명 디스플레이 장치(100)는 복수의 비이컨(1510)을 구비할 수 있으며, 비이컨(1510)에서 발생된 초음파 및 무선 통신파를 객체(110)에 구비된 수신기(1520)가 수신할 수 있다. 객체(110)가 수신기를 통해 초음파 및 무선 통신파를 수신함에 따라, 객체(110)의 위치에 대한 정보를 투명 디스플레이 장치(100)로 전송할 수 있다. 여기서, 본 발명의 일 실시 예에 따르면, 객체(110)의 위치에 대한 정보는 수신기(1520)가 각 비이컨(1510) 으로부터 초음파 및 무선 통신파를 수신한 시점에 대한 정보, 초음파 및 무선 통신파를 수신한 시점에 따라 산출된 수신기(1520)와 비이컨(1510) 간의 거리 L1, L2, L3에 대한 정보 또는 수신기(1520)와 비이컨(1510) 간의 거리에 따라 산출된 객체(110)의 위치 좌표와 같이 객체(110)의 위치를 확인하기 위한 정보를 포함할 수 있다.
비이컨(1510)과 수신기(1520) 사이의 거리는 초음파의 도착 시간 Tus와 무선 통신파의 도착시간 Trf의 차이를 이용하여 L=Cus(Tus-Trf)로 계산될 수 있다. 여기서, L은 비이컨(1510)과 수신기(1520) 사이의 거리이며, Cus는 초음파의 전파 속도이다.
각각의 비이컨(1510)으로부터 수신기(1520)까지의 거리가 획득됨에 따라서, 투명 디스플레이 장치(100)는 객체(110)의 위치를 확인할 수 있다.
도 16 은 본 발명의 일 실시 예에 따라 제스처 인식을 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
먼저, 투명 디스플레이 장치(100)는 정보 송수신부(230)를 통해 객체(110)로 제스처에 대한 정보를 전송할 수 있다(S1600). 여기서, 제스처에 대한 정보는 위치를 확인하고자 하는 객체(110)의 위치에 있는 객체(110)의 사용자(1710)에게 요청하는 제스처를 포함할 수 있다.
또한, 본 발명의 일 실시 예에 따르면, 투명 디스플레이 장치(100)는 통신 연결된 객체 1(110-1) 및 객체 2(110-2)에 대응되는 정보를 투명 디스플레이부(240)에 표시하고, 투명 디스플레이부(100)에 표시된 정보에 대한 사용자(120)의 터치 입력에 따라 선택된 객체(110)로 제스처에 대한 정보를 전송할 수 있다.
이후, 위치 확인부(710)는 전송된 제스처에 대한 정보에 포함된 제스처를 인식한다. 위치 확인부(710)는 제스처가 인식된 위치에 따라 객체의 위치를 결정할 수 있다(S1610). 예를 들어, 객체 1(110-1)로 손을 드는 동작에 대한 제스처를 요청하는 정보를 전송한 경우, 객체 1(110-1)의 위치에 있는 사용자가 손을 드는 동작을 투명 디스플레이 장치(100)가 인식함으로써, 객체 1(110-1)의 위치를 확인할 수 있다.
이후, 객체 선택부(220)는 S1600단계 및 S1610단계에서 확인된 객체의 위치에 따라서, 객체가 위치한 위치 또는 방향이 사용자(120)의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택할 수 있다.
도 17 은 본 발명의 일 실시 예에 따라 제스처 인식을 이용하여 객체의 위치를 결정하는 방법을 설명하기 위한 도면이다.
투명 디스플레이 장치(100)는 객체 1(110-1) 및 객체 2(110-2)에 대응되는 정보를 표시하고, 표시된 정보에 대한 사용자(120)의 입력에 따라 객체 1(110-1)로 제스처에 대한 정보를 수행할 수 있다.
이후, 투명 디스플레이 장치(100)는 객체 1(110-1)의 위치에 있는 사용자(1710)의 제스처를 인식하여, 객체 1(110-1)의 위치에 있는 사용자(1710)의 위치를 객체 1(110-1)의 위치로 결정할 수 있다.
도 18 은 본 발명의 일 실시 예에 따라 사물지능통신을 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
위치 확인부(710)는 사물지능통신(Machine to Machin; M2M)을 이용하여 적어도 하나의 객체(110)의 위치를 확인할 수 있다(S1800). 사물지능통신은 사물에 센서 및 통신 기능을 결합해 지능적으로 정보를 수집하고 상호 전달하는 네트워크를 일컫는다. 다양한 기기를 통해 상황 인식, 위치정보 확인 등을 가능하게 해준다.
본 발명의 일 실시예에 따르면, 객체들은 서로 통신이 가능하며, 객체들간의 위치를 확인할 수 있다. 투명 디스플레이 장치(100)는 사물지능통신을 기용하여 객체들의 위치를 객체들 중 어느 하나로부터 수신함으로써, 객체들의 위치를 확인할 수 있다.
이후, 객체 선택부(220)는 객체들(110-1, 110-2, 110-3)의 위치가 사용자(120)의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택할 수 있다(S1810). 예를 들어, 사용자(120)의 의도에 대한 정보가 어느 한 객체를 향한 시선에 것인 경우, 객체 선택부(220)는 사용자(120)의 시선의 방향에 대응되는 위치에 있는 객체를 선택할 수 있다.
도 19 는 본 발명의 일 실시 예에 따라 사물지능통신을 이용하여 객체의 위치를 확인하는 방법을 설명하기 위한 도면이다.
각 객체(110-1, 110-2, 110-3)는 서로 통신이 가능하며, 각 객체(110-1, 110-2, 110-3) 간의 위치를 확인할 수 있다. 예를 들어, 각 객체(110-1, 110-2, 110-3)는 복수의 AP(Access Point)로부터 수신된 신호의 세기에 기초하여 각 AP로부터의 거리를 산출하고, 복수의 AP의 위치와 각 AP로부터의 거리에 따라 각 객체(110-1, 110-2, 110-3)들의 위치를 확인할 수 있다.
투명 디스플레이 장치(100)는 사물지능통신을 이용하여 각 객체(110-1, 110-2, 110-3)의 위치를 객체들(110-1, 110-2, 110-3) 중 어느 하나로부터 수신함으로써, 객체들(110-1, 110-2, 110-3)의 위치를 확인하고, 객체를 선택할 수 있다. 예를 들어, 투명 디스플레이 장치(100)는 사용자(120)의 의도에 대한 정보가 사용자 객체 1(110-1)을 향한 시선에 대한 것이면, 객체 선택부(220)는 객체 1(110-1)을 선택할 수 있다.
도 20 은 본 발명의 일 실시 예에 따라 음성 인식을 이용하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
먼저, 객체 선택부(220)는 객체(100)로부터 수신된 식별 정보를 투명 디스플레이부(240)에 표시할 수 있다(S2000). 투명 디스플레이부(240)에 표시되는 식별 정보는, 예를 들어, TV, 냉장고, 에어컨과 같이 객체(100)를 구별하기 위한 정보를 포함할 수 있다.
이후, 객체 선택부(220)는 식별 정보에 대응되는 음성 입력을 획득할 수 있다(S2010). 여기서, 객체 선택부(220)는 음성 입력을 획득하는 위치 확인부(710)를 포함한다. 여기서, 위치 확인부(710)는 음성 정보를 획득하기 위한 마이크 등을 포함할 수 있다. 객체 선택부(220)는 음성 인식을 통해 입력된 음성 정보를 텍스트로 변환하고, 변환된 텍스트를 식별 정보와 비교함으로써 음성 입력이 식별 정보에 대응되는 지 여부를 판단할 수 있다.
이후, 객체 선택부(220)는 식별 정보에 따라 객체(110)를 선택할 수 있다(S2020).
도 21 은 본 발명의 일 실시 예에 따라 투명 디스플레이 장치가 객체에 대한 식별 정보를 디스플레이 하는 일 예를 나타낸 도면이다.
투명 디스플레이 장치(100)는 투명 디스플레이부(240)에 수신된 식별 정보를 나열하여 디스플레이 할 수 있다. 투명 디스플레이부(240)에 표시되는 식별 정보는 객체(110)의 도 21에서와 같이 객체(110)의 유형, 모델명, 이미지 외에도 객체와 관련된 정보를 포함할 수 있다.
도 22 는 본 발명의 다른 실시 예에 따라 투명 디스플레이 장치가 객체에 대한 정보를 디스플레이 하는 일 예를 나타낸 도면이다.
투명 디스플레이 장치(100)는 도 22에서와 같이 투명 디스플레이부(240)에 객체의 식별 정보 및 객체에 대한 정보를 디스플레이 할 수 있다. 예를 들어, 투명 디스플레이 장치(100)는 객체(110)에 대한 형태(2200)와 객체(110)로부터 수신된 객체에 대한 식별 정보를 디스플레이할 수 있다.
여기서, 도 22에 도시된 객체(110)는 실제 객체(110)가 투명 디스플레이부(240)를 투과하여 사용자에게 보이는 것으로서, 투명 디스플레이부(240)에서 디스플레이 된 이미지가 아니다. 객체(110)에 대한 형태(2200)는 투명 디스플레이부(240)가 출력한 이미지로서, 사용자(120)와 투명 디스플레이 장치(100)와 객체(110)의 위치에 따라 투명 디스플레이부(240)에 표시되는 위치가 결정될 수 있다. 사용자(120)와 투명 디스플레이 장치(100)와 객체(110)의 위치에 따라 투명 디스플레이부(240)에 표시되는 위치를 결정함으로써, 사용자(120)에게 객체(110)의 형태(2200)가 객체(110) 상에 오버랩되어 보이는 것과 같은 효과를 부여할 수 있다. 객체(110)의 형태(2200)는 객체(110)에 대한 윤곽선 외에도 다른 이미지나 텍스트 등 영상으로 출력 가능한 다양한 유형의 객체(110)에 대한 정보일 수 있다.
도 23 은 본 발명의 일 실시 예에 따라 영상 인식에 기초하여 객체를 선택하는 프로세스를 나타낸 순서도이다.
위치 확인부(710)는 투명 디스플레이 장치(100)에 구비된 촬영 수단을 통해 객체(110)의 형상이 포함된 영상을 획득할 수 있다(S2300). 이후, 위치 확인부(710)는 영상 인식에 기초하여 객체의 위치를 확인할 수 있다(S2310).
여기서, 투명 디스플레이 장치(100)는 객체(110)로부터 객체의 형상에 대한 정보를 포함하는 식별 정보를 수신할 수 있다. 위치 확인부(710)는 수신된 객체(110)의 형상에 기초하여, 객체(110)의 형상이 획득된 영상 내에서 포함된 위치를 확인할 수 있다. 위치 확인부(710)는 영상 내에서 객체(110)의 형상이 포함된 위치에 따라서 객체(110)의 위치를 추정할 수 있다.
예를 들어, 획득된 영상을 복수의 영역으로 분할하고, 각 분할된 영역에 소정의 방향 또는 위치를 매핑할 수 있다. 위치 확인부(710)는 영상 내에서 객체(110)의 형상이 포함된 영역에 매핑된 방향 또는 위치를 객체(110)가 위치한 방향 또는 위치로 결정할 수 있다.
도 24 는 본 발명의 일 실시 예에 따라 투명 디스플레이 장치를 통해 사용자가 볼 수 있는 영역 내에 위치한 객체를 선택하기 위한 방법을 설명하기 위한 도면이다.
S500 단계에서, 투명 디스플레이 장치(100)는 정보 송수신부(240)를 통해 사용자(120)가 투명 디스플레이 장치(100)를 통해서 볼 수 있는 영역 내에 위치한 객체에 대한 식별 정보를 선택적으로 수신할 수 있다. 도 24에서와 같이 투명 디스플레이 장치(100)는 사용자(120)의 위치로부터 투명 디스플레이 장치(100)를 통해 볼 수 있는 객체 1(110-1) 및 객체 2(110-2)의 식별 정보만을 수신하고, 객체 3(110-3)의 식별 정보는 수신하지 않을 수 있다.
또한, 본 발명의 다른 일 실시 예에 따르면, 투명 디스플레이 장치는 적어도 하나의 객체(110)에 대한 정보 중 사용자(120)의 위치로부터 투명 디스플레이 장치(110)를 통해 볼 수 있는 객체(110-1, 110-2)에 대한 정보만을 선택적으로 표시할 수 있다.
도 25 는 본 발명의 일 실시 예에 따라 투명 디스플레이 장치에 표시된 객체에 대한 정보가 표시되는 위치를 변경하는 방법을 설명하기 위한 일 예이다.
사용자(120)는 투명 디스플레이부(240)를 통해 객체(110)를 볼 수 있다(2500). 여기서, 투명 디스플레이 장치(100)는 투명 디스플레이부(240)에 객체(110)와 관련된 정보를 표시할 수 있다. 이 때, 객체(110)와 관련된 정보는 객체(110)의 형태(2200)를 포함할 수 있다(2510).
객체(110)의 형태(2200)는 사용자(120)가 객체(110)를 투명 디스플레이부(240)를 투과하여 보는 위치에 표시되도록 할 수 있다. 그러나, 객체(110)와 관련된 정보는 투명 디스플레이 장치(100), 사용자(120) 및 객체(110) 간의 위치가 정확하게 파악되지 않는 경우 정확한 위치에 표시되지 않을 수 있다. 따라서, 표시되는 객체(110)와 관련된 정보가 표시되는 위치를 사용자 입력에 따라 변경할 수 있다(S2520).
이후, 투명 디스플레이 장치(100)는 투명 디스플레이 장치(100), 사용자(120) 및 객체(110)의 움직임에 따라서 객체(110)와 관련된 정보가 표시되는 위치를 변경할 수 있다. 예를 들어, 객체(110)가 좌측으로 이동하는 경우, 객체(110)의 움직임에 따라서 객체(110)와 관련된 정보가 표시되는 위치를 좌측으로 이동할 수 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 투명 디스플레이 장치
110: 객체
120: 사용자

Claims (33)

  1. 투명 디스플레이 장치가 객체를 선택하는 방법에 있어서,
    상기 투명 디스플레이 장치와 통신 연결된 적어도 하나의 객체에게 소정의 적외선 신호 전송에 대한 요청을 상기 투명 디스플레이 장치로부터 전송하는 단계;
    상기 소정의 적외선 신호가 수신된 방향에 따라 상기 적어도 하나의 객체가 위치한 방향을 상기 투명 디스플레이 장치에서 식별하는 단계;
    상기 적어도 하나의 객체 중 어느 하나의 객체를 선택하기 위한 사용자의 의도에 대한 정보를 상기 투명 디스플레이 장치에서 획득하는 단계; 및
    상기 적어도 하나의 객체 중, 상기 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응하는 객체를 상기 투명 디스플레이 장치에서 선택하는 단계를 포함하는 투명 디스플레이 장치의 객체 선택 방법.

  2. 제 1 항에 있어서,
    상기 투명 디스플레이 장치의 객체 선택 방법은,
    상기 사용자 및 상기 객체의 위치에 기초하여, 상기 투명 디스플레이 장치의 화면 상에서 상기 선택된 객체에 관한 정보를 표시할 위치를 상기 투명 디스플레이 장치에서 결정하는 단계; 및
    상기 투명 디스플레이 장치의 상기 화면 상의 상기 결정된 위치에 상기 객체에 대한 정보를 표시하는 단계를 더 포함하는 투명 디스플레이 장치의 객체 선택 방법.
  3. 제 2 항에 있어서,
    상기 객체에 대한 정보를 표시하는 단계는,
    상기 객체의 형태를 표시하는 것을 특징으로 하는 투명 디스플레이 장치의 객체 선택 방법.
  4. 제 2 항에 있어서,
    상기 투명 디스플레이 장치의 객체 선택 방법은,
    상기 투명 디스플레이 장치에 대한 상기 사용자의 입력에 따라 상기 선택된 객체에 대한 정보가 표시되는 위치를 상기 투명 디스플레이 장치에서 변경하는 단계를 더 포함하는 투명 디스플레이 장치의 객체 선택 방법.

  5. 삭제
  6. 제 1 항에 있어서,
    상기 사용자의 의도에 대한 정보는,
    상기 사용자의 시선의 방향에 대한 정보 또는 상기 투명 디스플레이 장치에 대한 터치 입력에 대한 정보를 포함하는 것을 특징으로 하는 투명 디스플레이 장치의 객체 선택 방법.
  7. 제 1 항에 있어서,
    상기 객체를 선택하는 단계는,
    상기 투명 디스플레이 장치에 구비된 적외선 센서를 이용하여 상기 결정된 위치 또는 방향으로 적외선 통신을 상기 투명 디스플레이 장치에서 수행하는 단계;
    상기 적외선 통신을 통해 신호를 수신한 객체로부터 식별 정보를 상기 투명 디스플레이 장치에서 수신하는 단계; 및
    상기 수신된 식별 정보를 기초로 상기 객체를 상기 투명 디스플레이 장치에서 선택하는 단계를 포함하는 투명 디스플레이 장치의 객체 선택 방법.

  8. 삭제
  9. 제 1 항에 있어서,
    상기 객체를 선택하는 단계는,
    상기 투명 디스플레이와 통신 연결된 상기 객체와 동기화를 수행하는 단계;
    상기 객체에게, 발광 소자를 통해 상기 객체가 소정의 시점에 광원을 발생하도록 요청하는 정보를 상기 투명 디스플레이 장치로부터 전송하는 단계;
    상기 투명 디스플레이 장치에 구비된 촬영 수단을 이용하여 상기 소정의 시점에 상기 객체가 발생한 광원을 포함하는 영상을 상기 투명 디스플레이 장치에서 촬영하는 단계;
    상기 촬영된 영상에 포함된 광원의 위치를 기초로 상기 객체의 위치를 상기 투명 디스플레이 장치에서 결정하는 단계; 및
    상기 결정된 객체의 위치가 상기 사용자 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 상기 객체를 상기 투명 디스플레이 장치에서 선택하는 단계를 포함하는 투명 디스플레이 장치의 객체 선택 방법.
  10. 제 1 항에 있어서,
    상기 객체를 선택하는 단계는,
    초음파 위치 인식 장치를 이용해 상기 객체의 위치를 상기 투명 디스플레이 장치에서 인식하는 단계; 및
    상기 객체의 위치가 상기 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 상기 투명 디스플레이 장치에서 선택하는 단계를 포함하는 투명 디스플레이 장치의 객체 선택 방법.
  11. 제 1 항에 있어서,
    상기 객체를 선택하는 단계는,
    상기 적어도 하나의 객체에게 제스처 요청 정보를 상기 투명 디스플레이 장치로부터 전송하는 단계;
    상기 요청된 제스처가 수행되는 위치를 상기 투명 디스플레이 장치에서 인식하는 단계;
    상기 투명 디스플레이 장치에서, 상기 인식된 위치를 상기 객체의 위치로 결정하는 단계; 및
    상기 객체의 위치가 상기 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 상기 투명 디스플레이 장치에서 선택하는 단계를 포함하는 투명 디스플레이 장치의 객체 선택 방법.
  12. 제 1 항에 있어서,
    상기 객체를 선택하는 단계는,
    사물지능통신을 이용하여 상기 객체의 위치를 상기 투명 디스플레이 장치에서 식별하는 단계; 및
    상기 객체의 위치가 상기 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 상기 투명 디스플레이 장치에서 선택하는 단계를 포함하는 투명 디스플레이 장치의 객체 선택 방법.
  13. 제 1 항에 있어서,
    상기 객체를 선택하는 단계는,
    상기 적어도 하나의 식별 정보를 상기 투명 디스플레이 장치에 표시하는 단계;
    음성인식을 이용하여 상기 식별 정보에 대응되는 음성 입력을 상기 투명 디스플레이 장치에서 획득하는 단계; 및
    상기 음성 입력에 대응되는 식별 정보에 따라 객체를 상기 투명 디스플레이 장치에서 선택하는 단계를 포함하는 투명 디스플레이 장치의 객체 선택 방법.
  14. 제 1 항에 있어서,
    상기 투명 디스플레이 장치를 통해 상기 사용자가 볼 수 있는 영역 내에 위치한 객체에 대한 식별 정보를 상기 투명 디스플레이 장치에서 선택적으로 수신하는 것을 특징으로 하는 투명 디스플레이 장치의 객체 선택 방법.
  15. 제 1 항에 있어서,
    상기 투명 디스플레이 장치의 객체 선택 방법은,
    상기 적어도 하나의 객체 중 상기 투명 디스플레이를 통해 상기 사용자가 볼 수 있는 영역 내에 위치한 객체에 대한 정보를 상기 투명 디스플레이 장치에서 선택적으로 표시하는 단계를 더 포함하는 투명 디스플레이 장치의 객체 선택 방법.
  16. 제 1 항에 있어서,
    상기 객체를 선택하는 단계는,
    상기 투명 디스플레이 장치에 구비된 촬영 수단을 통해 상기 객체의 형상이 포함된 영상을 상기 투명 디스플레이 장치에서 획득하는 단계;
    상기 획득된 영상에 대한 영상 인식에 기초하여 상기 객체의 위치를 상기 투명 디스플레이 장치에서 식별하는 단계; 및
    상기 식별된 위치에 따라 상기 투명 디스플레이 장치에서 객체를 선택하는 단계를 포함하는 것을 특징으로 하는 투명 디스플레이 장치의 객체 선택 방법.
  17. 투명 디스플레이 장치로서:
    인스트럭션들을 저장하는 메모리; 및
    상기 인스트럭션들을 실행하여:
    상기 투명 디스플레이 장치와 통신 연결된 적어도 하나의 객체에게 소정의 적외선 신호 전송에 대한 요청을 전송하고,
    상기 소정의 적외선 신호가 수신된 방향에 따라 상기 적어도 하나의 객체가 위치한 방향을 식별하고,
    상기 적어도 하나의 객체 중 어느 하나의 객체를 선택하기 위한 사용자의 의도에 대한 정보를 획득하고,
    상기 적어도 하나의 객체 중, 상기 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응하는 객체를 선택하도록 구성된 적어도 하나의 프로세서를 포함하는 투명 디스플레이 장치.

  18. 제 17 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여:
    상기 사용자 및 상기 객체의 위치에 기초하여, 상기 투명 디스플레이 장치의 화면 상에서 상기 선택된 객체에 관한 정보를 표시할 위치를 결정하고,
    상기 투명 디스플레이 장치의 상기 화면 상의 상기 결정된 위치에 상기 객체에 대한 정보를 표시하도록 더 구성된 투명 디스플레이 장치.
  19. 제 18 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여:
    상기 객체의 형태를 표시하도록 더 구성된 투명 디스플레이 장치.
  20. 제 18 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여:
    상기 투명 디스플레이 장치에 대한 상기 사용자의 입력에 따라 상기 선택된 객체에 대한 정보가 표시되는 위치를 변경하도록 더 구성된 투명 디스플레이 장치.

  21. 삭제
  22. 제 17 항에 있어서,
    상기 사용자의 의도에 대한 정보는,
    상기 사용자의 시선의 방향에 대한 정보 또는 상기 투명 디스플레이 장치에 대한 터치 입력에 대한 정보를 포함하는 것을 특징으로 하는 투명 디스플레이 장치.
  23. 제 17 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여:
    상기 투명 디스플레이 장치에 구비된 적외선 센서를 이용하여 상기 결정된 위치 또는 방향으로 적외선 통신을 수행하고,
    상기 적외선 통신을 통해 신호를 수신한 객체로부터 식별 정보를 수신하고,
    상기 수신된 식별 정보를 기초로 상기 객체를 선택하도록 더 구성된 투명 디스플레이 장치.

  24. 삭제
  25. 제 17 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여:
    상기 투명 디스플레이와 통신 연결된 상기 객체와 동기화를 수행하고,
    상기 객체에게, 발광 소자를 통해 상기 객체가 소정의 시점에 광원을 발생하도록 요청하는 정보를 전송하고,
    상기 투명 디스플레이 장치에 구비된 촬영 수단을 이용하여 상기 소정의 시점에 상기 객체가 발생한 광원을 포함하는 영상을 촬영하고,
    상기 촬영된 영상에 포함된 광원의 위치를 기초로 상기 객체의 위치를 결정하고,
    상기 결정된 객체의 위치가 상기 사용자 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 상기 객체를 선택하도록 더 구성된 투명 디스플레이 장치.
  26. 제 17 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여:
    초음파 위치 인식 장치를 이용해 상기 객체의 위치를 인식하고,
    상기 객체의 위치가 상기 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택하도록 더 구성된 투명 디스플레이 장치.
  27. 제 17 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여:
    상기 적어도 하나의 객체에게 제스처 요청 정보를 전송하고,
    상기 요청된 제스처가 수행되는 위치를 인식하고,
    상기 인식된 위치를 상기 객체의 위치로 결정하고,
    상기 객체의 위치가 상기 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택하도록 더 구성된 투명 디스플레이 장치.
  28. 제 17 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여:
    사물지능통신을 이용하여 상기 객체의 위치를 식별하고,
    상기 객체의 위치가 상기 사용자의 의도에 대한 정보에 따라 결정된 위치 또는 방향에 대응되는 객체를 선택하도록 더 구성된 투명 디스플레이 장치.
  29. 제 17 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여:
    상기 적어도 하나의 식별 정보를 상기 투명 디스플레이 장치의 화면에 표시하고,
    음성인식을 이용하여 상기 식별 정보에 대응되는 음성 입력을 획득하고,
    상기 음성 입력에 대응되는 식별 정보에 따라 객체를 선택하도록 더 구성된 투명 디스플레이 장치.
  30. 제 17 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여:
    상기 투명 디스플레이 장치를 통해 상기 사용자가 볼 수 있는 영역 내에 위치한 객체에 대한 식별 정보를 선택적으로 수신하도록 더 구성된 투명 디스플레이 장치.
  31. 제 17 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여:
    상기 적어도 하나의 객체 중 상기 투명 디스플레이를 통해 상기 사용자가 볼 수 있는 영역 내에 위치한 객체에 대한 정보를 선택적으로 표시하도록 더 구성된 투명 디스플레이 장치.
  32. 제 17 항에 있어서,
    상기 적어도 하나의 프로세서는 상기 인스트럭션들을 실행하여:
    상기 투명 디스플레이 장치에 구비된 촬영 수단을 통해 상기 객체의 형상이 포함된 영상을 획득하고,
    상기 획득된 영상에 대한 영상 인식에 기초하여 상기 객체의 위치를 식별하고,
    상기 식별된 위치에 따라 상기 객체를 선택하도록 더 구성된 투명 디스플레이 장치.


  33. 제 1 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.






KR1020120099737A 2012-09-10 2012-09-10 투명 디스플레이 장치 및 그 객체 선택 방법 KR102047494B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120099737A KR102047494B1 (ko) 2012-09-10 2012-09-10 투명 디스플레이 장치 및 그 객체 선택 방법
CN201380047074.4A CN104620197B (zh) 2012-09-10 2013-09-09 透明显示设备及其对象选择方法
PCT/KR2013/008104 WO2014038898A1 (en) 2012-09-10 2013-09-09 Transparent display apparatus and object selection method using the same
EP13183710.6A EP2706435B1 (en) 2012-09-10 2013-09-10 Transparent display apparatus and object selection method using the same
US14/022,530 US9965137B2 (en) 2012-09-10 2013-09-10 Transparent display apparatus and object selection method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120099737A KR102047494B1 (ko) 2012-09-10 2012-09-10 투명 디스플레이 장치 및 그 객체 선택 방법

Publications (2)

Publication Number Publication Date
KR20140033652A KR20140033652A (ko) 2014-03-19
KR102047494B1 true KR102047494B1 (ko) 2019-11-21

Family

ID=49165555

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120099737A KR102047494B1 (ko) 2012-09-10 2012-09-10 투명 디스플레이 장치 및 그 객체 선택 방법

Country Status (5)

Country Link
US (1) US9965137B2 (ko)
EP (1) EP2706435B1 (ko)
KR (1) KR102047494B1 (ko)
CN (1) CN104620197B (ko)
WO (1) WO2014038898A1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9709655B2 (en) * 2012-12-28 2017-07-18 Rakuten, Inc. Ultrasonic-wave communication system
US9652034B2 (en) 2013-09-11 2017-05-16 Shenzhen Huiding Technology Co., Ltd. User interface based on optical sensing and tracking of user's eye movement and position
KR101847756B1 (ko) 2013-11-09 2018-04-10 선전 구딕스 테크놀로지 컴퍼니, 리미티드 광학 눈 추적
CN106663183B (zh) 2013-11-27 2020-04-24 深圳市汇顶科技股份有限公司 眼睛跟踪及用户反应探测
KR20150073366A (ko) * 2013-12-23 2015-07-01 삼성전자주식회사 전자 장치 간의 거리를 측정하는 방법 및 전자 장치
US10613585B2 (en) * 2014-06-19 2020-04-07 Samsung Electronics Co., Ltd. Transparent display apparatus, group play system using transparent display apparatus and performance methods thereof
KR102358921B1 (ko) * 2014-06-30 2022-02-09 주식회사 알티미디어 정보 디스플레이 방법 및 그를 위한 디스플레이 장치
KR102219910B1 (ko) 2014-12-12 2021-02-24 삼성전자주식회사 컨텐트를 표시하는 방법 및 디바이스
US20160198499A1 (en) 2015-01-07 2016-07-07 Samsung Electronics Co., Ltd. Method of wirelessly connecting devices, and device thereof
WO2016129863A1 (en) * 2015-02-12 2016-08-18 Samsung Electronics Co., Ltd. Payment processing method and electronic device supporting the same
KR102460459B1 (ko) 2015-02-27 2022-10-28 삼성전자주식회사 전자 장치를 이용한 카드 서비스 방법 및 장치
US11107047B2 (en) 2015-02-27 2021-08-31 Samsung Electronics Co., Ltd. Electronic device providing electronic payment function and operating method thereof
JP2016194756A (ja) 2015-03-31 2016-11-17 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US20160364121A1 (en) * 2015-06-10 2016-12-15 Mediatek Inc. Method and associated circuit for arranging window on screen
KR20170002048A (ko) * 2015-06-29 2017-01-06 삼성전자주식회사 피사체 이동 제어 장치 및 방법
US10025546B2 (en) 2015-07-14 2018-07-17 International Business Machines Corporation Remote device control via transparent display
US20170045935A1 (en) * 2015-08-13 2017-02-16 International Business Machines Corporation Displaying content based on viewing direction
KR101713269B1 (ko) * 2015-09-25 2017-03-07 주식회사 토비스 사용자 인식 스마트 윈도우 장치
KR102434867B1 (ko) * 2016-08-31 2022-08-22 엘지전자 주식회사 냉장고 및 냉장고의 제어 방법
KR102460665B1 (ko) * 2017-12-14 2022-10-31 삼성전자주식회사 응시 거리를 결정하는 방법 및 디바이스
US11096381B2 (en) * 2018-07-06 2021-08-24 Korea Advanced Institute Of Science And Technology Interactive fish tank system, and interaction providing method of the same
US11042345B2 (en) * 2018-08-31 2021-06-22 Google Llc Systems, devices, and methods for interactive visual displays
US11796801B2 (en) * 2021-05-24 2023-10-24 Google Llc Reducing light leakage via external gaze detection

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960002841B1 (ko) * 1993-03-03 1996-02-26 엘지전자주식회사 리모콘 위치 검출 장치
US6545669B1 (en) * 1999-03-26 2003-04-08 Husam Kinawi Object-drag continuity between discontinuous touch-screens
US6216087B1 (en) * 1999-11-23 2001-04-10 Xerox Corporation Infrared beacon positioning system
JP2002207073A (ja) * 2001-01-11 2002-07-26 Sony Corp 情報処理装置および方法、並びにプログラム
WO2003062944A2 (en) * 2001-01-19 2003-07-31 Samuels Rafael A Transparent input/display device
GB2377147A (en) * 2001-06-27 2002-12-31 Nokia Corp A virtual reality user interface
US7978184B2 (en) * 2002-11-08 2011-07-12 American Greetings Corporation Interactive window display
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
US20060262140A1 (en) * 2005-05-18 2006-11-23 Kujawa Gregory A Method and apparatus to facilitate visual augmentation of perceived reality
KR101309176B1 (ko) * 2006-01-18 2013-09-23 삼성전자주식회사 증강 현실 장치 및 방법
US8269663B2 (en) * 2007-03-30 2012-09-18 Pioneer Corporation Remote control system and method of controlling the remote control system
US8230075B1 (en) 2008-11-15 2012-07-24 Adobe Systems Incorporated Method and device for identifying devices which can be targeted for the purpose of establishing a communication session
US20100287500A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Method and system for displaying conformal symbology on a see-through display
KR20100064177A (ko) * 2008-12-04 2010-06-14 삼성전자주식회사 전자장치 및 그의 디스플레이방법
KR101600626B1 (ko) * 2009-08-11 2016-03-07 엘지전자 주식회사 이동 통신 단말기에서의 데이터 전송 방법 및 이를 적용한 이동 통신 단말기
KR101695809B1 (ko) 2009-10-09 2017-01-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101657565B1 (ko) * 2010-04-21 2016-09-19 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
KR20110118421A (ko) * 2010-04-23 2011-10-31 엘지전자 주식회사 증강 원격제어장치, 증강 원격제어장치 제어방법 및 그 시스템
US8621365B2 (en) 2010-04-06 2013-12-31 Asustek Computer Inc. File sharing method and system
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
FR2960986A1 (fr) * 2010-06-04 2011-12-09 Thomson Licensing Procede de selection d’un objet dans un environnement virtuel
KR101347518B1 (ko) * 2010-08-12 2014-01-07 주식회사 팬택 필터의 선택이 가능한 증강 현실 사용자 장치 및 방법, 그리고, 증강 현실 서버
US20120038668A1 (en) * 2010-08-16 2012-02-16 Lg Electronics Inc. Method for display information and mobile terminal using the same
US9069760B2 (en) * 2010-08-24 2015-06-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
EP2431895B1 (en) * 2010-09-16 2017-07-26 LG Electronics Inc. Transparent display device and method for providing information using the same
KR101737839B1 (ko) * 2010-09-16 2017-05-19 엘지전자 주식회사 투명 디스플레이 장치 및 객체 탐지 방법
KR20120029228A (ko) 2010-09-16 2012-03-26 엘지전자 주식회사 투명 디스플레이 장치 및 객체 정보 제공 방법
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US8315674B2 (en) * 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality
US8606430B2 (en) * 2010-10-08 2013-12-10 GM Global Technology Operations LLC External presentation of information on full glass display
US9164581B2 (en) 2010-10-22 2015-10-20 Hewlett-Packard Development Company, L.P. Augmented reality display system and method of display
KR101444407B1 (ko) * 2010-11-02 2014-09-29 한국전자통신연구원 근거리 무선 통신을 이용한 증강현실 기반의 기기 제어 장치 및 그 방법
US9529424B2 (en) * 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
EP2500814B1 (en) 2011-03-13 2019-05-08 LG Electronics Inc. Transparent display apparatus and method for operating the same
US20130044912A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9293151B2 (en) * 2011-10-17 2016-03-22 Nuance Communications, Inc. Speech signal enhancement using visual information
US9524436B2 (en) * 2011-12-06 2016-12-20 Microsoft Technology Licensing, Llc Augmented reality camera registration
KR101793628B1 (ko) * 2012-04-08 2017-11-06 삼성전자주식회사 투명 디스플레이 장치 및 그 디스플레이 방법
WO2013162583A1 (en) * 2012-04-26 2013-10-31 Intel Corporation Augmented reality computing device, apparatus and system
US20130293530A1 (en) * 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays

Also Published As

Publication number Publication date
EP2706435B1 (en) 2020-04-01
EP2706435A3 (en) 2015-07-29
WO2014038898A1 (en) 2014-03-13
US20140075349A1 (en) 2014-03-13
EP2706435A2 (en) 2014-03-12
CN104620197B (zh) 2018-08-28
CN104620197A (zh) 2015-05-13
US9965137B2 (en) 2018-05-08
KR20140033652A (ko) 2014-03-19

Similar Documents

Publication Publication Date Title
KR102047494B1 (ko) 투명 디스플레이 장치 및 그 객체 선택 방법
US9367153B2 (en) Display apparatus and method thereof
US9886796B2 (en) Display device, head mounted display, display system, and control method for display device
KR102127356B1 (ko) 투명 디스플레이 장치 및 그 제어 방법
US20150379770A1 (en) Digital action in response to object interaction
US9612444B2 (en) Display apparatus and control method thereof
US11089427B1 (en) Immersive augmented reality experiences using spatial audio
KR102192956B1 (ko) 디스플레이 장치 및 그 제어 방법
EP4172733A1 (en) Augmented reality eyewear 3d painting
EP4172740A1 (en) Augmented reality eyewear with speech bubbles and translation
KR20140045801A (ko) 투명 디스플레이 장치 및 그 제어 방법
JP2015529372A (ja) ディスプレイ一体型カメラアレイ
CN107422571A (zh) 显示面板、装置及其操控方法
CN104102394A (zh) 一种光学多点触控设备及方法
TWI520036B (zh) 物件偵測方法以及用於光學觸控系統的校正裝置
KR102255892B1 (ko) 디스플레이 장치 및 그 제어 방법
US10725347B2 (en) Array substrate and display device
US20130113758A1 (en) Method and system for recognizing touch point, and display apparatus
WO2022005733A1 (en) Augmented reality eyewear with mood sharing
WO2020124792A1 (zh) 一种指纹识别显示面板及指纹识别方法
CN103649879A (zh) 使用位置唯一性光学信号的数字化仪
KR20200056373A (ko) 디스플레이 장치 및 그의 제어 방법
WO2020062108A1 (zh) 设备
KR102113301B1 (ko) 디스플레이 장치 및 그의 제어 방법
KR100986739B1 (ko) 다중 사용자용 전자 영상 기기 및 그 구동 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right