KR101737839B1 - Transparent display device and method for detecting an object - Google Patents

Transparent display device and method for detecting an object Download PDF

Info

Publication number
KR101737839B1
KR101737839B1 KR1020100091195A KR20100091195A KR101737839B1 KR 101737839 B1 KR101737839 B1 KR 101737839B1 KR 1020100091195 A KR1020100091195 A KR 1020100091195A KR 20100091195 A KR20100091195 A KR 20100091195A KR 101737839 B1 KR101737839 B1 KR 101737839B1
Authority
KR
South Korea
Prior art keywords
information
transparent display
image
displayed
display device
Prior art date
Application number
KR1020100091195A
Other languages
Korean (ko)
Other versions
KR20120029230A (en
Inventor
박희연
주연주
박선주
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020100091195A priority Critical patent/KR101737839B1/en
Priority to EP11179960.7A priority patent/EP2431895B1/en
Priority to US13/232,787 priority patent/US20120069050A1/en
Priority to CN201110276141.2A priority patent/CN102402390B/en
Publication of KR20120029230A publication Critical patent/KR20120029230A/en
Application granted granted Critical
Publication of KR101737839B1 publication Critical patent/KR101737839B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Abstract

투명 디스플레이 장치 및 객체 탐지 방법이 개시된다. 투명 디스플레이는 객체의 형상을 투과한다. 제어부는 선택 정보를 수신하고, 투명 디스플레이를 통해 보이는 풍경에서 수신된 객체 선택 정보가 지시하는 객체를 탐지하고, 탐지된 객체에 대한 정보를 획득하며, 획득된 정보가 상기 투명 디스플레이에 디스플레이되도록 제어한다. 본 발명에 의하면, 특정 조건에 해당하는 객체가 투명 디스플레이 상에 보일 때 해당 객체에 대한 정보를 제공하므로 사용자는 특정 객체의 등장을 계속적으로 관찰할 필요가 없이 원하는 객체에 대한 정보를 용이하게 획득할 수 있다.A transparent display device and an object detection method are disclosed. The transparent display transmits the shape of the object. The control unit receives the selection information, controls the transparent display to detect the object indicated by the object selection information received in the landscape, obtain information about the detected object, and display the obtained information on the transparent display . According to the present invention, when an object corresponding to a specific condition is displayed on a transparent display, information on the object is provided, so that the user can easily obtain information on the desired object without having to constantly observe the appearance of the specific object .

Description

투명 디스플레이 장치 및 객체 탐지 방법{Transparent display device and method for detecting an object}[0001] Transparent display device and method [0002]

본 발명은 투명 디스플레이 장치 및 객체 탐지 방법에 관한 것으로, 보다 상세하게는, 투명 디스플레이를 통해 정보를 제공하는 투명 디스플레이 장치 및 객체 탐지 방법에 관한 것이다.The present invention relates to a transparent display device and an object detection method, and more particularly, to a transparent display device and an object detection method for providing information through a transparent display.

방송 수신기, 개인용 컴퓨터, 노트북, 휴대폰 등과 같은 전자기기는 다양한 기능을 수행할 수 있도록 구성될 수 있다. 그러한 다양한 기능들의 예로 방송 수신 기능, 데이터 및 음성 통신 기능, 카메라를 통해 사진이나 동영상을 촬영하는 기능, 음성 저장 기능, 스피커 시스템을 통한 음악 파일의 재생 기능, 이미지나 비디오의 디스플레이 기능 등이 있다. 일부 단말기는 게임을 실행할 수 있는 추가적 기능을 포함할 수 있다.An electronic apparatus such as a broadcasting receiver, a personal computer, a notebook computer, a mobile phone, etc. can be configured to perform various functions. Examples of such various functions include a broadcast receiving function, a data and voice communication function, a function of photographing or photographing a movie through a camera, a sound storing function, a music file reproducing function through a speaker system, and a displaying function of an image or a video. Some terminals may include additional functions to execute the game.

또한 최근 영상 기술 및 투명 전자 소자 개발 기술이 발달하면서, 후방의 객체가 보이는 한편 디스플레이가 가능한 투명 디스플레이 패널이 활발하게 연구되고 있으며, 전자기기는 디스플레이 패널로 투명 디스플레이 패널을 이용하여 영상 및 데이터를 디스플레이하고 있다. 이러한 투명 디스플레이 패널로 자발광을 이용하는 유기 발광 패널이나 플라즈마 패널이 널리 사용되고 있다.In recent years, transparent display panels capable of displaying images while viewing objects on the rear side have been actively studied as technology for developing image technologies and transparent electronic devices has been actively studied. Electronic devices are used for displaying images and data using a transparent display panel . Organic light emitting panels and plasma panels using self-light emission are widely used as such transparent display panels.

본 발명이 이루고자 하는 기술적 과제는 투명 디스플레이를 통해 보이는 객체 중에서 사용자가 선택한 객체에 대한 정보를 제공하는 투명 디스플레이 장치 및 객체 탐지 방법을 제공하는 데 있다.An object of the present invention is to provide a transparent display device and an object detection method for providing information on an object selected by a user among objects displayed through a transparent display.

본 발명이 이루고자하는 다른 기술적 과제는 특정 조건에 해당하는 객체가 투명 디스플레이를 통해 보일 때, 해당 객체에 대한 정보를 제공하는 투명 디스플레이 장치 및 객체 탐지 방법을 제공하는 데 있다.It is another object of the present invention to provide a transparent display device and an object detection method for providing information on a corresponding object when an object corresponding to a specific condition is viewed through a transparent display.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 객체 탐지 방법은 객체 선택 정보를 입력받는 단계, 투명 디스플레이를 통해 보이는 풍경에서 상기 입력된 객체 선택 정보가 지시하는 객체를 탐지하는 단계, 상기 탐지된 객체에 대한 정보를 획득하는 단계 및 상기 획득된 정보를 상기 투명 디스플레이에 디스플레이하는 단계를 포함할 수 있다. 여기서, 상기 객체는 사람, 동물, 사물, 자동차, 건축물 및 자연물 중 적어도 하나를 포함할 수 있다. 또한 상기 객체에 대한 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함할 수 있다. 그리고 상기 디스플레이된 정보는 상기 정보가 디스플레이된 위치 및 인식된 제스처에 따라 이동될 수 있다.According to another aspect of the present invention, there is provided an object detection method including receiving object selection information, detecting an object indicated by the input object selection information in a scene viewed through a transparent display, Obtaining information about the object, and displaying the obtained information on the transparent display. Here, the object may include at least one of a person, an animal, an object, an automobile, a building, and a natural object. The information on the object may include at least one of an object name, an object type information, an object history information, an object appearance information, an object weight information, an object position information, and a detailed description of the object. And the displayed information may be moved according to the location at which the information was displayed and the recognized gesture.

상기 객체 선택 정보를 입력받는 단계는, 상기 투명 디스플레이 상의 제1 위치에서 다운 이벤트(down event)를 검출하는 단계, 및 투명 디스플레이 상의 제2 위치에서 업 이벤트(up event)를 검출하는 단계를 포함할 수 있고, 상기 입력된 객체 선택 정보가 지시하는 객체는 상기 투명 디스플레이상의 상기 제1 위치 및 상기 제2 위치를 포함하는 영역 통해 보이는 객체일 수 있다.The receiving of the object selection information may include detecting a down event at a first location on the transparent display and detecting an up event at a second location on the transparent display And the object indicated by the input object selection information may be an object visible through an area including the first position and the second position on the transparent display.

상기 객체 선택 정보는 이미지, 객체 명칭 및 객체 속성 중 적어도 하나를 포함할 수 있다. 즉 상기 객체를 탐지하는 단계에서, 객체 선택 정보의 이미지와 동일한 이미지를 갖는 객체를 탐지할 수 있고, 객체 선택 정보의 객체 명칭을 갖는 객체를 탐지할 수 있으며, 객체 선택 정보의 객체 속성에 해당하는 객체를 탐지할 수 있다.The object selection information may include at least one of an image, an object name, and an object attribute. That is, in the step of detecting the object, it is possible to detect an object having the same image as the image of the object selection information, to detect an object having the object name of the object selection information, You can detect objects.

상기 투명 디스플레이 상에 보이는 상기 탐지된 객체의 형상을 하이라이트하기 위한 표시를 디스플레이할 수 있다. 즉 상기 형상의 둘레를 특정 색으로 표시할 수 있고, 상기 형상의 둘레 또는 상기 형상의 영역이 반짝 거리도록 표시할 수 있다.And to display an indication for highlighting the shape of the detected object visible on the transparent display. That is, the perimeter of the shape can be displayed with a specific color, and the perimeter of the shape or the area of the shape can be displayed in a shimmering manner.

상기 획득하는 단계는, 서버에 상기 객체에 대한 정보의 검색을 요청하는 단계 및 상기 서버로부터 검색 결과를 수신하는 단계를 포함할 수 있다. 그리고 상기 검색을 요청하는 단계에서, 상기 탐지된 객체의 이미지 및 위치 정보 중 적어도 하나를 전송할 수 있다.The acquiring may include requesting a server to search for information about the object and receiving search results from the server. In the step of requesting the search, at least one of image and location information of the detected object may be transmitted.

또한 상기 획득하는 단계는, 상기 객체에 대한 정보를 저장 매체에 저장된 데이터에서 검색하는 단계를 포함할 수 있다.The acquiring may include retrieving information about the object from data stored in a storage medium.

그리고 상기 획득하는 단계는, 상기 객체에 대한 정보를 저장 매체에 저장된 데이터에서 검색하는 단계, 상기 검색하는 단계에서 검색을 실패한 경우에 서버에 상기 객체에 대한 정보의 검색을 요청하는 단계 및 상기 서버로부터 검색 결과를 수신하는 단계를 포함할 수 있다.The retrieving step may include retrieving information about the object from data stored in a storage medium, requesting a server to retrieve information about the object when the retrieval fails, And receiving the search result.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 투명 디스플레이 장치는, 객체의 형상을 투과하는 투명 디스플레이, 상기 투명 디스플레이를 통해 보이는 풍경에서 수신된 객체 선택 정보가 지시하는 객체를 탐지하고, 상기 탐지된 객체에 대한 정보를 획득하며, 상기 획득된 정보가 상기 투명 디스플레이에 디스플레이되도록 제어하는 제어부를 포함할 수 있다. 상기 객체는 사람, 동물, 사물, 자동차, 건축물 및 자연물 중 적어도 하나를 포함할 수 있다. 또한 상기 객체에 대한 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함할 수 있다. 그리고 상기 디스플레이된 정보는 상기 정보가 디스플레이된 위치 및 인식된 제스처에 따라 이동될 수 있다.According to another aspect of the present invention, there is provided a transparent display device including: a transparent display that transmits a shape of an object; an object indicated by object selection information received from a scene viewed through the transparent display; Acquiring information about the detected object, and controlling the obtained information to be displayed on the transparent display. The object may include at least one of a person, an animal, an object, an automobile, a building, and a natural object. The information on the object may include at least one of an object name, an object type information, an object history information, an object appearance information, an object weight information, an object position information, and a detailed description of the object. And the displayed information may be moved according to the location at which the information was displayed and the recognized gesture.

상기 제어부는, 상기 투명 디스플레이 상의 제1 위치에서 다운 이벤트(down event)를 검출하고, 투명 디스플레이 상의 제2 위치에서 업 이벤트(up event)를 검출할 수 있고, 여기서 상기 입력된 객체 선택 정보가 지시하는 객체는 상기 투명 디스플레이상의 상기 제1 위치 및 상기 제2 위치를 포함하는 영역 통해 보이는 객체일 수 있다.The control unit may detect a down event at a first location on the transparent display and an up event at a second location on a transparent display, May be an object visible through an area including the first location and the second location on the transparent display.

상기 객체 선택 정보는 이미지, 객체 명칭 및 객체 속성 중 적어도 하나를 포함할 수 있다. 즉 상기 제어부는 상기 객체 선택 정보의 이미지를 갖는 객체를 탐지할 수 있고, 객체 명칭을 갖는 객체를 탐지할 수 있으며, 객체 속성에 해당하는 객체를 탐지할 수 있다.The object selection information may include at least one of an image, an object name, and an object attribute. That is, the control unit can detect the object having the image of the object selection information, the object having the object name, and the object corresponding to the object attribute.

상기 제어부는, 상기 투명 디스플레이 상에 보이는 상기 탐지된 객체의 형상을 하이라이트하기 위한 표시가 디스플레이되도록 제어할 수 있다. 여기서 상기 표시는 상기 형상의 테두리에 표시될 수 있고, 특정 색으로 표시될 수 있고, 두꺼운 라인 형태로 표시될 수 있다. 또한 상기 제어부는 상기 형상의 테두리 또는 상기 형상이 차지하는 영역이 반짝 거리도록 표시할 수 있다.The control unit may control the display unit to display an indication for highlighting the shape of the detected object displayed on the transparent display. Here, the display may be displayed on the border of the shape, may be displayed in a specific color, and displayed in a thick line form. Further, the control unit may display the edge of the shape or the area occupied by the shape to be sparkling.

상기 제어부는, 서버에 상기 객체에 대한 정보 검색을 요청하는 검색 요청 신호를 전송하고, 상기 서버로부터 검색 결과의 수신을 제어할 수 있다. 여기서 상기 검색 요청 신호는 상기 탐지된 객체의 이미지 및 위치 정보 중 적어도 하나를 포함할 수 있다.The control unit may transmit a search request signal for requesting information search for the object to the server, and may control reception of the search result from the server. The search request signal may include at least one of image and location information of the detected object.

상기 제어부는, 상기 객체에 대한 정보를 저장 매체에 저장된 데이터에서 검색할 수 있다. 만일 저장 매체에서 상기 객체에 대한 정보 검색을 실패하면, 상기 제어부는 서버에 상기 객체에 대한 정보 검색을 요청할 수 있다.The controller may retrieve information about the object from data stored in the storage medium. If the storage medium fails to retrieve information about the object, the control unit may request the server to retrieve information about the object.

본 발명에 따른 투명 디스플레이 장치 및 객체 탐지 방법에 의하면, 투명 디스플레이를 통해 보이는 객체 중에서 사용자가 선택한 객체에 대한 정보를 제공하므로, 사용자는 후방 객체에 대한 정보를 별도의 검색 절차 수행할 필요가 없이 용이하게 획득할 수 있고, 특정 조건에 해당하는 객체가 투명 디스플레이 상에 보일 때 해당 객체에 대한 정보를 제공하므로 사용자는 특정 객체의 등장을 계속적으로 관찰할 필요가 없이 원하는 객체에 대한 정보를 용이하게 획득할 수 있다.According to the transparent display device and the object detection method of the present invention, since information about the object selected by the user is provided among the objects displayed through the transparent display, the user can easily When the object corresponding to a specific condition is displayed on the transparent display, the information about the object is provided. Therefore, the user can easily acquire information about the desired object without continuously observing the appearance of the specific object can do.

도 1은 본 발명에 따른 객체 정보 제공 시스템에 대한 바람직한 일실시예 구성을 도시한 도면,
도 2는 객체 선택 정보가 지시하는 객체에 대한 정보가 디스플레이된 상황의 일예를 도시한 도면,
도 3a 내지 도 3c은 객체 선택 정보가 입력되는 방식의 바람직한 일실시예를 도시한 도면,
도 4는 객체 선택 정보가 입력되는 방식의 바람직한 다른 실시예를 도시한 도면,
도 5는 객체 선택 정보가 지시하는 객체에 대한 정보가 디스플레이된 상황의 다른 예를 도시한 도면,
도 6a 내지 도 6d는 각각 객체 선택 정보가 지시하는 객체의 형상을 하이라이트 하기 위한 표시가 디스플레이된 화면을 도시한 도면,
도 7은 탐지된 객체에 대한 정보가 디스플레이된 화면을 도시한 도면,
도 8은 본 발명에 따른 투명 디스플레이 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 9는 투명 디스플레이 장치의 제어부에 대한 바람직한 일실시예의 구성을 도시한 블록도,
도 10은 본 발명에 따른 객체 탐지 방법에 대한 바람직한 일실시예의 수행과정을 도시한 블록도,
도 11a 내지 도 11e는 탐지된 객체에 대한 정보 및 인식된 제스처가 디스플레이된 화면을 도시한 도면,
도 12는 탐지된 객체에 대한 정보의 디스플레이를 요청하는 제스처가 디스플레이된 화면을 도시한 도면,
도 13은 객체 탐지 과정에 대한 바람직한 일실시예의 수행과정을 도시한 도면,
도 14는 객체 정보 획득 과정에 대한 바람직한 일실시예의 수행과정을 도시한 도면,
도 15는 객체 정보 획득 과정에 대한 바람직한 다른 실시예의 수행과정을 도시한 도면,
도 16은 본 발명에 따른 객체 탐지 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 도면, 그리고,
도 17은 본 발명에 따른 투명 디스플레이 장치에 대한 바람직한 다른 실시예의 구성을 도시한 블록도이다.1 is a block diagram illustrating a configuration of an object information providing system according to an embodiment of the present invention.
FIG. 2 illustrates an example of a situation in which information about an object indicated by object selection information is displayed;
FIGS. 3A through 3C illustrate a preferred embodiment of a method in which object selection information is input.
Figure 4 illustrates another preferred embodiment of a manner in which object selection information is entered;
5 is a view showing another example of a situation in which information about an object indicated by the object selection information is displayed;
6A to 6D are diagrams each showing a screen on which a display for highlighting a shape of an object indicated by object selection information is displayed,
7 is a view showing a screen on which information about a detected object is displayed,
8 is a block diagram showing a configuration of a preferred embodiment of a transparent display device according to the present invention.
9 is a block diagram showing a configuration of a preferred embodiment of the control unit of the transparent display device;
FIG. 10 is a block diagram illustrating a process of performing an object detection method according to an exemplary embodiment of the present invention.
Figures 11A-11E illustrate screens displaying information about detected objects and recognized gestures,
12 shows a screen on which a gesture for requesting display of information about a detected object is displayed,
FIG. 13 is a diagram illustrating a process of performing a preferred embodiment of an object detection process;
FIG. 14 is a flowchart illustrating an exemplary process for acquiring object information according to an exemplary embodiment of the present invention.
FIG. 15 is a flowchart illustrating an exemplary process of acquiring object information according to another preferred embodiment of the present invention.
FIG. 16 is a flowchart illustrating a method of detecting an object according to another embodiment of the present invention.
17 is a block diagram showing a configuration of another preferred embodiment of a transparent display device according to the present invention.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. The structure and operation of the present invention shown in the drawings and described by the drawings are described as at least one embodiment, and the technical ideas and the core structure and operation of the present invention are not limited thereby.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당해 기술분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.Although the terms used in the present invention have been selected in consideration of the functions of the present invention, it is possible to use general terms that are currently widely used, but this may vary depending on the intention or custom of a person skilled in the art or the emergence of new technology. Also, in certain cases, there may be a term selected arbitrarily by the applicant, in which case the meaning thereof will be described in detail in the description of the corresponding invention. Therefore, it is to be understood that the term used in the present invention should be defined based on the meaning of the term rather than the name of the term, and on the contents of the present invention throughout.

도 1은 본 발명에 따른 객체 정보 제공 시스템에 대한 바람직한 일실시예 구성을 도시한 도면이다.FIG. 1 is a block diagram of an object information providing system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 객체 정보 제공 시스템(1)은 객체 정보 제공 서버(10), 위치 응용 서버(20), 네트워크(50, 60) 및 투명 디스플레이 장치(100)를 포함할 수 있다.1, an object information providing system 1 according to the present invention may include an object information providing server 10, a location application server 20, networks 50 and 60, and a transparent display device 100 have.

객체 정보 제공 서버(10)는 객체 이미지, 위치 정보, 객체에 대한 정보, 객체 이미지 및 객체에 대한 정보를 연관하는 연관정보, 및 위치 정보 및 객체에 대한 정보를 연관하는 연관정보를 저장할 수 있다. 여기서 객체는 사람, 동물, 사물, 자동차, 건축물 및 자연물 중 적어도 하나를 포함할 수 있다. 또한 객체에 대한 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함할 수 있다. 그리고 객체에 대한 정보는 객체 정보라고 명명하고, 객체 이미지는 객체가 촬상된 이미지이다.The object information providing server 10 may store an object image, position information, information about the object, object image, association information for associating information on the object, and association information for associating information on the position information and the object. The object may include at least one of a person, an animal, an object, a car, a building, and a natural object. The information about the object may include at least one of the object name, the object type information, the object history information, the object appearance information, the object weight information, the object position information, and the detailed description of the object. The information about the object is called object information, and the object image is an image in which the object is imaged.

연관정보는 정보와 정보를 맵핑하는 정보이며, 일예로, 연관정보는 관계 데이터베이스 시스템에서 하나의 테이블명일 수 있다. 객체 정보 제공 서버(10)는 특정 객체 이미지와 매핑하는 객체 정보를 연관정보를 통해 검색할 수 있고, 위치 정보와 매핑하는 객체 정보를 연관정보를 통해 검색할 수 있다.The association information is information for mapping information and information. For example, the association information may be a table name in the relational database system. The object information providing server 10 can search object information to be mapped to a specific object image through association information, and object information to be mapped with location information through association information.

객체 정보 제공 서버(10)는 투명 디스플레이 장치(100)로부터 검색 요청 신호를 수신할 수 있다. 여기서 검색 요청 신호는 탐지된 객체의 이미지 및 위치 정보 중 적어도 하나를 포함할 수 있다. 탐지된 객체의 이미지는 투명 디스플레이 장치(100)가 촬상한 사진일 수 있고, 상기 촬상한 사진으로부터 추출된 객체 이미지일 수 있다.The object information providing server 10 may receive a search request signal from the transparent display device 100. [ Here, the search request signal may include at least one of image and location information of the detected object. The image of the detected object may be a picture captured by the transparent display device 100, and may be an object image extracted from the captured picture.

투명 디스플레이 장치(100)로부터 탐지된 객체의 이미지를 포함하는 검색 요청 신호를 수신하면, 객체 정보 제공 서버(10)는 수신된 이미지로부터 해당 객체를 인식하고, 인식된 객체에 대한 정보를 검색할 수 있다. 그리고 객체 정보 제공 서버(10)는 검색된 객체에 대한 정보를 투명 디스플레이 장치(100)로 전송할 수 있다. 여기서 객체 정보 제공 서버(10)는 수신된 이미지와 저장된 객체 이미지를 비교하는 과정을 통해 객체를 인식할 수 있다. 즉 객체 정보 제공 서버(10)는 수신된 이미지에 포함된 객체 이미지와 동일 또는 가장 유사한 객체 이미지를 발견하고, 발견된 객체 이미지 및 저장된 연관정보를 이용하여 상기 인식된 객체에 대한 정보를 검색할 수 있다.Upon receiving a search request signal including an image of an object detected from the transparent display device 100, the object information providing server 10 recognizes the object from the received image and searches for information about the recognized object have. Then, the object information providing server 10 can transmit information about the searched object to the transparent display device 100. Here, the object information providing server 10 can recognize the object through a process of comparing the received image with the stored object image. That is, the object information providing server 10 can find an object image that is the same as or closest to the object image included in the received image, and can retrieve information about the recognized object using the found object image and the stored association information have.

투명 디스플레이 장치(100)로부터 탐지된 객체의 위치 정보를 포함하는 검색요청 신호를 수신하면, 객체 정보 제공 서버(10)는 수신된 위치 정보와 매핑되는 객체를 인식하고, 인식된 객체에 대한 정보를 검색할 수 있다. 그리고 객체 정보 제공 서버(10)는 검색된 객체에 대한 정보를 투명 디스플레이 장치(100)로 전송할 수 있다. 여기서 객체 정보 제공 서버(10)는 수신된 위치 정보와 저장된 연관정보를 이용하여 상기 인식된 객체에 대한 정보를 검색할 수 있다.Upon receiving the search request signal including the location information of the object detected from the transparent display device 100, the object information providing server 10 recognizes the object mapped with the received location information, You can search. Then, the object information providing server 10 can transmit information about the searched object to the transparent display device 100. Here, the object information providing server 10 can retrieve information about the recognized object by using the received location information and stored association information.

투명 디스플레이 장치(100)로부터 탐지된 객체의 이미지 및 위치 정보를 포함하는 검색 요청 신호를 수신하면, 객체 정보 제공 서버(10)는 수신된 객체의 이미지 및 위치 정보를 기초로 해당 객체를 인식하고, 인식된 객체에 대한 정보를 검색할 수 있다. 그리고 객체 정보 제공 서버(10)는 검색된 객체에 대한 정보를 투명 디스플레이 장치(100)로 전송할 수 있다. 여기서 객체 정보 제공 서버(10)는 객체의 이미지에 포함된 객체 이미지와 매핑하는 객체 정보들 중에서 수신된 위치 정보와 매핑하는 객체 정보에 해당하는 객체 정보를 상기 인식된 객체에 대한 정보로 검출할 수 있다.Upon receiving a search request signal including the image and position information of the object detected from the transparent display device 100, the object information providing server 10 recognizes the object based on the image and position information of the received object, Information about the recognized object can be retrieved. Then, the object information providing server 10 can transmit information about the searched object to the transparent display device 100. Here, the object information providing server 10 can detect the object information corresponding to the object information to be mapped with the received position information among the object information to be mapped to the object image included in the image of the object, have.

위치 응용 서버(20)는 투명 디스플레이 장치(100)에 위치기반서비스(LBS: Location Based Service)를 제공할 수 있다. 위치 응용 서버(20)는 투명 디스플레이 장치(100)에 특정 객체에 대한 위치 정보를 제공할 수 있고, 특정 위치의 지도 및 지형 정보를 제공할 수 있다.The location application server 20 may provide a location based service (LBS) to the transparent display device 100. The location application server 20 may provide location information for a specific object to the transparent display device 100 and may provide map and topographic information of a specific location.

객체 정보 제공 서버(10), 위치 응용 서버(20) 및 투명 디스플레이 장치(100)는 네트워크로 연결될 수 있다. 네트워크는 인터넷 또는 인트라넷일 수 있고 BCN(Broadband Convergence Network), uBCN(Ultra Broadband Convergence Network)일 수 있다.The object information providing server 10, the location application server 20, and the transparent display device 100 may be connected by a network. The network may be the Internet or an intranet, and may be a Broadband Convergence Network (BCN) or an Ultra Broadband Convergence Network (uBCN).

네트워크는 백본망(60)과 가입자망(50)으로 구성될 수 있다. 백본망(60)은 X.25 망, Frame Relay 망, ATM망, MPLS(Multi Protocol Label Switching) 망 및 GMPLS(Generalized Multi Protocol Label Switching) 망 중 하나 또는 복수의 통합된 망으로 구성될 수 있다. 가입자망(50)은 FTTH(Fiber To The Home), ADSL(Asymmetric Digital Subscriber Line), 케이블망, Wireless LAN(IEEE 802.11b, IEEE 802.11a, IEEE802.11g, IEEE802.11n), WIBro(Wireless Broadband), Wimax 및 HSDPA(High Speed Downlink Packet Access)일 수 있다. 가입자망(50)에 투명 디스플레이 장치(100)가 연결될 수 있다.The network may be comprised of a backbone network 60 and a subscriber network 50. The backbone network 60 may include one or more integrated networks of an X.25 network, a Frame Relay network, an ATM network, a Multi Protocol Label Switching (MPLS) network, and a Generalized Multi Protocol Label Switching (GMPLS) network. The subscriber network 50 may include a fiber to the home (FTTH), an asymmetric digital subscriber line (ADSL), a cable network, a wireless LAN (IEEE 802.11b, IEEE 802.11a, IEEE 802.11g, IEEE 802.11n) , Wimax, and HSDPA (High Speed Downlink Packet Access). The transparent display device 100 may be connected to the subscriber network 50.

투명 디스플레이 장치(100)는 객체 선택 정보를 입력받고, 투명 디스플레이를 통해 보이는 풍경에서 입력된 객체 선택 정보가 지시하는 객체를 탐지한다. 그리고 투명 디스플레이 장치(100)는 탐지된 객체에 대한 정보를 디스플레이한다.The transparent display device 100 receives the object selection information, and detects an object indicated by the object selection information input through the transparent display. The transparent display device 100 displays information about the detected object.

도 2는 객체 선택 정보가 지시하는 객체에 대한 정보가 디스플레이된 상황의 일예를 도시한 도면이다.2 is a view showing an example of a situation where information about an object indicated by the object selection information is displayed.

도 2를 참조하면, 사람(230)이 투명 디스플레이를 통해 보이는 객체(210)를 선택하는 객체 선택 정보를 입력한 경우에, 투명 디스플레이 장치(100)는 입력된 객체 선택 정보가 지시하는 객체(210)를 탐지할 수 있다. 그리고 투명 디스플레이 장치(100)는 탐지된 객체(210)에 대한 정보(215)를 투명 디스플레이에 디스플레이할 수 있다. 여기서 입력된 객체 선택 정보는 투명 디스플레이 장치(100)의 화면상의 특정 지점(251)을 선택하는 신호일 수 있다. 또한 객체 선택 정보가 지시하는 객체(210)는 사람(230)이 선택한 지점(251)을 바라봤을 때의 시선방향을 기준으로 지점(251) 상에서 형상이 보이는 객체일 수 있다.2, when a person 230 inputs object selection information for selecting an object 210 viewed through a transparent display, the transparent display apparatus 100 displays the object 210 indicated by the input object selection information ). ≪ / RTI > And the transparent display device 100 may display information 215 for the detected object 210 on the transparent display. The input object selection information may be a signal for selecting a specific point 251 on the screen of the transparent display device 100. The object 210 indicated by the object selection information may be an object whose shape is shown on the point 251 based on the direction of the line of sight when the person 230 looks at the selected point 251.

도 3a 내지 도 3c은 객체 선택 정보가 입력되는 방식의 바람직한 일실시예를 도시한 도면이다.FIGS. 3A through 3C illustrate a preferred embodiment of a method in which object selection information is input.

도 3a 내지 도 3c를 참조하면, 객체 선택 정보는 제스처로 입력될 수 있다. 여기서 제스처는 단일점(single point) 또는 다중점(multipoint) 제스처, 정적 또는 동적 제스처, 연속적(continuous) 또는 구분된(segmented) 제스처, 및/또는 기타 등등일 수 있다. 단일점 제스처는 단일의 접촉점으로 수행되는 제스처이다, 예를 들어, 이 제스처는 예를 들어 하나의 손가락, 손바닥 또는 스타일러스로부터와 같이 단일의 터치로 수행된다. 다중점 제스처는 다수의 점으로 수행될 수 있는 제스처이다. 예를 들어, 이 제스처는 예를 들어 다수의 손가락, 손가락과 손바닥, 손가락과 스타일러스, 다수의 스타일러스 및/또는 이들의 임의의 조합으로부터와 같이 다수의 터치로 수행된다. 정적 제스처는 움직임을 포함하지 않는 제스처이고, 동적 제스처는 움직임을 포함하는 제스처이다. 연속적 제스처는 단일의 스트로크로 수행되는 제스처이고, 구분된 제스처는 별개의 스텝 또는 스트로크의 시퀀스로 수행되는 제스처이다.3A to 3C, the object selection information may be input as a gesture. Where the gesture may be a single point or multipoint gesture, a static or dynamic gesture, a continuous or segmented gesture, and / or the like. A single point gesture is a gesture performed with a single touch point, for example, this gesture is performed with a single touch, such as from a single finger, palm or stylus. Multi-point gestures are gestures that can be performed at multiple points. For example, the gesture is performed with multiple touches, such as from multiple fingers, fingers and palms, fingers and styluses, multiple styluses, and / or any combination thereof. A static gesture is a gesture that does not include motion, and a dynamic gesture is a gesture that includes motion. A continuous gesture is a gesture performed with a single stroke, and a separated gesture is a gesture performed with a separate step or sequence of strokes.

손가락과 터치 스크린의 접촉은 통상적으로 여러 상이한 패턴을 갖는다. 예를 들어, 터치 스크린 상에서의 단일점 제스처는 다운 이벤트(down event) 및 그에 뒤이은 다운 이벤트와 동일한 위치 또는 거의 동일한 위치에서의 업 이벤트(up event)를 포함한다. 터치 스크린 상에서의 동적 제스처는 다운 이벤트와 그에 뒤이은 적어도 하나의 드래깅 이벤트(dragging event), 그리고 그 다음에 오는 업 이벤트를 포함한다.The contact of the finger with the touch screen typically has several different patterns. For example, the single point gesture on the touch screen includes a down event and an up event at the same or near the same position as the subsequent down event. A dynamic gesture on the touch screen includes a down event followed by at least one dragging event, followed by an up event.

일부 실시예들에서, 손가락이 터치 스크린 디스플레이에 접근하고, 터치 스크린 디스플레이와 접촉하며, 터치 스크린 디스플레이로부터 멀어져가는 프로세스를 기술하기 위해 파라미터가 사용된다. 여기서 터치 스크린 디스플레이는 투명 디스플레이와 일체로 된 터치 스크린일 수 있다. 이 파라미터는 손가락과 터치 스크린 디스플레이 간의 거리, 손가락이 터치 스크린 디스플레이를 누르는 압력, 손가락과 터치 스크린 간의 접촉 면적, 손가락과 터치 스크린 간의 전압, 손가락과 터치 스크린 디스플레이 간의 커패시턴스, 또는 물리 파라미터들 중 적어도 하나의 함수일 수 있다.In some embodiments, parameters are used to describe a process in which a finger approaches a touch screen display, contacts a touch screen display, and moves away from the touch screen display. Wherein the touch screen display may be a touch screen integral with the transparent display. This parameter includes at least one of a distance between the finger and the touch screen display, a pressure at which the finger presses the touch screen display, a contact area between the finger and the touch screen, a voltage between the finger and the touch screen, a capacitance between the finger and the touch screen display, Lt; / RTI >

일부 실시예들에서, 손가락과 터치 스크린 디스플레이 간의 파라미터(예를 들어, 커패시턴스)의 크기에 따라, 이 파라미터가 미리 정해진 문턱값을 넘을 때, 다운 이벤트가 일어나고, 이 파라미터가 미리 정해진 문턱값을 넘고 있는 동안에 손가락의 대응하는 커서 위치가 위치 A로부터 위치 B로 이동할 때, 드래깅 이벤트가 일어나며, 이 파라미터가 문턱값 레벨 아래로 떨어질 때 업 이벤트가 일어난다.In some embodiments, depending on the magnitude of the parameter (e.g., capacitance) between the finger and the touch screen display, when the parameter exceeds a predetermined threshold, a down event occurs and the parameter exceeds a predetermined threshold A dragging event occurs when the corresponding cursor position of the finger moves from position A to position B and an up event occurs when this parameter falls below the threshold level.

투명 디스플레이 장치(100)는 제1 위치(310)에서 다운 이벤트를 검출한다. 손가락(301)은 제1 위치(310)에서 제2 위치(320)로 이동한다. 이때 손가락(301)은 투명 디스플레이 장치(100)의 터치 스크린 디스플레이(300)에 접촉된 상태로 이동할 수 있고, 손가락(301)과 터치 스크린 디스플레이(300) 간의 파라미터가 소정의 문턱값을 넘는 상태로 이동할 수 있다. 그리고 투명 디스플레이 장치(100)는 제2 위치(320)에서 드래깅 이벤트를 검출하면, 투명 디스플레이 장치(100)는 제1 위치(310) 및 제2 위치(320)를 포함하는 영역을 지시하는 표시(305)를 터치 스크린 디스플레이(300)에 디스플레이할 수 있다.The transparent display device 100 detects the down event at the first position 310. [ The finger 301 moves from the first position 310 to the second position 320. At this time, the finger 301 can move in contact with the touch screen display 300 of the transparent display device 100, and the parameter between the finger 301 and the touch screen display 300 exceeds a predetermined threshold value Can be moved. When the transparent display device 100 detects a dragging event at the second position 320, the transparent display device 100 displays an indication indicating an area including the first position 310 and the second position 320 305 can be displayed on the touch screen display 300.

손가락(301)은 제3 위치(330)로 이동하고, 손가락이 터치 스크린 디스플레이(300)로부터 떨어지거나 파라미터가 소정의 문턱값보다 작아지면, 투명 디스플레이 장치(100)는 제3 위치(330)에서 업 이벤트를 검출한다. 업 이벤트를 검출하면, 투명 디스플레이 장치(100)는 제1 위치(310) 및 제3 위치(330)를 포함하는 영역을 지시하는 표시(307)를 디스플레이하고 영역(307)에서 터치 스크린 디스플레이(300)를 통해 보이는 객체(350)를 탐지할 수 있다. 여기서 제1 위치(310)의 다운 이벤트 및 제3 위치(330)의 업 이벤트가 하나의 객체 선택 정보로 인식될 수 있고, 입력된 객체 선택 정보가 지시하는 객체는 영역(307)에 형상이 위치하는 객체(350)일 수 있다.The finger 301 is moved to the third position 330 and the finger is separated from the touch screen display 300 or the parameter is smaller than the predetermined threshold value, the transparent display device 100 is moved to the third position 330 Up event. Upon detecting the up event, the transparent display device 100 displays a display 307 indicating an area including the first location 310 and the third location 330 and displays the display 307 in the area 307 on the touch screen display 300 The object 350 may be detected. Here, the down event of the first position 310 and the up event of the third position 330 may be recognized as one object selection information, and the object indicated by the input object selection information may be a shape Object 350 may be an object.

도 4는 객체 선택 정보가 입력되는 방식의 바람직한 다른 실시예를 도시한 도면이다.4 is a diagram showing another preferred embodiment of a manner in which object selection information is input.

도 4를 참조하면, 객체 선택 정보는 그래픽 사용자 인터페이스(GUI : Graphic User Interface)를 통해 입력될 수 있다. 객체 선택 정보는 이미지, 객체 명칭 및 객체 속성 중 적어도 하나를 포함할 수 있고, 상기 GUI는 이미지, 객체 명치 및 객체 속성을 입력받기 위한 인터페이스를 제공할 수 있다.Referring to FIG. 4, object selection information may be input through a graphical user interface (GUI). The object selection information may include at least one of an image, an object name, and an object attribute, and the GUI may provide an interface for receiving an image, an object description, and an object attribute.

GUI(400)는 특정 자동차를 지시하는 객체 선택 정보를 입력하기 위한 GUI의 일예이다. 사용자는 입력박스(410)에 탐지하기를 원하는 자동차의 이름인 "AAAAAA"(모델명)을 입력할 수 있고, 입력박스(420)에 탐지하기를 원하는 자동차의 색인 "Black"(속성)을 입력할 수 있다.The GUI 400 is an example of a GUI for inputting object selection information indicating a specific automobile. The user can input the name "AAAAAA" (model name) of the automobile to be detected in the input box 410 and input the index "Black" (attribute) of the automobile to be detected in the input box 420 .

투명 디스플레이 장치(100)는 GUI를 통해 객체 선택 정보를 입력받으면, 입력된 객체 선택 정보를 저장하고, 저장된 객체 선택 정보가 지시하는 객체가 투명 디스플레이를 통해 보여지는지 여부를 탐지할 수 있다. 여기서 보여지는 시선 방향은 투명 디스플레이 장치(100)의 디스플레이의 수직방향일 수 있고, 사용자에 의해 지정된 방향일 수 있고, 객체 선택 정보가 입력되는 동안 사용자의 눈이 위치한 지점에서 투명 디스플레이 장치(100)로의 방향일 수 있다.When the transparent display device 100 receives the object selection information through the GUI, the transparent display device 100 stores the input object selection information and can detect whether the object indicated by the stored object selection information is visible through the transparent display. The visual line direction shown here may be the vertical direction of the display of the transparent display device 100 and may be the direction designated by the user and may be set to a position at which the user's eyes are located while the object selection information is input, Lt; / RTI >

도 5는 객체 선택 정보가 지시하는 객체에 대한 정보가 디스플레이된 상황의 다른 예를 도시한 도면이다.5 is a view showing another example of a situation where information about an object indicated by object selection information is displayed.

도 5를 참조하면, 투명 디스플레이 장치(100)는 투명 디스플레이를 통해 모델명이 "AAAAAA"이고 색이 "Black"인 자동차(510)가 보여지는지 여부를 탐지하고, 자동차(510)가 탐지되면, 자동차(510)에 대한 정보(511)를 디스플레이한다.5, the transparent display device 100 detects whether or not a car 510 with a model name of "AAAAAA" and a color of "Black" is visible through a transparent display, and when the car 510 is detected, And displays information 511 on the display unit 510.

도 6a 내지 도 6d는 각각 객체 선택 정보가 지시하는 객체의 형상을 하이라이트 하기 위한 표시가 디스플레이된 화면을 도시한 도면이다.6A to 6D are diagrams each showing a screen in which a display for highlighting the shape of the object indicated by the object selection information is displayed.

도 6a 내지 도 6d를 참조하면, 투명 디스플레이 장치(100)는 객체(610)가 탐지되면, 탐지된 객체(610)의 위치를 알리기 위한 표시를 투명 디스플레이(600)에 디스플레이할 수 있다.6A to 6D, the transparent display device 100 may display, on the transparent display 600, an indication for notifying the position of the detected object 610 when the object 610 is detected.

일부 실시예로, 투명 디스플레이 장치(100)는 탐지된 객체(610)의 형상이 위치하는 영역을 하이라이트하는 테두리선(601)을 투명 디스플레이(600) 상에 디스플레이할 수 있다. 여기서 테두리선(601)은 깜빡거리도록 디스플레이될 수 있다.In some embodiments, the transparent display device 100 may display a border line 601 on the transparent display 600 that highlights the area where the shape of the detected object 610 is located. Here, the border line 601 can be displayed to be flickered.

일부 실시예로, 투명 디스플레이 장치(100)는 탐지된 객체(610)의 형상이 위치하는 영역 내에 표시(602)를 디스플레이할 수 있다. 여기서 표시(602)는 빗금일 수 있고, 특정 색일 수 있으며, 표시(602)는 깜빡거리도록 디스플레이될 수 있다.In some embodiments, the transparent display device 100 may display the display 602 in the area where the shape of the detected object 610 is located. Where the display 602 can be a shaded, specific color, and the display 602 can be displayed to flicker.

일부 실시예로, 투명 디스플레이 장치(100)는 탐지된 객체(610)의 형상의 외각선을 따라 점선(603)을 표시할 수 있다. 여기서 점선(603)은 깜빡거리도록 디스플레이될 수 있다.In some embodiments, the transparent display device 100 may display a dotted line 603 along an outline of the shape of the detected object 610. Here, the dotted line 603 can be displayed to be flickered.

일부 실시예로, 투명 디스플레이 장치(100)는 탐지된 객체(610)의 형상의 외각선을 따라 실선(604)을 표시할 수 있다. 여기서 실선(604)은 굵게 표시될 수 있고, 특정색으로 표시될 수 있으며, 깜빡거리도록 디스플레이될 수 있다.In some embodiments, the transparent display device 100 may display a solid line 604 along an outline of the shape of the detected object 610. Here, the solid line 604 can be displayed in bold, can be displayed in a specific color, and can be displayed to be flickered.

도 7은 탐지된 객체에 대한 정보가 디스플레이된 화면을 도시한 도면이다.7 is a view showing a screen on which information about the detected object is displayed.

도 7을 참조하면, 투명 디스플레이 장치(100)가 동물(710)을 탐지한 경우에, 탐지한 동물(710)에 대한 정보(715)를 디스플레이할 수 있다. 투명 디스플레이 장치(100)는 객체 종류 정보로 요크셔 테리어를 디스플레이하고, 객체 이력 정보로 영국을 디스플레이하고, 객체 외형 정보로 체고 23cm정도를 디스플레이하고, 객체 무게 정보로 3.5kg을 디스플레이하고, 객체에 대한 상세 설명으로 소개 정보, 외모 정보 및 성격 정보를 디스플레이할 수 있다.Referring to FIG. 7, when the transparent display device 100 detects the animal 710, it may display information 715 on the detected animal 710. FIG. The transparent display device 100 displays the Yorkshire terrier with the object type information, displays the UK with the object history information, displays about 23 cm of the object appearance information, displays 3.5 kg as the object weight information, Detailed information can be used to display introductory information, appearance information, and personality information.

투명 디스플레이 장치(100)는 탐지된 객체에 대한 정보를 직접 저장 장치로부터 검색하여 획득할 수 있고, 객체 정보 제공 서버(10)에 검색을 요청하여 획득할 수 있다.The transparent display device 100 can directly retrieve information about the detected object from the storage device and acquire it, and can request the object information providing server 10 to retrieve it.

투명 디스플레이 장치(100)는 객체 정보 제공 서버(10)에 탐지된 객체에 대한 검색을 요청하는 검색 요청 신호를 전송할 수 있다. 전송되는 검색 요청 신호는 탐지된 객체의 이미지 및 탐지된 객체의 위치 정보를 포함할 수 있다. 탐지된 객체의 이미지는 촬영 장치가 촬상한 원본 이미지일 수 있고, 투명 디스플레이 장치(100)가 원본 이미지로부터 객체가 차지하는 영역이 추출되어 생성된 이미지일 수 있다.The transparent display device 100 may transmit a search request signal requesting the object information providing server 10 to search for the detected object. The transmitted search request signal may include an image of the detected object and location information of the detected object. The image of the detected object may be an original image captured by the image capturing apparatus and may be an image generated by extracting an area occupied by the object from the original image.

투명 디스플레이 장치(100)는 탐지된 객체의 위치 정보를 위치 응용 서버(20)로부터 획득할 수 있고, 자신의 위치 정보로부터 탐지된 객체의 위치 정보를 산출할 수 있다.The transparent display device 100 can acquire the positional information of the detected object from the positional application server 20 and calculate the positional information of the detected object from the own positional information.

투명 디스플레이 장치(100)는 Cell ID 방식, AOA 방식 및 TDOA 방식 등의 네트워크 기반(Network-based) 기술을 이용하여 기지국(40)으로부터 수신된 전파를 통해 자신의 위치를 측위할 수 있다. 또한 투명 디스플레이 장치(100)는 TOA(Time Of Arrivals) 방식, GPS(Global Positioning System) 방식 및 Hybrid 측위 방식 등의 Handset-based 측위 기술을 이용하여 위성(30)로부터 수신된 신호를 통해 자신의 위치를 측위할 수 있다.The transparent display device 100 can position itself through radio waves received from the base station 40 using a network-based technology such as a Cell ID method, an AOA method, and a TDOA method. In addition, the transparent display device 100 can display the position of the user through the signal received from the satellite 30 using the Handset-based positioning technique such as Time Of Arrivals (TOA), Global Positioning System (GPS) .

투명 디스플레이 장치(100)를 중심으로 탐지된 객체의 위치는 영상인식 기반 기술을 이용하여 측위할 수 있다. 일예로, 투명 디스플레이 장치(100)는 교사학습 알고리즘을 이용하여 다수의 촬영 장치로부터 촬영된 객체가 포함된 사진으로부터 객체의 위치를 측위할 수 있다. 다른 예로, 투명 디스플레이 장치(100)는 Vision VR 기반 기술을 이용하여 객체의 위치를 측위할 수 있다. 객체의 위치를 측위하기 위해 영상인식 기반을 기술을 이용하면 수 cm내의 정밀도로 객체의 위치를 탐지할 수 있어, 보다 정확하게 객체의 위치를 탐지할 수 있다.The position of the object detected around the transparent display device 100 can be positioned using the image recognition based technology. For example, the transparent display device 100 can position a position of an object from a photograph including objects photographed from a plurality of photographing devices using a teacher learning algorithm. As another example, the transparent display device 100 can position the object using Vision VR-based technology. Using the image recognition based technique to locate the position of an object, the position of the object can be detected with a precision within a few centimeters, and the position of the object can be detected more accurately.

투명 디스플레이 장치(100)를 중심으로 탐지된 객체의 위치는 초음파 기반 기술을 이용하여 측위할 수 있다. 투명 디스플레이 장치(100)는 인식된 시선 방향으로 초음파를 전송하여 전송된 초음파를 통해 탐지된 객체의 거리를 산출할 수 있고, 초음파가 전송된 방향을 통해 객체의 방위각을 결정할 수 있다. 그리고 투명 디스플레이 장치(100)는 산출된 거리 및 결정된 방위각을 기초로 탐지된 객체의 위치를 측위할 수 있다.The position of the object detected around the transparent display device 100 can be positioned using ultrasonic based technology. The transparent display device 100 can calculate the distance of the detected object through the transmitted ultrasonic wave by transmitting the ultrasonic wave in the recognized sight line direction and determine the azimuth angle of the object through the direction in which the ultrasonic wave is transmitted. And the transparent display device 100 can position the detected object based on the calculated distance and the determined azimuth angle.

도 8은 본 발명에 따른 투명 디스플레이 장치에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.8 is a block diagram showing a configuration of a preferred embodiment of a transparent display device according to the present invention.

도 8을 참조하면, 투명 디스플레이 장치(100)는 튜너부(110), 복조부(120), 네트워크 인터페이스부(130), 신호 처리부(140), 투명 디스플레이(150), 음성 출력부(160), 입력장치(170), 저장부(180), 제어부(190) 및 외부 신호 수신부(135)를 포함한다. 투명 디스플레이 장치(100)는 데스크톱, 랩톱, 태블릿 또는 핸드헬드 컴퓨터 등의 퍼스널 컴퓨터 시스템일 수 있다. 또한 투명 디스플레이 장치(100)는 휴대폰, 스마트폰(smart phone), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션 등과 같은 이동 단말기일 수 있고, 디지털 TV 같은 고정형 가전기기일 수 있다.8, the transparent display device 100 includes a tuner 110, a demodulator 120, a network interface 130, a signal processor 140, a transparent display 150, a sound output unit 160, An input device 170, a storage unit 180, a control unit 190, and an external signal receiving unit 135. The transparent display device 100 may be a personal computer system such as a desktop, laptop, tablet or handheld computer. The transparent display device 100 may be a mobile terminal such as a mobile phone, a smart phone, a digital broadcasting terminal, a PDA (Personal Digital Assistants), a PMP (Portable Multimedia Player), a navigation device, Lt; / RTI >

튜너부(110)는 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다. 예를 들어, 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS SIF)로 변환한다. 즉, 튜너부(110)는 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너부(110)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS SIF)는 신호처리부(140)로 직접 입력될 수 있다.The tuner unit 110 selects an RF broadcast signal corresponding to a channel selected by a user from among RF (Radio Frequency) broadcast signals received through an antenna, converts the selected RF broadcast signal into an intermediate frequency signal, a baseband image, Conversion. For example, if the selected RF broadcast signal is a digital broadcast signal, it is converted into a digital IF signal (DIF), and if the selected RF broadcast signal is an analog broadcast signal, it is converted into an analog baseband image or voice signal (CVBS SIF). That is, the tuner unit 110 can process a digital broadcast signal or an analog broadcast signal. The analog baseband video or audio signal (CVBS SIF) output from the tuner unit 110 may be directly input to the signal processing unit 140.

또한, 튜너부(110)는 ATSC(Advanced Television System Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신할 수 있다. The tuner unit 110 may receive an RF broadcast signal of a single carrier according to an Advanced Television System Committee (ATSC) scheme or an RF broadcast signal of a plurality of carriers according to a DVB (Digital Video Broadcasting) scheme.

본 발명의 또 다른 실시예에 의하면, 투명 디스플레이 장치(100)는 적어도 2개의 튜너부를 구비할 수 있다. 적어도 2개의 튜너부를 구비하는 경우, 제2 튜너부는 제1 튜너부와 유사하게 안테나를 통해 수신되는 RF 방송 신호 중 사용자에 의해 선택된 채널에 해당하는 RF 방송 신호를 선택하고, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환한다.According to another embodiment of the present invention, the transparent display device 100 may include at least two tuner units. In a case where at least two tuner units are provided, the second tuner unit selects an RF broadcast signal corresponding to a channel selected by the user among the RF broadcast signals received through the antenna, similar to the first tuner unit, Frequency signal or a baseband image or voice signal.

또한, 제2 튜너부는 수신되는 RF 방송 신호 중 채널 기억 기능을 통하여 저장된 모든 방송 채널의 RF 방송 신호를 순차적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다. 제2 튜너부는 주기적으로 모든 방송 채널의 변환 작업을 수행할 수 있다. 따라서 투명 디스플레이 장치(100)는 제1 튜너부를 통하여 변환된 방송 신호의 영상을 표시하면서, 제2 튜너부를 통하여 변환된 여러 채널의 영상을 썸 네일 형태로 제공할 수 있다. 이 경우, 제1 튜너부는 사용자가 선택한 메인 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환하고, 제2 튜너부는 메인 RF 방송 신호를 제외한 모든 RF 방송 신호를 순차적/주기적으로 선택하여 이를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성 신호로 변환할 수 있다.In addition, the second tuner unit may sequentially select RF broadcast signals of all broadcast channels stored through the channel memory function among the received RF broadcast signals, and convert the RF broadcast signals into an intermediate frequency signal, a baseband image, or a voice signal. And the second tuner unit may periodically perform the conversion operation of all the broadcast channels. Accordingly, the transparent display device 100 can display the image of the broadcast signal converted through the first tuner unit, and can provide images of the plurality of channels converted through the second tuner unit in a thumbnail form. In this case, the first tuner unit converts a main RF broadcast signal selected by the user into an intermediate frequency signal, a baseband image or a voice signal, and the second tuner sequentially / periodically selects all RF broadcast signals except for the main RF broadcast signal It can be converted into an intermediate frequency signal or a baseband image or a voice signal.

복조부(120)는 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다. 일예로, 튜너부(110)에서 출력되는 디지털 IF 신호가 ATSC 방식인 경우, 복조부(120)는 8-VSB(11-Vestigial Side Band) 복조를 수행한다. 또 다른 예로, 튜너부(110)에서 출력되는 디지털 IF 신호가 DVB 방식인 경우, 복조부(120)는 COFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다.The demodulator 120 receives the digital IF signal DIF converted by the tuner 110 and performs a demodulation operation. For example, when the digital IF signal output from the tuner unit 110 is the ATSC scheme, the demodulator 120 performs an 8-VSB (11-Vestigial Side Band) demodulation. As another example, when the digital IF signal output from the tuner unit 110 is a DVB scheme, the demodulator 120 performs CODDMA (Coded Orthogonal Frequency Division Modulation) demodulation.

또한, 복조부(120)는 채널 복호화를 수행할 수도 있다. 이를 위해 복조부(120)는 트렐리스 디코더(Trellis Decoder), 디인터리버(De-interleaver), 및 리드 솔로먼 디코더(Reed Solomon Decoder) 등을 구비하여, 트렐리스 복호화, 디인터리빙, 및 리드 솔로먼 복호화를 수행할 수 있다.Also, the demodulation unit 120 may perform channel decoding. To this end, the demodulator 120 includes a trellis decoder, a de-interleaver, and a reed solomon decoder to perform trellis decoding, deinterleaving, Solomon decoding can be performed.

복조부(120)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다. 일예로, 스트림 신호는 MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.The demodulation unit 120 may perform demodulation and channel decoding, and then output a stream signal TS. At this time, the stream signal may be a signal in which a video signal, a voice signal, or a data signal is multiplexed. For example, the stream signal may be an MPEG-2 TS (Transport Stream) multiplexed with an MPEG-2 standard video signal, a Dolby AC-3 standard audio signal, or the like. Specifically, the MPEG-2 TS may include a header of 4 bytes and a payload of 184 bytes.

복조부(120)에서 출력한 스트림 신호는 신호처리부(140)로 입력될 수 있다. 신호처리부(140)는 역다중화 및 신호 처리 등을 수행한 후, 투명 디스플레이(150)에 영상을 출력하고, 음성 출력부(160)로 음성을 출력한다. The stream signal output from the demodulation unit 120 may be input to the signal processing unit 140. The signal processing unit 140 performs demultiplexing, signal processing, and the like, and then outputs an image to the transparent display 150 and outputs a voice to the voice output unit 160.

또한, 적어도 2개의 튜너부가 구비된 디지털 방송 수신기의 경우, 그에 대응하는 수의 복조부를 구비할 수 있다. 또한 복조부는, ATSC 방식과, DVB 방식에 따라 각각 별개로 구비될 수 있다.Further, in the case of a digital broadcasting receiver having at least two tuner units, a corresponding number of demodulators may be provided. The demodulator may be provided separately according to the ATSC scheme and the DVB scheme.

네트워크 인터페이스부(130)는 네트워크로부터 수신되는 패킷(packet)들을 수신하고, 네트워크로 패킷을 전송한다. 네트워크 인터페이스부(130)는 네트워크를 통해 객체 정보 제공 서버(10)로 검색 요청 신호를 전달하는 IP 패킷을 전송하고, 객체 정보 제공 서버(10)로부터 검색 결과를 전달하는 IP 패킷을 전송할 수 있다. 또한 네트워크 인터페이스부(130)는 네트워크를 통해 위치 응용 서버(20)로 위치 정보 요청 신호를 전달하는 IP 패킷을 전송하고, 위치 응용 서버(20)로부터 위치 정보를 전달하는 IP 패킷을 수신할 수 있다.The network interface unit 130 receives packets received from the network and transmits packets to the network. The network interface unit 130 may transmit an IP packet for transmitting a search request signal to the object information providing server 10 through a network and may transmit an IP packet for transmitting a search result from the object information providing server 10. The network interface unit 130 may transmit an IP packet for transmitting a location information request signal to the location application server 20 through a network and may receive an IP packet for transmitting location information from the location application server 20 .

또한 네트워크 인터페이스부(130)는 네트워크를 통해 서비스 제공 서버로부터 방송 데이터를 전달하는 IP 패킷을 수신한다. 여기서 방송 데이터는 컨텐츠, 컨텐츠 업데이트 여부를 알리는 업데이트 메시지, 메타데이터, 서비스 정보, 소프트웨어 코드 및 A/V 데이터를 포함한다. 또한 서비스 정보는 실시간 방송 서비스에 대한 서비스 정보 및 인터넷 서비스에 대한 서비스 정보를 포함할 수 있다. 여기서 인터넷 서비스는 CoD(Content's on Demand) 서비스, 유튜브 서비스, 날씨, 뉴스, 지역 정보 및 검색 등의 인포메이션 서비스, 게임, 노래방 등의 엔터테인먼트 서비스, TV 메일, TV SMS(Short Message Service) 등의 커뮤니케이션 서비스 등 인터넷을 통해 제공될 수 있는 서비스를 의미한다. 이에 따라 본 발명에서 디지털 방송 수신기는 네트워크 TV, 웹 TV 및 브로드밴드 TV를 포함한다. 또한 방송 서비스는 지상파, 위성 및 케이블을 통해 제공되는 방송 서비스뿐만 아니라 인터넷 서비스를 포함할 수 있다.The network interface unit 130 receives an IP packet for transmitting broadcast data from a service providing server through a network. Here, the broadcast data includes content, an update message indicating whether content is updated, metadata, service information, software code, and A / V data. In addition, the service information may include service information for a real-time broadcast service and service information for an Internet service. Here, the Internet service includes communication services such as information services such as CoD (content's on demand) service, YouTube service, weather, news, local information and search, entertainment services such as games and karaoke, TV mail and TV SMS And the like can be provided through the Internet. Accordingly, the digital broadcast receiver in the present invention includes a network TV, a web TV, and a broadband TV. The broadcasting service may include an Internet service as well as a broadcasting service provided through terrestrial, satellite, and cable.

제어부(190)는 명령어를 실행하고 투명 디스플레이 장치(100)와 연관된 동작을 수행한다. 예를 들면, 저장부(180)로부터 검색된 명령어를 사용하여, 제어부(190)는 투명 디스플레이 장치(100)의 컴포넌트들 간의 입력 및 출력, 데이터의 수신 및 처리를 제어할 수 있다. 제어부(190)는 단일 칩, 다수의 칩, 또는 다수의 전기 부품 상에 구현될 수 있다. 예를 들어, 전용 또는 임베디드 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC, 기타 등등을 비롯하여 여러 가지 아키텍처가 제어부(190)에 대해 사용될 수 있다.The control unit 190 executes an instruction and performs an operation associated with the transparent display device 100. For example, using the instruction retrieved from the storage unit 180, the control unit 190 can control input and output between the components of the transparent display device 100, and reception and processing of data. The control unit 190 may be implemented on a single chip, a plurality of chips, or a plurality of electrical components. Various architectures may be used for the controller 190, including, for example, a dedicated or embedded processor, a single purpose processor, a controller, an ASIC,

제어부(190)는 운영 체제와 함께 컴퓨터 코드를 실행하고 데이터를 생성 및 사용하는 동작을 한다. 운영 체제는 일반적으로 공지되어 있으며 이에 대해 보다 상세히 기술하지 않는다. 예로서, 운영 체제는 Window 계열 OS, Unix, Linux, Palm OS, DOS, 안드로이드 및 매킨토시 등일 수 있다. 운영 체제, 다른 컴퓨터 코드 및 데이터는 제어부(190)와 연결되어 동작하는 저장부(180) 내에 존재할 수 있다.The control unit 190 executes the computer code together with the operating system and generates and uses data. The operating system is generally known and will not be described in more detail. By way of example, the operating system may be a Windows-based OS, Unix, Linux, Palm OS, DOS, Android and Macintosh. The operating system, other computer code, and data may reside within the storage 180 operating in conjunction with the controller 190.

저장부(180)는 일반적으로 투명 디스플레이 장치(100)에 의해 사용되는 프로그램 코드 및 데이터를 저장하는 장소를 제공한다. 예로서, 저장부(180)는 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), 하드 디스크 드라이브 등으로 구현될 수 있다. 프로그램 코드 및 데이터는 분리형 저장 매체에 존재할 수 있고, 필요할 때, 투명 디스플레이 장치(100) 상으로 로드 또는 설치될 수 있다. 여기서 분리형 저장 매체는 CD-ROM, PC-CARD, 메모리 카드, 플로피 디스크, 자기 테이프, 및 네트워크 컴포넌트를 포함한다.The storage unit 180 provides a place for storing program codes and data used by the transparent display device 100 in general. By way of example, the storage unit 180 may be implemented as a read only memory (ROM), a random access memory (RAM), a hard disk drive, or the like. The program code and data may reside in a removable storage medium and may be loaded or installed onto the transparent display device 100 when needed. Here, the removable storage medium includes a CD-ROM, a PC-CARD, a memory card, a floppy disk, a magnetic tape, and a network component.

투명 디스플레이(150)는 제어부(190)와 연결되어 동작할 수 있다. 투명 디스플레이(150)는 유기 발광 패널이나 플라즈마 패널로 구현될 수 있다.The transparent display 150 may operate in conjunction with the control unit 190. The transparent display 150 may be implemented as an organic light emitting panel or a plasma panel.

투명 디스플레이(150)는 투명 디스플레이 장치의 사용자와 운영 체제 또는 운영 체제 상에서 실행 중인 애플리케이션 간의 사용하기 쉬운 인터페이스를 제공하는 그래픽 사용자 인터페이스(GUI)(153)를 디스플레이할 수 있다. GUI(153)는 프로그램, 파일, 및 동작 옵션들을 그래픽 이미지로 표현한다. 그래픽 이미지는 윈도우, 필드, 대화상자, 메뉴, 아이콘, 버튼, 커서 및 스크롤바 등을 포함할 수 있다. 이러한 이미지는 미리 정의된 레이아웃으로 정렬될 수 있거나, 사용자가 취하고 있는 특정의 조치를 돕기 위해 동적으로 생성될 수 있다. 동작 동안에, 사용자는 여러 가지 그래픽 이미지와 연관된 기능 및 작업을 제기하기 위해 그 이미지를 선택 및 활성화할 수 있다. 예로서, 사용자는 윈도우의 열기, 닫기, 최소화, 또는 최대화를 행하는 버튼, 또는 특정 프로그램을 가동시키는 아이콘을 선택할 수 있다.Transparent display 150 may display a graphical user interface (GUI) 153 that provides an easy-to-use interface between a user of the transparent display device and an application running on the operating system or operating system. The GUI 153 represents a program, a file, and operation options in the form of a graphic image. A graphical image may include a window, a field, a dialog box, a menu, an icon, a button, a cursor, a scroll bar, and the like. This image can be arranged in a predefined layout, or it can be dynamically created to help the user take the specific action taken. During operation, the user may select and activate the image to raise the functions and tasks associated with the various graphic images. By way of example, the user may select a button to open, close, minimize, or maximize a window, or an icon to activate a particular program.

입력장치(170)는 투명 디스플레이(150) 상에 또는 그 전방에 배치되어 있는 터치 스크린일 수 있다. 터치 스크린은 투명 디스플레이(150)와 일체로 되어 있거나 별개의 구성요소일 수 있다. 터치 스크린이 투명 디스플레이(150)의 전방에 배치됨에 따라 사용자는 GUI(153)를 직접 조작할 수 있다. 예를 들어, 사용자는 단지 제어될 객체 상에 그의 손가락을 올려 놓을 수 있다. 터치패드에서는, 이것과 같은 일대일 관계가 없다.The input device 170 may be a touch screen disposed on or in front of the transparent display 150. The touch screen may be integral with the transparent display 150 or it may be a separate component. As the touch screen is disposed in front of the transparent display 150, the user can manipulate the GUI 153 directly. For example, a user may simply place his finger on an object to be controlled. On the touchpad, there is no one-to-one relationship like this.

터치패드에 있어서, 터치패드는 투명 디스플레이(150)로부터 떨어져 일반적으로 다른 평면에 놓여 있다. 예를 들어, 투명 디스플레이(150)는 일반적으로 수직 평면에 위치해 있고, 터치패드는 일반적으로 수평 평면에 위치해 있다. 이것은 그의 사용을 덜 직관적이게 하며, 따라서 터치 스크린과 비교할 때 더 어렵다. 터치 스크린인 것에 부가하여, 입력장치(170)는 다중점 입력장치일 수 있다.In touch pads, the touch pads are generally away from the transparent display 150 and lie in a different plane. For example, the transparent display 150 is generally located in a vertical plane, and the touchpad is generally located in a horizontal plane. This makes his use less intuitive and therefore more difficult when compared to the touch screen. In addition to being a touch screen, the input device 170 may be a multipoint input device.

제어부(190)는 입력장치(170)에 가해지는 제스처(171)를 인식하고 인식한 제스처(171)에 기초하여 투명 디스플레이 장치(100)를 제어할 수 있다. 여기서, 제스처는 하나 이상의 특정의 컴퓨팅 동작에 매핑되는, 입력장치(170)와의 양식화된 상호작용으로서 정의될 수 있다. 제스처(171)는 여러 가지 손을 통해, 보다 상세하게는 손가락 움직임을 통해 행해질 수 있다. 다른 대안으로서 또는 그에 부가하여, 제스처는 스타일러스로 행해질 수 있다.The control unit 190 recognizes the gesture 171 applied to the input device 170 and can control the transparent display device 100 based on the recognized gesture 171. [ Here, the gesture may be defined as a stylized interaction with the input device 170, which is mapped to one or more specific computing operations. The gesture 171 can be done through various hands, and more particularly through finger movements. Alternatively or additionally, the gesture can be done with a stylus.

입력장치(170)는 제스처(171)를 수신하고, 제어부(190)는 제스처(171)와 연관된 동작들을 수행하는 명령어들을 실행한다. 게다가, 저장부(180)는 운영 체제 또는 별도의 애플리케이션의 일부일 수 있는 제스처 작동 프로그램(181)을 포함할 수 있다. 제스처 작동 프로그램(181)은 일반적으로 제스처(171)의 발생을 인식하고 그 제스처(171) 및/또는 제스처(171)에 응답하여 무슨 조치(들)이 취해져야 하는지를 하나 이상의 소프트웨어 에이전트에게 알려주는 일련의 명령어를 포함한다.The input device 170 receives the gesture 171 and the control 190 executes the instructions that perform the actions associated with the gesture 171. In addition, the storage 180 may include a gesture operating program 181 that may be an operating system or part of a separate application. Gesture activation program 181 generally includes a series of instructions to recognize the occurrence of gestures 171 and to inform one or more software agents of what action (s) should be taken in response to gestures 171 and / or gestures 171 . ≪ / RTI >

사용자가 하나 이상의 제스처를 행할 때, 입력장치(170)는 제스처 정보를 제어부(190)로 전달한다. 저장부(180)로부터의 명령어, 보다 상세하게는 제스처 작동 프로그램(181)을 사용하여, 제어부(190)는 제스처(171)를 해석하고 저장부(180), 투명 디스플레이(150), 음성 출력부(160), 신호 처리부(140), 네트워크 인터페이스부(130) 및 입력장치(170) 등의 투명 디스플레이 장치(100)의 서로 다른 컴포넌트를 제어한다. 제스처(171)는 저장부(180)에 저장된 애플리케이션에서의 동작을 수행하고, 투명 디스플레이(150) 상에 나타난 GUI 객체를 수정하며, 저장부(180)에 저장된 데이터를 수정하고, 네트워크 인터페이스부(130), 신호 처리부(140)에서의 동작을 수행하는 명령으로서 식별될 수 있다. 예로서, 이들 명령은 줌잉, 패닝, 스크롤링, 페이지 넘김, 회전, 크기조정, 영상 채널 변경, 컨텐츠 수신, 인터넷 접속 등과 연관되어 있을 수 있다. 추가의 예로서, 명령은 또한 특정의 프로그램을 기동시키는 것, 파일 또는 문서를 여는 것, 메뉴를 보는 것, 선택을 하는 것, 명령어를 실행하는 것, 인터넷 사이트 시스템에 로그온하는 것, 인가된 개인에게 컴퓨터 시스템의 제한된 영역에의 액세스를 허용하는 것, 바탕화면의 사용자 선호 배열과 연관된 사용자 프로파일을 로드하는 것, 및/또는 기타 등등과 연관되어 있을 수 있다.When the user performs one or more gestures, the input device 170 delivers the gesture information to the control unit 190. [ The control unit 190 analyzes the gesture 171 using the instruction from the storage unit 180 and more specifically the gesture operation program 181 and controls the storage unit 180, the transparent display 150, And controls different components of the transparent display device 100 such as the display device 160, the signal processing unit 140, the network interface unit 130, and the input device 170. The gesture 171 performs operations in the application stored in the storage unit 180, modifies GUI objects displayed on the transparent display 150, modifies the data stored in the storage unit 180, 130), and can be identified as an instruction to perform an operation in the signal processing unit 140. By way of example, these commands may be associated with zooming, panning, scrolling, turning pages, rotating, resizing, changing video channels, receiving content, accessing the Internet, and so on. As a further example, the command may also be used to activate a particular program, to open a file or document, to view a menu, to make a selection, to execute a command, to log onto an Internet site system, Allowing access to a limited area of the computer system, loading a user profile associated with the user preference array of the desktop, and / or the like.

제어부(190)는 입력장치(170)로부터 수신된 객체 선택 정보를 기초로 객체를 탐지할 수 있다. 만일 객체 선택 정보가 다운 이벤트 및 업 이벤트인 경우에는, 제어부(190)는 다운 이벤트 발생한 제1 위치 및 업 이벤트가 발생한 제2 위치에서 형상이 위치하는 객체를 탐지할 수 있다. 여기서 제어부(190)는 촬영 장치(90)로부터 수신되는 사진을 통해 투명 디스플레이로 향하는 사람의 시선 방향을 인식하고, 인식한 시선 방향에서 상기 제1 위치 및 제2 위치를 포함하는 영역 상에 보이는 객체를 탐지할 수 있다. 그리고 제어부(190)는 탐지된 객체의 객체 정보 획득을 제어하고, 획득한 객체 정보가 디스플레이되도록 투명 디스플레이(150)를 제어할 수 있다.The control unit 190 may detect the object based on the object selection information received from the input device 170. If the object selection information is a down event and an up event, the controller 190 can detect an object in which a shape is located at a first position where a down event occurs and a second position where an up event occurs. Here, the control unit 190 recognizes the sight line direction of the person facing the transparent display through the photograph received from the photographing apparatus 90, and recognizes the object which is visible on the area including the first position and the second position in the recognized sight line direction Can be detected. The control unit 190 may control acquisition of the object information of the detected object and control the transparent display 150 to display the acquired object information.

제어부(190)는 입력장치(170)로부터 객체 선택 정보를 수신하고, 수신한 객체 선택 정보가 지시하는 객체가 투명 디스플레이(150)를 통해 보이는지 여부를 확인할 수 있다. 여기서 제어부(190)는 촬영 장치(90)로부터 현재 영상 프레임과 이전 영상 프레임을 비교하여 특정 객체가 새로 촬영되었는지 여부를 확인할 수 있다. 특정 객체가 새로 촬영된 경우에는, 제어부(190)는 촬영된 객체의 이미지를 추출하여 촬영된 객체가 객체 선택 정보가 지시하는 객체인지를 확인할 수 있다. 제어부(190)는 촬영된 객체의 이미지를 이용하여 객체 정보 획득을 제어할 수 있고, 촬영된 객체의 이미지 또는 획득된 객체 정보를 객체 선택 정보와 비교하여 촬영된 객체가 객체 선택 정보가 지시하는 객체인지를 확인할 수 있다.The control unit 190 receives the object selection information from the input device 170 and can check whether the object indicated by the received object selection information is visible through the transparent display 150. [ Here, the control unit 190 may compare the current image frame with the previous image frame from the photographing device 90 to check whether or not the specific object is newly photographed. When the specific object is newly photographed, the control unit 190 extracts the image of the photographed object and can confirm whether the photographed object is the object indicated by the object selection information. The control unit 190 can control the object information acquisition using the image of the photographed object and compares the image of the photographed object or the obtained object information with the object selection information to determine whether the photographed object is an object .

만일 객체 선택 정보가 지시하는 객체가 보이는 경우에는, 제어부(190)는 상기 객체의 형상이 투명 디스플레이(150) 상에 위치하는 영역을 알리는 표시를 디스플레이할 수 있다. 또한 제어부(190)는 상기 객체의 객체 정보 획득을 제어하고, 획득한 객체 정보가 디스플레이되도록 투명 디스플레이(150)를 제어할 수 있다.If the object indicated by the object selection information is visible, the control unit 190 may display an indication that the shape of the object is located on the transparent display 150. [ In addition, the controller 190 may control acquisition of the object information of the object and control the transparent display 150 to display the acquired object information.

외부 신호 수신부(135)는 외부 장치와 투명 디스플레이 장치(100)를 연결할 수 있는 인터페이스를 제공할 수 있다. 여기서 외부 장치는 DVD(Digital Versatile Disk), 블루레이(Bluray), 게임기기, 켐코더, 컴퓨터(노트북) 등 다양한 종류의 영상 또는 음성 출력 장치를 의미한다. 투명 디스플레이 장치(100)는 외부 신호 수신부(135)로부터 수신된 영상 신호 및 음성 신호가 디스플레이되도록 제어할 수 있고, 데이터 신호를 저장하거나 사용할 수 있다.The external signal receiving unit 135 may provide an interface between the external device and the transparent display device 100. Here, the external device refers to various types of video or audio output devices such as a DVD (Digital Versatile Disk), a Blu-ray, a game device, a camcorder, and a computer (notebook). The transparent display device 100 can control the display of the video signal and the voice signal received from the external signal receiving unit 135 and can store or use the data signal.

또한 외부 장치는 촬영 장치(90)일 수 있다. 촬영 장치(90)는 복수의 카메라를 포함할 수 있다. 촬영 장치(90)는 사람을 촬상할 수 있다. 촬영 장치(90)는 사람의 얼굴 영역을 인식하여 얼굴 영역에 초점을 맞추고, 줌인하여 촬상할 수 있고, 사람의 손 영역을 인식하여 손 영역에 초점을 맞추고, 줌인하여 촬상할 수 있다. 여기서 촬상된 손 모양은 제스처로 인식될 수 있다. 즉 제어부(190)는 인식된 손 모양과 연관된 동작들을 수행하는 명령어들을 실행할 수 있다.The external device may also be a photographing device 90. [ The photographing apparatus 90 may include a plurality of cameras. The photographing apparatus 90 can photograph a person. The photographing apparatus 90 recognizes a face area of a person, focuses on the face area, and can pick up the image by zooming in. The photographing apparatus 90 recognizes a hand area of a person and focuses the hand area. The hand shape captured here can be recognized as a gesture. That is, the control unit 190 can execute the instructions to perform the operations associated with the recognized hand shape.

촬영 장치(90)는 투명 디스플레이(150)의 후방 객체를 촬상할 수 있다. 즉 촬영 장치(90)는 투명 디스플레이 장치(100)의 제어 신호에 따라 사람의 시선 방향에서 투명 디스플레이(150)를 통해 보이는 객체를 촬상할 수 있다. 촬영 장치(90)는 객체 영역을 인식하여 객체 영역에 초점을 맞추고, 줌인하여 촬상할 수 있다. 또한 객체는 복수의 다른 위치에서 촬영 장치(90)에 의해 촬상될 수 있다.The photographing apparatus 90 can image the rear object of the transparent display 150. [ That is, the photographing device 90 can pick up an image of the object visible through the transparent display 150 in the direction of the human eye according to the control signal of the transparent display device 100. [ The photographing apparatus 90 recognizes the object region, focuses on the object region, and can zoom in to pick up the image. The object may also be imaged by the imaging device 90 at a plurality of different locations.

도 9는 투명 디스플레이 장치의 제어부에 대한 바람직한 일실시예의 구성을 도시한 블록도이다.9 is a block diagram showing a configuration of a preferred embodiment of the control unit of the transparent display device.

도 9를 참조하면, 제어부(190)는 시선 방향 인식부(910), 중앙 처리부(920) 및 객체 탐지부(930)를 포함할 수 있다.9, the control unit 190 may include a gaze direction recognition unit 910, a central processing unit 920, and an object detection unit 930.

시선 방향 인식부(910)는 촬영장치(92)가 촬영한 영상 프레임에서 얼굴 영역을 검출할 수 있다. 그리고 시선 방향 인식부(910)는 검출한 얼굴 영역에서 눈 영상을 검출하고, 검출한 눈 영상을 이용하여 시선 방향을 결정할 수 있다.The gaze direction recognizing unit 910 can detect the face area in the image frame captured by the photographing apparatus 92. [ The gaze direction recognizing unit 910 can detect an eye image in the detected face region and determine the gaze direction using the detected eye image.

시선 방향을 결정하기 위한 일실시예로, 시선 방향 인식부(910)는 저장된 눈 영상들 각각과 검출된 눈 영상의 차이값을 산출하여, 저장된 눈 영상 중에 검출된 눈 영상과의 차이값이 가장 작은 눈 영상을 선택할 수 있다. 그리고 시선 방향 인식부(910)는 선택한 눈 영상과 매핑된 시선 방향 정보가 지시하는 시선 방향을 검출한 눈 영상의 시선 방향으로 결정할 수 있다.In an embodiment for determining the gaze direction, the gaze direction recognition unit 910 calculates the difference value between each of the stored snow images and the detected snow image, You can select a small eye image. The gaze direction recognizing unit 910 can determine the gaze direction indicated by the gaze direction information mapped with the selected snow image as the gaze direction of the detected snow image.

중앙 처리부(920)는 촬영장치(92)가 촬영한 영상 프레임에서 손 영역을 검출할 수 있다. 그리고 중앙 처리부(920)는 저장된 손 모양 각각과 검출된 손 영역에 표시된 손 모양을 비교하여, 저장된 손 모양 중 검출된 손 영역에 표시된 손 모양과 같은 손 모양을 선택할 수 있다. 중앙 처리부(920)는 선택된 손 모양과 연관된 동작을 수행하는 명령어를 실행할 수 있다.The central processing unit 920 can detect a hand region in an image frame photographed by the photographing apparatus 92. [ Then, the central processing unit 920 may compare the hand shapes stored in the detected hand areas with each of the stored hand shapes, and select a hand shape such as a hand shape displayed in the detected hand area among the stored hand shapes. The central processing unit 920 may execute an instruction to perform an action associated with the selected hand shape.

객체 탐지부(930)는 객체 선택 정보가 지시하는 객체로 촬영장치(94)의 초점의 이동을 제어하고 촬영장치(94)의 촬상을 제어한다.The object detection unit 930 controls the movement of the focus of the photographing apparatus 94 and controls the photographing of the photographing apparatus 94 by the object indicated by the object selection information.

도 10은 본 발명에 따른 객체 탐지 방법에 대한 바람직한 일실시예의 수행과정을 도시한 블록도이다.FIG. 10 is a block diagram illustrating a process of performing an object detection method according to an exemplary embodiment of the present invention.

도 10을 참조하면, 중앙 처리부(920)는 투명 디스플레이(150) 상의 제1 위치에서 다운 이벤트를 검출한다(S1000).Referring to FIG. 10, the central processing unit 920 detects a down event at a first position on the transparent display 150 (S1000).

중앙 처리부(920)는 투명 디스플레이(150) 상의 제2 위치에서 업 이벤트를 검출한다(S1010).The central processing unit 920 detects an up event at a second position on the transparent display 150 (S1010).

시선방향 인식부(910)는 시선 방향을 결정한다(S1020). 여기서 시선방향 인식부(910)는 사람 위치한 공간에서 제1 위치 및 제2 위치를 포함하는 영역으로 향하는 방향을 시선 방향으로 결정할 수 있다.The gaze direction recognizing unit 910 determines the gaze direction (S1020). Here, the gaze direction recognizing unit 910 may determine, in the gaze direction, the direction toward the area including the first position and the second position in the space where the person is located.

객체 탐지부(930)는 시선방향 인식부(910)가 결정한 시선 방향에서 투명 디스플레이(150) 상의 제1 위치 및 제2 위치를 포함하는 영역을 통해 보이는 객체를 탐지한다(S1030). 여기서 객체는 사람, 동물, 사물, 자동차, 건축물 및 자연물 중 적어도 하나를 포함할 수 있다. 다른 실시에로, 상기 객체는 투명 디스플레이(150)의 수직 방향에서 투명 디스플레이(150) 상의 제1 위치 및 제2 위치를 포함하는 영역을 통해 보이는 객체일 수 있다.The object detection unit 930 detects an object that is visible through a region including a first position and a second position on the transparent display 150 in the visual direction determined by the visual direction recognition unit 910 (S1030). The object may include at least one of a person, an animal, an object, a car, a building, and a natural object. In another implementation, the object may be an object that is visible through an area including a first location and a second location on the transparent display 150 in the vertical direction of the transparent display 150. [

중앙 처리부(920)는 탐지한 객체에 대한 정보의 획득을 제어한다(S1040). 여기서 객체에 대한 정보인 객체 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함할 수 있다. The central processing unit 920 controls the acquisition of information about the detected object (S1040). Here, the object information, which is information on the object, may include at least one of the object name, the object type information, the object history information, the object appearance information, the object weight information, the object position information, and the detailed description of the object.

객체에 대한 정보의 획득 전에, 중앙 처리부(920)는 탐지한 객체의 위치 정보를 산출할 수 있다. 그리고 중앙 처리부(920)는 산출한 위치 정보가 디스플레이되도록 제어할 수 있고, 탐지한 객체에 대한 정보를 획득하기 위해 산출한 위치 정보를 이용할 수 있다. 여기서 중앙 처리부(920)는 탐지된 객체의 위치 정보를 위치 응용 서버(20)로부터 획득할 수 있고, 자신의 위치 정보로부터 탐지된 객체의 위치 정보를 산출할 수 있다. 중앙 처리부(920)는 Cell ID 방식, AOA 방식 및 TDOA 방식 등의 네트워크 기반(Network-based) 기술을 이용하여 기지국(40)으로부터 수신된 전파를 통해 디스플레이 장치(100)의 위치를 측위할 수 있다. 또한 중앙 처리부(920)는 TOA(Time Of Arrivals) 방식, GPS(Global Positioning System) 방식 및 Hybrid 측위 방식 등의 Handset-based 측위 기술을 이용하여 위성(30)로부터 수신된 신호를 통해 자신의 위치를 측위할 수 있다. 또한 중앙 처리부(920)는 디스플레이 장치(100)를 중심으로 탐지된 객체의 위치를 영상인식 기반 기술 또는 초음파 기반 기술을 이용하여 측위할 수 있다.The central processing unit 920 can calculate position information of the detected object before acquiring information about the object. The central processing unit 920 can control the displayed position information to be displayed and use the calculated position information to obtain information about the detected object. Here, the central processing unit 920 can obtain positional information of the detected object from the positional application server 20, and can calculate the positional information of the detected object from its own positional information. The central processing unit 920 can determine the position of the display device 100 through radio waves received from the base station 40 using a network-based technology such as a Cell ID method, an AOA method, and a TDOA method . Also, the central processing unit 920 may use its handset-based positioning technology such as Time Of Arrivals (GPS), Global Positioning System (GPS) Can be positioned. In addition, the central processing unit 920 can position the detected object around the display device 100 using an image recognition based technique or an ultrasound based technique.

투명 디스플레이(150)는 획득된 객체 정보를 디스플레이한다(S1050). 여기서, 객체 정보는 도 2 및 도 7에 도시된 화면과 같이 디스플레이될 수 있다.The transparent display 150 displays the obtained object information (S1050). Here, the object information can be displayed as shown in FIG. 2 and FIG. 7.

중앙 처리부(920)는 정보 이동 명령이 수신되었는지 여부를 확인한다(S1060). 여기서 정보 이동 명령은 촬영장치(92)가 촬상한 영상 프레임에 포함된 손 모양을 통해 인식된 제스처를 통해 생성된 명령일 수 있고, 다운 이벤트, 드래깅 이벤트 및 업 이벤트로 인식되는 동적 제스처를 통해 생성된 명령일 수 있다.The central processing unit 920 determines whether an information movement command has been received (S1060). Here, the information movement command may be a command generated through a gesture recognized through a hand shape contained in an image frame captured by the photographing apparatus 92, and generated through a dynamic gesture recognized as a down event, a dragging event, Lt; / RTI >

정보 이동 명령이 수신된 경우에는, 중앙 처리부(920)는 수신된 정보 이동 명령에 따라 투명 디스플레이(150)상에 디스플레이된 정보의 위치 이동을 제어한다(S1070).When the information movement command is received, the central processing unit 920 controls the position movement of the information displayed on the transparent display 150 according to the received information movement command (S1070).

도 11a 내지 도 11e는 탐지된 객체에 대한 정보 및 인식된 제스처가 디스플레이된 화면을 도시한 도면이고, 도 12는 탐지된 객체에 대한 정보의 디스플레이를 요청하는 제스처가 디스플레이된 화면을 도시한 도면이다.FIGS. 11A to 11E are diagrams showing information about the detected object and a screen on which the recognized gesture is displayed, and FIG. 12 is a view showing a screen on which a gesture for requesting display of information about the detected object is displayed .

도 11a 내지 도 11e 및 도 12를 참조하면, 화면(1110)에서 탐지된 객체(1111)에 대한 객체 정보(1113)는 탐지된 객체(1111)의 상이 위치하는 영역 내에 위치한다. 화면(1110)이 디스플레이된 상태에서 제스처(1115)가 인식되면, 화면(1110)에서 화면(1120)으로 전환된다. 인식되는 제스처(1115)는 화면에 디스플레이될 수 있고, 제스처(1115)와 연관된 명령이 수행되면 화면에서 사라질 수 있다. 일부 실시예로, 인식된 제스처(1115)는 화면에 디스플레이 안 될 수 있다.11A to 11E and 12, object information 1113 for an object 1111 detected on a screen 1110 is located in an area where an image of the detected object 1111 is located. If the gesture 1115 is recognized in a state that the screen 1110 is displayed, the screen 1110 is switched to the screen 1120. The recognized gesture 1115 may be displayed on the screen and may disappear from the screen when a command associated with the gesture 1115 is performed. In some embodiments, the recognized gesture 1115 may not be displayed on the screen.

화면(1120)에서 객체 정보(1113)는 제스처(1115)의 손가락이 지시하는 방향에 따라 이동되어 영역(1123)에 디스플레이된다. 화면(1120)이 디스플레이된 상태에서 제스처(1125)가 인식되면, 화면(1120)에서 화면(1130)으로 전환된다.The object information 1113 on the screen 1120 is moved in accordance with the direction indicated by the finger of the gesture 1115 and displayed in the area 1123. When the gesture 1125 is recognized in a state where the screen 1120 is displayed, the screen 1120 is switched to the screen 1130.

화명(1130)에서 객체 정보(1123)는 제스처(1125)의 손가락이 지시하는 방향에 따라 이동되어 영역(1133)에 디스플레이된다. 화면(1130)이 디스플레이된 상태에서 제스처(1135)가 인식되면, 화면(1130)에서 화면(1140)으로 전환된다.The object information 1123 in the image name 1130 is moved in accordance with the direction indicated by the finger of the gesture 1125 and displayed in the area 1133. [ If the gesture 1135 is recognized while the screen 1130 is being displayed, the screen 1130 is switched to the screen 1140.

화면(1140)에서 객체 정보(1133)는 제스처(1135)의 손가락이 지시하는 방향에 따라 이동되어 영역(1143)에 디스플레이된다. 화면(1140)이 디스플레이된 상태에서 제스처(1145)가 인식되면, 화면(1140)에서 화면(1150)으로 전환된다.The object information 1133 on the screen 1140 is moved in accordance with the direction indicated by the finger of the gesture 1135 and displayed in the area 1143. [ If the gesture 1145 is recognized in the state that the screen 1140 is displayed, the screen 1140 is switched to the screen 1150.

화면(1150)에서 객체 정보(1143)는 제스처(1145)의 손가락이 지시하는 방향에 따라 이동되어 영역(1153)에 디스플레이된다. 화면(1150)이 디스플레이된 상태에서 제스처(1155)가 인식되면, 화면(1150)에서 화면(1210)으로 전환된다.The object information 1143 on the screen 1150 is moved in accordance with the direction indicated by the finger of the gesture 1145 and displayed in the area 1153. [ If the gesture 1155 is recognized while the screen 1150 is displayed, the screen 1150 is switched to the screen 1210.

화면(1210)에서 객체 정보(1153)는 제스처(1155)와 연관된 명령인 디스플레이 중지 명령에 따라 디스플레이되지 않는다. 화면(1210)이 디스플레이된 상태에서 제스처(1215)가 인식되면, 화면(1210)에 객체 정보(1153)가 디스플레이될 수 있다. 이때 이전 화면(1150)의 영역(1153)에 객체 정보가 디스플레이될 수 있고, 디폴트로 지정된 영역에 객체 정보가 디스플레이될 수 있다.The object information 1153 on the screen 1210 is not displayed according to the display stop command which is an instruction associated with the gesture 1155. [ If the gesture 1215 is recognized while the screen 1210 is displayed, the object information 1153 may be displayed on the screen 1210. [ At this time, the object information can be displayed in the area 1153 of the previous screen 1150, and the object information can be displayed in the default designated area.

도 13은 객체 탐지 과정에 대한 바람직한 일실시예의 수행과정을 도시한 도면이다.13 is a diagram illustrating a process of performing a preferred embodiment of the object detection process.

도 13을 참조하면, 객체 탐지부(930)는 객체를 촬상할 수 있도록 촬영 장치 초점의 이동을 제어한다(S1300). 여기서, 촬영장치(94)는 복수의 카메라로 구성될 수 있고, 객체 탐지부(930)는 각 카메라의 이동을 제어할 수 있다.Referring to FIG. 13, the object detection unit 930 controls the movement of the focus of the photographing apparatus so as to capture an object (S1300). Here, the photographing apparatus 94 may be composed of a plurality of cameras, and the object detecting unit 930 may control the movement of each camera.

객체 탐지부(930)는 이동된 초점에서 촬영장치(94)의 촬상을 제어한다(S1310). The object detection unit 930 controls the imaging of the photographing apparatus 94 at the shifted focus (S1310).

객체 탐지부(930)는 촬영장치(94)로부터 객체가 촬상된 이미지의 수신을 제어한다(S1320). 객체 탐지부(930)는 촬영장치(94)로부터 출력된 영상 프레임에서 객체 이미지를 추출할 수 있다. 또한 객체 탐지부(930)는 촬영장치(94)로부터 촬상된 영상 프레임을 통해 객체의 위치를 산출할 수 있다.The object detection unit 930 controls the reception of the image of the object captured from the photographing apparatus 94 (S1320). The object detection unit 930 can extract an object image from an image frame output from the photographing apparatus 94. [ The object detection unit 930 can calculate the position of the object through the image frame captured from the photographing apparatus 94. [

도 14는 객체 정보 획득 과정에 대한 바람직한 일실시예의 수행과정을 도시한 도면이다.FIG. 14 is a flowchart illustrating an exemplary process of acquiring object information according to an exemplary embodiment of the present invention.

도 14를 참조하면, 중앙 처리부(920)는 저장부(180)에 저장된 이미지를 독출한다(S1400). 여기서 저장된 이미지는 사전에 투명 디스플레이 장치(100) 주위의 객체를 촬상한 이미지일 수 있다.Referring to FIG. 14, the central processing unit 920 reads an image stored in the storage unit 180 (S1400). The stored image may be an image of an object around the transparent display device 100 in advance.

중앙 처리부(920)는 독출한 이미지와 촬상된 이미지를 비교한다(S1410). 여기서, 독출한 이미지에 포함된 객체의 외각선과 촬상된 이미지에 포함된 객체의 외각선이 동일한 패턴인 경우에는 독출한 이미지에 포함된 객체와 촬상된 이미지에 포함된 객체는 동일한 객체로 인식될 수 있다. 즉 각 외각선의 패턴을 동일한 크기로 하였을 때 매칭되면, 독출한 이미지에 포함된 객체와 촬상된 이미지에 포함된 객체는 동일한 객체로 인식될 수 있다.The central processing unit 920 compares the read image with the sensed image (S1410). Here, when the outline of the object included in the read image and the outline of the object included in the sensed image are the same pattern, the object included in the read image and the object included in the sensed image can be recognized as the same object have. That is, if the pattern of each outer line is matched when the same size is set, the object included in the read image and the object included in the sensed image can be recognized as the same object.

중앙 처리부(920)는 동일한 객체가 발견되었는지 여부를 확인한다(S1420).The central processing unit 920 checks whether the same object is found (S1420).

동일한 객체가 발견된 경우에는, 중앙 처리부(920)는 저장부(180)에서 발견된 이미지와 연관된 정보를 독출한다(S1430). 여기서 독출된 정보는 촬상된 이미지에 포함된 객체에 대한 정보로 사용될 수 있다. 또한 독출된 정보는 투명 디스플레이 장치(100) 주위의 객체의 객체 정보가 사전에 저장된 정보일 수 있다.If the same object is found, the central processing unit 920 reads information associated with the image found in the storage unit 180 (S1430). The information read out here can be used as information on the object included in the captured image. In addition, the read information may be information in which object information of an object around the transparent display device 100 is stored in advance.

도 15는 객체 정보 획득 과정에 대한 바람직한 다른 실시예의 수행과정을 도시한 도면이다.FIG. 15 is a flowchart illustrating a process of acquiring object information according to another preferred embodiment of the present invention.

도 15를 참조하면, 중앙 처리부(920)는 서버에 객체에 대한 정보의 검색을 요청한다(S1500). 여기서 서버는 객체 정보 제공 서버(10)일 수 있다. 또한 중앙 처리부(920)는 검색 요청 신호를 객체 정보 제공 서버(10)에 전송할 수 있다. 검색 요청 신호는 객체 이미지를 포함할 수 있고, 객체 위치 정보를 포함할 수 있다.Referring to FIG. 15, the central processing unit 920 requests the server to search for information about an object (S1500). Here, the server may be the object information providing server 10. Also, the central processing unit 920 can transmit a search request signal to the object information providing server 10. The search request signal may include an object image, and may include object position information.

중앙 처리부(920)는 서버로부터 검색 결과의 수신을 제어한다(S1510).The central processing unit 920 controls reception of the search result from the server (S1510).

도 16은 본 발명에 따른 객체 탐지 방법에 대한 바람직한 다른 실시예의 수행과정을 도시한 도면이다.FIG. 16 is a flowchart illustrating a method of detecting an object according to another exemplary embodiment of the present invention. Referring to FIG.

도 16을 참조하면, 입력장치(170)는 객체 선택 정보를 입력받는다(S1600). 여기서 객체 선택 정보는 이미지, 객체 명칭 및 객체 속성 중 적어도 하나를 포함할 수 있고 도 4에 도시된 GUI(400)을 통해 입력될 수 있다.Referring to FIG. 16, the input device 170 receives object selection information (S1600). Here, the object selection information may include at least one of an image, an object name, and an object attribute, and may be input through the GUI 400 shown in FIG.

중앙 처리부(920)는 입력된 객체 선택 정보가 저장부(130)에 저장되도록 제어한다(S1610).The central processing unit 920 controls the input object selection information to be stored in the storage unit 130 (S1610).

중앙 처리부(920)는 저장된 객체 선택 정보가 지시하는 객체가 탐지되었는지 여부를 확인한다(S1620). 여기서 중앙 처리부(920)는 저장된 객체 선택 정보가 지시하는 객체가 투명 디스플레이(150)를 통해 보이는지 여부를 확인할 수 있다. 중앙 처리부(920)는 객체 탐지부(930)가 출력한 객체 이미지로부터 상기 객체가 보이는지 여부를 확인할 수 있다. 객체 탐지부(930)는 촬영 장치(90)로부터 현재 영상 프레임과 이전 영상 프레임을 비교하여 특정 객체가 새로 촬영되었는지 여부를 확인할 수 있고, 특정 객체가 새로 촬영된 경우에는, 상기 객체로 촬영 장치(90)의 초점의 이동을 제어하고 촬영 장치(90)로부터 객체가 촬상된 영상 프레임을 획득할 수 있고, 획득된 영상 프레임에서 상기 객체의 객체 이미지를 추출할 수 있다. The central processing unit 920 determines whether the object indicated by the stored object selection information is detected (S1620). Here, the central processing unit 920 can check whether or not the object indicated by the stored object selection information is visible through the transparent display 150. [ The central processing unit 920 can check whether or not the object is visible from the object image output by the object detection unit 930. [ The object detection unit 930 can check whether a specific object is newly captured by comparing the current image frame and the previous image frame from the photographing apparatus 90. If the specific object is newly photographed, 90 to acquire an image frame in which an object is captured from the photographing device 90, and extract an object image of the object in the obtained image frame.

제어부(190)는 객체 탐지부(930)가 추출한 객체 이미지를 이용하여 객체 정보 획득을 제어할 수 있고, 촬영된 객체의 이미지 또는 획득된 객체 정보를 객체 선택 정보와 비교하여 새로 촬영된 객체가 객체 선택 정보가 지시하는 객체인지를 확인할 수 있다.The control unit 190 can control the acquisition of object information using the object image extracted by the object detection unit 930. The controller 190 compares the image of the captured object or the obtained object information with the object selection information, It is possible to confirm whether or not the selection information indicates the object to which the selection information is directed.

객체 선택 정보가 지시하는 객체가 탐지된 경우에는, 중앙 처리부(920)는 탐지한 객체에 대한 정보의 획득을 제어한다(S1630). 여기서 객체에 대한 정보인 객체 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함할 수 있다. 단계 S1630의 세부 수행과정은 도 14 또는 도 15에 도시된 객체 정보 획득 과정에 따라 수행될 수 있다.When the object indicated by the object selection information is detected, the central processing unit 920 controls acquisition of information about the detected object (S1630). Here, the object information, which is information on the object, may include at least one of the object name, the object type information, the object history information, the object appearance information, the object weight information, the object position information, and the detailed description of the object. The detailed process of step S1630 may be performed according to the object information acquisition process shown in FIG. 14 or FIG.

객체에 대한 정보의 획득 전에, 중앙 처리부(920)는 탐지한 객체의 위치 정보를 산출할 수 있다. 그리고 중앙 처리부(920)는 산출한 위치 정보가 디스플레이되도록 제어할 수 있고, 탐지한 객체에 대한 정보를 획득하기 위해 산출한 위치 정보를 이용할 수 있다. 여기서 중앙 처리부(920)는 탐지된 객체의 위치 정보를 위치 응용 서버(20)로부터 획득할 수 있고, 자신의 위치 정보로부터 탐지된 객체의 위치 정보를 산출할 수 있다. 중앙 처리부(920)는 Cell ID 방식, AOA 방식 및 TDOA 방식 등의 네트워크 기반(Network-based) 기술을 이용하여 기지국(40)으로부터 수신된 전파를 통해 디스플레이 장치(100)의 위치를 측위할 수 있다. 또한 중앙 처리부(920)는 TOA(Time Of Arrivals) 방식, GPS(Global Positioning System) 방식 및 Hybrid 측위 방식 등의 Handset-based 측위 기술을 이용하여 위성(30)로부터 수신된 신호를 통해 자신의 위치를 측위할 수 있다. 또한 중앙 처리부(920)는 디스플레이 장치(100)를 중심으로 탐지된 객체의 위치를 영상인식 기반 기술 또는 초음파 기반 기술을 이용하여 측위할 수 있다.The central processing unit 920 can calculate position information of the detected object before acquiring information about the object. The central processing unit 920 can control the displayed position information to be displayed and use the calculated position information to obtain information about the detected object. Here, the central processing unit 920 can obtain positional information of the detected object from the positional application server 20, and can calculate the positional information of the detected object from its own positional information. The central processing unit 920 can determine the position of the display device 100 through radio waves received from the base station 40 using a network-based technology such as a Cell ID method, an AOA method, and a TDOA method . Also, the central processing unit 920 may use its handset-based positioning technology such as Time Of Arrivals (GPS), Global Positioning System (GPS) Can be positioned. In addition, the central processing unit 920 can position the detected object around the display device 100 using an image recognition based technique or an ultrasound based technique.

투명 디스플레이(150)는 획득된 객체 정보를 디스플레이한다(S1640). 여기서, 객체 정보는 도 5 및 도 7에 도시된 화면과 같이 디스플레이될 수 있다. 또한 중앙 처리부(920)는 투명 디스플레이(150) 상에 탐지된 객체의 형상이 위치하는 영역을 알리는 표시가 디스플레이되도록 제어 수 있다.The transparent display 150 displays the obtained object information (S1640). Here, the object information can be displayed as shown in FIG. 5 and FIG. In addition, the central processing unit 920 can control the display of the transparent display 150 to display an indication of an area where the shape of the detected object is located.

도 16의 객체 탐지 방법은 도시되어 있지 않으나 도 10의 객체 탐지 방법의 단계 S1060 및 S1070을 더 포함할 수 있다.The object detection method of FIG. 16 is not shown, but may further include steps S1060 and S1070 of the object detection method of FIG.

도 17은 본 발명에 따른 투명 디스플레이 장치에 대한 바람직한 다른 실시예의 구성을 도시한 블록도이다.17 is a block diagram showing a configuration of another preferred embodiment of a transparent display device according to the present invention.

도 17의 투명 디스플레이 장치(100)는 튜너부(110), 복조부(120), 네트워크 인터페이스부(130), 신호 처리부(140), 투명 디스플레이(150), 음성 출력부(160), 입력장치(170), 저장부(180), 제어부(190), 외부 신호 수신부(1735) 및 촬영 장치(1790)를 포함한다. 제어부(190)는 촬영 장치(1790)의 이동, 포커스, 줌인 및 줌 아웃 그리고 촬상을 제어한다. 촬영 장치(1790)는 제어부의 제어에 따라 투명 디스플레이(150)를 통해 보이는 후방 객체 및 투명 디스플레이(150)의 주위에 위치하는 사람을 촬상한다. 촬영 장치(150)는 복수의 카메라를 포함할 수 있다.The transparent display device 100 of FIG. 17 includes a tuner 110, a demodulator 120, a network interface 130, a signal processor 140, a transparent display 150, a sound output unit 160, A storage unit 180, a control unit 190, an external signal receiving unit 1735, and a photographing apparatus 1790. The control unit 190 controls movement, focus, zooming in and zooming out of the photographing apparatus 1790, and imaging. The photographing apparatus 1790 images a rear object viewed through the transparent display 150 and a person positioned around the transparent display 150 under the control of the control unit. The photographing apparatus 150 may include a plurality of cameras.

도 17의 투명 디스플레이 장치(100)는 촬영 장치(1790)를 포함한다는 점에서 도 8의 투명 디스플레이 장치(100)와 차이가 있으며, 도 17의 투명 디스플레이 장치(100)의 나머지 구성요소는 각각 도 8의 투명 디스플레이 장치(100)의 구성요소와 대응되는 점에서, 각 구성요소에 대한 상세한 설명을 이하 생략한다.The transparent display device 100 of FIG. 17 differs from the transparent display device 100 of FIG. 8 in that it includes a photographing device 1790, and the remaining components of the transparent display device 100 of FIG. A detailed description of each constituent element will be omitted below in correspondence with the constituent elements of the transparent display device 100 of Fig.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer apparatus is stored. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and may be implemented in the form of a carrier wave (for example, transmission via the Internet) . The computer-readable recording medium may also be distributed to networked computer devices so that computer readable code can be stored and executed in a distributed manner.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken by way of limitation in the embodiment in which said invention is directed. It will be understood by those skilled in the art that various changes in form and detail may be made therein without departing from the scope of the appended claims.

Claims (20)

투명 디스플레이 상의 제 1 위치에서 다운 이벤트를 검출하는 단계;
상기 제 1 위치에서 제 2 위치로 터치 입력을 드래깅하여 이동하고, 상기 제 2 위치에서 드래깅 이벤트를 검출하는 단계;
상기 제 1 위치 및 상기 제 2 위치를 포함하는 영역에 디스플레이되는 객체에 대응되는 객체 선택 정보를 입력받는 단계;
상기 투명 디스플레이를 통해 보이는 풍경에서 상기 입력된 객체 선택 정보가 지시하는 객체를 탐지하는 단계;
상기 탐지된 객체에 대한 정보를 서버로부터 수신하는 단계; 및
상기 수신된 정보를 상기 투명 디스플레이에 디스플레이하는 단계
를 포함하는 것을 특징으로 하는 객체 탐지 방법.Detecting a down event at a first location on the transparent display;
Moving a touch input by dragging from the first position to a second position, and detecting a dragging event at the second position;
Receiving object selection information corresponding to an object displayed in an area including the first position and the second position;
Detecting an object indicated by the input object selection information in a landscape viewed through the transparent display;
Receiving information about the detected object from a server; And
Displaying the received information on the transparent display
And detecting the object. 삭제delete 제 1항에 있어서,
상기 객체 선택 정보는 이미지, 객체 명칭 및 객체 속성 중 적어도 하나를 포함하는 것을 특징으로 하는 객체 탐지 방법.The method according to claim 1,
Wherein the object selection information includes at least one of an image, an object name, and an object attribute. 제 1항에 있어서,
상기 투명 디스플레이 상에 보이는 상기 탐지된 객체의 형상을 하이라이트하기 위한 표시를 디스플레이하는 것을 특징으로 하는 객체 탐지 방법.The method according to claim 1,
Displaying an indication for highlighting the shape of the detected object visible on the transparent display. 제 1항에 있어서,
상기 수신하는 단계는,
서버에 상기 객체에 대한 정보의 검색을 요청하는 단계; 및
상기 서버로부터 검색 결과를 수신하는 단계;를 포함하는 것을 특징으로 하는 객체 탐지 방법.The method according to claim 1,
Wherein the receiving comprises:
Requesting a server to search for information about the object; And
And receiving a search result from the server. 제 5항에 있어서,
상기 검색을 요청하는 단계에서,
상기 탐지된 객체의 이미지 및 위치 정보 중 적어도 하나를 전송하는 것을 특징으로 하는 객체 탐지 방법.6. The method of claim 5,
In the step of requesting the search,
And transmitting at least one of image and location information of the detected object. 제 1항에 있어서,
상기 수신하는 단계는,
상기 객체에 대한 정보를 저장 매체에 저장된 데이터에서 검색하는 단계를 포함하는 것을 특징으로 하는 객체 탐지 방법.The method according to claim 1,
Wherein the receiving comprises:
And retrieving information about the object from data stored in a storage medium. 제 1항에 있어서,
상기 객체는 사람, 동물, 사물, 자동차, 건축물 및 자연물 중 적어도 하나를 포함하는 것을 특징으로 하는 객체 탐지 방법.The method according to claim 1,
Wherein the object includes at least one of a person, an animal, an object, an automobile, a building, and a natural object. 제 1항에 있어서,
상기 객체에 대한 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함하는 것을 특징으로 하는 객체 탐지 방법.The method according to claim 1,
Wherein the information on the object includes at least one of an object name, an object type information, an object history information, an object appearance information, an object weight information, an object position information, and a detailed description of the object. 제 1항에 있어서,
상기 디스플레이된 정보는 상기 정보가 디스플레이된 위치 및 인식된 제스처에 따라 이동되는 것을 특징으로 하는 객체 탐지 방법.The method according to claim 1,
Wherein the displayed information is moved according to a location where the information is displayed and a recognized gesture. 객체의 형상을 투과하는 투명 디스플레이; 및
투명 디스플레이 상의 제 1 위치에서 다운 이벤트를 검출하고, 상기 제 1 위치에서 제 2 위치로 터치 입력을 드래깅하여 이동하고, 상기 제 2 위치에서 드래깅 이벤트를 검출하고, 상기 제 1 위치 및 상기 제 2 위치를 포함하는 영역에 디스플레이되는 객체에 대응되는 객체 선택 정보를 수신하고, 상기 투명 디스플레이를 통해 보이는 풍경에서 상기 수신된 객체 선택 정보가 지시하는 객체를 탐지하고, 상기 탐지된 객체에 대한 정보를 획득하며, 상기 획득된 정보가 상기 투명 디스플레이에 디스플레이되도록 제어하는 제어부;
를 포함하는 것을 특징으로 하는 투명 디스플레이 장치.A transparent display that transmits the shape of the object; And
Detecting a down event at a first location on the transparent display, dragging and moving a touch input from the first location to a second location, detecting a dragging event at the second location, Receiving an object selection information corresponding to an object displayed in the area including the object, detecting an object indicated by the received object selection information in a scene viewed through the transparent display, obtaining information about the detected object A control unit for controlling the obtained information to be displayed on the transparent display;
And a transparent display device. 삭제delete 제 11항에 있어서,
상기 객체 선택 정보는 이미지, 객체 명칭 및 객체 속성 중 적어도 하나를 포함하는 것을 특징으로 하는 투명 디스플레이 장치.12. The method of claim 11,
Wherein the object selection information includes at least one of an image, an object name, and an object attribute. 제 11항에 있어서,
상기 제어부는,
상기 투명 디스플레이 상에 보이는 상기 탐지된 객체의 형상을 하이라이트하기 위한 표시가 디스플레이되도록 제어하는 것을 특징으로 하는 투명 디스플레이 장치.12. The method of claim 11,
Wherein,
And controls to display an indication for highlighting the shape of the detected object on the transparent display. 제 11항에 있어서,
상기 제어부는,
서버에 상기 객체에 대한 정보 검색을 요청하는 검색 요청 신호를 전송하고, 상기 서버로부터 검색 결과의 수신을 제어하는 것을 특징으로 하는 투명 디스플레이 장치.12. The method of claim 11,
Wherein,
Wherein the server transmits a search request signal for requesting information search for the object to the server and controls reception of the search result from the server. 제 15항에 있어서,
상기 검색 요청 신호는 상기 탐지된 객체의 이미지 및 위치 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 투명 디스플레이 장치.16. The method of claim 15,
Wherein the search request signal includes at least one of image and position information of the detected object. 제 11항에 있어서,
상기 제어부는,
상기 객체에 대한 정보를 저장 매체에 저장된 데이터에서 검색하는 것을 특징으로 하는 투명 디스플레이 장치.12. The method of claim 11,
Wherein,
And the information about the object is retrieved from the data stored in the storage medium. 제 11항에 있어서,
상기 객체는 사람, 동물, 사물, 자동차, 건축물 및 자연물 중 적어도 하나를 포함하는 것을 특징으로 하는 투명 디스플레이 장치.12. The method of claim 11,
Wherein the object includes at least one of a person, an animal, an object, an automobile, a building, and a natural object. 제 11항에 있어서,
상기 객체에 대한 정보는 객체명칭, 객체 종류 정보, 객체 이력 정보, 객체 외형 정보, 객체 무게 정보, 객체의 위치 정보 및 객체에 대한 상세 설명 중 적어도 하나를 포함하는 것을 특징으로 하는 투명 디스플레이 장치.12. The method of claim 11,
Wherein the information on the object includes at least one of an object name, an object type information, an object history information, an object appearance information, an object weight information, an object position information, and a detailed description of the object. 제 11항에 있어서,
상기 디스플레이된 정보는 상기 정보가 디스플레이된 위치 및 인식된 제스처에 따라 이동되는 것을 특징으로 하는 투명 디스플레이 장치.12. The method of claim 11,
Wherein the displayed information is moved according to the position at which the information is displayed and the recognized gesture.
KR1020100091195A 2010-09-16 2010-09-16 Transparent display device and method for detecting an object KR101737839B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100091195A KR101737839B1 (en) 2010-09-16 2010-09-16 Transparent display device and method for detecting an object
EP11179960.7A EP2431895B1 (en) 2010-09-16 2011-09-02 Transparent display device and method for providing information using the same
US13/232,787 US20120069050A1 (en) 2010-09-16 2011-09-14 Transparent display device and method for providing information using the same
CN201110276141.2A CN102402390B (en) 2010-09-16 2011-09-16 Transparent display device and use transparent display device provide the method for information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100091195A KR101737839B1 (en) 2010-09-16 2010-09-16 Transparent display device and method for detecting an object

Publications (2)

Publication Number Publication Date
KR20120029230A KR20120029230A (en) 2012-03-26
KR101737839B1 true KR101737839B1 (en) 2017-05-19

Family

ID=46133763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100091195A KR101737839B1 (en) 2010-09-16 2010-09-16 Transparent display device and method for detecting an object

Country Status (1)

Country Link
KR (1) KR101737839B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210082622A (en) * 2019-12-26 2021-07-06 주식회사 포스코아이씨티 System for Searching Object for Robot Process Automation

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101374316B1 (en) * 2012-05-02 2014-03-14 (주) 미디어인터랙티브 Apparatus for recognizing gesture by using see-through display and Method thereof
KR102047494B1 (en) * 2012-09-10 2019-11-21 삼성전자주식회사 Transparent Display Apparatus and Object Selection Method Thereof
KR102051656B1 (en) 2013-01-22 2019-12-03 삼성전자주식회사 Transparent display apparatus and method thereof
WO2014148936A1 (en) * 2013-03-18 2014-09-25 Obschestvo S Ogranichennoy Otvetstvennostyu "Slickjump" Method for rendering advertisments on touchscreen devices
US9990034B2 (en) 2013-11-15 2018-06-05 Lg Electronics Inc. Transparent display device and control method therefor
KR102179154B1 (en) * 2013-11-27 2020-11-16 한국전자통신연구원 Method for controlling electric devices using transparent display and apparatus using the same
KR102304082B1 (en) * 2014-02-06 2021-09-24 삼성전자주식회사 Apparatus and method for controlling displays

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009192448A (en) * 2008-02-18 2009-08-27 Tama Art Univ Information display device and information providing system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009192448A (en) * 2008-02-18 2009-08-27 Tama Art Univ Information display device and information providing system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210082622A (en) * 2019-12-26 2021-07-06 주식회사 포스코아이씨티 System for Searching Object for Robot Process Automation
KR102294578B1 (en) * 2019-12-26 2021-08-26 주식회사 포스코아이씨티 System for Searching Object for Robot Process Automation

Also Published As

Publication number Publication date
KR20120029230A (en) 2012-03-26

Similar Documents

Publication Publication Date Title
EP2431895B1 (en) Transparent display device and method for providing information using the same
EP2431916A2 (en) Transparent display device and method for providing object information
KR101737839B1 (en) Transparent display device and method for detecting an object
KR101832757B1 (en) An electronic device, a method for auto configuring menu using the same
US10606553B2 (en) Display device and method of operating the same
US9509959B2 (en) Electronic device and control method thereof
KR102111457B1 (en) Mobile terminal and control method thereof
CN111182205B (en) Photographing method, electronic device, and medium
KR101719989B1 (en) An electronic device and a interface method for configurating menu using the same
CN108958580B (en) Display control method and terminal equipment
CN111031398A (en) Video control method and electronic equipment
US8718624B2 (en) Electronic device and method for transmitting data
KR101727040B1 (en) An electronic device, a method for providing menu using the same
KR20150016805A (en) Terminal and method for controlling the same
KR101663619B1 (en) Transparent display device and method for providing local information
KR20180058445A (en) Mobile terminal and operating method thereof
KR20180055497A (en) Display device and operating method thereof
KR101789617B1 (en) An electronic device, a interface method for configuring menu using the same
CN106792224B (en) Terminal and video playing method
KR102135355B1 (en) Display apparatus and method of controlling the smae
JPWO2013145900A1 (en) Information processing apparatus, information processing method, and program
KR101805532B1 (en) An electronic device, a method for auto configuring menu using the same
KR20120040347A (en) An electronic device, a method for providing moving information using the same
KR20120038826A (en) An electronic device and a method for providing electronic diary service, and an interface method for electronic diary service

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right