KR20130081595A - 디스플레이 장치, 원격 제어 장치 및 그 검색 방법 - Google Patents

디스플레이 장치, 원격 제어 장치 및 그 검색 방법 Download PDF

Info

Publication number
KR20130081595A
KR20130081595A KR1020120002663A KR20120002663A KR20130081595A KR 20130081595 A KR20130081595 A KR 20130081595A KR 1020120002663 A KR1020120002663 A KR 1020120002663A KR 20120002663 A KR20120002663 A KR 20120002663A KR 20130081595 A KR20130081595 A KR 20130081595A
Authority
KR
South Korea
Prior art keywords
search
image frame
user command
display device
selecting
Prior art date
Application number
KR1020120002663A
Other languages
English (en)
Inventor
윤상운
성준호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120002663A priority Critical patent/KR20130081595A/ko
Priority to EP12196693.1A priority patent/EP2613549A1/en
Priority to CN2012105928169A priority patent/CN103294744A/zh
Priority to JP2013000808A priority patent/JP2013143141A/ja
Priority to US13/737,113 priority patent/US20130179436A1/en
Publication of KR20130081595A publication Critical patent/KR20130081595A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9038—Presentation of query results
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/232—Content retrieval operation locally within server, e.g. reading video streams from disk arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H04N21/4725—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content using interactive regions of the image, e.g. hot spots
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • H04N2201/3228—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image further additional information (metadata) being comprised in the identification information

Abstract

디스플레이 장치가 개시된다. 본 디스플레이 장치는 컨텐츠의 이미지 프레임을 디스플레이하는 디스플레이부, 객체 선택을 위한 사용자 명령을 수신하는 인터페이스부, 이미지 프레임 내에서 사용자 명령에 대응되는 객체를 검색 대상으로 선택하는 선택부, 외부 검색 서버와 통신하는 통신부 및 검색 대상으로 선택된 객체를 검색 서버로 전송하고, 검색 서버로부터 선택된 객체에 대한 검색 결과를 수신하여 디스플레이하도록 제어하는 제어부를 포함할 수 있다.

Description

디스플레이 장치, 원격 제어 장치 및 그 검색 방법{DISPLAY APPARATUS, REMOTE CONTROL APPARATUS AND SEARCHING METHOD THEROF}
본 발명은 디스플레이 장치, 원격 제어 장치 및 그 검색 방법에 관한 것으로, 더욱 상세하게는 외부 검색 서버를 통해 검색을 수행하는 디스플레이 장치, 원격 제어 장치 및 그 검색 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 디스플레이 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
디스플레이 장치에 대한 수요가 증가하면서 보다 편리하고 다양한 기능을 제공할 수 있는 디스플레이 장치가 개발되고 있다. 또한, 최근에는 디스플레이 장치를 인터넷 네트워크 등과 연결해 웹 서핑 및 검색 등의 서비스를 제공하는 제품들도 등장하고 있다.
한편, 이러한 디스플레이 장치를 통해 시청자가 컨텐츠를 시청하는 도중 시청자가 등장 인물 또는 협찬 상품 등에 대한 정보를 얻고자 하는 경우 별도의 웹 검색 화면을 이용하여 검색하여야 하며, 등장 인물 또는 협찬 상품 등에 대한 검색 어를 알 수 없는 경우에는 검색 자체가 불가능한 문제점이 있었다.
본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 디스플레이 장치, 원격 제어 장치 및 그 검색 방법에 있어서, 컨텐츠를 시청하는 시청자가 편리하고 직관적으로 검색을 할 수 있고, 검색어를 알 수 없는 경우에도 검색이 가능한 디스플레이 장치, 원격 제어 장치 및 그 검색 방법를 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치의 검색 방법은, 컨텐츠의 이미지 프레임을 디스플레이하는 단계, 객체 선택을 위한 사용자 명령이 수신되면, 상기 이미지 프레임 내에서 상기 사용자 명령에 대응되는 객체를 검색 대상으로 선택하는 단계, 상기 검색 대상으로 선택된 객체를 검색 서버로 전송하는 단계 및 상기 검색 서버로부터 상기 선택된 객체에 대한 검색 결과를 수신하여 디스플레이하는 단계를 포함한다.
여기서, 상기 객체를 검색 대상으로 선택하는 단계는, 상기 컨텐츠의 이미지 프레임 중에서 상기 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐(capture)하는 단계, 상기 사용자 명령에 대응되는 검색 카테고리를 결정하는 단계 및 상기 캡쳐된 이미지 프레임 내에서 상기 결정된 검색 카테고리에 속하는 객체를 검출하여 상기 검색 대상으로 선택하는 단계를 포함할 수 있다.
그리고, 상기 사용자 명령은 기 설정된 패턴의 터치 입력이며, 상기 검색 카테고리를 결정하는 단계는, 상기 터치 입력의 패턴을 분석하여 터치 패턴에 대응되는 검색 카테고리를 결정하는 것일 수 있다.
또한, 상기 객체를 검출하여 상기 검색 대상으로 선택하는 단계는, 상기 검출된 객체가 표시된 이미지 프레임을 상기 디스플레이 장치를 제어하기 위한 원격 제어 장치로 전송하는 단계 및 상기 검출된 객체 중 하나가 상기 원격 제어 장치상에서 선택되면, 상기 선택된 객체를 상기 검색 대상으로 선택하는 단계를 포함할 수 있다.
한편, 디스플레이 장치의 검색 방법은, 상기 컨텐츠의 메타데이터로부터 상기 검색 카테고리와 관련된 키워드 정보를 추출하는 단계를 더 포함할 수 있으며, 상기 검색 대상으로 선택된 객체를 검색 서버로 전송하는 단계는, 상기 검색 대상으로 선택된 객체의 및 상기 추출된 키워드 정보를 검색 서버로 전송하는 것을 특징으로 할 수 있다.
한편, 상기 객체를 검색 대상으로 선택하는 단계는, 상기 컨텐츠의 이미지 프레임 중에서 상기 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐(capture)하는 단계, 상기 디스플레이 장치를 제어하기 위한 원격 제어 장치로 상기 캡쳐된 이미지 프레임을 전송하는 단계 및 상기 원격 제어 장치상에서 객체가 선택되면, 상기 선택된 객체를 상기 검색 대상으로 선택하는 단계를 포함할 수도 있다.
여기서, 상기 원격 제어 장치상에서 결정된 검색 카테고리에 대한 정보를 수신하는 단계 및 상기 수신된 검색 카테고리에 대한 정보를 이용하여 상기 컨텐츠의 메타데이터로부터 검색 카테고리와 관련된 키워드 정보를 추출하는 단계를 더 포함할 수 있으며, 상기 검색 대상으로 선택된 객체를 검색 서버로 전송하는 단계는, 상기 검색 대상으로 선택된 객체 및 상기 추출된 키워드 정보를 검색 서버로 전송하는 것을 특징으로 할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치를 제어하는 원격 제어 장치의 검색 방법은, 상기 디스플레이 장치에 디스플레이되는 이미지 프레임 내의 객체를 선택하기 위한 사용자 명령을 입력받는 단계 및 상기 선택된 객체에 대한 검색 결과를 디스플레이하도록 상기 사용자 명령을 상기 디스플레이 장치로 전송하는 단계를 포함한다.
여기서, 원격 제어 장치의 검색 방법은, 상기 디스플레이 장치로부터, 상기 사용자 명령이 전송된 시점에 캡쳐되어, 상기 사용자 명령에 따라 검출된 객체가 표시된 이미지 프레임을 수신하는 단계, 상기 수신된 이미지 프레임을 디스플레이하는 단계 및 상기 디스플레이된 이미지 프레임 상에 표시된 객체 중 하나가 선택되면, 선택된 객체를 검색 대상으로 선택하는 객체 선택 명령을 상기 디스플레이 장치로 전송하는 단계를 더 포함할 수 있다.
또는, 상기 디스플레이 장치로부터, 상기 사용자 명령이 전송된 시점에 캡쳐된 이미지 프레임을 수신하는 단계, 상기 캡쳐된 이미지 프레임을 디스플레이하는 단계, 상기 수신된 이미지 프레임 내에서 상기 사용자 명령에 대응되는 객체를 선택하는 단계 및 상기 선택된 객체를 검색 대상으로 선택하는 객체 선택 명령을 상기 디스플레이 장치로 전송하는 단계를 더 포함할 수도 있다.
여기서, 상기 객체를 선택하는 단계는, 상기 사용자 명령에 대응되는 검색 카테고리를 결정하는 단계, 상기 디스플레이된 이미지 프레임 내에서 상기 결정된 검색 카테고리에 속하는 객체를 검출하는 단계 및 상기 검출된 객체 중 하나를 선택하는 단계를 포함할 수 있다.
그리고, 상기 사용자 명령은 기 설정된 패턴의 터치 입력이며,
상기 검색 카테고리를 결정하는 단계는, 상기 터치 입력의 패턴을 분석하여 터치 패턴에 대응되는 검색 카테고리를 결정하는 것을 특징으로 할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치는, 컨텐츠의 이미지 프레임을 디스플레이하는 디스플레이부, 객체 선택을 위한 사용자 명령을 수신하는 인터페이스부, 상기 이미지 프레임 내에서 상기 사용자 명령에 대응되는 객체를 검색 대상으로 선택하는 선택부, 외부 검색 서버와 통신하는 통신부 및 상기 검색 대상으로 선택된 객체를 상기 검색 서버로 전송하고, 상기 검색 서버로부터 상기 선택된 객체에 대한 검색 결과를 수신하여 디스플레이하도록 제어하는 제어부를 포함할 수 있다.
여기서, 상기 선택부는, 상기 컨텐츠의 이미지 프레임 중에서 상기 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐(capture)하는 캡쳐부, 상기 사용자 명령에 대응되는 검색 카테고리를 결정하는 카테고리 결정부 및 상기 캡쳐된 이미지 프레임 내에서 상기 결정된 검색 카테고리에 속하는 객체를 검출하여 상기 검색 대상으로 선택하는 객체 선택부를 포함할 수 있다.
그리고, 상기 사용자 명령은 기 설정된 패턴의 터치 입력일 수 있으며, 상기 카테고리 결정부는, 상기 터치 입력의 패턴을 분석하여 터치 패턴에 대응되는 검색 카테고리를 결정할 수 있다.
또한, 상기 인터페이스부는, 상기 검출된 객체가 표시된 이미지 프레임을 상기 디스플레이 장치를 제어하기 위한 원격 제어 장치로 전송하고, 상기 객체 선택부는, 상기 검출된 객체 중 하나가 상기 원격 제어 장치 상에서 선택되면, 상기 선택된 객체를 상기 검색 대상으로 선택할 수 있다.
그리고, 디스플레이 장치는, 상기 컨텐츠의 메타데이터로부터 상기 검색 카테고리와 관련된 키워드 정보를 추출하는 키워드 추출부를 더 포함할 수 있으며, 상기 제어부는, 상기 검색 대상으로 선택된 객체 및 상기 추출된 키워드 정보를 검색 서버로 전송하도록 상기 통신부를 제어할 수 있다.
한편, 상기 선택부는, 상기 컨텐츠의 이미지 프레임 중에서 상기 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐(capture)하는 캡쳐부 및 상기 디스플레이 장치를 제어하기 위한 원격 제어 장치로 상기 캡쳐된 이미지 프레임이 전송되어, 상기 원격 제어 장치 상에서 객체가 선택되면, 상기 선택된 객체를 상기 검색 대상으로 선택하는 객체 선택부를 포함할 수도 있다.
상기 원격 제어 장치 상에서 결정된 검색 카테고리에 대한 정보가 수신되면, 상기 수신된 검색 카테고리에 대한 정보를 이용하여 상기 컨텐츠의 메타데이터로부터 검색 카테고리와 관련된 키워드 정보를 추출하는 키워드 추출부;를 더 포함하며, 상기 제어부는, 상기 검색 대상으로 선택된 객체 및 상기 추출된 키워드 정보를 검색 서버로 전송하도록 제어할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치를 제어하는 원격 제어 장치는, 상기 디스플레이 장치에 디스플레이되는 이미지 프레임 내의 객체를 선택하기 위한 사용자 명령을 수신하는 입력부, 상기 디스플레이 장치와 통신하는 인터페이스부, 상기 선택된 객체에 대한 검색 결과를 디스플레이하도록 상기 사용자 명령을 상기 디스플레이 장치로 전송하도록 상기 인터페이스부를 제어하는 제어부를 포함할 수 있다.
한편, 상기 원격 제어 장치는, 디스플레이부를 더 포함할 수 있으며, 상기 인터페이스부는, 상기 디스플레이 장치로부터, 상기 사용자 명령이 전송된 시점에 캡쳐되어, 상기 사용자 명령에 따라 검출된 객체가 표시된 이미지 프레임을 수신하고, 상기 제어부는, 상기 수신된 이미지 프레임을 디스플레이하여, 상기 디스플레이된 이미지 프레임 상에 표시된 객체 중 하나가 선택되면, 선택된 객체를 검색 대상으로 선택하는 객체 선택 명령을 상기 디스플레이 장치로 전송하도록 제어할 수 있다.
또는, 상기 원격 제어 장치는, 디스플레이부를 더 포함할 수 있으며, 상기 인터페이스부는, 상기 디스플레이 장치로부터, 상기 사용자 명령이 전송된 시점에 캡쳐된 이미지 프레임을 수신하며, 상기 제어부는, 상기 캡쳐된 이미지 프레임을 디스플레이하고, 상기 수신된 이미지 프레임 내에서 상기 사용자 명령에 대응되는 객체를 선택하여, 상기 선택된 객체를 검색 대상으로 선택하는 객체 선택 명령을 상기 디스플레이 장치로 전송하도록 제어할 수 있다.
그리고, 상기 제어부는, 상기 사용자 명령에 대응되는 검색 카테고리를 결정하고, 상기 수신된 이미지 프레임 내에서 상기 결정된 검색 카테고리에 속하는 객체를 검출하여, 상기 검출된 객체 중 하나를 선택할 수 있다.
또한, 상기 사용자 명령은 기 설정된 패턴의 터치 입력이며, 상기 제어부는, 상기 터치 입력의 패턴을 분석하여 터치 패턴에 대응되는 검색 카테고리를 결정할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 시청자는 컨텐츠를 시청하는 도중 편리하고 직관적으로 검색을 수행할 수 있으며, 검색어를 알 수 없는 경우에도 이미지 프레임을 이용하여 검색을 할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 검색 시스템의 구성을 나타내는 모식도이다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 선택부의 구체적인 구성을 설명하기 위한 블럭도이다.
도 4는 본 발명의 다른 실시 예에 따른 선택부(130)의 구체적인 구성을 설명하기 위한 블럭도이다.
도 5는 본 발명의 또 다른 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 6은 본 발명의 일 실시 예에 따른 원격 제어 장치의 구성을 나타내는 블럭도이다.
도 7은 본 발명의 다른 실시 예에 따른 원격 제어 장치의 구성을 나타내는 블럭도이다.
도 8은 본 발명의 일 실시 예에 따라 객체를 검색 대상으로 선택하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 다른 실시 예에 따라 객체를 검색 대상으로 선택하는 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 디스플레이 장치의 검색 방법을 나타내는 흐름도이다.
도 11은 본 발명의 일 실시 예에 따른 원격 제어 장치의 검색 방법을 나타내는 흐름도이다.
도 12는 본 발명의 다른 실시 예에 따른 원격 제어 장치의 검색 방법을 나타내는 흐름도이다.
도 13은 본 발명의 또 다른 실시 예에 따른 원격 제어 장치의 검색 방법을 나타내는 흐름도이다.
이하에서, 첨부된 도면을 참조하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 본 발명의 일 실시 예에 따른 검색 시스템의 구성을 나타내는 모식도이다.
도 1에 따르면, 본 검색 시스템은 디스플레이 장치(100), 원격 제어 장치(200) 및 검색 서버(300)를 포함한다.
디스플레이 장치(100)는 컨텐츠를 수신하여 디스플레이한다. 디스플레이 장치는 방송 네트워크를 이용해 방송 프로그램 컨텐츠를 전송하는 방송국 또는 인터넷을 이용하여 컨텐츠 파일을 전송하는 웹 서버로부터 컨텐츠를 수신하여 디스플레이할 수 있다. 또한, 디스플레이 장치(100)내에 마련되거나 디스플레이 장치와 연결된 기록 매체 재생 장치로부터 컨텐츠를 수신하여 디스플레이할 수 있다. 기록 매체 재생 장치란 DVD, 하드디스크, 블루레이 디스크, 메모리 카드, USB 메모리 등과 같은 다양한 유형의 기록 매체에 저장된 컨텐츠를 재생하는 장치를 의미한다.
한편, 시청자가 디스플레이 장치(100)에서 디스플레이되는 영상 컨텐츠를 시청하는 도중 영상에 포함된 객체, 즉, 인물, 장소 또는 물건 등에 대한 정보를 얻고자 하는 경우, 원격 제어 장치(200)를 통해 사용자 명령을 입력할 수 있다. 디스플레이 장치(100)는 사용자 명령에 따라 이미지 프레임 내의 객체를 검색 대상으로 선택할 수 있다. 디스플레이 장치(100)는 검색 대상으로 선택된 객체를 검색 서버(300)로 전송하여, 검색 서버(300)는 선택된 객체에 대한 검색을 수행한다. 그리고, 디스플레이 장치(100)는 검색 서버(300)로부터 검색 결과를 수신하여 디스플레이할 수 있다.
검색 서버(300)로부터 수신한 검색 결과는, 디스플레이 장치(100)의 디스플레이 화면의 일부 또는 원격 제어 장치(200)에 디스플레이 화면이 구비된 경우, 원격 제어 장치(200)의 디스플레이 화면을 통해 디스플레이할 수 있다.
한편, 디스플레이 장치(100)에서 디스플레이되는 컨텐츠에는 해당 컨텐츠에 대한 메타데이터(metadata)가 포함되어 있으며, 디스플레이 장치(100)는 이러한 메타데이터로부터 키워드 정보를 추출하여 검색 대상으로 선택된 객체와 함께 검색 서버(300)로 전송할 수 있다.
검색 서버(300)는 검색 대상으로 선택된 객체에 대한 검색을 수행할 때, 메타데이터로부터 추출된 키워드 정보를 함께 이용할 수 있으며, 검색의 정확도를 향상시킬 수 있다.
한편, 디스플레이 장치(100)와 원격 제어 장치(200)는 와이파이(Wifi), 블루투스(bluetooth), IRDA(Infrared Data Association), RF(Radio Frequency), IEEE 802.11, WLAN, HR WPAN, UWB, LR WPAN 등과 같은 다양한 무선 통신 기술로 통신할 수 있으며, 디스플레이 장치(100)와 검색 서버(300)는 인터넷 등과 같은 통신 네트워크를 통해 통신할 수 있다.
한편, 본 발명의 일부 구성 및 동작은 디스플레이 장치(100)에서 수행될 수도 있으며, 원격 제어 장치(200)에서 수행될 수도 있다. 구체적으로, 검색 카테고리를 결정하는 과정 및 이미지 프레임에서 객체를 검출하는 과정은 디스플레이 장치(100) 및 원격 제어 장치(200) 중 어느 하나의 장치에서 수행될 수 있다. 따라서, 실시 예에 따라 각 장치의 세부 구성 및 동작이 상이할 수 있으며, 각 실시 예에 따른 디스플레이 장치(100) 및 원격 제어 장치(200)의 구체적인 구성 및 동작은 해당 부분에서 구분하여 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 2에 따르면 디스플레이 장치(100)는 디스플레이부(110), 인터페이스부(120), 선택부(130), 통신부(140) 및 제어부(150)를 포함한다. 이러한, 디스플레이 장치(100)는 TV, 휴대폰, PDA, 노트북 PC, 모니터, 태블릿 PC, 전자 책, 전자 액자, 키오스크 등과 같이 디스플레이 유닛을 구비한 다양한 장치로 구현될 수 있다.
디스플레이부(110)는 컨텐츠를 디스플레이한다. 구체적으로는, 컨텐츠의 이미지 프레임을 디스플레이하여 시청자에게 제공할 수 있다. 디스플레이부(110)는 CRT(Cathod Ray Tube), LCD(Liquid Criystal Display), PDP(Plasma Display Panel) 등과 같은 다양한 장치로 구현될 수 있다.
인터페이스부(120)는 사용자 명령을 수신한다. 즉, 원격 제어 장치(200)를 통해 입력된 객체 선택을 위한 사용자 명령을 수신할 수 있다. 구체적으로는 원격 제어 장치(200)의 인터페이스부(도 3의 220)와 통신하여 사용자 명령을 수신할 수 있으며 상술한 바와 같이 다양한 무선 통신 기술로 통신할 수 있다.
선택부(130)는 디스플레이부(130)에 디스플레이되는 이미지 프레임 내에서 인터페이스부(120)에서 수신한 사용자 명령에 대응되는 객체를 검색 대상으로 선택한다. 선택부(130)의 구체적인 구성은 실시 예에 따라 상이할 수 있으므로 실시 예 별로 각각 설명하기로 한다.
<제1 실시예 >
도 3은 본 발명의 일 실시 예에 따른 선택부의 구체적인 구성을 설명하기 위한 블럭도이다.
도 3에 따르면, 선택부(130)는 캡쳐부(131), 카테고리 결정부(132) 및 객체 선택부(133)를 포함한다.
캡쳐부(131)는 디스플레이부(110)에서 디스플레이되는 이미지 프레임을 캡쳐(capture)한다. 인터페이스부(120)에서 사용자 명령을 수신하면 캡쳐부(131)는 컨텐츠의 이미지 프레임 중에서 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐한다.
카테고리 결정부(132)는 사용자 명령에 대응되는 검색 카테고리를 결정한다. 여기서, 원격 제어 장치(200)에서 수신된 사용자 명령은 기 설정된 패턴의 터치 입력일 수 있으며, 카테고리 결정부(132)는 터치 입력의 패턴을 분석하여 터치 패턴에 대응되는 검색 카테고리를 결정할 수 있다.
예를 들어, 검색 카테고리의 종류가 인물, 장소, 물건으로 설정되어 있으며, 인물에 대응하는 터치 패턴은 원, 장소에 대응하는 터치 패턴은 삼각형, 물건에 대응하는 터치 패턴은 직선으로 설정되어 있는 경우, 사용자가 원에 해당하는 터치 패턴을 입력하면 카테고리 결정부(132)는 검색 카테고리를 인물로 결정하며, 직선을 입력한 경우 검색 카테고리를 물건으로 결정할 수 있다.
한편, 검색 카테고리의 종류 및 대응하는 터치 패턴은 기 설정되어 저장될 수 있으며, 각각 사용자에 의해 변경될 수 있다.
객체 선택부(133)는 캡쳐부(131)에서 캡쳐된 이미지 프레임 내에서, 카테고리 결정부(132)에서 결정된 검색 카테고리에 속하는 객체를 검출하여 검색 대상으로 선택한다.
캡쳐된 이미지 프레임 내에서 객체를 검출하기 위해 여러 가지 방법이 사용될 수 있다. 예를 들어, neural networks, convolutional neural networks, hugher degree polynomial classifiers, 확률 기반 객체 인식 방법, 특징점 추출 기반 객체 인식 방법, 계층 구조 방법 및 실시간 객체 인식이 가능한 Adaboost 기반 인식 방법, 3D 기하학 모델 기반 객체 인식 방법, Hough 변환 기반 객체 인식 방법등이 있다.
실시간 객체 인식 방법이 아닌 경우에는, 객체 종류별 이미지로부터 각 객체의 특징이라고 생각되는 부분을 판별하고 비슷한 부분끼리 분류한 다음 이들의 특징을 추출하고 학습하는 전처리 과정이 필요하다.
그리고, 객체를 검출하기 위한 이미지 프레임에 대해서 특징점을 추출하고 객체의 영역을 검출하기 위한 이미지 분할을 수행하며, 특징점 추출 과정에서 특징점의 위치 및 방향 정보 등이 함께 추출된다. 이미지 프레임에서 특징점을 추출하는 과정, 학습하는 과정 및 이미지를 분할하는 과정에서 여러가지 알고리즘이 사용될 수 있다. 예를 들어, 특징점을 추출하는 과정에서는 Kadir&Brady 방법, SIFT(Scale Invariant Feature Transform) 알고리즘 등이 사용될 수 있으며, 이미지를 분할하기 위해 JSEG(J-Segment) 알고리즘, Watershed 알고리즘 등이 사용될 수 있다. 또한, 학습 알고리즘으로는 AdaBoost(Adaptive Boosting)알고리즘 등이 사용될 수 있다. 한편, 이러한 방법들은 널리 알려진 기술로서 이에 대한 구체적인 설명은 생략하기로 한다.
한편, 객체 선택부(133)는 검출된 객체가 구분될 수 있도록 이미지 프레임 상에 표시할 수 있다. 예를 들어, 검출된 객체가 포함되는 영역을 사각형으로 표시하거나, 검출된 객체 자체를 다른 부분과 구분되도록 표시할 수 있다.
또한, 검출된 객체 중 하나가 원격 제어 장치(200) 상에서 선택되면, 선택된 객체를 검색 대상으로 선택할 수 있다. 즉, 인터페이스부(120)는 검출된 객체가 표시된 이미지 프레임을 원격 제어 장치(200)로 전송하고, 원격 제어 장치(200)에서 검출된 객체들 중 어느 하나가 선택되면, 원격 제어 장치(200)로부터 객체 선택 명령을 수신하여, 선택된 객체를 검색 대상으로 선택할 수 있다.
<제2 실시예 >
도 4는 본 발명의 다른 실시 예에 따른 선택부(130)의 구체적인 구성을 설명하기 위한 블럭도이다.
도 4에 따르면, 선택부(130)는 캡쳐부(134) 및 객체 선택부(135)를 포함한다.
캡쳐부(134)는 디스플레이부(110)에서 디스플레이되는 이미지 프레임을 캡쳐(capture)한다. 인터페이스부(120)에서 사용자 명령을 수신하면 캡쳐부(134)는 컨텐츠의 이미지 프레임 중에서 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐한다.
객체 선택부(135)는 원격 제어 장치 상에서 객체가 선택되면, 선택된 객체를 검색 대상으로 선택한다. 구체적으로는 캡쳐부(134)에서 캡쳐된 이미지 프레임이 원격 제어 장치(200)로 전송되면, 원격 제어 장치(200)는 사용자 명령에 대응되는 객체를 검출한다. 검출된 객체 중 하나가 선택되면, 선택된 객체를 검색 대상으로 선택하는 객체 선택 명령을 인터페이스부(120)로 전송한다. 객체 선택부(135)는 객체 선택 명령에 따라 선택된 객체를 검색 대상으로 선택할 수 있다.
한편, 이러한 객체 선택 명령은, 원격 제어 장치(200)에서 선택된 객체의 위치 및 영역이 표시된 픽셀 좌표와 같은 형태가 될 수 있으며, 객체 선택부(135)는 픽셀 좌표를 이용하여 캡쳐된 이미지 상에서 객체를 검색 대상으로 선택할 수 있다. 또는, 객체 선택 명령은, 선택된 객체의 이미지 자체가 될 수도 있으며, 이 경우에 객체 선택부(135)는 수신한 객체의 이미지 자체를 검색 대상으로 선택할 수 있을 것이다.
통신부(140)는 외부 검색 서버(300)와 통신한다. 상술한 바와 같이, 통신부(140)는 인터넷 등과 같은 통신 네트워크를 통해 검색 서버(300)와 통신할 수 있다.
제어부(150)는 선택부(130)에서 선택된 객체를 검색 서버(300)로 전송하고, 검색 서버로부터 검색 결과를 수신하여 디스플레이하도록 제어한다. 또한, 제어부(150)는 디스플레이 장치(100)의 전반적인 동작을 제어한다. 구체적으로, 제어부(150)는 디스플레이부(110), 인터페이스부(120), 선택부(130) 및 통신부(140) 각각을 제어하여, 대응되는 동작을 수행하도록 할 수 있다.
도 5는 본 발명의 또 다른 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 5에 따르면, 디스플레이 장치(100)는 디스플레이부(110), 인터페이스부(120), 선택부(130), 통신부(140) 및 제어부(150) 뿐만 아니라 키워드 추출부(160)를 더 포함할 수 있다.
키워드 추출부(160)는 메타데이터로(metadata)부터 검색 카테고리와 관련된 키워드 정보를 추출한다. 구체적으로, 디스플레이 장치(100)는 컨텐츠를 수신할 때 컨텐츠와 관련된 정보를 포함하는 메타데이터를 함께 수신할 수 있다. 예를 들어, 컨텐츠가 영화인 경우, 메타데이터에는 제목, 줄거리, 대사, 장르, 홈페이지, 촬영 스텝, 제작사, 배급사, 투자사, 출연자 정보, 협찬 정보, 촬영 장소 등이 포함될 수 있다. 키워드 추출부(160)는 이러한 메타데이터로부터 검색 카테고리와 관련된 키워드 정보를 추출할 수 있다.
예를 들어, 시청자가 영화 "미션 임파서블 : 고스트 프로토콜"을 시청하고 있으며, 검색 카테고리가 '인물'로 결정된 경우 인물과 관련된 출연자 정보에 관한 메타데이터로부터 "톰 크루즈", "제리미 레너", "사이몬 페그", "폴라 패튼", "조쉬 홀로웨이" 등의 키워드 정보를 추출할 수 있다.
또한, 검색 카테고리가 '물건'으로 결정된 경우 물건과 관련된 협찬 정보에 관한 메타데이터로부터 협찬사, 브랜드명, 협찬된 물품의 모델명 등의 키워드 정보를 추출할 수 있다.
여기서, 제 1 실시예에 따르면 검색 카테고리는 디스플레이 장치(100)의 카테고리 결정부(132)에서 결정될 수 있으며, 키워드 추출부(160)는 카테고리 결정부(132)에서 결정된 검색 카테고리를 이용하여 키워드 정보를 추출할 수 있다.
그리고, 제 2 실시예에 따르면, 검색 카테고리는 원격 제어 장치(200)에서 결정되므로, 원격 제어 장치(200)로부터 수신된 검색 카테고리에 대한 정보를 이용하여 키워드 정보를 추출할 수 있다.
한편, 통신부(130)는 키워드 추출부(160)에서 추출된 키워드 정보 및 선택부(130)에서 검색 대상으로 선택된 객체와 함께 검색 서버(300)로 전송할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 원격 제어 장치의 구성을 나타내는 블럭도이다.
도 6에 따르면 원격 제어 장치(200)는 입력부(210), 인터페이스부(220) 및 제어부(230)를 포함한다. 이러한 원격 제어 장치(200)는 디스플레이 장치(100)를 제어 할 수 있는 리모컨, 스마트폰, 태블릿 PC, 노트북 PC, PDA와 같은 다양한 장치로 구현될 수 있다.
입력부(210)는 사용자 명령을 입력받는다. 사용자 명령은 디스플레이 장치(100)에 디스플레이되는 이미지 프레임 내의 객체를 선택하기 위한 사용자 명령이다. 이러한 사용자 명령은 기 설정된 패턴의 터치 입력 또는, 검색 카테고리를 선택할 수 있는 사용자 인터페이스를 통해 입력되는 터치 입력일 수 있다.
한편, 입력부(210)는 터치 입력을 위한 터치 패널(touch panel)을 구비할 수 있다. 터치 패널은 정전용량을 검출할 수 있는 막을 사용하여 사람의 손 또는 정전 전하를 가진 물체의 접촉 위치를 파악하는 패널 또는 저항막을 사용하여 사람의 손 또는 기타 물체의 접촉 위치를 파악하는 패널 또는 좌우상하로 눈에 보이지 않는 적외선이 흐르게 하여 화면에 수많은 사각형 격자가 생기도록 함으로써, 손끝이나 기타 물체로 이 격자에 접촉하면 그 위치를 파악할 수 있도록 하는 등의 패널을 의미한다.
인터페이스부(220)는 디스플레이 장치(100)와 통신한다. 즉, 디스플레이 장치(100)의 인터페이스부(120)와 통신할 수 있다. 인터페이스부(220)는 입력부(210)에 입력된 사용자 명령 및 검색 카테고리에 대한 정보를 디스플레이 장치(100)로 전송할 수 있으며, 디스플레이 장치(100)로부터 캡쳐된 이미지 프레임 및 검출된 객체가 표시된 이미지 프레임을 수신할 수 있다.
제어부(230)는 원격 제어 장치(200)의 전반적인 동작을 제어한다. 구체적으로, 제어부(230)는 입력부(210) 및 인터페이스부(220) 각각을 제어하여, 대응되는 동작을 수행하도록 할 수 있다.
또한, 제어부(230)는 입력부(210)에 입력된 사용자 명령을 디스플레이 장치(100)로 전송하도록 인터페이스부(220)를 제어한다. 사용자 명령을 디스플레이 장치(100)로 전송하여 디스플레이 장치에서 객체를 선택하여 선택된 객체에 대한 검색 결과를 디스플레이할 수 있게 한다.
또한, 제어부(230)는 입력부(210)에 기 설정된 터치 패턴이 입력된 경우 터치 입력의 패턴을 분석하여 터치 패턴에 대응되는 검색 카테고리를 결정할 수 있다.
도 7은 본 발명의 다른 실시 예에 따른 원격 제어 장치의 구성을 나타내는 블럭도이다.
도 7에 따르면 원격 제어 장치(200)는 입력부(210), 인터페이스부(220) 및 제어부(230)뿐만 아니라 디스플레이부(240)를 더 포함할 수 있다.
원격 제어 장치(200)에 대한 보다 구체적인 설명은 실시 예 별로 구분하여 설명하기로 한다.
<제1 실시예 >
제어부(230)는 디스플레이 장치(100)에서 사용자 명령에 따라 검출된 객체가 표시된 이미지 프레임을 디스플레이하여, 디스플레이된 이미지 프레임 상에 표시된 객체 중 하나가 선택되면, 선택된 객체를 검색 대상으로 선택하는 객체 선택 명령을 디스플레이 장치(100)로 전송하도록 제어할 수 있다.
즉, 인터페이스부(220)는 사용자 명령이 전송된 시점에 캡쳐되어 사용자 명령에 따라 검출된 객체가 표시된 이미지 프레임을 디스플레이 장치(100)로부터 수신하고, 디스플레이부(240)는 인터페이스부(220)를 통해 수신된 검출된 객체가 표시된 이미지 프레임을 디스플레이할 수 있다. 여기서, 사용자의 선택 명령에 따라 디스플레이된 이미지 프레임 상에 표시된 객체 중 하나를 선택할 수 있다. 그리고, 인터페이스부(220)는 디스플레이 장치(100)가 선택된 객체를 검색 대상으로 선택할 수 있도록 객체 선택 명령을 디스플레이 장치(100)로 전송할 수 있다.
<제2 실시예 >
제어부(230)는 디스플레이 장치에서 캡쳐된 이미지 프레임 내에서 사용자 명령에 대응되는 객체를 선택하고, 선택된 객체를 검색 대상으로 선택하는 객체 선택 명령을 디스플레이 장치(100)로 전송하도록 제어할 수 있다.
즉, 인터페이스부(220)는 사용자 명령이 전송된 시점에 캡쳐된 이미지 프레임을 디스플레이 장치(100)로부터 수신한다. 디스플레이부(240)는 캡쳐된 이미지 프레임을 디스플레이 하고, 제어부(230)는 수신된 이미지 프레임 내에서 사용자 명령에 대응되는 객체를 선택할 수 있다. 그리고, 인터페이스부(220)는 디스플레이 장치(100)가 선택된 객체를 검색 대상으로 선택할 수 있도록 객체 선택 명령을 디스플레이 장치(100)로 전송할 수 있다.
여기서, 제어부(230)가 수신된 이미지 프레임 내에서 사용자 명령에 대응되는 객체를 선택하는 과정을 구체적으로 설명한다.
제어부(230)는 입력부(210)에 입력된 객체를 선택하기 위한 사용자 명령에 대응되는 검색 카테고리를 결정한다. 사용자 명령이 기 설정된 패턴의 터치 입력인 경우, 터치 입력의 패턴을 분석하여 터치 패턴에 대응되는 검색 카테고리를 결정할 수 있다. 검색 카테고리를 결정에 대한 자세한 설명은 도 3의 카테고리 결정부(132)와 관련하여 설명하였으므로 생략하기로 한다.
검색 카테고리가 결정되면 제어부(230)는 수신된 이미지 프레임 내에서, 결정된 카테고리에 속하는 객체를 검출할 수 있으며 이미지 프레임 상에 표시할 수 있다. 객체를 검출하여 표시하는 방법은 도 3의 객체 선택부(133)와 관련하여 설명하였으므로 생략하기로 한다.
그리고, 제어부(230)는 사용자의 선택 명령에 의해 검출된 객체 중 하나를 선택할 수 있다.
한편, 원격 제어 장치(200)의 입력부(210) 및 디스플레이부(240)는 별도의 구성인 것으로 설명하였으나, 입력부(210) 및 디스플레이부(240)는 하나의 구성으로 구현될 수도 있다. 즉, 입력부(210)가 터치 패널을 구비하는 경우에는, 입력부(210) 및 디스플레이부(240)는 터치 스크린(touch screen)과 같이 하나의 구성으로 구현될 수도 있다.
검색 서버(300)는 디스플레이 장치(100)로부터 검색 대상으로 선택된 객체를 수신하여 검색된 객체에 대한 검색을 수행한다. 검색 서버(300)는 구글(google)등의 검색 사이트에서 검색을 수행할 때 사용되는 통상적인 방법에 따라 검색을 수행하며, 이는 해당 기술 분야에서 자명한 기술로 구체적인 설명은 생략하기로 한다.
여기서, 선택된 객체가 이미지 데이터인 경우에는 이미지 검색을 수행할 수 있다. 이미지 검색이란 검색하고자 하는 이미지를 특정 영역으로 분할하여 각 영역에 포함된 픽셀들의 색상, 채도, 휘도 등의 특징값 및 위치를 검출하여 다른 이미지와 비교함으로써 유사 이미지를 검색하고, 검색된 이미지 관련된 정보 등을 검색할 수 있는 검색 방법이다.
또한, 검색 서버(300)가 검색 대상으로 선택된 객체와 키워드 정보를 함께 수신한 경우, 검색 대상으로 선택된 객체뿐만이 아니라 키워드를 이용하여 함께 검색할 수 있으며. 키워드 정보를 이용함으로써 검색의 정확도를 향상시킬 수 있다.
예를 들어, "미션 임파서블:고스트 코드"를 시청하던 시청자가 출연자 중 "제리미 레너"에 대한 정보를 얻고자 사용자 명령을 입력하여 제리미 레너의 이미지가 객체로 선택되고, 키워드 정보로서 "톰 크루즈", "제리미 레너", "사이몬 페그", "폴라 패튼", "조쉬 홀로웨이" 등의 키워드가 추출되었다고 가정한다. 검색 서버(300)는 우선 키워드 정보인 톰 크루즈, 제리미 레너, 사이몬 페그, 폴라 패튼 등과 관련된 이미지를 검색하고, 객체로 선택된 제리미 레너의 이미지와 비교하여 이미지 검색을 수행할 수 있다. 또는, 이미지 검색을 먼저 수행하고 이미지 검색 결과에서 키워드 정보를 이용하여 다시 검색할 수도 있다.
그리고, 검색이 완료되면 검색 서버(300)는 검색 결과를 디스플레이 장치(100)로 전송한다.
이하에서, 본 발명의 전체적인 이해를 돕기 위해 도 8 및 도 9를 이용하여 객체를 검색 대상으로 선택하는 과정에 대해서 각 실시 예 별로 설명하기로 한다.
도 8은 본 발명의 일 실시 예에 따라 객체를 검색 대상으로 선택하는 과정을 설명하기 위한 도면이다.
원격 제어 장치(200)에 사용자 명령이 입력되면 디스플레이 장치(100)로 사용자 명령을 전송한다(a). 디스플레이 장치(100)는 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐한다(b). 그리고, 사용자 명령에 대응되는 검색 카테고리를 결정한다(c). 이후, 캡쳐된 이미지 프레임 내에서 결정된 검색 카테고리에 속하는 객체를 검출하여 표시하고, 검출된 객체가 표시된 이미지 프레임을 원격 제어 장치(200)로 전송한다(d). 원격 제어 장치(200)는 수신된 객체가 표시된 이미지 프레임을 수신하여 디스플레이하고(e), 사용자로부터 어느 하나의 객체를 선택받아 디스플레이 장치(100)로 객체 선택 명령을 전송하고(f), 디스플레이 장치는 객체 선택 명령에 따라 객체를 검색 대상으로 선택한다(g).
도 9는 본 발명의 다른 실시 예에 따라 객체를 검색 대상으로 선택하는 과정을 설명하기 위한 도면이다.
원격 제어 장치(200)에 사용자 명령이 입력되면 디스플레이 장치(100)로 사용자 명령을 전송한다(a). 디스플레이 장치(100)는 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐하여 원격 제어 장치(200)로 전송한다(b). 원격 제어 장치(200)는 수신된 이미지 프레임을 디스플레이하고(c), 사용자 명령에 대응되는 검색 카테고리를 결정한다(d). 그리고, 이미지 프레임 내에서 검색 카테고리에 속하는 객체를 검출하여 표시하고(e), 사용자로부터 어느 하나의 객체를 선택받아 디스플레이 장치(100)로 객체 선택 명령을 전송한다(f). 디스플레이 장치(100)는 객체 선택 명령에 따라 객체를 검색 대상으로 선택한다(g).
도 10은 본 발명의 일 실시 예에 따른 디스플레이 장치의 검색 방법을 나타내는 흐름도이다.
디스플레이 장치는 이미지 프레임을 디스플레이한다(S1010). 즉, 컨텐츠의 이미지 프레임을 디스플레이하여 시청자에게 제공한다.
그리고, 객체 선택을 위한 사용자 명령이 수신되었는지 판단한다(S1020). 여기서, 객체 선택을 위한 사용자 명령은 원격 제어 장치의 입력부를 통해 입력된 기 설정된 패턴의 터치 입력일 수 있다.
객체 선택을 위한 사용자 명령이 수신되면(S1020-Y), 객체를 검색 대상으로 선택한다(S1030). 구체적으로는, 이미지 프레임 내에서 수신된 사용자 명령에 대응되는 객체를 검색 대상으로 선택할 수 있다. 객체를 검색 대상으로 선택하는 단계(S1030)의 구체적인 과정은 실시 예에 따라 상이할 수 있으며, 각 실시 예 별로 설명하기로 한다.
<제1 실시예 >
객체를 검색 대상으로 선택하는 단계(S1030)는 컨텐츠의 이미지 프레임 중에서 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐하는 단계, 사용자 명령에 대응되는 검색 카테고리를 결정하는 단계, 및 캡쳐된 이미지 프레임 내에서 결정된 검색 카테고리에 속하는 객체를 검출하여 검색 대상으로 선택하는 단계를 포함할 수 있다.
검색 카테고리를 결정하는 단계는, 사용자 명령이 기 설정된 패턴의 터치 입력인 경우, 터치 입력의 패턴을 분석하여 터치 패턴에 대응되는 검색 카테고리를 결정할 수 있다.
또한, 객체를 검출하여 검색 대상으로 선택하는 단계는, 검출된 객체가 표시된 이미지 프레임을 디스플레이 장치를 제어하기 위한 원격 제어 장치로 전송하는 단계, 검출된 객체 중 하나가 원격 제어 장치상에서 선택되면, 선택된 객체를 검색 대상으로 선택하는 단계를 포함할 수 있다.
한편, 제1 실시 예에 따른 디스플레이 장치의 검색 방법은, 키워드 정보를 추출하는 단계를 더 포함할 수 있다. 구체적으로, 컨텐츠의 메타데이터로부터 검색 카테고리와 관련된 키워드 정보를 추출할 수 있다.
<제2 실시예 >
객체를 검색 대상으로 선택하는 단계(S1030)는 컨텐츠의 이미지 프레임 중에서 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐하는 단계, 디스플레이 장치를 제어하기 위한 원격 제어 장치로 캡쳐된 이미지 프레임을 전송하는 단계, 및 원격 제어 장치상에서 객체가 선택되면 선택된 객체를 검색 대상으로 선택하는 단계를 포함할 수 있다.
한편, 제2 실시 예에 따른 디스플레이 장치의 검색 방법은, 원격 제어 장치상에서 결정된 검색 카테고리에 대한 정보를 수신하는 단계 및 수신된 검색 카테고리에 대한 정보를 이용하여 컨텐츠의 메타데이터로부터 검색 카테고리와 관련된 키워드 정보를 추출하는 단계를 더 포함할 수 있다.
객체가 검색 대상으로 선택되면, 검색 대상으로 선택된 객체를 검색 서버로 전송하고(S1040), 검색 결과를 수신하여 디스플레이한다(S1050). 여기서, 키워드 정보가 추출된 경우에는 선택된 객체 및 키워드 정보를 함께 검색 서버로 전송하여 그에 대한 검색 결과를 수신하여 디스플레이할 수 있다.
도 11은 본 발명의 일 실시 예에 따른 원격 제어 장치의 검색 방법을 나타내는 흐름도이다.
도 11에 따르면, 원격 제어 장치는 객체를 선택하기 위한 사용자 명령을 입력받는다(S1110). 구체적으로는 디스플레이 장치에 디스플레이되는 이미지 프레임 내의 객체를 선택하기 위한 사용자 명령을 입력받는다. 그리고, 사용자 명령을 디스플레이 장치로 전송한다(S1120). 즉, 선택된 객체에 대한 검색 결과를 디스플레이하도록 사용자 명령을 디스플레이 장치로 전송한다.
도 12는 본 발명의 다른 실시 예에 따른 원격 제어 장치의 검색 방법을 나타내는 흐름도이다.
도 12에 따르면, 원격 제어 장치는 객체를 선택하기 위한 사용자 명령을 입력받는다(S1210). 그리고, 사용자 명령을 디스플레이 장치로 전송한다(S1220). 이후, 검출된 객체가 표시된 이미지 프레임을 수신한다(S1230). 구체적으로는, 사용자 명령이 전송된 시점에 캡쳐되어, 사용자 명령에 따라 검출된 객체가 표시된 이미지 프레임을 수신한다. 그리고, 수신된 이미지 프레임을 디스플레이한다(S1240).
이후, 디스플레이된 이미지 프레임 상에 표시된 객체 중 하나가 선택되면(S1250-Y), 객체 선택 명령을 디스플레이 장치로 전송한다(S1260). 객체는 사용자의 선택 명령에 따라 선택될 수 있다.
도 13은 본 발명의 또 다른 실시 예에 따른 원격 제어 장치의 검색 방법을 나타내는 흐름도이다.
도 13에 따르면, 원격 제어 장치는 객체를 선택하기 위한 사용자 명령을 입력받는다(S1310). 그리고, 사용자 명령을 디스플레이 장치로 전송한다(S1320). 이후, 캡쳐된 이미지 프레임을 수신한다(S1330). 즉, 디스플레이 장치로부터, 사용자 명령이 전송된 시점에 캡쳐된 이미지 프레임을 수신한다. 캡쳐된 이미지 프레임을 디스플레이 하고(S1340), 수신된 이미지 프레임 내에서 사용자 명령에 대응되는 객체를 선택한다(S1350).
객체를 선택하는 단계(S1350)는, 사용자 명령에 대응되는 검색 카테고리를 결정하는 단계, 수신된 이미지 프레임 내에서 검색 카테고리에 속하는 객체를 검출하는 단계 및 검출된 객체 중 하나를 선택하는 단계를 포함할 수 있다. 검출된 객체 중 하나를 선택하는 단계는 사용자의 선택 명령에 따라 수행될 수 있다.
그리고, 사용자 명령이 기 설정된 패턴의 터치 입력인 경우, 검색 카테고리를 결정하는 단계는 터치 입력의 패턴을 분석하여 터치 패턴에 대응되는 검색 카테고리를 결정할 수 있다.
이후, 원격 제어 장치는 선택된 객체를 검색 대상으로 선택하는 객체 선택 명령을 디스플레이 장치로 전송할 수 있다(S1360).
한편, 상술한 본 발명의 다양한 실시 예들에 따른 방법을 수행하기 위한 프로그램은 다양한 유형의 기록 매체에 저장되어 사용될 수 있다.
구체적으로는, 상술한 방법들을 수행하기 위한 코드는, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 디스플레이 장치 110 : 디스플레이부
120 : 인터페이스부 130 : 선택부
131 : 캡쳐부 132 : 카테고리 결정부
133 : 객체 선택부 134 : 캡쳐부
135 : 객체 선택부 140 : 통신부
150 : 제어부 160 : 키워드 추출부
200 : 원격 제어 장치 210 : 입력부
220 : 인터페이스부 230 : 제어부
240 : 디스플레이부 300 : 검색 서버

Claims (24)

  1. 디스플레이 장치의 검색 방법에 있어서,
    컨텐츠의 이미지 프레임을 디스플레이하는 단계;
    객체 선택을 위한 사용자 명령이 수신되면, 상기 이미지 프레임 내에서 상기 사용자 명령에 대응되는 객체를 검색 대상으로 선택하는 단계;
    상기 검색 대상으로 선택된 객체를 검색 서버로 전송하는 단계; 및
    상기 검색 서버로부터 상기 선택된 객체에 대한 검색 결과를 수신하여 디스플레이하는 단계;를 포함하는 검색 방법.
  2. 제1항에 있어서,
    상기 객체를 검색 대상으로 선택하는 단계는,
    상기 컨텐츠의 이미지 프레임 중에서 상기 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐(capture)하는 단계;
    상기 사용자 명령에 대응되는 검색 카테고리를 결정하는 단계; 및
    상기 캡쳐된 이미지 프레임 내에서 상기 결정된 검색 카테고리에 속하는 객체를 검출하여 상기 검색 대상으로 선택하는 단계;를 포함하는 것을 특징으로 하는 검색 방법.
  3. 제2항에 있어서,
    상기 사용자 명령은 기 설정된 패턴의 터치 입력이며,
    상기 검색 카테고리를 결정하는 단계는,
    상기 터치 입력의 패턴을 분석하여 터치 패턴에 대응되는 검색 카테고리를 결정하는 것을 특징으로 하는 검색 방법.
  4. 제2항에 있어서,
    상기 객체를 검출하여 상기 검색 대상으로 선택하는 단계는,
    상기 검출된 객체가 표시된 이미지 프레임을 상기 디스플레이 장치를 제어하기 위한 원격 제어 장치로 전송하는 단계; 및
    상기 검출된 객체 중 하나가 상기 원격 제어 장치상에서 선택되면, 상기 선택된 객체를 상기 검색 대상으로 선택하는 단계;를 포함하는 것을 특징으로 하는 검색 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 컨텐츠의 메타데이터로부터 상기 검색 카테고리와 관련된 키워드 정보를 추출하는 단계;를 더 포함하고,
    상기 검색 대상으로 선택된 객체를 검색 서버로 전송하는 단계는,
    상기 검색 대상으로 선택된 객체의 및 상기 추출된 키워드 정보를 검색 서버로 전송하는 것을 특징으로 하는 검색 방법.
  6. 제1항에 있어서,
    상기 객체를 검색 대상으로 선택하는 단계는,
    상기 컨텐츠의 이미지 프레임 중에서 상기 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐(capture)하는 단계;
    상기 디스플레이 장치를 제어하기 위한 원격 제어 장치로 상기 캡쳐된 이미지 프레임을 전송하는 단계; 및
    상기 원격 제어 장치상에서 객체가 선택되면, 상기 선택된 객체를 상기 검색 대상으로 선택하는 단계;를 포함하는 것을 특징으로 하는 검색 방법.
  7. 제6항에 있어서,
    상기 원격 제어 장치상에서 결정된 검색 카테고리에 대한 정보를 수신하는 단계; 및
    상기 수신된 검색 카테고리에 대한 정보를 이용하여 상기 컨텐츠의 메타데이터로부터 검색 카테고리와 관련된 키워드 정보를 추출하는 단계;를 더 포함하고,
    상기 검색 대상으로 선택된 객체를 검색 서버로 전송하는 단계는,
    상기 검색 대상으로 선택된 객체 및 상기 추출된 키워드 정보를 검색 서버로 전송하는 것을 특징으로 하는 검색 방법.
  8. 디스플레이 장치를 제어하는 원격 제어 장치의 검색 방법에 있어서,
    상기 디스플레이 장치에 디스플레이되는 이미지 프레임 내의 객체를 선택하기 위한 사용자 명령을 입력받는 단계; 및
    상기 선택된 객체에 대한 검색 결과를 디스플레이하도록 상기 사용자 명령을 상기 디스플레이 장치로 전송하는 단계;를 포함하는 검색 방법.
  9. 제8항에 있어서,
    상기 디스플레이 장치로부터, 상기 사용자 명령이 전송된 시점에 캡쳐되어, 상기 사용자 명령에 따라 검출된 객체가 표시된 이미지 프레임을 수신하는 단계;
    상기 수신된 이미지 프레임을 디스플레이하는 단계; 및
    상기 디스플레이된 이미지 프레임 상에 표시된 객체 중 하나가 선택되면, 선택된 객체를 검색 대상으로 선택하는 객체 선택 명령을 상기 디스플레이 장치로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 검색 방법.
  10. 제8항에 있어서,
    상기 디스플레이 장치로부터, 상기 사용자 명령이 전송된 시점에 캡쳐된 이미지 프레임을 수신하는 단계;
    상기 캡쳐된 이미지 프레임을 디스플레이하는 단계;
    상기 수신된 이미지 프레임 내에서 상기 사용자 명령에 대응되는 객체를 선택하는 단계; 및
    상기 선택된 객체를 검색 대상으로 선택하는 객체 선택 명령을 상기 디스플레이 장치로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 검색 방법.
  11. 제10항에 있어서,
    상기 객체를 선택하는 단계는,
    상기 사용자 명령에 대응되는 검색 카테고리를 결정하는 단계;
    상기 디스플레이된 이미지 프레임 내에서 상기 결정된 검색 카테고리에 속하는 객체를 검출하는 단계; 및
    상기 검출된 객체 중 하나를 선택하는 단계;를 포함하는 것을 특징으로 하는 검색 방법.
  12. 제11항에 있어서,
    상기 사용자 명령은 기 설정된 패턴의 터치 입력이며,
    상기 검색 카테고리를 결정하는 단계는,
    상기 터치 입력의 패턴을 분석하여 터치 패턴에 대응되는 검색 카테고리를 결정하는 것을 특징으로 하는 검색 방법.
  13. 컨텐츠의 이미지 프레임을 디스플레이하는 디스플레이부;
    객체 선택을 위한 사용자 명령을 수신하는 인터페이스부;
    상기 이미지 프레임 내에서 상기 사용자 명령에 대응되는 객체를 검색 대상으로 선택하는 선택부;
    외부 검색 서버와 통신하는 통신부; 및
    상기 검색 대상으로 선택된 객체를 상기 검색 서버로 전송하고, 상기 검색 서버로부터 상기 선택된 객체에 대한 검색 결과를 수신하여 디스플레이하도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 디스플레이 장치.
  14. 제13항에 있어서,
    상기 선택부는,
    상기 컨텐츠의 이미지 프레임 중에서 상기 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐(capture)하는 캡쳐부;
    상기 사용자 명령에 대응되는 검색 카테고리를 결정하는 카테고리 결정부; 및
    상기 캡쳐된 이미지 프레임 내에서 상기 결정된 검색 카테고리에 속하는 객체를 검출하여 상기 검색 대상으로 선택하는 객체 선택부;를 포함하는 것을 특징으로 하는 디스플레이 장치.
  15. 제14항에 있어서,
    상기 사용자 명령은 기 설정된 패턴의 터치 입력이며,
    상기 카테고리 결정부는,
    상기 터치 입력의 패턴을 분석하여 터치 패턴에 대응되는 검색 카테고리를 결정하는 것을 특징으로 하는 디스플레이 장치.
  16. 제14항에 있어서,
    상기 인터페이스부는,
    상기 검출된 객체가 표시된 이미지 프레임을 상기 디스플레이 장치를 제어하기 위한 원격 제어 장치로 전송하고,
    상기 객체 선택부는,
    상기 검출된 객체 중 하나가 상기 원격 제어 장치 상에서 선택되면, 상기 선택된 객체를 상기 검색 대상으로 선택하는 것을 특징으로 하는 디스플레이 장치.
  17. 제13항 내지 제16항 중 어느 한 항에 있어서,
    상기 컨텐츠의 메타데이터로부터 상기 검색 카테고리와 관련된 키워드 정보를 추출하는 키워드 추출부;를 더 포함하고,
    상기 제어부는,
    상기 검색 대상으로 선택된 객체 및 상기 추출된 키워드 정보를 검색 서버로 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  18. 제13항에 있어서,
    상기 선택부는,
    상기 컨텐츠의 이미지 프레임 중에서 상기 사용자 명령이 수신된 시점에 디스플레이되는 이미지 프레임을 캡쳐(capture)하는 캡쳐부; 및
    상기 디스플레이 장치를 제어하기 위한 원격 제어 장치로 상기 캡쳐된 이미지 프레임이 전송되어, 상기 원격 제어 장치 상에서 객체가 선택되면, 상기 선택된 객체를 상기 검색 대상으로 선택하는 객체 선택부;를 포함하는 것을 특징으로 하는 디스플레이 장치.
  19. 제18항에 있어서,
    상기 원격 제어 장치 상에서 결정된 검색 카테고리에 대한 정보가 수신되면, 상기 수신된 검색 카테고리에 대한 정보를 이용하여 상기 컨텐츠의 메타데이터로부터 검색 카테고리와 관련된 키워드 정보를 추출하는 키워드 추출부;를 더 포함하며,
    상기 제어부는,
    상기 검색 대상으로 선택된 객체 및 상기 추출된 키워드 정보를 검색 서버로 전송하도록 제어하는 것을 특징으로 하는 디스플레이 장치.
  20. 디스플레이 장치를 제어하는 원격 제어 장치에 있어서,
    상기 디스플레이 장치에 디스플레이되는 이미지 프레임 내의 객체를 선택하기 위한 사용자 명령을 수신하는 입력부;
    상기 디스플레이 장치와 통신하는 인터페이스부;
    상기 선택된 객체에 대한 검색 결과를 디스플레이하도록 상기 사용자 명령을 상기 디스플레이 장치로 전송하도록 상기 인터페이스부를 제어하는 제어부;를 포함하는 원격 제어 장치.
  21. 제20항에 있어서,
    디스플레이부;를 더 포함하고,
    상기 인터페이스부는,
    상기 디스플레이 장치로부터, 상기 사용자 명령이 전송된 시점에 캡쳐되어, 상기 사용자 명령에 따라 검출된 객체가 표시된 이미지 프레임을 수신하고,
    상기 제어부는,
    상기 수신된 이미지 프레임을 디스플레이하여, 상기 디스플레이된 이미지 프레임 상에 표시된 객체 중 하나가 선택되면, 선택된 객체를 검색 대상으로 선택하는 객체 선택 명령을 상기 디스플레이 장치로 전송하도록 제어하는 것을 특징으로 하는 원격 제어 장치.
  22. 제20항에 있어서,
    디스플레이부;를 더 포함하고,
    상기 인터페이스부는,
    상기 디스플레이 장치로부터, 상기 사용자 명령이 전송된 시점에 캡쳐된 이미지 프레임을 수신하며,
    상기 제어부는,
    상기 캡쳐된 이미지 프레임을 디스플레이하고, 상기 수신된 이미지 프레임 내에서 상기 사용자 명령에 대응되는 객체를 선택하여, 상기 선택된 객체를 검색 대상으로 선택하는 객체 선택 명령을 상기 디스플레이 장치로 전송하도록 제어하는 것을 특징으로 하는 원격 제어 장치.
  23. 제22항에 있어서,
    상기 제어부는,
    상기 사용자 명령에 대응되는 검색 카테고리를 결정하고, 상기 수신된 이미지 프레임 내에서 상기 결정된 검색 카테고리에 속하는 객체를 검출하여, 상기 검출된 객체 중 하나를 선택하는 것을 특징으로 하는 원격 제어 장치.
  24. 제23항에 있어서,
    상기 사용자 명령은 기 설정된 패턴의 터치 입력이며,
    상기 제어부는,
    상기 터치 입력의 패턴을 분석하여 터치 패턴에 대응되는 검색 카테고리를 결정하는 것을 특징으로 하는 원격 제어 장치.
KR1020120002663A 2012-01-09 2012-01-09 디스플레이 장치, 원격 제어 장치 및 그 검색 방법 KR20130081595A (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120002663A KR20130081595A (ko) 2012-01-09 2012-01-09 디스플레이 장치, 원격 제어 장치 및 그 검색 방법
EP12196693.1A EP2613549A1 (en) 2012-01-09 2012-12-12 Display apparatus, remote control apparatus, and searching methods therof
CN2012105928169A CN103294744A (zh) 2012-01-09 2012-12-31 显示装置、遥控装置及其搜索方法
JP2013000808A JP2013143141A (ja) 2012-01-09 2013-01-08 ディスプレイ装置、遠隔制御装置およびその検索方法
US13/737,113 US20130179436A1 (en) 2012-01-09 2013-01-09 Display apparatus, remote control apparatus, and searching methods thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120002663A KR20130081595A (ko) 2012-01-09 2012-01-09 디스플레이 장치, 원격 제어 장치 및 그 검색 방법

Publications (1)

Publication Number Publication Date
KR20130081595A true KR20130081595A (ko) 2013-07-17

Family

ID=47602890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120002663A KR20130081595A (ko) 2012-01-09 2012-01-09 디스플레이 장치, 원격 제어 장치 및 그 검색 방법

Country Status (5)

Country Link
US (1) US20130179436A1 (ko)
EP (1) EP2613549A1 (ko)
JP (1) JP2013143141A (ko)
KR (1) KR20130081595A (ko)
CN (1) CN103294744A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019124775A1 (ko) * 2017-12-22 2019-06-27 삼성전자 주식회사 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법
KR20210051195A (ko) 2019-10-30 2021-05-10 김대진 치매환자 길 안내 앱
WO2021246549A1 (ko) * 2020-06-04 2021-12-09 엘지전자 주식회사 영상표시장치 및 그 동작방법

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9258597B1 (en) 2013-03-13 2016-02-09 Google Inc. System and method for obtaining information relating to video images
US9247309B2 (en) 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
US9705728B2 (en) 2013-03-15 2017-07-11 Google Inc. Methods, systems, and media for media transmission and management
KR20140141026A (ko) * 2013-05-31 2014-12-10 삼성전자주식회사 디스플레이 장치 및 검색 결과를 표시하는 방법.
CN103533383B (zh) * 2013-09-26 2017-06-13 华为软件技术有限公司 一种业务触发方法、装置及系统
US9456237B2 (en) 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US10002191B2 (en) 2013-12-31 2018-06-19 Google Llc Methods, systems, and media for generating search results based on contextual information
US9491522B1 (en) 2013-12-31 2016-11-08 Google Inc. Methods, systems, and media for presenting supplemental content relating to media content on a content interface based on state information that indicates a subsequent visit to the content interface
WO2016094206A1 (en) * 2014-12-11 2016-06-16 Thomson Licensing Method and apparatus for processing information
US20160350336A1 (en) * 2015-05-31 2016-12-01 Allyke, Inc. Automated image searching, exploration and discovery
KR101968152B1 (ko) * 2017-10-11 2019-04-11 (주)아이디 색칠놀이 기반의 영상분석 및 3d디스플레이 시스템
KR102524180B1 (ko) * 2017-11-15 2023-04-21 삼성전자주식회사 디스플레이장치 및 그 제어방법
US11423102B2 (en) * 2018-09-27 2022-08-23 Sap Se Learning model based search engine
US10699123B1 (en) * 2018-12-26 2020-06-30 Snap Inc. Dynamic contextual media filter
US11099729B1 (en) * 2020-05-29 2021-08-24 Capital One Services, Llc Methods and systems for displaying content based on a scroll pattern

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7536706B1 (en) * 1998-08-24 2009-05-19 Sharp Laboratories Of America, Inc. Information enhanced audio video encoding system
KR100350787B1 (ko) * 1999-09-22 2002-08-28 엘지전자 주식회사 멀티미디어 객체의 사용자 프로파일 생성방법과 사용자 프로파일을 이용한 멀티미디어 검색 및 브라우징 방법
JP2003122506A (ja) * 2001-10-10 2003-04-25 Canon Inc 座標入力及び操作方法指示装置
JP4403937B2 (ja) * 2004-09-29 2010-01-27 カシオ計算機株式会社 カメラ装置、情報処理装置、被写体識別方法
US20120113273A1 (en) * 2004-11-29 2012-05-10 Ariel Inventions Llc System, Method, and Devices for Searching for a Digital Image over a Communication Network
KR100878535B1 (ko) * 2006-10-26 2009-01-13 삼성전자주식회사 콘텐츠 검색 장치 및 방법
US9185349B2 (en) * 2008-05-28 2015-11-10 Kyocera Corporation Communication terminal, search server and communication system
US20100162303A1 (en) * 2008-12-23 2010-06-24 Cassanova Jeffrey P System and method for selecting an object in a video data stream
US20110162007A1 (en) * 2009-09-14 2011-06-30 Broadcom Corporation Television system providing user-interaction related to an in-progress television program
KR101562588B1 (ko) * 2010-01-26 2015-10-23 엘지전자 주식회사 정보 제공 장치 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019124775A1 (ko) * 2017-12-22 2019-06-27 삼성전자 주식회사 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법
US11334745B2 (en) 2017-12-22 2022-05-17 Samsung Electronics Co., Ltd Electronic device and method for providing service information related to broadcast content in electronic device
KR20210051195A (ko) 2019-10-30 2021-05-10 김대진 치매환자 길 안내 앱
WO2021246549A1 (ko) * 2020-06-04 2021-12-09 엘지전자 주식회사 영상표시장치 및 그 동작방법

Also Published As

Publication number Publication date
JP2013143141A (ja) 2013-07-22
CN103294744A (zh) 2013-09-11
US20130179436A1 (en) 2013-07-11
EP2613549A1 (en) 2013-07-10

Similar Documents

Publication Publication Date Title
KR20130081595A (ko) 디스플레이 장치, 원격 제어 장치 및 그 검색 방법
KR101839319B1 (ko) 컨텐츠 검색 방법 및 그를 이용한 디스플레이 장치
AU2013300316B2 (en) Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
KR101899597B1 (ko) 오브젝트 정보 검색 방법 및 그를 이용한 영상 표시 장치
CN108712665B (zh) 一种直播列表的生成方法、装置、服务器及存储介质
JP6950912B2 (ja) 映像検索情報提供方法、装置およびコンピュータプログラム
US20170270506A1 (en) Display terminal-based data processing method
US20150277573A1 (en) Display device and operating method thereof
US11734370B2 (en) Method for searching and device thereof
CN111343512B (zh) 信息获取方法、显示设备及服务器
US10448107B2 (en) Display device
CN110825928A (zh) 搜索方法和设备
KR20220000758A (ko) 영상 검출 장치 및 그 동작 방법
TWI798912B (zh) 搜索方法、電子裝置及非暫時性電腦可讀記錄媒體
KR20140044663A (ko) 방송 수신 장치 및 디스플레이 장치와 이를 이용한 검색 방법
KR102298066B1 (ko) 영상 콘텐츠 제공 방법 및 영상 콘텐츠 제공 장치
KR102088443B1 (ko) 검색을 수행하는 디스플레이 장치 및 이의 제어 방법
TWI695275B (zh) 搜索方法、電子裝置及電腦可讀記錄媒體
US10503776B2 (en) Image display apparatus and information providing method thereof
KR20150101846A (ko) 스케치를 기반으로 하는 영상 분류 서비스 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN113542900B (zh) 媒资信息展示方法及显示设备
CN116325770A (zh) 显示设备及图像识别结果显示方法
KR20170057056A (ko) 원격제어장치, 원격제어장치의 구동방법, 영상표시장치, 영상표시장치의 구동방법 및 컴퓨터 판독가능 기록매체
KR20160004739A (ko) 디스플레이 장치 및 그의 동작 방법
US20210326375A1 (en) Method, device, and computer program for providing image search information

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid