KR20150054121A - 디스플레이 장치 및 이의 정보 제공 방법 - Google Patents

디스플레이 장치 및 이의 정보 제공 방법 Download PDF

Info

Publication number
KR20150054121A
KR20150054121A KR1020130136127A KR20130136127A KR20150054121A KR 20150054121 A KR20150054121 A KR 20150054121A KR 1020130136127 A KR1020130136127 A KR 1020130136127A KR 20130136127 A KR20130136127 A KR 20130136127A KR 20150054121 A KR20150054121 A KR 20150054121A
Authority
KR
South Korea
Prior art keywords
information
user
image content
unit
image
Prior art date
Application number
KR1020130136127A
Other languages
English (en)
Inventor
권오윤
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130136127A priority Critical patent/KR20150054121A/ko
Publication of KR20150054121A publication Critical patent/KR20150054121A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

정보 제공 방법이 및 이를 적용한 디스플레이 장치가 제공된다. 디스플레이 장치의 정보 제공 방법은 영상 컨텐츠를 디스플레이하고, 영상 컨텐츠 내에 사용자가 응시하는 오브젝트를 검출하며, 검출된 오브젝트의 정보를 요청하는 신호를 외부의 서버에 전송하고, 서버로부터 검출된 오브젝트의 정보가 수신된 경우, 수신된 오브젝트에 대한 정보를 디스플레이한다.

Description

디스플레이 장치 및 이의 정보 제공 방법{Display apparatus and Method for providing information of object thereof}
본 발명은 디스플레이 장치 및 이의 정보 제공 방법에 관한 것으로, 더욱 상세하게는 영상 컨텐츠가 디스플레이되는 동안 사용자가 관심 있어 하는 오브젝트에 대한 정보를 제공하는 디스플레이 장치 및 이의 정보 제공 방법에 관한 것이다.
사용자가 디스플레이 장치를 통해 영상 컨텐츠를 시청하는 동안, 영상 컨텐츠 내에는 수많은 오브젝트가 등장한다. 또한, 최근에는 영상 컨텐츠 내에 다양한 간접 광고 상품들이 등장하고 있다. 특히, 수많은 오브젝트가 영상 컨텐츠에 디스플레이되는 동안, 현재 디스플레이되는 영상 컨텐츠 내에는 사용자가 관심 있는 상품이나 오브젝트가 등장할 수 있다.
그러나, 오브젝트가 오랜 시간 디스플레이되는 경우가 아니라면, 사용자는 순간 디스플레이되는 오브젝트를 확인하기 어려울 수 있다. 또한, 사용자가 오브젝트를 확인하더라도 오브젝트의 외형만으로는 오브젝트의 제품명, 제조사를 알기 어려운 경우가 많다. 뿐만 아니라, 사용자가 오브젝트의 제품명, 제조사 등을 알더라도 사용자가 오브젝트를 구매하기 위해서는 사용자가 일일이 제품 판매 장소나 제품 판매 사이트를 검색해야 했다.
따라서, 사용자가 관심 있어 하는 오브젝트에 대한 정보를 더욱 빠르고 쉽게 확인할 수 있는 방안의 모색이 요청된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 사용자가 응시하는 오브젝트를 검출하고, 검출된 오브젝트에 대한 정보를 외부의 서버로부터 수신하여 사용자에게 제공하는 디스플레이 장치 및 이의 정보 제공 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치의 정보 제공 방법은 영상 컨텐츠를 디스플레이하는 단계; 상기 영상 컨텐츠 내에 사용자가 응시하는 오브젝트를 검출하는 단계; 상기 검출된 오브젝트의 정보를 요청하는 신호를 외부의 서버에 전송하는 단계; 및 상기 서버로부터 상기 검출된 오브젝트의 정보가 수신된 경우, 상기 수신된 오브젝트에 대한 정보를 디스플레이하는 단계;를 포함한다.
그리고, 상기 검출하는 단계는, 카메라에 의해 촬영된 상기 사용자의 눈의 움직임을 판단하여 상기 사용자가 응시하는 지점의 좌표값을 산출하는 단계; 및 상기 산출된 좌표값을 포함하는 오브젝트를 판단하는 단계;를 포함할 수 있다.
또한, 상기 판단하는 단계는, 상기 검출된 지점을 중심으로 주변 영상에 대한 색상, 주파주 성분, 엣지 변화를 이용하여 상기 오브젝트의 범위를 판단할 수 있다.
그리고, 상기 전송하는 단계는, 상기 영상 컨텐츠에 대한 정보 및 상기 검출된 오브젝트에 대한 검출 정보를 함께 상기 서버에 전송할 수 있다.
또한, 상기 영상 컨텐츠가 방송 컨텐츠인 경우, 상기 영상 컨텐츠에 대한 정보는, 방송 시간 정보, 채널 정보 및 방송 프로그램 정보 중 적어도 하나를 포함하며, 상기 오브젝트에 대한 검출 정보는, 상기 검출된 오브젝트의 이미지 정보, 오브젝트 검출 시간 정보, 오브젝트 색상 정보 중 적어도 하나를 포함할 수 있다.
그리고, 상기 사용자를 인식하는 단계; 및 기등록된 상기 인식된 사용자에 대응되는 단말 장치에 상기 오브젝트에 대한 정보를 전송하는 단계;를 더 포함할 수 있다.
또한, 복수의 사용자가 상기 영상 컨텐츠를 시청하는 경우, 상기 검출하는 단계는, 상기 복수의 사용자 각각이 응시하는 오브젝트를 검출하며, 상기 복수의 사용자 각각이 응시하는 오브젝트에 대한 정보를 상기 복수의 사용자에 대응되는 단말 장치 각각에 전송하는 단계;를 더 포함할 수 있다.
그리고, 상기 영상 컨텐츠의 재생을 중지하는 사용자 명령이 입력된 경우, 상기 영상 컨텐츠의 재생을 중지하는 단계;를 더 포함하며, 상기 검출하는 단계는, 상기 중지된 영상 컨텐츠에 포함된 오브젝트들 중 상기 사용자가 응시하는 오브젝트를 검출할 수 있다.
또한, 상기 오브젝트에 대한 정보는, 상기 오브젝트에 대한 상세 정보, 상기 오브젝트에 대한 구매 정보, 상기 오브젝트와 관련된 제품 정보, 상기 오브젝트에 대한 광고 정보 중 적어도 하나를 포함할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 디스플레이 장치는 영상 컨텐츠를 디스플레이하는 디스플레이부; 외부 서버와 통신을 수행하는 통신부; 사용자를 촬영하는 촬영부; 및 상기 촬영부를 통해 상기 디스플레이부에 디스플레이되는 영상 컨텐츠 내에 사용자가 응시하는 오브젝트를 검출하고, 상기 검출된 오브젝트의 정보를 요청하는 신호를 외부의 서버에 전송하도록 상기 통신부를 제어하며, 상기 통신부를 통해 상기 서버로부터 상기 검출된 오브젝트의 정보가 수신된 경우, 상기 수신된 오브젝트에 대한 정보를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함한다.
그리고, 상기 제어부는, 상기 카메라에 의해 촬영된 상기 사용자의 눈의 움직임을 판단하여 상기 사용자가 응시하는 지점의 좌표값을 산출하고, 상기 산출된 좌표값을 포함하는 오브젝트를 판단할 수 있다.
또한, 상기 제어부는, 상기 검출된 지점을 중심으로 주변 영상에 대한 색상, 주파주 성분, 엣지 변화를 이용하여 상기 오브젝트의 범위를 판단할 수 있다.
그리고, 상기 제어부는, 상기 오브젝트에 대한 정보를 요청하는 경우, 상기 영상 컨텐츠에 대한 정보 및 상기 검출된 오브젝트에 대한 검출 정보를 함께 상기 서버에 전송하도록 상기 통신부를 제어할 수 있다.
또한, 상기 영상 컨텐츠가 방송 컨텐츠인 경우, 상기 영상 컨텐츠에 대한 정보는, 방송 시간 정보, 채널 정보 및 방송 프로그램 정보 중 적어도 하나를 포함하며, 상기 오브젝트에 대한 검출 정보는, 상기 검출된 오브젝트의 이미지 정보, 오브젝트 검출 시간 정보, 오브젝트 색상 정보 중 적어도 하나를 포함할 수 있다.
그리고, 사용자와 단말 장치를 매칭하여 저장하는 저장부;를 더 포함하며, 상기 제어부는, 상기 촬영부를 통해 상기 사용자를 인식하며, 상기 저장부에 저장된 상기 인식된 사용자에 대응되는 단말 장치에 상기 오브젝트에 대한 정보를 전송하도록 상기 통신부를 제어할 수 있다.
또한, 복수의 사용자가 상기 영상 컨텐츠를 시청하는 경우, 상기 제어부는, 상기 복수의 사용자 각각이 응시하는 오브젝트를 검출하며, 상기 복수의 사용자 각각이 응시하는 오브젝트에 대한 정보를 상기 복수의 사용자에 대응되는 단말 장치 각각에 전송하도록 상기 통신부를 제어할 수 있다.
그리고, 사용자 명령을 입력받는 입력부;를 더 포함하며, 상기 제어부는, 상기 영상 컨텐츠의 재생을 중지하는 사용자 명령이 입력된 경우, 상기 영상 컨텐츠의 재생을 중지하고, 상기 중지된 영상 컨텐츠에 포함된 오브젝트들 중 상기 사용자가 응시하는 오브젝트를 검출할 수 있다.
또한, 상기 오브젝트에 대한 정보는, 상기 오브젝트에 대한 상세 정보, 상기 오브젝트에 대한 구매 정보, 상기 오브젝트와 관련된 제품 정보, 상기 오브젝트에 대한 광고 정보 중 적어도 하나를 포함할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 디스플레이 장치는 사용자가 관심 있어 하는 오브젝트를 예측하여 사용자에게 오브젝트에 대한 정보(특히, 구매 정보 및 광고 정보 등)를 실시간으로 제공할 수 있게 된다. 이에 의해, 사용자는 자신이 관심 있어 하는 오브젝트에 대한 정보를 신속하고 간편하게 획득할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 정보 제공 시스템을 도시한 도면,
도 2는 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 간단히 나타내는 블럭도,
도 3은 본 발명의 일 실시예에 따른, 디스플레이 장치의 구성을 상세히 나타내는 블럭도,
도 4a 및 도 4b는 본 발명의 일 실시예에 따른, 사용자가 응시하는 지점을 검출하기 위한 방법을 설명하기 위한 도면,
도 5는 본 발명의 일 실시예에 따른, 디스플레이 장치가 오브젝트에 대한 정보를 제공하는 방법을 설명하기 위한 도면, 그리고
도 6은 본 발명의 일 실시예에 따른, 디스플레이 장치의 정보 제공 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른, 정보 제공 시스템(10)을 도시한 도면이다. 도 1에 도시된 바와 같이, 정보 제공 시스템(10)은 디스플레이 장치(100), 정보 제공 서버(200) 및 단말 장치(300)를 포함한다. 이때, 디스플레이 장치(100)는 스마트 TV가 될 수 있으나, 이는 일 실시예에 불과할 뿐, 데스크탑 PC, 태블릿 PC, 노트북 PC 등과 같은 다양한 전자 장치로 구현될 수 있다. 또한, 단말 장치(300)는 스마트 폰이 될 수 있으나, 이는 일 실시예에 불과할 뿐, 태블릿 PC, PDA 등과 같은 사용자 단말로 구현될 수 있다.
디스플레이 장치(100)를 영상 컨텐츠를 디스플레이한다. 특히, 디스플레이 장치(100)는 외부의 방송국으로부터 수신한 방송 컨텐츠를 디스플레이할 수 있다.
디스플레이 장치(100)는 영상 컨텐츠 내에 사용자가 응시하는 오브젝트를 검출한다. 구체적으로, 디스플레이 장치(100)는 카메라를 이용하여 사용자가 응시하는 지점의 좌표값을 산출한다. 그리고, 디스플레이 장치(100)는 사용자가 응시하는 지점을 포함하는 오브젝트를 판단한다. 특히, 디스플레이 장치(100)는 검출된 지점을 중심으로 주변 영상에 대한 색상, 주파주 성분, 엣지 변화를 이용하여 오브젝트의 범위를 판단할 수 있다.
디스플레이 장치(100)는 검출된 오브젝트에 대한 정보를 요청하는 신호를 서버(200)로 전송한다. 특히, 디스플레이 장치(100)는 검출된 오브젝트에 대한 정보를 요청하는 신호와 함께 영상 컨텐츠에 대한 정보 및 오브젝트에 대한 검출 정보를 함께 전송할 수 있다. 이때, 영상 컨텐츠가 방송 컨텐츠인 경우, 영상 컨텐츠에 대한 정보는 방송 시간 정보, 채널 정보 및 방송 프로그램 정보 중 적어도 하나를 포함할 수 있으며, 오브젝트에 대한 검출 정보는 검출된 오브젝트의 이미지 정보, 오브젝트 검출 시간 정보, 오브젝트 색상 정보 중 적어도 하나를 포함할 수 있다.
서버(200)는 검출된 오브젝트에 대한 정보를 요청하는 신호에 응답하여 오브젝트에 대한 정보를 검색한다. 특히, 서버(200)는 디스플레이 장치(100)로부터 전송된 영상 컨텐츠에 대한 정보 및 오브젝트에 대한 검출 정보를 이용하여 오브젝트에 대한 정보를 검색할 수 있다. 이때, 오브젝트에 대한 정보는 오브젝트에 대한 상세 정보, 오브젝트에 대한 구매 정보, 오브젝트와 관련된 제품 정보, 오브젝트에 대한 광고 정보 중 적어도 하나를 포함할 수 있다. 서버(200)는 검색된 오브젝트에 대한 정보를 디스플레이 장치(100)로 전송한다.
디스플레이 장치(100)는 오브젝트에 대한 정보를 디스플레이 화면의 일 영역에 디스플레이한다. 이때, 디스플레이 장치(100)는 사용자 입력에 따라 오브젝트의 상세 정보를 디스플레이할 수 있으며, 오브젝트의 구매 사이트로 이동할 수 있다.
또한, 디스플레이 장치(100)는 오브젝트에 대한 정보를 외부의 단말 장치(300)로 전송할 수 있다. 이때, 외부 단말 장치(300)는 사용자와 대응되어 디스플레이 장치(100)에 기 등록될 수 있다. 즉, 사용자가 인식된 경우, 디스플레이 장치(100)는 인식된 사용자에 대응되는 단말 장치(300)에 오브젝트에 대한 정보를 전송할 수 있다. 디스플레이 장치(100)로부터 오브젝트에 대한 정보가 수신된 경우, 단말 장치(300)는 수신된 오브젝트에 대한 정보를 디스플레이할 수 있다.
상술한 바와 같은 본 발명의 일 실시예에 의해, 사용자는 자신이 관심 있어 하는 오브젝트에 대한 정보를 신속하고 편리하게 제공받을 수 있게 된다.
이하에서는 도 2 내지 도 5를 참조하여 본 발명의 디스플레이 장치에 대해 더욱 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른, 디스플레이 장치(100)의 구성을 간략히 도시한 블럭도이다. 도 2에 도시된 바와 같이, 디스플레이 장치(100)는 디스플레이부(110), 촬영부(120), 통신부(130) 및 제어부(140)를 포함한다.
디스플레이부(110)는 제어부(140)의 제어에 의해 영상 데이터를 디스플레이한다. 특히, 디스플레이부(110)는 외부로부터 입력되는 영상 컨텐츠를 디스플레이할 수 있다. 또한, 디스플레이부(110)는 사용자가 응시하는 오브젝트에 대한 정보를 포함하는 UI(User Interface)를 디스플레이할 수 있다.
촬영부(120)는 디스플레이 장치(100) 주위의 일정 영역을 촬영한다. 특히, 촬영부(120)는 디스플레이 장치(100)를 시청하는 사용자의 얼굴을 촬영할 수 있다.
통신부(130)는 외부 장치와 통신을 수행한다. 특히, 통신부(130)는 외부의 서버(200)와 통신을 수행할 수 있다. 구체적으로, 통신부(130)는 외부의 서버(200)로 오브젝트에 대한 정보를 요청하는 신호를 전송할 수 있으며, 외부의 서버(200)로부터 오브젝트에 대한 정보를 수신할 수 있다. 또한, 통신부(130)는 외부의 단말 장치(300)와 통신을 수행할 수 있다. 구체적으로, 통신부(130)는 서버(200)로부터 수신한 오브젝트에 대한 정보를 외부의 단말 장치(300)로 전송할 수 있다.
제어부(140)는 디스플레이 장치(100)의 전반적인 동작을 제어한다. 특히, 제어부(140)는 디스플레이부(110)에 디스플레이되는 영상 컨텐츠 내에 사용자가 응시하는 오브젝트를 검출하고, 검출된 오브젝트의 정보를 요청하는 신호를 외부의 서버에 전송하도록 통신부(130)를 제어하며, 통신부(130)를 통해 서버(200)로부터 검출된 오브젝트의 정보가 수신된 경우, 수신된 오브젝트에 대한 정보를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
구체적으로, 촬영부(120)가 사용자의 눈을 촬영하는 경우, 제어부(140)는 촬영된 영상을 바탕으로 영상 컨텐츠 내에 사용자가 기설정된 시간 이상 응시하는 지점의 좌표값을 산출한다. 그리고, 제어부(140)는 산출된 좌표값을 포함하는 오브젝트를 판단할 수 있다. 구체적으로, 제어부(140)는 검출된 지점을 중심으로 주변 영상에 대한 색상, 주파주 성분, 엣지 변화를 이용하여 오브젝트의 범위를 판단할 수 있다.
그리고, 제어부(140)는 검출된 오브젝트에 대한 정보를 요청하는 신호를 서버(200)에 전송하도록 통신부(130)를 제어한다. 이때, 검출된 오브젝트에 대한 정보를 요청하는 신호에는 영상 컨텐츠에 대한 정보 및 검출된 오브젝트에 대한 검출 정보를 서버(300)에 전송하도록 통신부(130)를 제어할 수 있다. 특히, 영상 컨텐츠가 방송 컨텐츠인 경우, 영상 컨텐츠에 대한 정보는 방송 시간 정보, 채널 정보 및 방송 프로그램 정보 중 적어도 하나를 포함할 수 있으며, 오브젝트에 대한 검출 정보는 검출된 오브젝트의 이미지 정보, 오브젝트 검출 시간 정보, 오브젝트 색상 정보 중 적어도 하나를 포함할 수 있다.
서버(200)로부터 오브젝트에 대한 정보가 수신된 경우, 제어부(140)는 오브젝트에 대한 정보를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 이때, 오브젝트에 대한 정보는 오브젝트에 대한 상세 정보, 오브젝트에 대한 구매 정보, 오브젝트와 관련된 제품 정보, 오브젝트에 대한 광고 정보 중 적어도 하나를 포함할 수 있다.
한편, 제어부(140)는 사용자를 인식하여 사용자에 대응되는 단말 장치(300)에 오브젝트에 대한 정보를 전송하도록 통신부(130)를 제어할 수 있다. 구체적으로, 제어부(140)는 다양한 방법으로 사용자를 인식할 수 있다. 예를 들어, 제어부(140)는 촬영부(130)에 의해 촬영된 사용자의 얼굴, 홍채 등을 이용하여 사용자를 인식할 수 있으며, 지문 인식, ID/패스워드 인식을 통해 사용자를 인식할 수 있다. 그리고, 제어부(140)는 오브젝트에 대한 정보를 기 등록된 사용자에 대응되는 단말 장치(300)로 전송하도록 통신부(130)를 제어할 수 있다.
또한, 복수의 사용자가 영상 컨텐츠를 시청하는 경우, 제어부(140)는 복수의 사용자 각각이 응시하는 오브젝트를 검출할 수 있다. 예를 들어, 제어부(140)는 제1 사용자가 제1 오브젝트를 응시하고, 제2 사용자가 제2 오브젝트를 응시하는 것을 검출할 수 있다. 그리고, 제어부(140)는 복수의 사용자에 대응되는 단말 장치 각각에 사용자가 응시하는 오브젝트에 대한 정보를 전송하도록 통신부(130)를 제어할 수 있다. 예를 들어, 제어부(140)는 제1 사용자에 대응되는 제1 단말 장치에 제1 오브젝트에 대한 정보를 전송하고, 제2 사용자에 대응되는 제2 단말 장치에 제2 오브젝트에 대한 정보를 전송할 수 있다. 이에 의해, 복수의 사용자 각각은 자신이 원하는 오브젝트를 검출할 수 있게 된다.
또한, 영상 컨텐츠의 화면 전환이 빠른 경우, 사용자는 오브젝트를 지속적으로 응시하는 것이 어려울 수 있다. 이러한 문제점을 극복하기 위해, 사용자는 영상 재생 중지 명령을 입력할 수 있다. 구체적으로, 영상 컨텐츠의 재생을 중지하는 사용자 명령이 입력된 경우, 제어부(140)는 영상 컨텐츠의 재생을 중지하고, 중지된 영상 컨텐츠에 포함된 오브젝트들 중 사용자가 응시하는 오브젝트를 검출할 수 있다.
상술한 바와 같은 본 발명의 디스플레이 장치(100)에 의해, 사용자는 자신이 관심 있어 하는 오브젝트에 대한 정보를 신속하고 간편하게 획득할 수 있게 된다.
도 3은 본 발명의 일 실시예에 따른, 디스플레이 장치(100)의 구성을 상세히 도시한 도면이다. 도 3에 도시된 바와 같이, 디스플레이 장치(100)는 디스플레이부(110), 촬영부(120), 영상 입력부(150), 저장부(160), 통신부(130), 입력부(170) 및 제어부(140)를 포함한다.
한편, 도 3은 디스플레이 장치(100)가 통신 기능, 영상 수신 기능, 정보 제공 기능, 디스플레이 기능 등과 같이 다양한 기능을 구비한 장치인 경우를 예로 들어, 각종 구성 요소들을 종합적으로 도시한 것이다. 따라서, 실시 예에 따라서는, 도 3에 도시된 구성 요소 중 일부는 생략 또는 변경될 수도 있고, 다른 구성요소가 더 추가될 수도 있다.
디스플레이부(110)는 영상 입력부(150)로부터 수신한 영상 데이터를 영상 처리부(미도시)에서 처리한 비디오 프레임 및 그래픽 처리부(143)에서 생성된 다양한 화면 중 적어도 하나를 디스플레이한다.
특히, 디스플레이부(110)는 도 4에 도시된 바와 같이, 외부로부터 수신된 방송 컨텐츠를 디스플레이할 수 있다. 또한, 디스플레이부(110)는 도 5에 도시된 바와 같이, 화면의 일 영역에 사용자가 응시하는 오브젝트에 대한 정보를 디스플레이할 수 있다.
촬영부(120)는 디스플레이 장치(100) 주위의 일정 영역을 촬영한다. 특히, 촬영부(120)는 디스플레이 장치(100)를 시청하는 사용자가 응시하는 지점을 검출하기 위해 사용자의 얼굴(특히, 사용자의 눈)을 촬영할 수 있다.
한편, 촬영부(120)는 안구 검출(eye-tracking) 기능을 가지는 스테레오 카메라로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 뎁스 카메라 등과 같은 다른 카메라가 이용될 수 있다.
영상 입력부(150)는 외부로부터 영상 컨텐츠를 입력받는다. 구체적으로, 영상 입력부(150)는 외부의 방송국으로부터 방송 컨텐츠를 입력받을 수 있으며, 외부 기기(예를 들어, DVD 플레이어 등)로부터 영상 컨텐츠를 입력받을 수 있으며, 외부 서버로부터 VOD 컨텐츠를 입력받을 수 있다.
저장부(160)는 디스플레이 장치(100)를 구동하기 위한 다양한 모듈을 저장한다. 예를 들어, 저장부(160)에는 베이스 모듈, 센싱 모듈, 통신 모듈, 프리젠테이션 모듈, 웹 브라우저 모듈, 서비스 모듈을 포함하는 소프트웨어가 저장될 수 있다. 이때, 베이스 모듈은 디스플레이 장치(100)에 포함된 각 하드웨어들로부터 전달되는 신호를 처리하여 상위 레이어 모듈로 전달하는 기초 모듈이다. 센싱 모듈은 각종 센서들로부터 정보를 수집하고, 수집된 정보를 분석 및 관리하는 모듈로서, 얼굴 인식 모듈, 음성 인식 모듈, 모션 인식 모듈, NFC 인식 모듈 등을 포함할 수도 있다. 프리젠테이션 모듈은 디스플레이 화면을 구성하기 위한 모듈로서, 멀티미디어 컨텐츠를 재생하여 출력하기 위한 멀티미디어 모듈, UI 및 그래픽 처리를 수행하는 UI 렌더링 모듈을 포함할 수 있다. 통신 모듈은 외부와 통신을 수행하기 위한 모듈이다. 웹 브라우저 모듈은 웹 브라우징을 수행하여 웹 서버에 액세스하는 모듈을 의미한다. 서비스 모듈은 다양한 서비스를 제공하기 위한 각종 어플리케이션을 포함하는 모듈이다.
상술한 바와 같이, 저장부(160)는 다양한 프로그램 모듈들을 포함할 수 있으나, 각종 프로그램 모듈들은 디스플레이 장치(100)의 종류 및 특성에 따라 일부 생략되거나 변형 또는 추가될 수 있음은 물론이다. 가령, 상술한 디스플레이 장치(100)가 태블릿 PC로 구현된 경우, 베이스 모듈에는 GPS 기반의 위치를 판단하기 위한 위치 판단 모듈을 더 포함하며, 센싱 모듈에는 사용자의 동작을 감지하는 센싱 모듈을 더 포함할 수 있다.
또한, 저장부(160)는 사용자와 단말 장치를 매칭하여 저장할 수 있다. 이때, 저장부(160)는 사용자와 단말 장에 대한의 정보(예를 들어, 단말 장치 종류, 단말 장치 기종, 단말 장치 통신 정보 등)를 서로 매칭하여 저장할 수 있다.
통신부(130)는 다양한 유형의 통신방식에 따라 다양한 유형의 외부 기기와 통신을 수행하는 구성이다. 통신부(130)는 와이파이 칩, 블루투스 칩, NFC칩, 무선 통신 칩 등과 같은 다양한 통신 칩을 포함할 수 있다. 이때, 와이파이 칩, 블루투스 칩, NFC 칩은 각각 WiFi 방식, 블루투스 방식, NFC 방식으로 통신을 수행한다. 이 중 NFC 칩은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다. 와이파이 칩이나 블루투스 칩을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다.
특히, 통신부(130)는 서버(200)와 통신을 수행할 수 있다. 구체적으로, 통신부(130)는 서버(200)로 오브젝트에 대한 정보를 요청하는 신호를 전송할 수 있으며, 외부의 서버(200)로부터 오브젝트에 대한 정보를 수신할 수 있다. 특히, 통신부(130)는 서버(200)로 오브젝트에 대한 정보를 요청하는 신호를 전송할 때, 영상 컨텐츠에 대한 정보 및 오브젝트에 대한 검출 정보를 함께 전송할 수 있다.
또한, 통신부(130)는 외부의 단말 장치(300)와 통신을 수행할 수 있다. 구체적으로, 통신부(130)는 서버(200)로부터 수신한 오브젝트에 대한 정보를 외부의 단말 장치(300)로 전송할 수 있다. 이때, 통신부(130)는 저장부(160)에 저장된 인증된 사용자에 대응되는 단말 장치(300)로 오브젝트에 대한 정보를 전송할 수 있다.
입력부(170)는 디스플레이 장치(100)를 제어하기 위한 사용자 명령을 입력받는다. 특히, 입력부(170)는 오브젝트에 대한 정보를 검색하기 위한 사용자 명령을 입력받을 수 있다. 예를 들어, 입력부(170)는 오브젝트의 상세 정보, 오브젝트의 구매 정보, 오브젝트와 연관된 제품 정보, 오브젝트의 광고 정보를 확인하기 위한 사용자 명령을 입력받을 수 있다.
한편, 입력부(170)는 리모컨으로 구현될 수 있으나, 이는 일 실시예에 불과할 뿐, 터치 스크린, 음성 인식 장치, 모션 인식 장치, 포인팅 디바이스 등과 같은 다양한 입력장치로 구현될 수 있다.
제어부(140)는 저장부(160)에 저장된 각종 프로그램을 이용하여 디스플레이 장치(100)의 전반적인 동작을 제어한다.
제어부(140)는 도 3에 도시된 바와 같이, RAM(141), ROM(142), 그래픽 처리부(143), 메인 CPU(144), 제1 내지 n 인터페이스(145-1 ~ 145-n), 버스(146)를 포함한다. 이때, RAM(141), ROM(142), 그래픽 처리부(143), 메인 CPU(144), 제1 내지 n 인터페이스(145-1 ~ 145-n) 등은 버스(146)를 통해 서로 연결될 수 있다.
ROM(142)에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴 온 명령이 입력되어 전원이 공급되면, 메인 CPU(144)는 ROM(142)에 저장된 명령어에 따라 저장부(160)에 저장된 O/S를 RAM(141)에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU(144)는 저장부(160)에 저장된 각종 어플리케이션 프로그램을 RAM(141)에 복사하고, RAM(141)에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부(143)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 입력부(170)로부터 수신된 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다. 렌더링부에서 생성된 화면은 디스플레이부(110)의 디스플레이 영역 내에 표시된다.
메인 CPU(144)는 저장부(160)에 액세스하여, 저장부(160)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU(144)는 저장부(160)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스(145-1 내지 145-n)는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
특히, 제어부(140)는 디스플레이부(110)에 디스플레이되는 영상 컨텐츠 내에 사용자가 응시하는 오브젝트를 검출하고, 검출된 오브젝트의 정보를 요청하는 신호를 외부의 서버(200)에 전송하도록 통신부(130)를 제어한다. 그리고, 통신부(130)를 통해 서버(200)로부터 검출된 오브젝트의 정보가 수신된 경우, 제어부(140)는 수신된 오브젝트에 대한 정보를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
구체적으로, 제어부(140)는 촬영부(120)로부터 사용자의 눈을 포함하는 영상을 수신받을 수 있다. 제어부(140)는 사용자의 눈을 포함하는 영상을 분석하여 디스플레이부(110) 상에 사용자가 응시하는 지점에 대한 좌표값을 산출할 수 있다.
구체적으로, 제어부(140)는 두 대의 안구 검출(eye-tracking) 기능을 가지는 스테레오 카메라를 이용하여 일정 시간에 걸쳐 영상 프레임당 수차례 샘플링된 두 쌍의 좌표값(x,y)을 검출할 수 있다. 그리고, 사용자가 디스플레이부(110) 내에 응시한 지점이 저장부(160)에 저장된 일정 좌표값 안에 위치하는 경우, 제어부(140)는 일정 프레임 동안 검출된 두 쌍의 좌표값(x,y)의 누적 평균값을 사용자가 응시한 최종 좌표값(x,y)으로 결정할 수 있다. 예를 들어, 도 4a에 도시된 바와 같이, 제어부(140)는 제1 프레임에서 사용자가 응시한 지점(410-1)을 검출할 수 있으며, 제2 프레임에서 사용자가 응시한 지점(410-2)을 검출할 수 있고 이와 같은 방식으로, 제10프레임까지 사용자가 응시한 지점(410-10)을 검출할 수 있다. 그리고, 제어부(140)는 도 4b에 도시된 바와 같이, 제1 프레임에서 사용자가 응시한 지점(410-1)부터 제10프레임에서 사용자가 응시한 지점(410-10)까지의 평균 좌표값을 산출하여 최종 응시 지점(420)을 산출할 수 있다.
그리고, 제어부(140)는 사용자가 기설정된 시간동안 응시한 좌표값을 바탕으로 오브젝트의 범위를 검출할 수 있다. 구체적으로, 제어부(140)는 산출된 지점(420)에 대한 주변 영상의 색상, 주파수 성분 및 엣지 변화를 검출하여 오브젝트의 범위를 검출할 수 있다. 그리고, 제어부(140)는 검출된 오브젝트의 범위를 바탕으로 검색을 위한 오브젝트를 결정할 수 있다.
정보 검색을 위한 오브젝트가 결정된 경우, 제어부(140)는 검출된 오브젝트에 대한 정보를 요청하는 신호를 서버(200)에 전송하도록 통신부(130)를 제어할 수 있다. 이때, 제어부(140)는 영상 컨텐츠에 대한 정보 및 검출된 오브젝트의 검출 정보를 함께 전송하도록 통신부(130)를 제어할 수 있다. 특히, 영상 컨텐츠가 방송 컨텐츠인 경우, 영상 컨텐츠에 대한 정보는 방송 시간 정보, 채널 정보 및 방송 프로그램 정보 중 적어도 하나를 포함하며 오브젝트에 대한 검출 정보는 검출된 오브젝트의 이미지 정보, 오브젝트 검출 시간 정보, 오브젝트 색상 정보 중 적어도 하나를 포함할 수 있다.
서버(200)는 디스플레이 장치(100)로부터 수신한 영상 컨텐츠에 대한 정보 및 검출된 오브젝트의 검출 정보를 바탕으로 오브젝트에 대한 정보를 검색할 수 있다. 우선, 서버(200)는 영상 컨텐츠에 대한 정보를 바탕으로 일치하는 PPL 정보가 존재하는 여부를 판단할 수 있다. 예를 들어, 디스플레이 장치(100)로부터 방송 컨텐츠에 대한 정보를 수신한 경우, 서버(200)는 기 저장된 방송 컨텐츠와 대응되는 PPL 정보가 존재하는지 여부를 우선적으로 검색할 수 있다. PPL 정보가 존재하는 경우, 서버(200)는 PPL 정보와 오브젝트의 검출 정보를 비교하여 오브젝트에 대한 정보를 검출할 수 있다. PPL 정보가 존재하지 않거나 PPL 정보에 오브젝트에 대한 정보가 존재하지 않는 경우, 서버(200)는 외부의 다른 서버로부터 오브젝트에 대한 정보 검색을 요청할 수 있다.
이때, 서버(200)는 오브젝트에 대한 정보로서, 오브젝트에 대한 상세 정보, 오브젝트에 대한 구매 정보, 오브젝트와 관련된 제품 정보, 오브젝트에 대한 광고 정보 중 적어도 하나를 검색할 수 있다. 오브젝트에 대한 상세 정보는 오브젝트의 제품명, 제조회사, 용량 등과 같은 정보일 수 있으며, 오브젝트와 관련된 제품 정보는 판매 웹사이트, 판매 전화번호 등과 같은 정보일 수 있으며, 오브젝트와 관련된 제품 정보는 오브젝트와 동일한 종류 또는 동일한 회사의 관련 제품 정보일 수 있으며, 오브젝트에 대한 광고 정보는 오브젝트의 광고 동영상, 광고 문구 등과 같은 정보일 수 있다.
그리고, 서버(200)는 검색된 오브젝트에 대한 정보를 디스플레이 장치(100)로 전송할 수 있다.
서버(200)로부터 오브젝트에 대한 정보가 수신된 경우, 제어부(140)는 수신된 오브젝트에 대한 정보를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 특히, 제어부(140)는 도 5에 도시된 바와 같이, 오브젝트에 대한 정보로서, 오브젝트의 제품명, 오브젝트의 용량, 오브젝트의 가격 및 오브젝트의 구매 웹 사이트에 대한 정보를 포함하는 UI(510)를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다. 오브젝트와 관련된 제품 정보, 오브젝트에 대한 광고 정보 중 적어도 하나를 포함할 수 있다. 그러나, 도 5에 도시된 UI(510)는 일 실시예에 불과할 뿐, 오브젝트와 관련된 제품의 정보, 오브젝트에 대한 광고 정보 역시 디스플레이될 수 있다. 특히, 제어부(140)는 입력부(170)를 통해 입력된 사용자 명령에 따라 UI에 상이한 오브젝트에 대한 정보를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
상술한 바와 같이, 사용자가 응시하는 오브젝트를 검출하여 오브젝트에 대한 정보를 제공함으로써, 사용자는 자신이 관심 있어 하는 오브젝트에 대한 정보를 별다른 조작 없이 쉽고 빠르게 획득할 수 있게 된다.
한편, 제어부(140)는 사용자를 인식하고, 인식된 사용자에 대응되는 단말 장치(300)에 오브젝트에 대한 정보를 전송하도록 통신부(130)를 제어할 수 있다.
구체적으로, 제어부(140)는 다양한 방법으로 사용자를 인식할 수 있다. 예를 들어, 제어부(140)는 촬영부(120)를 통해 촬영된 사용자 얼굴, 안구 등을 이용하여 사용자를 인식할 수 있으며, 지문 인식을 이용하여 사용자를 인식할 수 있으며, ID/비밀번호를 바탕으로 사용자를 인식할 수 있다.
사용자가 인식된 경우, 제어부(140)는 인식된 사용자가 응시하는 오브젝트에 대한 정보를 저장부(160)에 기 저장된 인식된 사용자에 대응되는 단말 장치로 전송할 수 있다. 이로 인해, 사용자는 디스플레이 장치(100)의 시청 방해 없이 자신의 단말 장치를 이용하여 현재 응시하는 오브젝트에 대한 정보를 제공받을 수 있게 된다.
특히, 사용자가 인식된 경우, 제어부(140)는 사용자 명령에 따라 인식된 사용자가 이전에 관심 있어 하는 오브젝트에 대한 정보를 다시 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
또한, 복수의 사용자가 영상 컨텐츠를 시청하는 경우, 제어부(140)는 복수의 사용자 각각이 응시하는 오브젝트를 검출하며, 복수의 사용자 각각이 응시하는 오브젝트에 대한 정보를 복수의 사용자에 대응되는 단말 장치 각각에 전송하도록 통신부(130)를 제어할 수 있다. 예를 들어, 제1 사용자 및 제2 사용자가 영상 컨텐츠를 시청하는 경우, 제어부(140)는 스테레오 카메라를 이용하여 제1 사용자가 응시하는 제1 오브젝트 및 제2 사용자가 응시하는 제2 오브젝트를 검출할 수 있다. 그리고, 제어부(140)는 제1 오브젝트에 대한 정보 및 제2 오브젝트에 대한 정보를 서버(200)에 요청할 수 있다. 서버(200)로부터 제1 오브젝트에 대한 정보 및 제2 오브젝트에 대한 정보가 수신된 경우, 제어부(140)는 제1 오브젝트에 대한 정보를 제1 사용자에 대응되는 제1 단말 장치로 전송하며, 제2 오브젝트에 대한 정보를 제2 사용자에 대응되는 제2 단말 장치로 전송하도록 통신부(130)를 제어할 수 있다. 한편, 상술한 실시예에서는 모든 사용자에 대응되는 단말 장치로 오브젝트에 대한 정보를 전송하는 것으로 설명하였으나, 이는 일 실시예에 불과할 뿐, 복수의 사용자 중 적어도 한 명이 응시하는 오브젝트에 대한 정보는 디스플레이부(110)에 디스플레이할 수 있다. 또한, 모든 사용자가 동일한 오브젝트를 응시하는 경우, 제어부(140)는 모든 사용자가 응시하는 오브젝트에 대한 정보를 단말 장치에 전송하지 않고, 디스플레이부(110)에 디스플레이할 수 있다.
한편, 화면 전환 속도가 빠른 경우, 사용자가 기설정된 시간 동안 오브젝트를 응시할 수 없으므로, 사용자가 응시하는 오브젝트를 쉽게 검출할 수 없게 된다. 따라서, 화면 전환 속도가 기설정된 값 이상보다 빠른 경우, 제어부(140)는 입력부(170)를 통해 현재 디스플레이되는 영상 컨텐츠의 재생을 중지하는 사용자 명령을 입력받을 수 있다. 영상 컨텐츠의 재생을 중지하는 사용자 명령이 입력된 경우, 제어부(140)는 영상 컨텐츠의 재생을 중지하고, 중지된 영상 컨텐츠에 포함된 오브젝트들 중 사용자가 응시하는 오브젝트를 검출할 수 있다. 그리고, 제어부(140)는 오브젝트에 대한 정보를 서버(200)에 요청하며, 서버(200)로부터 수신한 오브젝트에 대한 정보를 사용자에게 제공할 수 있다.
이때, 제어부(140)는 화면 전환 속도가 기설정된 값 이상인 경우, 화면의 일 영역에 화면 전환 속도가 빠름을 안내하는 인디케이터를 디스플레이하도록 디스플레이부(110)를 제어할 수 있다.
이하에서는 도 6을 참조하여 본 발명의 일 실시예에 따른, 디스플레이 장치(100)의 정보 제공 방법에 대해 설명하기로 한다.
우선, 디스플레이 장치(100)는 영상 컨텐츠를 디스플레이한다(S610). 이때, 영상 컨텐츠는 방송 컨텐츠일 수 있다.
그리고, 디스플레이 장치(100)는 영상 컨텐츠 내에 사용자가 응시하는 오브젝트를 검출한다(S620). 구체적으로, 디스플레이 장치(100)는 촬영부(120)를 통해 촬영된 사용자의 눈을 포함하는 영상을 분석하여, 사용자가 응시하는 지점에 대한 좌표 정보를 획득할 수 있다. 그리고, 디스플레이 장치(100)는 획득된 좌표 정보를 바탕으로 주변 영상의 색상 정보, 주파수 정보 및 엣지 변화 등을 바탕으로 오브젝트의 범위를 판단할 수 있다.
그리고, 디스플레이 장치(100)는 검출된 오브젝트의 정보를 요청하는 신호를 서버(200)에 전송한다(S630). 이때, 디스플레이 장치(100)는 요청 신호와 함께 오브젝트에 대한 검출 정보 및 영상 컨텐츠 정보를 함께 전송할 수 있다.
그리고, 디스플레이 장치(100)는 오브젝트의 정보를 서버(200)로부터 수신한다(S640). 이때, 수신된 오브젝트의 정보는 오브젝트의 상세 정보, 오브젝트의 구매 정보, 오브젝트와 연관된 제품의 정보, 오브젝트의 광고 정보 중 적어도 하나를 포함할 수 있다.
그리고, 디스플레이 장치(100)는 오브젝트에 대한 정보를 디스플레이한다(S650). 구체적으로, 디스플레이 장치(100)는 도 5에 도시된 바와 같은 오브젝트에 대한 정보를 포함하는 UI(510)를 디스플레이할 수 있다. 이때, 디스플레이 장치(100)는 오브젝트에 대한 정보를 외부의 단말 장치(300)로 전송할 수 있다.
상술한 바와 같이, 디스플레이 장치(100)가 사용자가 관심 있어 하는 오브젝트를 예측하여 사용자에게 오브젝트에 대한 정보(특히, 구매 정보 및 광고 정보 등)를 실시간으로 제공함으로써, 사용자는 자신이 관심 있어 하는 오브젝트에 대한 정보를 신속하고 간편하게 획득할 수 있게 된다.
이상과 같은 다양한 실시 예에 따른 정보 제공 방법을 수행하기 위한 프로그램 코드는 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장될 수 있다. 비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
110: 디스플레이부 120: 촬영부
130: 통신부 140: 제어부
150: 영상 입력부 160: 저장부
170: 입력부

Claims (18)

  1. 영상 컨텐츠를 디스플레이하는 단계;
    상기 영상 컨텐츠 내에 사용자가 응시하는 오브젝트를 검출하는 단계;
    상기 검출된 오브젝트의 정보를 요청하는 신호를 외부의 서버에 전송하는 단계;
    상기 서버로부터 상기 검출된 오브젝트의 정보가 수신된 경우, 상기 수신된 오브젝트에 대한 정보를 디스플레이하는 단계;를 포함하는 정보 제공 방법.
  2. 제1항에 있어서,
    상기 검출하는 단계는,
    카메라에 의해 촬영된 상기 사용자의 눈의 움직임을 판단하여 상기 사용자가 응시하는 지점의 좌표값을 산출하는 단계; 및
    상기 산출된 좌표값을 포함하는 오브젝트를 판단하는 단계;를 포함하는 정보 제공 방법.
  3. 제2항에 있어서,
    상기 판단하는 단계는,
    상기 검출된 지점을 중심으로 주변 영상에 대한 색상, 주파주 성분, 엣지 변화를 이용하여 상기 오브젝트의 범위를 판단하는 것을 특징으로 하는 정보 제공 방법.
  4. 제1항에 있어서,
    상기 전송하는 단계는,
    상기 영상 컨텐츠에 대한 정보 및 상기 검출된 오브젝트에 대한 검출 정보를 함께 상기 서버에 전송하는 것을 특징으로 하는 정보 제공 방법.
  5. 제4항에 있어서,
    상기 영상 컨텐츠가 방송 컨텐츠인 경우,
    상기 영상 컨텐츠에 대한 정보는,
    방송 시간 정보, 채널 정보 및 방송 프로그램 정보 중 적어도 하나를 포함하며,
    상기 오브젝트에 대한 검출 정보는,
    상기 검출된 오브젝트의 이미지 정보, 오브젝트 검출 시간 정보, 오브젝트 색상 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 정보 제공 방법.
  6. 제1항에 있어서,
    상기 사용자를 인식하는 단계; 및
    기등록된 상기 인식된 사용자에 대응되는 단말 장치에 상기 오브젝트에 대한 정보를 전송하는 단계;를 더 포함하는 것을 정보 제공 방법.
  7. 제6항에 있어서,
    복수의 사용자가 상기 영상 컨텐츠를 시청하는 경우,
    상기 검출하는 단계는,
    상기 복수의 사용자 각각이 응시하는 오브젝트를 검출하며,
    상기 복수의 사용자 각각이 응시하는 오브젝트에 대한 정보를 상기 복수의 사용자에 대응되는 단말 장치 각각에 전송하는 단계;를 더 포함하는 것을 특징으로 하는 정보 제공 방법.
  8. 제1항에 있어서,
    상기 영상 컨텐츠의 재생을 중지하는 사용자 명령이 입력된 경우, 상기 영상 컨텐츠의 재생을 중지하는 단계;를 더 포함하며,
    상기 검출하는 단계는,
    상기 중지된 영상 컨텐츠에 포함된 오브젝트들 중 상기 사용자가 응시하는 오브젝트를 검출하는 것을 특징으로 하는 정보 제공 방법.
  9. 제1항에 있어서,
    상기 오브젝트에 대한 정보는,
    상기 오브젝트에 대한 상세 정보, 상기 오브젝트에 대한 구매 정보, 상기 오브젝트와 관련된 제품 정보, 상기 오브젝트에 대한 광고 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 정보 제공 방법.
  10. 영상 컨텐츠를 디스플레이하는 디스플레이부;
    외부 서버와 통신을 수행하는 통신부;
    사용자를 촬영하는 촬영부; 및
    상기 디스플레이부에 디스플레이되는 영상 컨텐츠 내에 사용자가 응시하는 오브젝트를 검출하고, 상기 검출된 오브젝트의 정보를 요청하는 신호를 외부의 서버에 전송하도록 상기 통신부를 제어하며, 상기 통신부를 통해 상기 서버로부터 상기 검출된 오브젝트의 정보가 수신된 경우, 상기 수신된 오브젝트에 대한 정보를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 디스플레이 장치.
  11. 제10항에 있어서,
    상기 제어부는,
    상기 카메라에 의해 촬영된 상기 사용자의 눈의 움직임을 판단하여 상기 사용자가 응시하는 지점의 좌표값을 산출하고, 상기 산출된 좌표값을 포함하는 오브젝트를 판단하는 것을 특징으로 하는 디스플레이 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 검출된 지점을 중심으로 주변 영상에 대한 색상, 주파주 성분, 엣지 변화를 이용하여 상기 오브젝트의 범위를 판단하는 것을 특징으로 하는 디스플레이 장치.
  13. 제10항에 있어서,
    상기 제어부는,
    상기 오브젝트에 대한 정보를 요청하는 경우, 상기 영상 컨텐츠에 대한 정보 및 상기 검출된 오브젝트에 대한 검출 정보를 함께 상기 서버에 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  14. 제13항에 있어서,
    상기 영상 컨텐츠가 방송 컨텐츠인 경우,
    상기 영상 컨텐츠에 대한 정보는,
    방송 시간 정보, 채널 정보 및 방송 프로그램 정보 중 적어도 하나를 포함하며,
    상기 오브젝트에 대한 검출 정보는,
    상기 검출된 오브젝트의 이미지 정보, 오브젝트 검출 시간 정보, 오브젝트 색상 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  15. 제10항에 있어서,
    사용자와 단말 장치를 매칭하여 저장하는 저장부;를 더 포함하며,
    상기 제어부는,
    상기 촬영부를 통해 상기 사용자를 인식하며, 상기 저장부에 저장된 상기 인식된 사용자에 대응되는 단말 장치에 상기 오브젝트에 대한 정보를 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  16. 제15항에 있어서,
    복수의 사용자가 상기 영상 컨텐츠를 시청하는 경우,
    상기 제어부는,
    상기 복수의 사용자 각각이 응시하는 오브젝트를 검출하며, 상기 복수의 사용자 각각이 응시하는 오브젝트에 대한 정보를 상기 복수의 사용자에 대응되는 단말 장치 각각에 전송하도록 상기 통신부를 제어하는 것을 특징으로 하는 디스플레이 장치.
  17. 제10항에 있어서,
    사용자 명령을 입력받는 입력부;를 더 포함하며,
    상기 제어부는,
    상기 영상 컨텐츠의 재생을 중지하는 사용자 명령이 입력된 경우, 상기 영상 컨텐츠의 재생을 중지하고, 상기 중지된 영상 컨텐츠에 포함된 오브젝트들 중 상기 사용자가 응시하는 오브젝트를 검출하는 것을 특징으로 하는 디스플레이 장치.
  18. 제10항에 있어서,
    상기 오브젝트에 대한 정보는,
    상기 오브젝트에 대한 상세 정보, 상기 오브젝트에 대한 구매 정보, 상기 오브젝트와 관련된 제품 정보, 상기 오브젝트에 대한 광고 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
KR1020130136127A 2013-11-11 2013-11-11 디스플레이 장치 및 이의 정보 제공 방법 KR20150054121A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130136127A KR20150054121A (ko) 2013-11-11 2013-11-11 디스플레이 장치 및 이의 정보 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130136127A KR20150054121A (ko) 2013-11-11 2013-11-11 디스플레이 장치 및 이의 정보 제공 방법

Publications (1)

Publication Number Publication Date
KR20150054121A true KR20150054121A (ko) 2015-05-20

Family

ID=53390365

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130136127A KR20150054121A (ko) 2013-11-11 2013-11-11 디스플레이 장치 및 이의 정보 제공 방법

Country Status (1)

Country Link
KR (1) KR20150054121A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043923A1 (ko) * 2016-09-01 2018-03-08 삼성전자(주) 디스플레이장치 및 그 제어방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018043923A1 (ko) * 2016-09-01 2018-03-08 삼성전자(주) 디스플레이장치 및 그 제어방법

Similar Documents

Publication Publication Date Title
US10976920B2 (en) Techniques for image-based search using touch controls
US10575041B2 (en) Method for controlling source device at sink device and apparatus for the same
US11630861B2 (en) Method and apparatus for video searching, terminal and storage medium
KR101971624B1 (ko) 이동 단말의 정보 표시 방법, 디스플레이 장치의 정보 제공 방법, 이동 단말의 제어 신호 생성 방법
EP2728859B1 (en) Method of providing information-of-users' interest when video call is made, and electronic apparatus thereof
US20190324634A1 (en) Display and Processing Methods and Related Apparatus
US10283004B2 (en) Multimedia apparatus, online education system, and method for providing education content thereof
US20150347461A1 (en) Display apparatus and method of providing information thereof
US9836266B2 (en) Display apparatus and method of controlling display apparatus
US20180020252A1 (en) Information display method, channel management platform, and terminal
KR102206060B1 (ko) 전자 장치의 효과 디스플레이 방법 및 그 전자 장치
US10789033B2 (en) System and method for providing widget
EP3016377A1 (en) Display apparatus, controlling method and display system
US20140324623A1 (en) Display apparatus for providing recommendation information and method thereof
CN110007832B (zh) 信息终端装置、信息处理系统以及存储有显示控制程序的计算机可读非暂时性的存储介质
US20140229416A1 (en) Electronic apparatus and method of recommending contents to members of a social network
US20150199021A1 (en) Display apparatus and method for controlling display apparatus thereof
US20170108997A1 (en) Electronic device sharing content with an external device and method for sharing content thereof
CN106464976B (zh) 显示设备、用户终端设备、服务器及其控制方法
CN109947988B (zh) 一种信息处理方法、装置、终端设备及服务器
US20190052745A1 (en) Method For Presenting An Interface Of A Remote Controller In A Mobile Device
KR20160134355A (ko) 디스플레이 장치 및 이의 제어 방법
CN108304076B (zh) 电子装置、视频播放应用的管理方法及相关产品
KR20150054121A (ko) 디스플레이 장치 및 이의 정보 제공 방법
CN108141474B (zh) 与外部设备共享内容的电子设备及其用于共享内容的方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)