KR20180017424A - 디스플레이 장치 및 제어 방법 - Google Patents

디스플레이 장치 및 제어 방법 Download PDF

Info

Publication number
KR20180017424A
KR20180017424A KR1020160101217A KR20160101217A KR20180017424A KR 20180017424 A KR20180017424 A KR 20180017424A KR 1020160101217 A KR1020160101217 A KR 1020160101217A KR 20160101217 A KR20160101217 A KR 20160101217A KR 20180017424 A KR20180017424 A KR 20180017424A
Authority
KR
South Korea
Prior art keywords
image
server
display device
extracted
display
Prior art date
Application number
KR1020160101217A
Other languages
English (en)
Inventor
최우섭
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160101217A priority Critical patent/KR20180017424A/ko
Priority to US15/661,475 priority patent/US20180046631A1/en
Publication of KR20180017424A publication Critical patent/KR20180017424A/ko

Links

Images

Classifications

    • G06F17/30047—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/434—Query formulation using image data, e.g. images, photos, pictures taken by a user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/41—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/951—Indexing; Web crawling techniques
    • G06F17/3002—
    • G06F17/30247—
    • G06F17/30268—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

디스플레이 장치 및 제어 방법이 개시된다. 디스플레이 장치는 동영상 컨텐츠를 디스플레이하는 디스플레이, 서버와 통신하는 통신 인터페이스, 스토리지 및 동영상 컨텐츠를 구성하는 복수의 프레임 각각으로부터 적어도 하나의 오브젝트의 이미지를 추출하고, 추출된 오브젝트의 이미지를 스토리지에 저장하는 프로세서를 포함하고, 프로세서는 현재 디스플레이된 화면에 포함된 오브젝트가 선택되면 저장된 오브젝트의 이미지를 서버로 전송하고, 서버로부터 전송된 이미지를 기초로 검색된 오브젝트와 관련된 정보를 수신하여 디스플레이를 통해 제공한다.

Description

디스플레이 장치 및 제어 방법{DISPLAY APPARATUS AND CONTROLLING METHOD THEREOF}
본 발명은 디스플레이 장치 및 제어 방법에 관한 것으로, 더욱 상세하게는 컨텐츠에 포함된 오브젝트에 관한 정보를 디스플레이하는 디스플레이 장치 및 제어 방법에 관한 것이다.
기술의 발전에 따라 전자 장치의 기능이 다양해지고 있다. 예를 들어, 기존의 디스플레이 장치(예, TV)는 컨텐츠를 수신하여 디스플레이하는 기능을 수행하였다. 그러나, 기술의 발전에 따라 디스플레이 장치는 다양한 기능을 수행하게 되었다. 예를 들어, 디스플레이 장치는 저장 장치에 저장된 동영상을 재생할 수 있고, 저장 장치에 저장된 사진 등을 디스플레이할 수 있다. 그리고, 디스플레이 장치는 인터넷과 연결되어 웹 페이지를 디스플레이할 수 있고, 사용자가 검색을 희망하는 오브젝트를 검색하여 검색 결과를 표시할 수도 있다.
사용자가 디스플레이 장치를 이용하여 오브젝트를 검색하기 위해서는 웹 페이지를 실행하여 검색할 텍스트를 입력해야 한다. 또는, 사용자는 디스플레이 장치에 음성으로 검색할 단어를 입력해야 한다. 사용자가 검색할 오브젝트를 정확히 알고 있는 경우, 디스플레이 장치는 오브젝트와 일치하는 검색 결과를 디스플레이할 수 있다. 그러나, 컨텐츠 장면에 포함된 오브젝트와 같이, 사용자가 검색을 희망하지만 오브젝트에 대해 정확히 모르는 경우가 존재한다. 예를 들어, 사용자가 컨텐츠 장면에 포함된 가방에 관심을 가지지만, 검색에 이용할 수 있는 다른 정보를 모르는 경우, 사용자는 기존의 텍스트 또는 음성 입력으로 희망하는 가방에 대한 정보를 검색하기 어렵다. 따라서, 사용자가 오브젝트에 관한 구체적인 정보를 모르더라도 정확히 검색할 수 있는 기술에 대한 필요성이 있다.
본 명세서의 목적은 컨텐츠에 포함된 오브젝트에 관한 정보를 용이하고 정확하게 검색할 수 있는 디스플레이 장치 및 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 일 실시 예에 따르면, 디스플레이 장치는 동영상 컨텐츠를 디스플레이하는 디스플레이, 서버와 통신하는 통신 인터페이스, 스토리지 및 상기 동영상 컨텐츠를 구성하는 복수의 프레임 각각으로부터 적어도 하나의 오브젝트의 이미지를 추출하고, 추출된 오브젝트의 이미지를 상기 스토리지에 저장하는 프로세서를 포함하고, 상기 프로세서는 현재 디스플레이된 화면에 포함된 상기 오브젝트가 선택되면 상기 저장된 오브젝트의 이미지를 상기 서버로 전송하고, 상기 서버로부터 상기 전송된 이미지를 기초로 검색된 상기 오브젝트와 관련된 정보를 수신하여 상기 디스플레이를 통해 제공한다.
그리고, 일 실시 예에 다른 디스플레이 장치의 제어 방법은 동영상 컨텐츠를 구성하는 복수의 프레임 각각으로부터 적어도 하나의 오브젝트의 이미지를 추출하는 단계, 추출된 오브젝트의 이미지를 스토리지에 저장하는 단계, 현재 디스플레이된 화면에 포함된 상기 오브젝트가 선택되면 상기 저장된 오브젝트의 이미지를 서버로 전송하는 단계 및 상기 서버로부터 상기 전송된 이미지를 기초로 검색된 상기 오브젝트와 관련된 정보를 수신하여 디스플레이하는 단계를 포함한다.
이상 설명한 바와 같이 다양한 실시 예에 따르면, 디스플레이 장치 및 제어 방법은 컨텐츠로부터 편리하게 검색할 오브젝트를 선택하고 정확한 검색 결과를 획득할 수 있다.
그리고, 디스플레이 장치 및 제어 방법은 복수의 오브젝트 이미지를 이용하여 검색함으로써 오브젝트에 관한 정보를 정확하게 검색할 수 있다.
또한, 디스플레이 장치 및 제어 방법은 부가 정보를 이용하여 검색함으로써 오브젝트에 관한 정보를 정확하게 검색할 수 있다.
그리고, 디스플레이 장치 및 제어 방법은 오브젝트 이미지만을 서버로 전송함으로써 전송 데이터의 부하를 줄일 수 있다.
또한, 디스플레이 장치 및 제어 방법은 일정한 기준에 따라 추출된 이미지를 삭제함으로써 일정 용량의 저장 공간만을 사용할 수 있다.
또한, 디스플레이 장치 및 제어 방법은 컨텐츠 종료 후에도 컨텐츠 내에 포함된 오브젝트를 추출하여 정확하게 검색할 수 있다.
도 1은 일 실시 예에 따른 검색 시스템을 설명하는 도면이다.
도 2는 일 실시 예에 따른 디스플레이 장치의 블록도이다.
도 3은 일 실시 예에 따른 프로세서의 세부 블록도이다.
도 4는 일 실시 예에 따른 오브젝트를 추출하는 과정을 설명하는 도면이다.
도 5는 일 실시 예에 따른 추출된 오브젝트의 이미지를 저장하는 과정을 설명하는 도면이다.
도 6은 일 실시 예에 따른 저장된 오브젝트 이미지의 관리 방법을 설명하는 도면이다.
도 7은 일 실시 예에 따른 오브젝트를 선택하는 과정을 설명하는 도면이다.
도 8은 일 실시 예에 따른 오브젝트에 관한 검색 정보를 디스플레이하는 과정을 설명하는 도면이다.
도 9는 일 실시 예에 따른 디스플레이 장치 제어 방법의 흐름도이다.
도 10은 다른 실시 예에 따른 디스플레이 장치 제어 방법의 흐름도이다.
이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 발명의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다. 다만, 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
도 1은 일 실시 예에 따른 검색 시스템을 설명하는 도면이다.
검색 시스템은 디스플레이 장치(100) 및 서버(200)를 포함한다. 예를 들어, 디스플레이 장치(100)는 디지털 TV, 디지털 방송용 단말 장치, 데스크탑 컴퓨터, 슬레이트 PC, 태블릿 PC, 노트북 컴퓨터, 휴대폰, 스마트폰, 키오스크, 디지털 사이니지 등을 포함할 수 있다. 디스플레이 장치(100)는 동영상 컨텐츠를 재생할 수 있다. 동영상 컨텐츠는 방송 채널을 통한 방송 컨텐츠를 포함할 수 있다. 디스플레이 장치(100)의 디스플레이는 동영상 컨텐츠 영상을 디스플레이할 수 있다. 예를 들어, 동영상 컨텐츠는 방송국으로부터 수신된 방송 컨텐츠일 수 있다. 또는, 동영상 컨텐츠는 디스플레이 장치(100)의 내/외부 스토리지에 저장된 컨텐츠일 수도 있다.
디스플레이 장치(100)는 동영상 컨텐츠를 재생하는 동안, 일정 주기로 컨텐츠에 포함된 오브젝트의 이미지를 추출할 수 있다. 예를 들어, 컨텐츠에 포함된 오브젝트는 하나의 영상 프레임에 포함된 자동차, 가방, 의상 등과 같은 소품 오브젝트를 포함할 수 있고, 나무, 건물 등과 같은 배경 오브젝트를 포함할 수 있다. 일 실시 예로서, 디스플레이 장치(100)는 5초, 10초, 1분 등과 같이 시간 단위를 기준으로 오브젝트의 이미지를 추출할 수 있고, 10프레임, 30프레임, 100프레임 등과 같이 프레임 단위를 기준으로 오브젝트의 이미지를 추출할 수도 있다. 디스플레이 장치(100)는 디스플레이 모듈에 디스플레이된 시점을 기준으로 오브젝트의 이미지를 추출할 수도 있고, 디스플레이된 시점과 상관없이 프로세서에서 처리된 영상 이미지 데이터 값을 기초로 오브젝트를 판단하고 오브젝트의 이미지를 추출할 수도 있다.
디스플레이 장치(100)는 추출된 오브젝트의 이미지를 오브젝트 별로 그룹핑하여 저장할 수 있다. 디스플레이 장치(100)는 동영상 컨텐츠를 재생하는 중에 사용자로부터 오브젝트에 대한 선택 명령을 입력받을 수 있다. 예를 들어, 디스플레이 장치(100)는 동영상 컨텐츠 재생 중에 A 자동차, B 가방, C 자전거를 포함하는 화면을 디스플레이할 수 있다. 사용자는 화면에 디스플레이된 B 가방에 관심을 갖지만, 가방이라는 정보만 알고 있을 뿐 제조사, 모델명 등 다른 정보를 알지 못할 수 있다.
기존 기술의 경우, 사용자는 ‘가방’이라는 단어를 이용하여 검색을 수행하거나 화면에 디스플레이된 가방과 관련이 있다고 추측되는 다른 단어를 이용하여 검색을 수행할 수 있다. 사용자가 검색에 이용한 검색어는 일반적인 단어이거나 화면에 디스플레이된 B 가방과 관련없는 단어일 수 있기 때문에 사용자가 검색을 원하는 B 가방이 검색되지 않을 수 있다.
그러나, 본 명세서의 디스플레이 장치(100)는 사용자의 선택에 상관없이 컨텐츠에 포함된 오브젝트의 이미지를 추출하여 저장할 수 있다. 일 실시 예로서, 디스플레이 장치(100)는 B 가방의 이미지를 추출하여 저장할 수 있다. 사용자가 디스플레이된 B 가방에 관심을 가지는 경우, 디스플레이 장치(100)는 사용자로부터 B 가방에 대한 선택 명령을 입력받을 수 있다. 그리고, 디스플레이 장치(100)는 선택된 B 가방의 저장된 이미지를 서버(200)로 전송할 수 있다. 서버로 전송되는 B 가방의 이미지는 복수 개일 수 있다.
서버(200)는 디스플레이 장치(100)로부터 복수 개의 B 가방 이미지를 수신할 수 있다. 서버(200)는 수신된 복수 개의 B 가방 이미지를 기초로 검색을 수행할 수 있다. 서버(200)는 다양한 크기, 형태, 모양을 포함하는 복수의 B 가방 이미지를 기초로 검색을 수행하기 때문에 정확한 B 가방과 관련된 정보를 검색할 수 있다. 서버(200)는 검색된 B 가방과 관련된 정보를 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 서버(200)로부터 수신된 B 가방과 관련된 정보를 디스플레이할 수 있다.
또는, 사용자는 동영상 컨텐츠의 재생이 종료된 후, 동영상 컨텐츠에 포함된 오브젝트에 대한 정보를 검색할 수 있다. 디스플레이 장치(100)는 저장 공간을 확보하기 위해 일정한 기준에 따라 추출한 이미지를 삭제할 수 있다. 따라서, 동영상 컨텐츠의 재생이 종료된 경우, 추출된 이미지가 적거나 없을 수 있다. 따라서, 디스플레이 장치(100)는 상술한 오브젝트 이미지 추출과 별개로 동영상 컨텐츠 프레임의 전체 영역을 일정 주기로 캡쳐할 수 있다. 예를 들어, 일정 주기는 5초, 10초, 1분, 5분 등과 같이 시간 단위일 수 있고, 30프레임, 100프레임, 1000프레임 등과 같이 프레임 단위일 수도 있다. 동영상 컨텐츠 프레임의 캡쳐는 디스플레이된 시점을 기준으로 디스플레이된 화면을 캡쳐할 수 있고, 디스플레이와 상관없이 수신된 영상 신호로부터 프레임 데이터를 저장할 수도 있다. 디스플레이 장치(100)는 오브젝트 선택 명령에 대응하여 캡쳐된(또는, 저장된) 프레임의 썸네일 이미지를 디스플레이할 수 있다. 디스플레이 장치(100)는 썸네일 이미지에 대한 선택 명령에 대응하여 선택된 썸네일 이미지를 확대할 수 있다. 디스플레이 장치(100)는 확대된 썸네일 이미지에 포함된 오브젝트에 대한 선택 명령에 대응하여 선택된 오브젝트의 이미지를 추출하고 추출된 이미지를 서버(200)로 전송할 수 있다. 서버(200)는 전송된 오브젝트의 이미지를 기초로 검색을 수행하고, 검색된 오브젝트와 관련된 정보를 디스플레이 장치(100)로 전송할 수 있다. 디스플레이 장치(100)는 수신된 오브젝트와 관련된 정보를 디스플레이 할 수 있다.
따라서, 디스플레이된 화면 내의 오브젝트를 이용하여 검색이 수행됨으로써 사용자가 오브젝트에 대해 명확히 알지 못하더라도 정확한 정보가 수행될 수 있다. 아래에서는, 디스플레이 장치(100)의 구성 요소를 설명한다.
도 2는 일 실시 예에 따른 디스플레이 장치의 블록도이다.
도 2를 참조하면, 디스플레이 장치(100)는 디스플레이(110), 통신 인터페이스(120), 스토리지(130) 및 프로세서(140)를 포함한다. 디스플레이(110)는 재생되는 동영상 컨텐츠를 디스플레이한다. 예를 들어, 디스플레이(110)는 액정 디스플레이, 박막 트랜지스터 액정 디스플레이, 유기 발광 다이오드, 플렉서블 디스플레이, 전자잉크 디스플레이 등을 포함할 수 있다. 디스플레이(110)는 터치 센서를 포함할 수 있다. 디스플레이(110)는 터치 센서와 일체형으로 구현되거나 터치 센서와 레이어 구조로 형성됨으로써 터치 스크린의 형태로 구현될 수 있다. 터치 스크린 형태의 디스플레이(110)는 디스플레이 장치(110)와 사용자 사이의 입력 인터페이스 및 출력 인터페이스의 기능을 수행할 수 있다.
통신 인터페이스(120)는 서버와 통신을 수행한다. 통신 인터페이스(120)는 추출된 오브젝트의 이미지를 서버로 전송하고, 검색된 오브젝트와 관련된 정보를 서버로부터 수신할 수 있다. 그리고, 통신 인터페이스(120)는 방송 채널을 통해 외부 방송 서버(또는, 방송국)로부터 방송 신호 및 방송과 관련된 정보를 수신할 수 있다. 또한, 통신 인터페이스(120)는 외부 입력 단자를 포함하며, 외부 입력 단자를 통해 외부 스토리지에 저장된 동영상 컨텐츠를 수신할 수도 있다.
스토리지(130)는 디스플레이 장치(100)의 다양한 기능을 지원하는 데이터를 저장한다. 스토리지(130)는 디스플레이 장치(100)의 동작을 위한 소프트웨어를 저장할 수 있고, 입출력 데이터를 저장할 수 있다. 그리고, 스토리지(130)는 동영상 컨텐츠의 프레임으로부터 추출된 오브젝트의 이미지를 저장할 수 있다. 예를 들어, 스토리지(130)는 플래시 메모리 타입, 하드디스크 타입, SSD 타입, SDD 타입, 멀티미디어 카드 마이크로 타입, 램(RAM), SRAM, 롬(ROM), EEPROM, PROM, 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서(140)는 동영상 컨텐츠를 구성하는 복수의 프레임 각각으로부터 오브젝트의 이미지를 추출한다. 일 실시 예로서, 프로세서(140)는 일정한 주기로 오브젝트의 이미지를 추출할 수 있다. 프로세서(140)는 3초, 15초, 1분 등과 같이 시간 단위를 기준으로 오브젝트의 이미지를 추출할 수 있고, 30프레임, 100프레임, 1000프레임 등과 같이 프레임 단위를 기준으로 오브젝트의 이미지를 추출할 수도 있다. 프로세서(140)는 하나의 프레임 내에 포함된 복수의 오브젝트의 이미지를 추출할 수 있다. 예를 들어, 한 프레임 내에 자동차, 나무, 넥타이, 가방이 포함되어 있는 경우, 프로세서(140)는 자동차의 이미지, 나무의 이미지, 넥타이의 이미지, 가방의 이미지를 추출할 수 있다. 프로세서(140)는 오브젝트의 엣지를 기초로 배경과 오브젝트를 구별하여 오브젝트의 엣지를 기초로 오브젝트의 이미지를 추출할 수 있다.
프로세서(140)는 추출된 오브젝트의 이미지를 스토리지(130)에 저장한다. 프로세서(140)는 복수의 프레임 각각으로부터 오브젝트에 대응되는 복수의 이미지를 추출할 수 있다. 예를 들어, 프로세서(140)가 30프레임 단위로 오브젝트의 이미지를 추출하는 경우, 프로세서(140)는 30번째 프레임에 포함된 A 자동차의 측면 이미지를 추출하고, 60번째 프레임에 포함된 A 자동차의 확대된 이미지를 추출하고, 90번째 프레임에 포함된 A 자동차의 정면 이미지를 추출할 수 있다. 프로세서(140)는 추출된 복수의 이미지를 오브젝트 별로 그룹핑하여 스토리지(130)에 저장할 수 있다. 상술한 예에서, 프로세서(140)는 A 자동차 그룹을 생성한 후, 추출된 A 자동차의 측면 이미지, 추출된 A 자동차의 확대된 이미지, 추출된 A 자동차의 정면 이미지를 스토리지(130)에 저장할 수 있다. 한편, 프로세서(140)는 이미지의 추출 시간, 동영상 컨텐츠의 채널 정보, 동영상 컨텐츠의 입력 신호 정보 또는 메타데이터 등을 추출된 이미지에 부가하여 스토리지(130)에 저장할 수 있다.
동영상 컨텐츠의 재생 중에 사용자는 화면에 표시된 오브젝트를 선택할 수 있다. 프로세서(140)는 선택된 오브젝트를 판단할 수 있다. 예를 들어, 프로세서(140)는 동영상 컨텐츠의 디스플레이된 화면에 포함된 A 자동차가 선택되었다는 것을 판단할 수 있다. 프로세서(140)는 저장된 오브젝트의 이미지를 서버로 전송하도록 통신 인터페이스(120)를 제어할 수 있다. 프로세서(140)는 일정한 기준에 따라 선택된 오브젝트 그룹에 포함된 일부 이미지, 선택된 오브젝트 그룹에 포함된 전체 이미지 또는 선택된 오브젝트 그룹 자체를 서버로 전송하도록 통신 인터페이스(120)를 제어할 수 있다. 만일, 저장된 오브젝트의 이미지에 이미지의 추출 시간, 동영상 컨텐츠의 채널 정보, 동영상 컨텐츠의 입력 신호 정보 또는 메타데이터 등의 정보가 부가된 경우, 통신 인터페이스(120)는 부가된 정보도 함께 서버로 전송할 수 있다.
서버는 디스플레이 장치(100)로부터 오브젝트의 이미지를 포함하는 그룹 또는 적어도 하나의 오브젝트의 이미지를 수신한다. 서버는 수신된 오브젝트의 이미지를 이용하여 오브젝트와 관련된 정보를 검색할 수 있다. 서버에서 수신된 오브젝트의 이미지는 이미지의 추출 시간, 동영상 컨텐츠의 채널 정보, 동영상 컨텐츠의 입력 신호 정보 또는 메타데이터 등의 부가 정보를 포함할 수 있다. 서버는 수신된 이미지와 함께 부가 정보를 이용하여 오브젝트에 대한 정보를 검색할 수도 있다. 서버가 수신된 이미지와 함께 부가 정보를 이용하여 오브젝트에 대한 정보를 검색하는 경우 더 정확한 검색 결과를 획득할 수 있다. 일 실시 예로서, 서버에서 수신된 A 자동차 이미지에 BBB 방송국(또는, CCC 채널), DD 드라마, 20시38분에 저장되었다는 정보가 부가된 경우, 서버는 A 자동차라는 것을 용이하게 판단하고, A 자동차에 관한 정보를 빠르게 검색할 수 있다. 서버는 검색된 오브젝트와 관련된 정보를 디스플레이 장치(100)로 전송할 수 있다.
프로세서(140)는 전송된 오브젝트의 이미지를 기초로 검색된 오브젝트와 관련된 정보를 서버로부터 수신하도록 통신 인터페이스(120)를 제어할 수 있다. 프로세서(140)는 수신된 오브젝트와 관련된 정보를 디스플레이하도록 디스플레이(110)를 제어할 수 있다.
한편, 디스플레이 장치는 입력 인터페이스(미도시)를 포함할 수 있다. 입력 인터페이스는 사용자로부터 다양한 명령을 입력받을 수 있다. 예를 들어, 입력 인터페이스는 포인터 이동 명령, 오브젝트 선택 명령, 저장된 썸네일 표시 명령, 썸네일 이미지 선택 명령 또는 오브젝트 관련 정보 검색 명령 등의 명령을 입력받을 수 있다. 예를 들어, 입력 인터페이스는 리모컨, 마우스, 터치스크린, 키보드, 키패드, 사용자 제스처의 영상 신호를 입력받기 위한 카메라 등을 포함할 수 있다.
도 3은 일 실시 예에 따른 프로세서의 세부 블록도이다.
도 3을 참조하면, 프로세서(140)는 영상 입력 모듈(141), 이미지 캡쳐 모듈(142), 오브젝트 추출 모듈(143), 유사성 분석 모듈(144) 및 오브젝트 이미지 추출 모듈(145)를 포함할 수 있다.
영상 입력 모듈(141)은 동영상 컨텐츠의 프레임을 입력받을 수 있다. 동영상 컨텐츠는 통신 인터페이스를 통해 수신될 수 있고, 스토리지에 저장되어 스토리지로부터 입력될 수도 있다.
이미지 캡쳐 모듈(142)은 동영상 컨텐츠의 프레임을 캡쳐할 수 있다. 이미지 캡쳐 모듈(142)은 기 설정된 주기로 동영상 컨텐츠를 캡쳐(또는 저장)할 수 있다. 이미지 캡쳐 모듈(142)에 캡쳐된 프레임은 동영상 컨텐츠의 재생이 종료된 후 사용자가 동영상 컨텐츠에 포함된 오브젝트를 선택할 때 사용될 수 있다.
오브젝트 추출 모듈(143)은 입력된 동영상 컨텐츠의 프레임 내에 포함된 오브젝트의 이미지를 추출할 수 있다. 오브젝트 추출 모듈(143)은 기 설정된 주기로 복수의 프레임으로부터 오브젝트의 이미지를 추출할 수 있다. 또한, 오브젝트 추출 모듈(143)은 하나의 프레임 내에 포함된 복수의 오브젝트의 이미지를 추출할 수 있다. 또한, 오브젝트 추출 모듈(143)은 캡쳐된 프레임에서 사용자에 의해 선택된 오브젝트의 이미지를 추출할 수 있다. 일 실시 예로서, 오브젝트 추출 모듈(143)은 오브젝트의 윤곽선, 색상 등을 기준으로 하나의 영역을 인식하고 인식된 하나의 영역을 오브젝트의 이미지로 추출할 수 있다. 하나의 프레임 내에서 오브젝트를 인식하는 구체적인 방법은 공지된 기술이므로 자세한 설명은 생략한다.
유사성 분석 모듈(144)은 추출된 이미지 간의 유사성을 분석할 수 있다. 상술한 바와 같이, 오브젝트 추출 모듈(143)은 일정한 주기로 복수의 프레임에서 오브젝트의 이미지를 추출할 수 있다. 따라서, 동일한 오브젝트에 대한 복수의 이미지가 추출될 수 있다. 유사성 분석 모듈(144)은 현재 추출된 오브젝트의 이미지와 이전에 추출된 오브젝트의 이미지의 유사성을 판단할 수 있다. 일 실시 예로서, 이미지의 유사성은 다음과 같은 과정을 통해 판단될 수 있다. 먼저, 유사성 분석 모듈(144)은 이미지들로부터 특징을 추출하고, 추출된 특징들에 대해 클러스터링을 수행하여 코드워드들을 추출한다. 추출된 코드워드들을 포함하는 코드북을 생성한다. 각 이미지들을 코드워드들의 히스토그램으로 표현하고, 히스토그램 값의 유사도를 판단하여 이미지의 유사성을 판단한다. 상술한 이미지 유사성 판단 방법은 일 실시 예이며, 유사성 분석 모듈(144)은 다양한 방식으로 이미지 간의 유사성을 판단할 수 있다. 예를 들어, 이전에 A 자동차의 정면 이미지가 추출되고, 현재 A 자동차의 측면 이미지가 추출된 경우, 유사성 분석 모듈(144)은 다양한 유사성 판단 방법을 통해 이전에 추출된 정면 이미지와 현재 추출된 측면 이미지가 동일한 오브젝트의 이미지라는 것을 판단할 수 있다.
오브젝트 이미지 출력 모듈(145)은 현재 추출된 이미지를 스토리지에 저장된 동일한 오브젝트 그룹에 저장하도록 스토리지로 출력할 수 있다. 또는, 오브젝트 이미지 출력 모듈(145)은 추출된 이미지를 서버로 전송하도록 통신 인터페이스로 출력할 수 있다.
프로세서(140)의 영상 입력 모듈(141), 이미지 캡쳐 모듈(142), 오브젝트 추출 모듈(143), 유사성 분석 모듈(144) 및 오브젝트 이미지 추출 모듈(145)은 하드웨어로 구현될 수 있고, 소프트웨어로 구현될 수도 있다.
아래에서는 오브젝트의 이미지를 추출하고 관리하는 과정에 대해 구체적으로 설명한다.
도 4는 일 실시 예에 따른 오브젝트를 추출하는 과정을 설명하는 도면이다.
도 4를 참조하면, 복수의 오브젝트(11, 12, 13)가 디스플레이된 디스플레이 장치(100)가 도시되어 있다. 디스플레이 장치(100)는 동영상 컨텐츠의 프레임을 순차적으로 디스플레이한다. 디스플레이 장치(100)는 일정한 주기로 동영상 컨텐츠의 프레임 내에 포함된 오브젝트의 이미지를 추출할 수 있다. 디스플레이 장치(100)는 디스플레이 모듈에 디스플레이 여부와 상관없이 일정한 주기로 동영상 컨텐츠의 프레임 내에 포함된 오브젝트의 이미지를 추출할 수 있고, 디스플레이 모듈에 디스플레이되는 시점에 기초하여 일정한 주기로 오브젝트의 이미지를 추출할 수도 있다.
컨텐츠의 프레임 내의 오브젝트(11, 12, 13)에는 배경 이미지 또는 주변 이미지와 구분되는 경계선 또는 다른 색상을 포함한다. 따라서, 디스플레이 장치(100)는 오브젝트(11, 12, 13)의 경계선 또는 색상을 기초로 오브젝트의 이미지(11a, 12a, 13a)를 추출할 수 있다. 디스플레이 장치(100)는 오브젝트(11, 12, 13)가 손상되지 않도록 오브젝트(11, 12, 13)의 가장 바깥쪽의 경계선 또는 색상을 기초로 오브젝트의 이미지(11a, 12a, 13a)를 추출할 수 있다. 따라서, 추출된 오브젝트의 이미지(11a, 12a, 13a)는 실제 오브젝트보다 다소 클 수 있다. 또는, 디스플레이 장치(100)는 오브젝트(11, 12, 13)의 색상의 경계 픽셀 또는 경계선 영역의 평균 지점의 픽셀을 기초로 오브젝트의 이미지(11a, 12a, 13a)를 추출할 수도 있다. 따라서, 추출된 오브젝트의 이미지(11a, 12a, 13a)와 실제 오브젝트는 거의 같은 크기일 수 있다.
디스플레이 장치(100)는 추출된 오브젝트의 이미지를 스토리지에 저장할 수 있다. 또는, 디스플레이 장치(100)가 확대된 썸네일 이미지 내에서 선택된 오브젝트의 이미지를 추출하는 경우, 디스플레이 장치(100)는 통신 인터페이스를 통해 추출된 오브젝트의 이미지를 서버로 전송할 수도 있다.
한편, 디스플레이 장치(100)는 사용자로부터 추출할 오브젝트의 크기 또는 개수에 대한 정보를 입력받을 수 있다. 오브젝트의 크기는 픽셀 단위, 길이 단위 또는 면적 단위로 설정될 수 있다. 일 실시 예로서, 디스플레이 장치(100)는 사용자로부터 ‘100픽셀 * 100픽셀 이상’ 이라는 값을 입력받을 수 있다. 디스플레이 장치(100)는 사용자의 입력에 따라 100픽셀 * 100픽셀 이상의 오브젝트에 대해서만 이미지를 추출할 수 있다. 그리고, 디스플레이 장치(100)는 사용자로부터 ‘5개’라는 값을 입력받을 수 있다. 디스플레이 장치(100)는 사용자의 입력에 따라 5개의 오브젝트에 대해서만 이미지를 추출할 수 있다. 디스플레이 장치(100)는 이미지를 추출한 오브젝트가 5개를 초과하는 경우, 가장 오래된 오브젝트 그룹을 삭제할 수 있다. 상술한 오브젝트의 크기 및 개수는 일 실시 예이며, 다양한 값이 설정될 수 있다.
도 5는 일 실시 예에 따른 추출된 오브젝트의 이미지를 저장하는 과정을 설명하는 도면이다.
도 5(a)를 참조하면, 추출된 이미지가 저장된 스토리지(130)가 도시되어 있다. 일 실시 예로서, 스토리지(130)는 A 오브젝트, B 오브젝트 및 C 오브젝트에 대한 이미지를 저장할 수 있다. 이미지가 추출되면, 스토리지(130)는 이미지가 추출된 오브젝트의 그룹을 생성할 수 있다. 도 5(a)에 도시된 스토리지(130)는 A 오브젝트 그룹(20), B 오브젝트 그룹(30), C 오브젝트 그룹(40)을 생성하여 각각의 그룹과 관련된 이미지를 저장하고 있다. 도 5(a)에 도시된 A 오브젝트 그룹(20)에는 a 이미지(21)를 포함하는 5개의 이미지가 저장되어 있고, B 오브젝트 그룹(30)에는 3개의 이미지가 저장되어 있으며, C 오브젝트 그룹(40)에는 1개의 이미지가 저장되어 있다. 디스플레이 장치(100)는 추출된 이미지 간의 유사도만을 판단할 뿐 오브젝트가 무엇인지는 판단하지 않는다. 따라서, 디스플레이 장치(100)는 제1 그룹 또는 A 그룹 등과 같이 임의의 숫자 또는 문자를 설정하여 오브젝트 그룹을 생성할 수 있다.
도 5(b)를 참조하면, 도 5(a)로부터 일정한 시간 이후의 스토리지(130)가 도시되어 있다. 디스플레이 장치(100)는 동영상 컨텐츠의 복수의 프레임으로부터 오브젝트의 이미지를 추출한다. 디스플레이 장치(100)는 동영상 컨텐츠의 재생 동안 매우 많은 이미지를 추출할 수 있다. 따라서, 디스플레이 장치(100)는 스토리지(130)의 저장 용량을 고려하여 하나의 오브젝트를 기준으로 추출된 이미지의 개수가 기 설정된 개수를 초과하면 기 저장된 이미지를 제거할 수 있다. 일 실시 예로서, 기 설정된 개수는 5개로 설정될 수 있다. 도 5(b)를 참조하면, A 오브젝트 그룹(20)은 새로 추출된 a* 이미지(26)를 저장하고 있다. A 오브젝트 그룹(20)은 a* 이미지(26)가 추출되기 전에 이미 5개의 이미지를 저장하고 있었으므로 가장 오래된 a 이미지(21)를 삭제하여 5개의 이미지를 유지할 수 있다. 그리고, C 오브젝트 그룹(40)에는 새로 추출된 cc 이미지(42)가 저장될 수 있다.
상술한 바와 같이, 디스플레이 장치(100)는 스토리지(130)의 용량을 고려하여 오브젝트를 기준으로 저장하는 이미지 개수를 설정할 수 있다. 또한, 디스플레이 장치(100)는 유사한 방식으로 추출 대상 오브젝트의 개수를 설정할 수도 있다.
도 6은 일 실시 예에 따른 저장된 오브젝트 이미지의 관리 방법을 설명하는 도면이다.
디스플레이 장치(100)는 스토리지(130)의 용량을 고려하여 오브젝트가 디스플레이(110)에 표시된 최종 시점으로부터 기 설정된 시간이 초과하면, 추출된 오브젝트의 이미지를 스토리지(130)로부터 제거할 수 있다. 일 실시 예로서, 디스플레이 장치(100)는 기 설정된 시간을 30초로 설정하고, 오브젝트의 최종 표시 시점으로부터 30초가 초과하면 오브젝트의 이미지 또는 오브젝트 그룹을 삭제할 수 있다. 도 6(a) 내지 도 6(d)는 시간의 흐름에 따라 디스플레이된 오브젝트 및 저장된 오브젝트 그룹을 도시한 도면이다.
도 6(a)는 기준 시점에서 디스플레이된 오브젝트 및 저장된 오브젝트 그룹을 도시한 도면이다. 도 6(a)를 참조하면, 디스플레이(110)는 A 오브젝트(15) 및 B 오브젝트(16)를 디스플레이할 수 있다. 디스플레이 장치(100)는 A 오브젝트(15)의 이미지 및 B 오브젝트(16)의 이미지를 추출하고, A 오브젝트 그룹(20) 및 B 오브젝트 그룹(30)을 생성하여 각각의 그룹에 추출된 이미지를 저장할 수 있다. 따라서, 스토리지(130)에는 추출된 이미지를 포함하는 A 오브젝트 그룹(20) 및 B 오브젝트 그룹(30)이 저장될 수 있다.
도 6(b)는 기준 시점으로부터 10초가 지난 시점에서 디스플레이된 오브젝트 및 저장된 오브젝트 그룹을 도시한 도면이다. 도 6(b)를 참조하면, 디스플레이(110)는 C 오브젝트(17)를 디스플레이할 수 있다. 디스플레이 장치(100)는 C 오브젝트(17)의 이미지를 추출하고, C 오브젝트 그룹(40)을 생성하여 추출된 이미지를 저장할 수 있다. 따라서, 스토리지(130)에는 기 저장된 A 오브젝트 그룹(20), B 오브젝트 그룹(30) 및 새로 생성된 C 오브젝트 그룹(40)이 저장될 수 있다.
도 6(c)는 기준 시점으로부터 20초가 지난 시점에서 디스플레이된 오브젝트 및 저장된 오브젝트 그룹을 도시한 도면이다. 도 6(c)를 참조하면, 디스플레이(110)는 A 오브젝트(15) 및 D 오브젝트(18)를 디스플레이할 수 있다. 디스플레이 장치(100)는 A 오브젝트(15)의 이미지를 추출하여 기 생성된 A 오브젝트 그룹(20)에 저장할 수 있다. 그리고, 디스플레이 장치(100)는 D 오브젝트(17)의 이미지를 추출하고, D 오브젝트 그룹(50)을 생성하여 추출된 이미지를 저장할 수 있다. 따라서, 스토리지(130)에는 기 저장된 A 오브젝트 그룹(20), B 오브젝트 그룹(30), C 오브젝트 그룹(40) 및 새로 생성된 D 오브젝트 그룹(50)이 저장될 수 있다.
도 6(d)는 기준 시점으로부터 30초가 지난 시점에서 디스플레이된 오브젝트 및 저장된 오브젝트 그룹을 도시한 도면이다. 도 6(d)를 참조하면, 디스플레이(110)는 C 오브젝트(17)를 디스플레이할 수 있다. 디스플레이 장치(100)는 C 오브젝트(17)의 이미지를 추출하여 기 생성된 C 오브젝트 그룹(40)에 저장할 수 있다. 한편, 상술한 바와 같이, 디스플레이 장치(100)는 오브젝트 이미지 제거를 위한 시간을 30초로 설정할 수 있다. A 오브젝트(15) 및 D 오브젝트(18)는 최종 디스플레이된 시점으로부터 10초가 흘렀고, B 오브젝트(16)는 최종 디스플레이된 시점으로부터 30초가 흘렀다. 따라서, 디스플레이 장치(100)는 스토리지(130)에 저장된 B 오브젝트 그룹(30)을 삭제할 수 있다. 따라서, 스토리지(130)에는 A 오브젝트 그룹(20), C 오브젝트 그룹(40) 및 D 오브젝트 그룹(50)이 저장될 수 있다.
도 6에서는 디스플레이(110)에 표시된 최종 시점으로부터 기 설정된 시간이 초과하면, 추출된 오브젝트의 이미지가 제거되는 실시 예를 설명하였으나, 오브젝트가 포함된 최종 프레임으로부터 기 설정된 프레임이 초과하면 디스플레이 장치(100)는 저장된 오브젝트의 이미지 또는 오브젝트 그룹을 제거할 수도 있다. 디스플레이 장치(100)가 프레임을 기초로 오브젝트의 이미지를 제거하는 실시 예는 도 6에 설명한 시간을 기초로 오브젝트의 이미지를 제거하는 실시 예와 유사하므로 프레임을 기초로 오브젝트의 이미지를 제거하는 실시 예의 설명은 생략한다.
도 7은 일 실시 예에 따른 오브젝트를 선택하는 과정을 설명하는 도면이다.
도 7(a)를 참조하면, 오브젝트가 디스플레이된 디스플레이 장치(100)가 도시되어 있다. 디스플레이 장치(100)는 동영상 컨텐츠의 프레임을 디스플레이할 수 있다. 디스플레이된 프레임은 적어도 하나의 오브젝트를 포함할 수 있다. 디스플레이 장치(100)는 사용자의 명령에 대응하여 이동하는 포인터(2)를 표시할 수 있다. 디스플레이 장치(100)에 표시된 포인터(2)는 사용자의 입력에 대응하여 이동될 수 있다. 예를 들어, 디스플레이 장치(100)는 사용자의 제스처의 움직임을 인식하고 사용자의 제스처에 대응하여 포인터(2)를 이동시킬 수 있다. 또는, 디스플레이 장치(100)는 리모컨의 버튼 입력 또는 리모컨의 움직임에 대응하여 포인터(2)를 이동시킬 수 있다. 또는, 디스플레이 장치(100)는 터치 스크린을 포함하여 터치 스크린 상에서 입력되는 터치 제스처 또는 이동 제스처에 대응하여 포인터(2)를 이동시킬 수도 있다. 사용자는 디스플레이된 오브젝트 중 하나의 오브젝트 상에 포인터(2)를 이동시킬 수 있다.
도 7(b)를 참조하면, 오브젝트가 선택된 디스플레이 장치(100)가 도시되어 있다. 디스플레이 장치(100)는 사용자의 입력에 대응하여 포인터(2)를 하나의 오브젝트(12) 상으로 이동시킬 수 있다. 포인터(2)가 하나의 오브젝트(12) 상으로 이동되면, 디스플레이 장치(100)는 포인터(2)가 이동된 오브젝트(12)에 시각적 효과를 표시할 수 있다. 예를 들어, 시각적 효과는 하이라이트, 팝업, 외곽선 표시 또는 색상 변경 등의 효과를 포함할 수 있다. 디스플레이 장치(100)는 포인터(2)가 오브젝트(12) 상에 위치한 상태에서 선택 명령을 입력받으면, 오브젝트(12)를 선택하고, 선택된 오브젝트(12)의 그룹에 포함된 이미지를 서버로 전송할 수 있다.
디스플레이 장치(100)는 선택된 오브젝트(12)의 그룹에 포함된 모든 이미지를 전송할 수 있고, 선택된 오브젝트(12) 그룹 자체를 전송할 수도 있다. 디스플레이 장치(100)가 서버로 복수의 이미지를 전송함으로써 서버는 오브젝트를 더 정확하게 판단할 수 있고 관련 정보 검색 오류의 빈도를 낮출 수 있다. 또는, 디스플레이 장치(100)는 선택된 오브젝트(12)에 대응되는 그룹에 포함된 복수의 이미지 중 기 설정된 조건을 만족하는 이미지를 선택하여 서버로 전송할 수도 있다. 예를 들어, 기 설정된 조건은 이미지 크기, 이미지의 히스토그램, 이미지의 경계선의 복잡도 또는 이미지 내부 복잡도 등을 포함할 수 있다. 서버는 작은 이미지보다 큰 이미지를 기초로 더 정확하게 오브젝트가 무엇인지 판단할 수 있다. 또는, 서버는 이미지의 히스토그램이 유사한 경우보다 차이가 나는 경우 더 정확하게 오브젝트가 무엇인지 판단할 수 있다. 또는, 서버는 경계선의 복잡도가 낮거나 내부 복잡도가 낮은 이미지를 기초로 하여 더 정확하게 오브젝트가 무엇인지 판단할 수 있다. 상술한 이미지의 크기, 이미지의 히스토그램, 이미지의 경계선의 복잡도 또는 이미지 내부 복잡도는 절대적인 수치 또는 비율을 기초로 분류될 수 있다. 디스플레이 장치(100)는 분류된 절대적인 수치 또는 비율 중 하나의 수치 또는 비율을 선택하여 상술한 조건을 설정할 수 있다. 디스플레이 장치(100)는 선택된 오브젝트(12)에 포함된 복수의 이미지 중 상술한 기준에 따라 일부 이미지를 선택하여 서버로 전송할 수도 있다. 따라서, 본 명세서의 검색 시스템은 전송 데이터의 부하 감소, 오브젝트 판단의 정확도, 신속성 및 검색 정보의 정확도를 높일 수 있는 효과가 있다.
도 8은 일 실시 예에 따른 오브젝트에 관한 검색 정보를 디스플레이하는 과정을 설명하는 도면이다. 사용자는 동영상 컨텐츠의 재생이 종료된 후, 동영상 컨텐츠의 프레임에 포함된 오브젝트에 대한 정보를 검색할 수도 있다.
도 8(a)를 참조하면, 저장된 프레임의 썸네일 이미지가 디스플레이된 디스플레이 장치(100)가 도시되어 있다. 상술한 바와 같이, 디스플레이 장치(100)는 기 설정된 주기로 동영상 컨텐츠의 프레임의 전체 영역을 저장할 수 있다. 디스플레이 장치(100)는 입력된 동영상 컨텐츠의 디스플레이 여부와 상관없이 일정한 주기로 프레임 데이터를 저장할 수 있고, 프레임의 디스플레이 시점을 기초로 프레임의 전체 영역을 캡쳐하여 저장할 수도 있다. 예를 들어, 기 설정된 주기는 30프레임, 100프레임, 300프레임과 같이 프레임 개수를 기초로 설정될 수 있고, 3초, 1분, 5분과 같이 시간을 기초로 설정될 수도 있다. 따라서, 디스플레이 장치(100)는 동영상 컨텐츠의 재생이 종료되면, 복수 개의 프레임을 저장할 수 있다.
동영상 컨텐츠의 재생이 종료된 후, 디스플레이 장치(100)는 저장된 프레임 디스플레이 명령에 대응하여 저장된 복수 개의 프레임을 썸네일 이미지로 디스플레이할 수 있다. 디스플레이 장치(100)는 썸네일 이미지를 선택할 수 있는 포인터(2)를 함께 디스플레이할 수 있다. 사용자는 디스플레이된 복수 개의 썸네일 이미지 중에서 하나의 썸네일 이미지(61) 상에 포인터(2)를 이동시키고 선택 명령을 입력할 수 있다. 디스플레이 장치(100)는 포인터(2)가 위치한 썸네일 이미지에 시각적 효과를 표시할 수 있다. 예를 들어, 시각적 효과는 하이라이트, 팝업, 외곽선 표시 또는 색상 변경 등의 효과를 포함할 수 있다.
도 8(b)를 참조하면, 확대된 썸네일 이미지에 포함된 오브젝트가 선택되는 디스플레이 장치(100)가 도시되어 있다. 디스플레이 장치(100)는 하나의 썸네일 이미지(61)가 선택되면, 선택된 썸네일 이미지(61)를 확대할 수 있다. 디스플레이 장치(100)는 선택된 썸네일 이미지(61)를 기 설정된 영역에 표시하고, 나머지 영역에 다른 썸네일 이미지를 표시할 수 있다. 또는, 디스플레이 장치(100)는 선택된 썸네일 이미지(61)를 전체 영역에 표시할 수도 있다. 사용자는 디스플레이된 포인터(2)를 이동시켜 프레임 내에 포함된 하나의 오브젝트(11) 상에 위치시키고 선택 명령을 입력할 수 있다. 디스플레이 장치(100)는 선택 명령에 대응하여 포인터(2)가 위치한 오브젝트(11)의 이미지(11a)를 추출할 수 있다. 디스플레이 장치(100)는 추출된 오브젝트의 이미지(11a)를 서버로 전송할 수 있다. 서버는 디스플레이 장치(100)로부터 오브젝트의 이미지(11a)를 수신하여 관련 정보를 검색할 수 있다. 서버는 검색된 정보를 디스플레이 장치(100)로 전송할 수 있다.
도 8(c)를 참조하면, 검색된 정보를 디스플레이하는 디스플레이 장치(100)가 도시되어 있다. 디스플레이 장치(100)는 서버로부터 검색된 오브젝트의 정보를 수신할 수 있다. 디스플레이 장치(100)는 수신된 오브젝트의 정보를 디스플레이할 수 있다.
지금까지 동영상 컨텐츠로부터 이미지를 추출하여 관련 정보를 검색하고, 검색된 관련 정보를 디스플레이하는 다양한 실시 예를 설명하였다. 아래에서는, 디스플레이 장치의 제어 방법을 설명한다.
도 9는 일 실시 예에 따른 디스플레이 장치 제어 방법의 흐름도이다.
도 9를 참조하면, 디스플레이 장치는 동영상 컨텐츠를 구성하는 복수의 프레임 각각으로부터 적어도 하나의 오브젝트의 이미지를 추출한다(S910). 디스플레이 장치는 오브젝트의 크기 및 개수에 대한 정보가 입력되면, 입력된 정보에 기초하여 동영상 컨텐츠로부터 오브젝트 이미지를 추출할 수 있다.
디스플레이 장치는 추출된 오브젝트의 이미지를 스토리지에 저장한다(S920). 디스플레이 장치는 복수의 프레임 각각으로부터 추출된 오브젝트에 대응되는 복수의 이미지를 오브젝트 별로 그룹핑하여 저장할 수 있다. 디스플레이 장치는 추출된 이미지에 이미지의 추출 시간, 동영상 컨텐츠의 채널 정보, 동영상 컨텐츠의 입력 신호 정보 및 메타데이터 중 적어도 하나를 부가하여 스토리지에 저장할 수 있다. 디스플레이 장치는 서버로 이미지를 전송할 때 부가된 정보를 함께 전송할 수 있고, 서버는 수신된 이미지와 함께 부가된 정보를 이용하여 용이하게 오브젝트를 결정하고 오브젝트와 관련된 정보를 검색할 수 있다.
한편, 오브젝트가 디스플레이에 표시된 최종 시점으로부터 기 설정된 시간을 초과하면, 디스플레이 장치는 추출된 오브젝트의 이미지를 스토리지로부터 제거할 수 있다. 또는, 추출된 이미지의 개수가 기 설정된 개수를 초과하면, 저장된 이미지 중 일부 이미지를 스토리지로부터 제거할 수 있다.
디스플레이 장치는 현재 디스플레이된 화면에 포함된 오브젝트가 선택되면 저장된 오브젝트의 이미지를 서버로 전송한다(S930). 디스플레이 장치는 디스플레이된 화면에서 선택된 오브젝트에 대응되는 그룹에 포함된 적어도 하나의 이미지를 서버로 전송할 수 있다. 한편, 디스플레이 장치는 선택된 오브젝트에 대응되는 그룹에 포함된 복수의 이미지 중에서 검색을 위한 기 설정된 조건을 만족하는 이미지를 선택하여 서버로 전송할 수도 있다. 기 설정된 조건은 이미지 크기, 이미지의 히스토그램, 이미지의 경계선의 복잡도 및 이미지 내부 복잡도 중 적어도 하나일 수 있다.
디스플레이 장치는 전송된 이미지를 기초로 검색된 오브젝트와 관련된 정보를 서버로부터 수신하여 디스플레이한다(S940). 따라서, 사용자는 오브젝트를 정확히 알고 있지 않더라도 오브젝트 관련 정보를 용이하게 획득할 수 있다.
도 10은 다른 실시 예에 따른 디스플레이 장치 제어 방법의 흐름도이다.
도 10을 참조하면, 디스플레이 장치는 동영상 컨텐츠를 구성하는 적어도 일부의 프레임을 저장할 수 있다(S1010). 디스플레이 장치는 일정한 주기로 프레임을 저장할 수 있다. 디스플레이 장치는 프레임의 디스플레이 여부와 관계없이 동영상 컨텐츠의 프레임을 저장할 수 있고, 디스플레이되는 시점을 기초로 동영상 컨텐츠의 프레임을 저장할 수도 있다.
디스플레이 장치는 저장된 일부의 프레임을 썸네일 이미지로 디스플레이할 수 있다(S1020). 디스플레이 장치는 사용자의 명령에 따라 저장된 복수의 프레임을 썸네일 이미지로 디스플레이할 수 있다. 디스플레이 장치는 사용자로부터 복수의 썸네일 이미지 중 하나의 썸네일 이미지에 대한 선택 명령을 입력받을 수 있다. 디스플레이 장치는 선택된 썸네일 이미지를 확대하여 디스플레이할 수 있다(S1030). 디스플레이 장치는 확대된 썸네일 이미지에 포함된 하나의 오브젝트에 대한 선택 명령을 입력받을 수 있다. 디스플레이 장치는 확대된 썸네일 이미지에서 선택된 오브젝트의 이미지를 추출하여 서버로 전송할 수 있다(S1040). 서버는 수신된 이미지를 이용하여 검색을 수행하고 검색된 관련 정보를 디스플레이 장치로 전송할 수 있다. 디스플레이 장치는 서버로부터 수신된 오브젝트 관련 정보를 디스플레이할 수 있다.
일 예로, 디스플레이 장치의 제어 방법은 프로그램으로 구현되어 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 200: 서버
110: 디스플레이 120: 통신 인터페이스
130: 스토리지 140: 프로세서

Claims (18)

  1. 동영상 컨텐츠를 디스플레이하는 디스플레이;
    서버와 통신하는 통신 인터페이스;
    스토리지; 및
    상기 동영상 컨텐츠를 구성하는 복수의 프레임 각각으로부터 적어도 하나의 오브젝트의 이미지를 추출하고, 추출된 오브젝트의 이미지를 상기 스토리지에 저장하는 프로세서;를 포함하고,
    상기 프로세서는,
    현재 디스플레이된 화면에 포함된 상기 오브젝트가 선택되면 상기 저장된 오브젝트의 이미지를 상기 서버로 전송하고, 상기 서버로부터 상기 전송된 이미지를 기초로 검색된 상기 오브젝트와 관련된 정보를 수신하여 상기 디스플레이를 통해 제공하는, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 프레임 각각으로부터 추출된 상기 오브젝트에 대응되는 복수의 이미지를 오브젝트 별로 그룹핑하여 저장하고, 상기 디스플레이된 화면에서 선택된 오브젝트에 대응되는 그룹에 포함된 적어도 하나의 이미지를 상기 서버로 전송하는, 디스플레이 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    선택된 오브젝트에 대응되는 그룹에 포함된 복수의 이미지 중에서 검색을 위한 기 설정된 조건을 만족하는 이미지를 선택하여 상기 서버로 전송하는, 디스플레이 장치.
  4. 제3항에 있어서,
    상기 기 설정된 조건은,
    이미지 크기, 이미지의 히스토그램, 이미지의 경계선의 복잡도 및 이미지 내부 복잡도 중 적어도 하나인, 디스플레이 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 오브젝트가 상기 디스플레이에 표시된 최종 시점으로부터 기 설정된 시간을 초과하면, 상기 추출된 오브젝트의 이미지를 상기 스토리지로부터 제거하는, 디스플레이 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 추출된 이미지의 개수가 기 설정된 개수를 초과하면, 상기 저장된 이미지 중 일부 이미지를 상기 스토리지로부터 제거하는, 디스플레이 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 추출된 이미지에 상기 이미지의 추출 시간, 상기 동영상 컨텐츠의 채널 정보, 상기 동영상 컨텐츠의 입력 신호 정보 및 메타데이터 중 적어도 하나를 부가하여 상기 스토리지에 저장하는, 디스플레이 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    오브젝트의 크기 및 개수에 대한 정보가 입력되면, 상기 입력된 정보에 기초하여 상기 동영상 컨텐츠로부터 오브젝트 이미지를 추출하는, 디스플레이 장치.
  9. 제1항에 있어서,
    상기 프로세서는,
    상기 동영상 컨텐츠를 구성하는 적어도 일부의 프레임을 저장하여 썸네일 이미지로 디스플레이하고, 선택된 썸네일 이미지를 확대하여 디스플레이하며, 상기 확대된 썸네일 이미지에서 선택된 오브젝트의 이미지를 추출하여 상기 서버로 전송하는, 디스플레이 장치.
  10. 디스플레이 장치의 제어 방법에 있어서,
    동영상 컨텐츠를 구성하는 복수의 프레임 각각으로부터 적어도 하나의 오브젝트의 이미지를 추출하는 단계;
    추출된 오브젝트의 이미지를 스토리지에 저장하는 단계;
    현재 디스플레이된 화면에 포함된 상기 오브젝트가 선택되면 상기 저장된 오브젝트의 이미지를 서버로 전송하는 단계; 및
    상기 서버로부터 상기 전송된 이미지를 기초로 검색된 상기 오브젝트와 관련된 정보를 수신하여 디스플레이하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  11. 제10항에 있어서,
    상기 저장하는 단계는,
    상기 복수의 프레임 각각으로부터 추출된 상기 오브젝트에 대응되는 복수의 이미지를 오브젝트 별로 그룹핑하여 저장하고,
    상기 전송하는 단계는,
    상기 디스플레이된 화면에서 선택된 오브젝트에 대응되는 그룹에 포함된 적어도 하나의 이미지를 상기 서버로 전송하는, 디스플레이 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 전송하는 단계는,
    선택된 오브젝트에 대응되는 그룹에 포함된 복수의 이미지 중에서 검색을 위한 기 설정된 조건을 만족하는 이미지를 선택하여 상기 서버로 전송하는, 디스플레이 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 기 설정된 조건은,
    이미지 크기, 이미지의 히스토그램, 이미지의 경계선의 복잡도 및 이미지 내부 복잡도 중 적어도 하나인, 디스플레이 장치의 제어 방법.
  14. 제10항에 있어서,
    상기 오브젝트가 상기 디스플레이에 표시된 최종 시점으로부터 기 설정된 시간을 초과하면, 상기 추출된 오브젝트의 이미지를 상기 스토리지로부터 제거하는 단계;를 더 포함하는 디스플레이 장치의 제어 방법.
  15. 제10항에 있어서,
    상기 추출된 이미지의 개수가 기 설정된 개수를 초과하면, 상기 저장된 이미지 중 일부 이미지를 상기 스토리지로부터 제거하는 단계;를 더 포함하는 디스플레이 장치의 제어 방법.
  16. 제10항에 있어서,
    상기 저장하는 단계는,
    상기 추출된 이미지에 상기 이미지의 추출 시간, 상기 동영상 컨텐츠의 채널 정보, 상기 동영상 컨텐츠의 입력 신호 정보 및 메타데이터 중 적어도 하나를 부가하여 상기 스토리지에 저장하는, 디스플레이 장치의 제어 방법.
  17. 제10항에 있어서,
    상기 추출하는 단계는,
    오브젝트의 크기 및 개수에 대한 정보가 입력되면, 상기 입력된 정보에 기초하여 상기 동영상 컨텐츠로부터 오브젝트 이미지를 추출하는, 디스플레이 장치의 제어 방법.
  18. 제10항에 있어서,
    상기 동영상 컨텐츠를 구성하는 적어도 일부의 프레임을 저장하는 단계;
    상기 저장된 일부의 프레임을 썸네일 이미지로 디스플레이하는 단계;
    선택된 썸네일 이미지를 확대하여 디스플레이하는 단계; 및
    상기 확대된 썸네일 이미지에서 선택된 오브젝트의 이미지를 추출하여 상기 서버로 전송하는 단계;를 더 포함하는 디스플레이 장치의 제어 방법.
KR1020160101217A 2016-08-09 2016-08-09 디스플레이 장치 및 제어 방법 KR20180017424A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160101217A KR20180017424A (ko) 2016-08-09 2016-08-09 디스플레이 장치 및 제어 방법
US15/661,475 US20180046631A1 (en) 2016-08-09 2017-07-27 Display apparatus and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160101217A KR20180017424A (ko) 2016-08-09 2016-08-09 디스플레이 장치 및 제어 방법

Publications (1)

Publication Number Publication Date
KR20180017424A true KR20180017424A (ko) 2018-02-21

Family

ID=61159057

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160101217A KR20180017424A (ko) 2016-08-09 2016-08-09 디스플레이 장치 및 제어 방법

Country Status (2)

Country Link
US (1) US20180046631A1 (ko)
KR (1) KR20180017424A (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018212013A1 (ja) * 2017-05-18 2018-11-22 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN108156477A (zh) * 2018-01-05 2018-06-12 上海小蚁科技有限公司 视频数据采集方法、点播方法及装置、存储介质、拍摄终端、用户终端
JP6684846B2 (ja) * 2018-04-23 2020-04-22 株式会社ワコム 物品検索システム
GB2583931B (en) * 2019-05-14 2021-10-06 F Secure Corp Network vulnerability detection

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101531911B1 (ko) * 2008-09-30 2015-06-29 엘지전자 주식회사 방송 프로그램을 녹화하는 방송 수신기의 동작 방법 및 그 방법을 채용한 방송 수신기
US20160277808A1 (en) * 2011-08-08 2016-09-22 Lei Yu System and method for interactive second screen

Also Published As

Publication number Publication date
US20180046631A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
KR102436734B1 (ko) 비디오 재생 노드 위치 확정 방법, 장치, 전자 장비, 컴퓨터 판독가능 저장 매체 및 컴퓨터 프로그램
US10219011B2 (en) Terminal device and information providing method thereof
CN102473304B (zh) 元数据标记系统、图像搜索方法和设备、及其用于标记手势的方法
US20080079693A1 (en) Apparatus for displaying presentation information
KR102206184B1 (ko) 동영상 내 객체 관련 정보 검색 방법 및 동영상 재생 장치
US20140101188A1 (en) User interface operating method and electronic device with the user interface and program product storing program for operating the user interface
CN103004228A (zh) 获取关键词用于搜索
CN105320428A (zh) 用于提供图像的方法和设备
US9953221B2 (en) Multimedia presentation method and apparatus
US20140324623A1 (en) Display apparatus for providing recommendation information and method thereof
US20080307337A1 (en) Classifying digital media based on content
KR20180017424A (ko) 디스플레이 장치 및 제어 방법
US10939171B2 (en) Method, apparatus, and computer readable recording medium for automatic grouping and management of content in real-time
US20150154718A1 (en) Information processing apparatus, information processing method, and computer-readable medium
TWI521963B (zh) 電子裝置及視訊標籤方法
KR102337157B1 (ko) 전자 칠판 장치 및 그 제어 방법
WO2017066736A1 (en) Media-production system with social media content interface feature
US20120281888A1 (en) Electronic apparatus and image display method
KR20140044663A (ko) 방송 수신 장치 및 디스플레이 장치와 이를 이용한 검색 방법
CN108256071B (zh) 录屏文件的生成方法、装置、终端及存储介质
KR101747299B1 (ko) 데이터 객체 디스플레이 방법 및 장치와 컴퓨터로 읽을 수 있는 저장 매체
CN113014957B (zh) 视频镜头切分方法和装置、介质和计算机设备
CN106936830B (zh) 一种多媒体数据的播放方法和装置
US10976895B2 (en) Electronic apparatus and controlling method thereof
CN113992973A (zh) 视频摘要生成方法、装置、电子设备和存储介质