KR102007999B1 - 이미지를 탐색하는 시스템들 및 방법들 - Google Patents

이미지를 탐색하는 시스템들 및 방법들 Download PDF

Info

Publication number
KR102007999B1
KR102007999B1 KR1020147021835A KR20147021835A KR102007999B1 KR 102007999 B1 KR102007999 B1 KR 102007999B1 KR 1020147021835 A KR1020147021835 A KR 1020147021835A KR 20147021835 A KR20147021835 A KR 20147021835A KR 102007999 B1 KR102007999 B1 KR 102007999B1
Authority
KR
South Korea
Prior art keywords
item
image
search
items displayed
video content
Prior art date
Application number
KR1020147021835A
Other languages
English (en)
Other versions
KR20140111328A (ko
Inventor
제이슨 위텐스테인-웨버
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20140111328A publication Critical patent/KR20140111328A/ko
Application granted granted Critical
Publication of KR102007999B1 publication Critical patent/KR102007999B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9558—Details of hyperlinks; Management of linked annotations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

이미지를 탐색하는 시스템들 및 방법들은 콘텐트를 수신하는 것, 콘텐트로부터 이미지를 선택하기 위해 사용자로부터 요청을 수신하는 것, 상기 이미지에서 복수의 아이템들을 선택하는 것, 상기 선택된 아이템에 관한 정보를 검색하는 것, 및 상기 검색된 정보에 기초한 디스플레이 데이터를 제공하는 것을 포함한다.

Description

이미지를 탐색하는 시스템들 및 방법들{SYSTEMS AND METHODS OF IMAGE SEARCHING}
본 발명은 일반적으로 이미지를 탐색하는 것, 특히, 정보를 검색하기 위해 이미지를 탐색하는 것에 관한 것이다.
이미지를 탐색하는 시스템들 및 방법들의 구현들이 여기에서 서술된다.
본 발명의 하나의 구현은 미디어 소스로부터 비디오 콘텐트를 수신하도록 구성되는 프로세싱 회로를 포함하는 시스템이다. 상기 시스템은 상기 비디오 콘텐트로부터 이미지를 선택하기 위해 사용자로부터 요청을 수신하도록 구성되는 상기 프로세싱 회로를 추가로 포함할 수 있다. 상기 시스템은 또한 메모리에 상기 이미지를 저장하도록 구성되는 상기 프로세싱 회로를 또한 포함할 수 있다. 상기 시스템은 상기 이미지에 디스플레이되는 복수의 아이템들을 선택하기 위해 구성되는 상기 프로세싱 회로를 포함할 수 있고, 제1 아이템은 알려진 아이덴티티 갖고 그리고 제2 아이템은 알려지지 않은 아이덴티티를 갖는다. 상기 시스템은 또한 상기 이미지에서 복수의 선택된 아이템들을 강조하도록 구성되는 상기 프로세싱 회로를 포함할 수 있고, 상기 제1 아이템의 강조는 상기 제2 아이템의 강조와는 서로 다른 외양(appearance)을 갖는다. 상기 시스템은 또한 상기 제1 및 제2 아이템들 중 하나에 대한 사용자 선택을 수신하도록 구성되는 상기 프로세싱 회로를 추가로 포함할 수 있다. 상기 시스템은 상기 선택된 아이템에 관한 정보를 검색하도록 구성되는 상기 프로세싱 회로를 포함할 수 있다. 상기 시스템은 상기 검색된 정보에 기초한 디스플레이 데이터를 제공하도록 구성되는 상기 프로세싱 회로를 또한 포함할 수 있다.
다른 구현은 미디어 소스로부터 비디오 콘텐트를 프로세서에서 수신하는 단계를 포함하는 방법이다. 상기 방법은 또한 상기 비디오 콘텐트로부터 이미지를 선택하기 위해 사용자로부터 요청을 프로세서에서 수신하는 단계를 또한 포함할 수 있다. 상기 방법은 메모리에 상기 이미지를 저장하는 단계를 또한 포함할 수 있다. 상기 방법은 상기 이미지에서 복수의 아이템들을 선택하는 단계를 포함할 수 있고, 제1 아이템은 알려진 아이덴티티를 갖고 그리고 제2 아이템은 알려지지 않은 아이덴티티를 갖는다. 상기 방법은 상기 이미지에서 복수의 선택된 아이템들을 강조하는 단계를 또한 포함할 수 있고, 상기 제1 아이템의 강조는 상기 제2 아이템의 강조와는 서로 다른 외양을 갖는다. 상기 방법은 상기 제1 및 제2 아이템들 중 하나에 대한 사용자 선택을 프로세서에서 수신하는 단계를 추가로 포함할 수 있다. 상기 방법은 또한 상기 선택된 아이템에 관한 정보를 검색하는 단계를 추가로 포함할 수 있다. 상기 방법은 상기 검색된 정보에 기초한 디스플레이 데이터를 제공하는 단계를 포함할 수 있다.
다른 구현은 광고 서버 컴퓨터를 사용하여 광고하는 방법이다. 상기 방법은 미디어 소스로부터 비디오 콘텐트에 기초한 선택된 이미지를 수신하는 단계를 포함할 수 있다. 상기 방법은, 광고주에 의해 생성된 콘텐트를 포함하는 광고 라벨들로 복수의 아이템들을 포함하는 상기 선택된 이미지를 상기 광고 서버 컴퓨터에 의해 라벨링하는 단계를 또한 포함할 수 있고, 광고주에 의해 생성된 상기 콘텐트는 텍스트, 비디오 또는 하이퍼링크 중 하나를 포함한다. 상기 방법은 광고주와 관련된 광고를 제공하는 단계를 추가로 포함할 수 있다.
이러한 구현들은 본 발명의 범위를 제한하거나 정의하는 것이 아니라 본 발명의 이해를 돕기 위해 본 발명의 구현의 예를 제공하는 것이다. 특정한 구현들은 하나 이상의 다음의 이점들을 실현하기 위해 개발될 수 있다.
본 발명의 하나 이상의 구현들의 세부사항들은 첨부된 도면들 및 아래의 상세한 설명에서 제시된다. 본 발명의 다른 피처들, 양상들 및 이점들은 상세한 설명, 도면들 및 청구범위들에 명확해질 것이다.
도 1은 서술된 구현에 따른 선택된 이미지를 나타낸다.
도 2는 서술된 구현에 따른 상기 이미지에서 디스플레이되는 선택된 복수의 아이템들을 나타낸다.
도 3은 서술된 구현에 따른 강조된 이미지들을 나타낸다.
도 4는 서술된 구현에 따른 사람 얼굴의 선택된 강조된 이미지를 나타낸다.
도 5는 서술된 구현에 따른 상기 선택된 아이템에 관한 검색된 정보를 기초한 디스플레이 데이터를 나타낸다.
도 6은 서술된 구현에 따른 비디오 콘텐트의 이미지를 탐색하는 방법의 흐름도이다.
도 7은 서술된 구현에 따른 광고하는 방법의 흐름도이다.
도 8은 서술된 구현에 따른 시스템들 및 방법들을 구현하기 위해 사용될 수 있는 디바이스들의 블록도이다.
미디어 소스는 서버를 통해 비디오 콘텐트를 웹 브라우저, 웹 브라우저 내에서 구동하는 애플리케이션들, 인터넷이 가능한 텔레비전들 등과 같은 여러 애플리케이션들에 제공할 수 있다. 상기 비디오 콘텐트는 서버, 클라이언트 기반 API 등과 같은 이미지-매칭 시스템에 제공될 수 있는 이미지들을 포함할 수 있다. 예를 들어, 이미지 파일(들)에 대한 포맷은, 시스템이 상기 이미지 파일(들)을 검색할 때 상기 이미지 서버에 의해 제공된 이미지들이 참조되도록 이미지 서버에 의해 기록될 수 있고, 이미지 서버는 이미지-매칭 모듈을 포함할 수 있다. 예를 들어, 이미지 서버는, 객체가 사용자에 의해 선택될 때 상기 이미지에 관련된 정보가 디스플레이될 수 있도록, 이미지 쿼리를 사용하여 웹 서버 정보를 질의하게 구성될 수 있다.
용어 "제1 아이템" 및 "제2 아이템"은 본 발명에서 명확함과 간략화를 위해 사용된다. 이미지 내의 아이템들의 수는 제1 및 제2 아이템보다 많은 것을 포함할 수 있다. 상기 아이템들 각각은 알려진 아이덴티티, 알려지지 않는 아이덴티티, 잠재적으로 알려진 아이덴티티 등을 가질 수 있다.
도 1은 서술된 구현에 따른 선택된 이미지(100)를 나타낸다. 도 1에서 비디오 콘텐트는 미디어 소스로부터 수신되고 디스플레이 디바이스 상에 디스플레이된다. 일부 구현들에서, 상기 비디오 콘텐트는 컴퓨팅 디바이스 상에서 동작하는 애플리케이션에 의해 제공될 수 있다. 일부 구현들에서, 상기 디바이스는 DVR, DVD, 구글 TV(예를 들어, 셋탑 박스, 통합된 인터넷 텔레비전 디바이스 등) 등을 포함할 수 있다. 상기 비디오 콘텐트는 스트리밍 콘텐트, 웹페이지/웹사이트 콘텐트 등을 포함할 수 있다. 상기 비디오 콘테트는 복수의 이미지들을 포함할 수 있다. 상기 컴퓨팅 디바이스는, 사용자가 상기 비디오 콘텐트로부터 이미지를 선택하기 원한다는 통지를 상기 사용자로부터 수신하도록 구성될 수 있다. 일부 구현들에서, 상기 통지는 상기 비디오 콘텐트의 부분을 중단(pause), 정지(stop) 또는 선택하도록 하는 요청일 수 있다. 상기 컴퓨팅 디바이스는 상기 비디오 콘텐트 내의 이미지의 사용자 선택을 수신하기 위해 구성되는 사용자 입력 디바이스(101), 예를 들어, "이미지 탐색(image search)" 입력 디바이스를 디스플레이하기 위해 구성될 수 있다. 사용자 입력 디바이스(101)는, 디스플레이의 제어 패널 부분(103)에 나타날 수 있다. 제어 패널 부분(103)은 플레이 버튼(105), 빨리 감기/되감기 버튼들(fast forward/reverse buttons)(107), 플레이 중인 비디오 콘텐트의 진행을 보여주는 슬라이더 바(109), 콘텐트 타이틀(111) 등을 포함할 수 있다. 이러한 구현에서, 제어 패널 부분(103)은, 상기 제어 패널 부분을 통해 보여주는 비디오 콘텐트의 부분을 가짐으로써, 상기 비디오 콘텐트와 오버레이되어 보여진다. 도 1에서, 이미지(100)는 사람(102), 선반(104) 위의 책 및 테이블(106) 위의 병(bottle)의 표현들을 보여준다.
여기에서 개시된 피처들은 스마트 텔레비전 모듈(또는 접속된 텔레비전 모듈, 하이브리드 텔리비전 모듈 등)상에서 구현될 수 있고, 이 스마트 텔레비전 모듈은 (예를 들어, 케이블, 위성, 공중파 또는 다른 신호들을 통해 수신된) 종래의 텔레비전 프로그래밍 소스들과 인터넷 접속을 통합시키도록 구성되는 프로세싱 회로를 포함할 수 있다. 상기 스마트 텔레비전 모듈은 텔레비전 세트에 물리적으로 포함될 수 있거나 셋-톱 박스, 블루-레이 또는 다른 디지털 미디어 플레이어, 게임 콘솔, 호텔 텔레비전 시스템 및 다른 컴패니언 디바이스와 같은 개별 디바이스를 포함할 수 있다. 스마트 텔레비전 모듈은 시청자들이 상기 웹상의, 로컬 케이블 TV 채널 상의, 위성 TV 채널 상의, 또는 로컬 하드 드라이브 상에 저장된 비디오들, 사진들 및 다른 콘텐트를 탐색하고 찾도록 구성될 수 있다. 셋-톱 박스(STB) 또는 셋-톱 유닛(STU)은, 튜너를 포함할 수 있고 텔레비전 세트와 신호의 외부 소스에 접속할 수 있으며, 이후 상기 신호를 상기 디스플레이 스크린 또는 다른 디스플레이 디바이스 상에서 디스플레이되는 콘텐트로 변환하는 정보 기기 디바이스를 포함할 수 있다. 스마트 텔레비전 모듈은, 웹 브라우저 및 복수의 스트리밍 미디어 서비스들(예를 들어, Netflix, Vudu, Hulu 등), 접속된 케이블 또는 위성 미디어 소스, 다른 웹 "채널들(channels)" 등과 같은 복수의 서로 다른 애플리케이션들에 대한 아이콘들을 포함하는 홈 스크린 또는 상위 레벨 스크린을 제공하도록 구성될 수있다. 상기 스마트 텔레비전 모듈은 또한 전자 프로그래밍 가이드를 사용자에게 제공하도록 구성될 수 있다. 상기 텔레비전 모듈에 대한 컴패니언 애플리케이션은 이용가능한 프로그램들에 관한 추가 정보를 사용자에게 제공하고, 상기 사용자가 상기 스마트 텔레비전 모듈 등을 제어하도록 모바일 컴퓨팅 디바이스 상에서 동작가능할 수 있다. 대안의 구현들에서, 상기 피처들은 랩탑 컴퓨터 또는 다른 개인용 컴퓨터, 스마트폰, 다른 모바일 폰, 핸드헬드 컴퓨터, 태블릿 PC 또는 다른 컴퓨팅 디바이스 상에서 구현될 수 있다.
도 2는 서술된 구현에 따른, 이미지(100)에 디스플레이되는 선택된 복수의 아이템들을 나타낸다. 시스템은 상기 비디오 콘텐트로부터 이미지(100)를 선택하기 위해 사용자로부터 요청을 수신한다. 이미지(100)는 메모리에 저장될 수 있다. 일부 구현들에서, 이미지(100)는 광고주와 관련된 광고를 포함한다. 상기 광고는 상기 광고주와 관련된 웹페이지로의 하이퍼링크를 포함할 수 있다. 일부 구현들에서, 복수의 아이템들은 이미지(100)에 디스플레이된다. 상기 복수의 아이템들(100)은 사람의 얼굴, 대상 등을 포함할 수 있지만, 이에 한정되지 않는다. 일부 구현들에서, 복수의 아이템들은 상기 시스템에 의해 선택되거나 상기 비디오 콘텐트의 제작자에 의해 상기 비디오 콘텐트 내에서 태그될 수 있다. 일부 구현들에서, 복수의 아이템들은 예를 들어, 상기 이미지의 부분 위에 지리적 형상(예를 들어, 정사각형, 타원형 등)을 드래그함으로써 사용자에 의해 선택될 수 있다. 시스템은, 복수의 아이템들의 탐색이 시작되었다는 것을 사용자에게 통지할 수 있다. 예를 들어, 도 2에서, 복수의 아이템들(예를 들어, 사람(202), 시계(204), 책(206) 병(bottle)(208))은 상기 시스템 그리고/또는 사용자에 의한 아이템들의 선택을 식별하기 위해 점선들로 윤곽이 그려진다.
시스템은 복수의 아이템들(202, 204, 206, 208)의 아이덴티티(identity)를 알 수 있거나 알지 못할 수 있고, 상기 복수의 아이템들의 정체는 각 아이템에 대한 상태로서 메모리에 저장될 수 있다. 시스템은 아이덴티티의 상태의 디스플레이를 통해 상기 사용자에게 통지를 제공할 수 있다. 예를 들어, 도 2에서, 복수의 아이템들은 여러 색상들로 강조될 수 있다. 많은 서로 다른 방법들이 아이템들의 아이덴티티의 상태의 통지를 제공하기 위해 사용될 수 있음을, 예를 들어, 청각적, 그래픽적, 시각적 그리고/또는 촉각적 통지들이 제공될 수 있음을 알아야 한다. 시스템은 아이템들(202, 204, 206, 208)에 관련된 추가적인 정보를 위해 강조된 영역을 탐색할 수 있다. 시스템은 아이템과 관련된 텍스트 문자들을 결정하기 위해 문자 인식 알고리즘을 수행할 수 있다. 예를 들어, 병(208)은, 시스템이 상기 아이템을 추가로 식별하고 그리고/또는 선택된 아이템에 관한 정보를 검색하기 위해 사용할 수 있는 텍스트를 포함할 수 있다. 일부 구현들에서, 시스템은 상기 이미지를 복수의 영역들로 분할하고, 상기 복수의 영역들의 각 영역에서 피처들을 검출하고, 각 영역에서 검출된 피처들을 분석하고 그리고 상기 검출된 피처들이 텍스트를 포함하는지 여부를 결정함으로써 상기 수신된 이미지의 텍스트 영역을 식별할 수 있다. 시스템은 임의의 시간에서 상기 탐색을 취소(210)하기 위해 사용자 요청을 수신하도록 구성될 수 있고, 이러한 요청에 응답하여, 상기 시스템은 상기 비디오 콘텐트를 재개하도록 구성될 수 있다. 상기 제어 패널은, 상기 시스템이 상기 복수의 아이템들을 식별하기 위한 시도에서 현재 탐색 중이라는 지시(212)를 제공할 수 있다.
도 3은 서술된 구현에 따른 강조된 이미지들을 나타낸다. 이미지(100) 내의 복수의 선택된 아이템들이 강조된다. 제1 아이템의 강조는 제2 아이템과는 서로 다른 외양(appearance)을 가질 수 있다. 도 3에서, 강조된 영역들(302, 304, 306 및 308)은 색상이 표시(color coded)될 수 있다(도 3에서 나타난 이미지에서, 강조된 영역들(302, 304, 306, 308)은 음영이 있고 구별할 수 없는 것으로 도시되지만, 강조된 영역들은 여러 색상들이 될 수 있다). 시스템은, 선택된 아이템에 관한 정보의 검색이 완료된 것에 대한 통지를 제공할 수 있다. 예를 들어, 도 3에서, 복수의 아이템들을 둘러싸는 점선들은, 탐색의 완료를 표시하기 위해 또는 탐색이 성공적으로 객체를 식별했는지를 나타내기 위해 실선들로 대체된다. 시스템은 또한 아이템들의 아이덴티티들에 대한 탐색의 상태에 관련된 통지를 제공할 수 있다. 예를 들어, 도 3에서, 녹색은 아이템이 알려진 아이덴티티를 갖는 것을 나타낼 수 있고, 노란색은 아이템이 복수의 알려진 또는 잠재적인 아이덴티티들을 갖는 것을 나타낼 수 있고, 적색은 아이템이 알려진 아이덴티티를 갖지 않는 것을 나타낼 수 있다. 아이템들의 아이덴티티들의 상태에 관련된 통지를 제공하기 위해 사용될 수 있는 많은 방법들이 존재한다. 일부 구현들에서, 청각적인 피드백, 예를 들어, 음성-활성화된 통지가 제공될 수 있다. 예를 들어, 병의 아이덴티티가 알려지고, 시계가 다수의 아이덴티티들을 갖고, 책이 알려진 아이덴티티를 갖지 않는다.
시스템은 이미지 데이터를 이미지 매칭 모듈로 전송함으로써 복수의 탐색 아이템들의 아이덴티티들을 탐색할 수 있다. 이미지 데이터는, 잠재적인 식별을 위해 선택되어진 이미지의 부분 만을 나타낼 수 있다. 시스템은 탐색에 기초한 이미지 매칭 모듈로부터 보고를 수신할 수 있다. 상기 보고에 기초한 아이템에 대한 아이덴티티가 발견되면, 그때 아이템은 알려진 아이덴티티를 갖는 제1 아이템이다. 아이덴티티가 상기 보고에 기초한 아이템에 대해 발견되지 않으면, 그때 아이템은 알려지지 않은 아이덴티티를 갖는 제2 아이템이다. 일부 구현들에서, 보고는 잠재적으로 알려진 아이덴티티를 표시할 수 있고, 이러한 경우에서, 시스템은 제1 및 제2 외양들과 서로 다른 외양을 갖는 강조를 구비하도록 아이템을 디스플레이할 수 있다. 예를 들어, 아이템은 가능한 매칭을 갖는 것으로서 시스템에 의해 인식될 수 있지만, 시스템은 더 많은 정보를 요구할 수 있다. 이 경우에서, 시스템은 더 많은 정보에 대해, 웹-기반 서버 또는 사용자와 같은 추가의 소스들에 질의할 수 있다. 일 예에서, 복수의 잠재적인 아이덴티티들은 특별한 아이덴티티의 사용자 선택을 위해 사용자에게 디스플레이될 수 있다. 상기 잠재적인 아이덴티티들은 텍스트 서술, 이미지 매칭들, 텍스트 서술 및 이미지 매칭들의 조합, 또는 다른 잠재적인 식별 정보(예를 들어, 아이템과 관련하여 웹 페이지로의 웹 링크)일 수 있다.
시스템은 또한 결과들(314)의 수, 즉, 아이템들의 수, 매칭들의 수 등을 디스플레이할 수 있다. 사용자는 탐색을 벗어나 닫힘 버튼(close button)(312)을 선택함으로써 재개할 수 있다.
도 4는 서술된 구현에 따른 사람 얼굴의 선택된 강조된 이미지(404)를 나타낸다. 시스템은 아이템(들) 중 하나의 사용자 선택을 수신할 수 있다. 사용자는, 사용자가 추가 정보를 발견하고 디스플레이하기 위해 선택된 강조된 이미지들을 통해 내비게이트하도록 디-패드(d-pad), 조이스틱, 마우스 또는 다른 적합한 주변 장치들을 사용함으로써 아이템(들)을 선택할 수 있다. 디-패드는 서로 다른 방향들을 나타내는 서로 다른 버튼들을 포함하는 지향성 입력 디바이스를 포함할 수 있다. 디-패드는 핸드헬드 원격 제어기의 부분일 수 있고, 상기 핸드헬드 원격 제어기는 알파벳 키보드, 마우스를 이동시키는 터치패드, "탐색(search)" 핫키와 같은 핫키들, 그리고/또는 다른 사용자 입력 버튼들 또는 디바이스들(예를 들어, 음성 명령어들을 위한 마이크로폰)을 또한 포함할 수 있다. 예를 들어, 도 4에서, 사용자는 사람 얼굴(404)을 선택한다. 시스템은 도 4의 선택된 아이템(404)인 사람 얼굴에 관한 정보를 검색한다.
도 5는 서술된 구현에 따른 선택된 아이템에 관한 검색된 정보에 기초한 디스플레이 데이터를 나타낸다. 도 5에서, 디스플레이 데이터는 상기 비디오 데이터에 오버레이(500)로 제공된 데이터를 포함한다. 오버레이(500)는 상기 디스플레이 상의 다수의 위치들 중 일부에 표시될 수 있다. 오버레이는 디스플레이 스크린, 윈도우(예를 들어, 디스플레이, 비디오 등), 레이어 등을 포함할 수 있다. 오버레이(500)는 모든 탐색 결과들을 보고, 상기 결과들을 처리하고, 상기 결과들을 닫기 위한 옵션(들)을 포함할 수 있다. 오버레이(500)는 선택된 아이템에 관한 세부사항들을 포함할 수 있다. 예를 들어, 도 5에서, 오버레이(500)는 이름, 뉴스 및 다른 관련된 정보와 같은 추가 정보가 더해진 선택된 아이템인 사람 얼굴을 포함한다. 시스템은 또한 인터넷에 대한 추가 정보에 대한 하이퍼링크를 제공할 수 있다. 예를 들어, 상기 선택된 아이템에 의해 표시된 사람에 의해 쓰여진 또는 상기 표시된 사람에 관한 책으로의 링크가 사용자들에 제공될 수 있다.
도 6은 서술된 구현에 따른 비디오 콘텐트의 이미지-탐색에 대한 방법의 흐름도이다. 일반적으로, 사용자는 미디어 소스로부터의 비디오 콘텐트에서 이미지를 선택하고, 시스템은 이미지 내의 복수의 아이템들을 선택 및 아이템(들)의 아이덴티티 상태를 검색하며, 이후 사용자는 아이템(들) 중 하나를 선택하고, 시스템은 선택된 아이템(들)에 관한 정보를 제공한다.
방법(600)은 본 발명에 따른 상기 방법들을 수행하기 위해 다수의 방법들이 존재하기에 예시로서 제공된다. 도 6에 도시된 방법(600)은 하나의 시스템 또는 여러 시스템들의 조합에 의해 실행될 수 있거나 수행될 수 있다. 방법은 컴퓨터, 컴퓨터 프로그램, 클라이언트, 서버, 클라이언트-서버 관계 등에 의해 실시될 수 있다. 방법(600)은, 일 예로서, 도 1-5의 시스템(100)에 의해 그리고/또는 도 8의 컴퓨팅 디바이스에 의해 수행된 것으로서 여기에서 서술된다.
상기 예시적인 방법은 블록 602에서 시작하고, 블록 602에서, 프로세서는 서버 컴퓨터, 메모리 디바이스(예를 들어, DVD, 홈 미디어 저장 디바이스 등) 또는 다른 소스일 수 있는 미디어 소스로부터 비디오 콘텐트를 수신한다. 블록 604에서, 프로세서는 상기 비디오 콘텐트로부터 이미지를 선택하기 위해 사용자로부터 요청을 수신하다. 블록 604 다음에 블록 606으로 이어지고, 블록 606에서 이미지는 메모리, 예를 들어, 스마트 텔레비전 모듈 또는 태블릿 PC 상의 로컬 메모리, 또는 원격 서버 컴퓨터 상의 메모리 디바이스에 저장된다. 블록 606 다음에 블록 608로 이어지고, 블록 608에서 상기 이미지 내의 복수의 아이템들이 선택되고, 제1 아이템은 알려진 아이덴티티를 갖고, 제2 아이템은 알려지지 않은 아이덴티티를 갖는다. 일부 구현들에서, 상기 이미지는 광고주에 관련된 광고를 포함한다. 상기 광고는 상기 광고주에 관련된 웹페이지로의 하이퍼링크를 포함할 수 있다. 일부 구현들에서, 복수의 아이템들은 이미지에서 디스플레이된다. 복수의 아이템들은 사람의 얼굴, 물체, 스카이라인 등을 포함할 수 있지만, 이에 한정되지 않는다. 일부 구현들에서, 복수의 아이템들은 상기 시스템에 의해 선택될 수 있다. 일부 구현들에서, 복수의 아이템들은 사용자에 의해 선택될 수 있다. 상기 시스템은 사용자에게, 상기 복수의 아이템들의 탐색이 시작되었다는 것을 통지할 수 있다. 예를 들어, 도 2에서 상기 복수의 아이템들은 아이템들의 선택을 식별하기 위해 점선들로 윤곽이 그려진다.
복수의 아이템들은 알려진 또는 알려지지 않은 아이덴티티를 가질 수 있다. 시스템은 아이덴티티의 상태에 대한 통지를 제공할 수 있다. 많은 서로 다른 방법들이 아이템들의 아이덴티티의 상태의 통지를 제공하기 위해 사용될 수 있음을, 예를 들어, 청각적, 그래픽적, 시각적 그리고/또는 촉각적 통지들이 제공될 수 있음을 알아야 한다. 시스템은 아이템들에 관련된 추가적인 정보를 위해 강조된 영역을 탐색할 수 있다. 시스템은 아이템과 관련된 텍스트 문자들을 결정하기 위해 문자 인식 알고리즘을 수행할 수 있다. 예를 들어, 병은, 시스템이 상기 아이템을 추가로 식별하고 그리고/또는 선택된 아이템에 관한 정보를 검색하기 위해 사용할 수 있는 텍스트를 포함할 수 있다. 일부 구현들에서, 시스템은 상기 이미지를 복수의 영역들로 분할하고, 상기 복수의 영역들의 각 영역에서 피처들을 검출하고, 각 영역에서 검출된 피처들을 분석하고 그리고 상기 검출된 피처들이 텍스트를 포함하는지 여부를 결정함으로써 상기 수신된 이미지의 텍스트 영역을 식별할 수 있다. 시스템은, 비디오 콘텐트가 미디어 소스로부터 수신되는 상기 비디오 콘텐트 내의 아이템 식별자 데이터를 미리결정하는 것을 결정할 수 있다. 예를 들어, 상기 비디오 콘텐트는 상기 시스템이 인식할 수 있는 임베딩된 콘텐트를 가질 수 있다.
일부 구현들에서, 상기 시스템은 이미지 상의 인식 알고리즘을 수행할 수 있다. 인식 알고리즘은 알려진 아이덴티티를 갖는 복수의 아이템들에 대한 이미지를 스캔할 수 있다. 시스템은, 아이템들에 대한 이미지를 탐색하기 위한, 예를 들어, 얼굴들, 로고들, 엠블럼들, 단어들, 객체들과 같은 아이템들에 대한 탐색에 집중하기 위한 우선 순위를 포함할 수 있다. 다른 구현들에서, 비디오 콘텐트 제작자는 이미지 내에 콘텐트(광고들, 제품들 등)를 임베딩하기 위해 시스템을 조정할 수 있고, 시스템은 아이템들에 대한 이미지를 탐색하기 위한 우선 순위를 조정할 수 있다. 일부 구현들에서, 사용자는 아이템들에 대한 이미지를 검색하기 위한, 예를 들어, 아이템(들)에 대한 탐색에 집중하고 그리고/또는 다른 아이템(들) 상기 탐색을 배제하기 위해 상기 우선권을 조정할 수 있다.
일부 구현들에서, 아이템들의 일부는 알려진 아이덴티티를 가질 수 있다. 알려진 아이덴티티는, 상기 아이템(들)이 시스템에 의해 인식되지만, 선택된 아이템(들)이 아닌 시나리오를 포함할 수 있다. 시스템은 상기 시스템에 의해 인식되지만, 선택된 아이템들은 아닌 아이템(들)(예를 들어, 나무들, 하늘, 잔디, 도로들, 물, 패턴 등)에 대한 데이터베이스를 포함할 수 있다. 일부 구현들에서, 알려지지 않은 아이덴티티는 이미지에 초점이 맞춰지지 않은 아이템(들)을 포함할 수 있다.
블록 608 다음에 블록 610으로 이어지고, 블록 610에서 이미지 내의 복수의 선택된 아이템들이 강조되고, 제1 아이템의 강조는 제2 아이템의 강조와는 서로 다른 외양을 가진다. 상기 시스템은, 상기 선택된 아이템에 관한 정보의 검색이 완료된다는 통지를 제공할 수 있다. 시스템은, 선택된 아이템에 관한 정보의 검색이 완료된 것에 대한 통지를 또한 제공할 수 있다. 아이템들의 아이덴티티들의 상태에 관련된 통지를 제공하기 위해 사용될 수 있는 많은 방법들이 존재한다. 일부 구현들에서, 음성-활성화된 통지가 제공될 수 있다. 예를 들어, 병의 아이덴티티가 알려지고, 시계가 다수의 아이덴티티들을 갖고, 책이 알려진 아이덴티티를 갖지 않는다.
시스템은 이미지 데이터를 이미지 매칭 모듈로 전송함으로써 복수의 탐색 아이템들의 아이덴티티들을 탐색할 수 있다. 시스템은 탐색에 기초한 이미지 매칭 모듈로부터 보고를 수신할 수 있다. 상기 보고에 기초한 아이템에 대한 아이덴티티가 발견되면, 그때 아이템은 알려진 아이덴티티를 갖는 제1 아이템이다. 아이덴티티가 상기 보고에 기초한 아이템에 대해 발견되지 않으면, 그때 아이템은 알려지지 않은 아이덴티티를 갖는 제2 아이템이다. 일부 구현들에서, 보고는 잠재적으로 알려진 아이덴티티를 표시할 수 있고, 제1 및 제2 외양들과 서로 다른 외양을 갖는 강조를 구비한 아이템을 강조한다. 예를 들어, 아이템은 가능한 매칭을 갖는 것으로서 시스템에 의해 인식될 수 있지만, 시스템은 더 많은 정보를 요구한다. 이 경우에서, 시스템은 더 많은 정보에 대해, 웹-기반 서버 또는 사용자와 같은 추가의 소스들에 질의할 수 있다.
블록 610 다음에 블록 612로 이어지고, 블록 612에서 프로세서는 제1 및 제2 아이템들 중 하나의 사용자 선택을 수신한다. 블록 612 다음에 블록 614로 이어지고, 블록 614에서 선택된 아이템에 관한 정보는 검색된다. 블록 614 다음에 블록 616으로 이어지고, 블록 616에서 검색된 정보에 기초한 디스플레이 데이터가 제공된다. 디스플레이는 그래픽 사용자 인터페이스, 명령어 라인 인터페이스, 웹기반 사용자 인터페이스, 터치스크린 등과 같은 사용자 인터페이스일 수 있다. 디스플레이 데이터는 비디오 콘테트에 대한 오버레이로서 제공된 데이터를 포함할 수 있다.
도 7은 서술된 구현에 따른 광고하는 방법의 흐름도이다. 일반적으로, 이미지가 미디어 소스로부터 비디오 콘텐트에 기초하여 선택되고, 선택된 이미지 내의 복수의 아이템들은 광고 서버 컴퓨터에 의해 라벨링되고, 그리고 광고주와 관련된 광고가 제공된다.
방법(700)은 본 발명에 따른 상기 방법들을 수행하기 위해 다수의 방법들이 존재하기에 예시로서 제공된다. 도 7에 도시된 방법(700)은 하나의 시스템 또는 여러 시스템들의 조합에 의해 실행될 수 있거나 수행될 수 있다. 방법은 컴퓨터, 컴퓨터 프로그램, 클라이언트, 서버, 클라이언트-서버 관계 등에 의해 실시될 수 있다. 방법(700)은, 일 예로서, 도 1-5의 시스템들에 의해 그리고/또는 도 8의 컴퓨팅 디바이스에 의해 수행된 것으로서 여기에서 서술된다.
상기 예시적인 방법은 블록 702에서 시작하고, 블록 702에서, 광고 서버 컴퓨터는 미디어 소스로부터 비디오 콘텐트에 기초하여 선택된 이미지를 수신한다. 일부 구현들에서, 이미지는 시스템에 의해 선택될 수 있다. 일부 구현들에서, 사용자는 이미지를 선택한다. 블록 702는 다음에 블록 704로 이어지고, 블록 704에서, 상기 광고 서버 컴퓨터는, 예를 들어, 사용자에 의해 제공된 프로그래밍 데이터에 응답하여 선택된 이미지를 라벨링한다. 블록 704 다음에 블록 706으로 이어지고, 블록 706에서 광고 서버 컴퓨터는 광고주와 관련된 광고를 제공하고 그리고/또는 광고될 제품 또는 서비스를 제공한다. 선택된 이미지는 광고 라벨들을 구비한 복수의 아이템들을 포함할 수 있다. 광고 라벨들은 광고주에 의해 생성된 콘텐트를 포함할 수 있다. 광고주에 의해 생성된 콘텐트는 텍스트, 비디오 및 하이퍼링크(들)을 포함할 수 있다. 하이퍼링크는 광고주와 관련된 웹사이트를 포함할 수 있다. 일부 구현들에서, 콘텐트는 사용자와 상호 작용을 한다. 일부 구현들에서, 광고 라벨들은 온라인 커뮤니티의 사용자들에 의해 생성될 수 있다. 사용자-생성된 콘텐트는 사용자 프로파일 데이터, 사용자 코멘트들, 사용자 선호들 및 다른 적절한 사용자 생성된 콘텐트를 포함할 수 있다. 예를 들어, 사용자 A는 미디어 소스로부터 비디오 콘텐트 내의 이미지를 선택할 수 있다. 선택된 이미지는 복수의 아이템들, 시계를 포함할 수 있다. 시계는 알려진 아이텐티티로 식별될 수 있다. 사용자 A는 시계를 선택할 수 있다. 선택된 아이템에 관한 검색된 정보에 기초한 디스플레이 데이터는 ABC 시계 회사로의 링크를 포함할 수 있다. 또한, 상기 디스플레이 데이터는 관련된 온라인 커뮤니티의 사용자 B로부터의 코멘트 등을 포함할 수 있다. 일부 구현들에서, 사용자 리뷰는 관련없는 온라인 커뮤니티에서 온 것일 수 있다. 예를 들어, @prettyinpink1234의 "ABC 시계들은 신성하다"와 같은 것이 있다.
도 8은, 클라이언트로서, 또는 서버 또는 복수의 서버들로서, 서술된 구현들에 따른 시스템들 및 방법들을 구현하기 위해 사용될 수 있는 컴퓨팅 디바이스의 블록도이다. 컴퓨팅 디바이스(800)는 랩톱들, 데스크톱들, 워크스테이션들, PDA들, 서버들, 블레이드 서버들, 메인프레임들, 셀룰러 폰들, 스마트폰들, 모바일 컴퓨팅 디바이스들(예를 들어, 노트패드, 이-리더 등) 등을 포함할 수 있지만, 이에 한정되지 않는다.
컴퓨팅 디바이스(800)는 프로세서(802), 메모리(804), 인터페이스(806) 및 포트들(808)을 포함한다. 컴포넌트들(802, 804, 806 및 808)의 각각은 여러 버스들을 사용하여 상호접속되고, 공통의 마더보드 상에 또는 적합한 다른 방식들로 장착될 수 있다. 프로세서(802)는 컴퓨팅 디바이스(800) 내에서 실행을 위한 명령어들을 처리할 수 있고, 상기 실행을 위한 명령어들은 인터페이스(808)에 연결된 디스플레이(810)와 같은 외부 입력/출력 디바이스 상의 GUI에 대한 그래픽 정보를 디스플레이하기 위해 메모리(804)에 저장된 명령어들을 포함한다. 다른 구현들에 따라, 다수의 프로세서들 그리고/또는 다수의 버스들은, 다수의 메모리들 및 메모리 타입들에 따라 적합하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들(800)은, 필요한 동작들의 부분들을 제공하는 각 디바이스(예를 들어, 서버 뱅크, 블래이드 서버들의 그룹, 멀티-프로세서 시스템 등)에 접속될 수 있다. 여러 통신 포트들(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷 등)을 포함할 수 있는 포트들(808)은 하나 이상의 입력/출력 디바이스들, 예를 들어, 키보드, 마우스, 포인팅 디바이스, 스캐너 등 또는 네트워킹 디바이스(스위치, 어댑터, 브리지, 라우터, 허브, 리피터 등)에 연결될 수 있다.
프로세서(802)는, 예를 들어, 사용자 인터페이스들의 제어와 같은 디바이스(800)의 다른 컴포넌트들과의 협력을 위해, 디바이스(800)에 의한 애플리케이션들 및 디바이스(800)에 의한 무선 통신을 제공할 수 있다. 프로세서(802)는 디스플레이(810)에 연결된 인터페이스(806)(예를 들어, 제어, 디스플레이, 외부 등)를 통해 사용자와 통신할 수 있다. 디스플레이(810)는, 예를 들어, TFT(박막 트랜지스터 액정 디스플레이) 디스플레이, OLED(유기 발광 다이오드) 디스플레이, 다른 플렉시블 디스플레이일 수 있다. 인터페이스(806)는 그래픽, 텍스트 및 다른 정보를 사용자에게 제공하기 위해 디스플레이(810)를 구동하기 위한 회로를 포함할 수 있다. 인터페이스(806)는 사용자 명령들(예를 들어, 음성-활성화, 텍스트 등)을 수신할 수 있고, 프로세서(802)에 제공하기 위해 명령들을 변환할 수 있다. 또한, 인터페이스(806)는 프로세서(802)와 통신하고, 다른 디바이스들과 디바이스(800)의 근접 영역 통신을 가능하게 하도록 제공될 수 있다. 인터페이스(806)는, 예를 들어, 유선 통신을 제공할 수 있다. 일부 구현들에서, 다수의 인터페이스들이 사용될 수 있다. 컴퓨팅 디바이스(800)는 인터페이스(806)를 통해 무선으로 통신할 수 있고, 인터페이스(806)는 필요한 디지털 신호 프로세싱 회로를 포함할 수 있다. 인터페이스(806)는 GSM 음성 호들, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS 등과 같은 여러 모드들 또는 프로토콜들 하에서 통신들을 제공할 수 있다. 그와 같은 통신은, 예를 들어, 무선 주파수 송수신기를 통해 발생할 수 있다. 또한, 근거리 통신은 블루투스, WiFi 또는 다른 그와 같은 송수신기를 사용하여 발생할 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈은 추가의 내비게이션- 및 위치-관련된 무선 데이터를 디바이스(800)에 제공할 수 있고, 디바이스(800)는 디바이스(800) 상에서 구동하는 애플리케이션들에 의해 적절하게 사용될 수 있다. 디바이스(800)는, 또한, 추가 저장장치, 예를 들어, 솔리드-스테이트 플래시 미디어를 제공하기 위해 저장 디바이스를 구비할 수 있다. 컴포넌트들의 각각은 여러 버스들을 사용하여 상호접속될 수 있다. 컴포넌트들의 각각은 여러 버스들을 사용하여 상호접속될 수 있다. 여러 컴포넌트들은 공통의 마더보드 상에 또는 적합한 다른 방식들로 장착될 수 있다.
디바이스(800)는 오디오 피드백을 통신할 수 있다. 일부 구현들에서, 오디오 코덱은 사용자로부터 구어 정보를 수신할 수 있고, 구어 정보를 사용가능한 디지털 정보로 변환할 수 있다. 상기 오디오 코덱은, 예를 들어, 디바이스의 핸드셋에서 스피커를 통해 사용자가 들을 수 있는 사운드를 발생시킬 수 있다. 사운드(들)은 음성 전화 호들, 기록된 사운드(예를 들어, 음성 메시지들, 음악 파일들 등), 디바이스 상에서 동작하는 애플리케이션들에 의해 생성된 사운드(들) 등을 포함할 수 있다.
메모리(804)는 컴퓨팅 디바이스(800) 내에 정보를 저장한다. 일 구현에서, 메모리(804)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현에서, 메모리(804)는 비-휘발성 메모리 유닛 또는 유닛들이다. 메모리(804)는 또한 마그네틱 또는 광 디스크와 같은 컴퓨터-판독가능한 매체의 다른 형태일 수 있다. 메모리(804)는 컴퓨팅 디바이스(800)를 위한 대용량 기억을 제공할 수 있다. 일 구현에서, 메모리(804)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광학 디스크 디바이스, 테이프 디바이스, 플래시 메모리 또는 다른 유사한 솔리드 스테이트 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성들에서의 디바이스들을 포함하는 디바이스들의 배열과 같은 컴퓨터-판독가능한 매체이거나 컴퓨터-판독가능한 매체를 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 캐리어에서 명백하게 실시될 수 있다. 상기 컴퓨터 프로그램 제품은, 또한, 실행될 때 상기에서 서술된 것과 같은 하나 이상의 방법들을 수행하는 명령어들을 포함할 수 있다. 상기 정보 캐리어는 메모리(804), 프로세서(802) 상의 메모리, 전파된 신호 등과 같은 컴퓨터 또는 기계 판독가능한 매체이다. 확장 메모리는 인터페이스(806)를 통해 디바이스(800)에 제공되고 접속될 수 있다.
이러한 컴퓨터 프로그램들(예를 들어, 소프트웨어, 소프트웨어 애플리케이션, 또는 코드)은 프로그램가능한 프로세서에 대한 기계 명령어들을 포함하고, 하이-레벨 절차 그리고/또는 객체-지향의 프로그래밍 언어, 그리고/또는 어셈블리/기계 언어로 구현될 수 있다. 여기에서 사용된 것으로, 용어들 "기계-판독가능한 매체" 및 "컴퓨터-판독가능한 매체"는, 기계 명령어들 그리고/또는 데이터를 프로그램가능 프로세서에 제공하기 위해 사용된 임의의 컴퓨터 프로그램 제품, 장치 그리고/또는 디바이스(예컨대, 자기 디스크들, 광학 디스크들, 메모리, 프로그램가능 로직 제어기(PLC)들, 프로그램가능 로직 디바이스(PLD)들)을 일컫는다.
사용자와의 상호대화를 제공하기 위하여, 본 명세서에 기술된 시스템들 및 기술들은 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스(예컨대, CRT(캐소드 레이 튜브) 또는 LCD(액정 디스플레이 모니터)), 및 사용자가 컴퓨터에 입력을 제공할 수 있게 하는 키보드 및 포인팅 디바이스(예컨대, 마우스 또는 트랙볼)를 구비한 컴퓨터 상에서 구현될 수 있다. 다른 종류의 디바이스들이 사용자와의 상호대화를 제공하기 위하여 사용될 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예컨대, 시각 피드백, 청각 피드백, 또는 촉각 피드백)일 수 있고, 사용자로부터의 입력은 음향, 언어 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다.
본 명세서에서 기술된 시스템들 및 기술들의 구현들은 디지털 전자 회로, 집적 회로, 특별하게 설계된 ASIC(application specific integrated ciucuits), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 그리고/또는 그것들의 조합에서 실현될 수 있다. 이러한 여러 구현들은 적어도 하나의 프로그램가능한 프로세서를 포함하는 프로그램가능한 시스템 상에서 실행가능하고 그리고/또는 해석가능한 하나 이상의 컴퓨터 프로그램들에서 구현을 포함할 수 있고, 상기 적어도 하나의 프로그램가능한 프로세서는 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고, 데이터 및 명령들을 저장 시스템, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스에 전송하도록 결합된 특별한 목적 또는 일반적인 프로세서일 수 있다.
본 명세서에 서술된 시스템들 및 기법들은 백-엔드 컴포넌트, 미들웨어 컴포넌트, 또는 프론트-엔드 컴포넌트를 포함하는 컴퓨팅 시스템, 또는 백-엔드 컴포넌트, 미들웨어 컴포넌트, 또는 프론트-엔드 컴포넌트의 임의의 조합으로 구현될 수 있다. 본 시스템의 컴포넌트들은 임의의 형태 또는 매체의 디지털 데이터 통신(예컨대, 통신 네트워크)에 의해 상호연결될 수 있다. 통신 네트워크들의 예는 로컬 영역 네트워크("LAN") 및 광역 네트워크("WAN"), 및 인터넷을 포함한다.
본 명세서는 많은 특정한 구현의 세부사항들을 포함하고 있지만, 이들이 임의의 발명들의 범위 또는 청구될 수 있는 범위에 대한 제한으로서 해석되어서는 안되고, 오히려 특정한 발명들의 특정한 구현들에 대한 구체적인 피처들의 설명으로서 해석되어야 한다. 본 명세서에서 개별 구현들의 내용에 기술된 특정 피처들은 또한 단일 구현에서 조합하여 구현될 수 있다. 역으로, 단일 구현의 내용에 기술된 다양한 피처들이 또한 복수의 구현들에서 개별적으로 또는 임의의 적합한 하위 조합(subcombination)으로 구현될 수 있다. 더욱이 피처들은 위에서 특정 조합들에서 동작하는 것으로 기술되고 심지어 애초에 그렇게 청구될 수 있으나, 청구되는 조합으로부터의 하나 이상의 피처들이 일부 경우에 그 조합으로부터 제거될 수 있고, 청구되는 조합이 하위 조합에 관한 것이거나 하위 조합의 변형에 관한 것일 수 있다.
마찬가지로, 동작들은 도면들에서 특정한 순서로 표시되었으나, 이것이 요구되는 결과들을 달성하기 위하여 그러한 동작들이 도시된 특정한 순서 또는 순차적 순서로 수행되거나 모든 도시된 동작들이 수행될 것을 요구하는 것으로서 이해되어서는 안된다. 특정한 상황들에서, 멀티태스킹 및 병렬 프로세싱이 유익할 수 있다. 더욱이, 위에서 기술된 구현들에서의 다양한 시스템 컴포넌트들의 분리가 모든 구현들에서 그러한 분를 요구하는 것으로 이해되어서는 안되며, 기술된 프로그램 컴포넌트들 및 시스템들이 일반적으로 단일 소프트웨어 제품으로 함께 집적되거나 복수의 소프트웨어 제품들로 패키지될 수 있다는 것이 이해되어야 한다.
따라서, 본 내용의 특정한 구현들이 기술되었다. 다른 구현들은 하기의 청구항들의 범위 내에 존재한다. 일부 경우들에, 청구항들에 기술된 동작들이 상이한 순서로 수행될 수 있으나 여전히 요구되는 결과들을 달성할 수 있다. 추가로, 첨부의 도면들에 표시된 프로세스들이 요구되는 결과들을 달성하기 위하여 반드시 도시된 특정 순서, 또는 순차적 순서를 요구하는 것은 아니다. 특정한 구현들에서, 멀티태스킹 및 병렬 프로세싱이 유익할 수 있다.

Claims (21)

  1. 시스템으로서,
    메모리; 및
    하드웨어 프로세서를 포함하고,
    상기 하드웨어 프로세서는 상기 메모리에 저장된 컴퓨터-실행가능 명령들을 실행할 때,
    비디오 콘텐트 아이템의 복수의 이미지들로부터 선택된 이미지를 수신하고;
    상기 메모리에 상기 수신된 이미지를 저장하고;
    상기 이미지가 상기 이미지 내에 디스플레이되는 복수의 아이템들을 포함한다고 결정하고;
    상기 이미지에 디스플레이된 상기 복수의 아이템들 각각에 대해 그 아이템에 대한 검색 상태를 나타내는 초기 검색 표시를 동시에 제공하면서, 상기 이미지에 디스플레이된 상기 복수의 아이템들 중 하나에 각각 대응하는 알려진 아이템들에 대해 검색하는 복수의 이미지 쿼리들을 하나 또는 그 초과의 소스들에 전송하고 ― 상기 초기 검색 표시는, 상기 복수의 이미지 쿼리들 중 하나 또는 그 초과의 이미지 쿼리들을 사용하여 상기 대응하는 알려진 아이템에 대한 검색이 진행 중임을 나타내는 초기 시각 상태로부터, 상기 복수의 이미지 쿼리들 중 하나 또는 그 초과의 이미지 쿼리들을 사용하여 상기 대응하는 알려진 아이템에 대한 검색이 완료되었음을 나타내는 변경된 시각 상태로 변경됨 ―;
    상기 복수의 이미지 쿼리들로부터의 검색 결과들에 기초하여, 상기 이미지에 디스플레이된 상기 복수의 아이템들이 알려진 아이덴티티를 갖는 제1 아이템 및 복수의 알려진 아이덴티티들을 갖는 제2 아이템을 포함한다고 결정하고;
    상기 비디오 콘텐트 아이템으로부터의 상기 이미지와 상기 이미지에 디스플레이된 상기 복수의 아이템들 각각에 대한 식별 표시(identification indication)를 포함하는 오버레이를 동시에 디스플레이하기 위해, 디스플레이 디바이스 상에 디스플레이 데이터를 업데이트하도록 구성되고,
    상기 제1 아이템과 관련된 식별 표시는 상기 제2 아이템과 관련된 식별 표시와 상이한, 시스템.
  2. 제1항에 있어서,
    상기 제1 아이템과 관련된 식별 표시는 상기 제1 아이템에 연관되어(in connection with) 위치되는 제1 강조 영역을 포함하고,
    상기 제2 아이템과 관련된 식별 표시는 상기 제2 아이템에 연관되어 위치되는 제2 강조 영역을 포함하고,
    상기 제1 강조 영역은, 상기 제1 아이템이 상기 알려진 아이덴티티를 갖는 것을 나타내기 위해 제1 색상과 관련되고, 그리고
    상기 제2 강조 영역은, 상기 제2 아이템이 복수의 알려진 아이덴티티들을 갖는 것을 나타내기 위해 제2 색상과 관련되는, 시스템.
  3. 제1항에 있어서,
    상기 하드웨어 프로세서는, 상기 검색에 기초하여, 상기 이미지에 디스플레이되는 상기 복수의 아이템들이 알려지지 않은 아이덴티티를 갖는 제3 아이템을 포함한다고 결정하도록 추가로 구성되고,
    상기 제3 아이템과 관련된 식별 표시는 상기 제3 아이템에 연관되어 위치되는 제3 강조 영역을 포함하고, 그리고
    상기 제3 강조 영역은, 상기 제3 아이템이 상기 알려지지 않은 아이덴티티를 갖는 것을 나타내기 위해 제3 색상과 관련되는, 시스템.
  4. 제1항에 있어서,
    상기 하드웨어 프로세서는,
    상기 제1 아이템 또는 상기 제2 아이템의 선택을 수신하고;
    선택된 아이템에 관한 정보를 검색하고;
    검색된 정보에 기초하여, 상기 비디오 콘텐트 아이템의 이미지의 오버레이 내에 디스플레이 데이터를 디스플레이 디바이스 상에 제공하도록 추가로 구성되며,
    상기 디스플레이 데이터는 상기 디스플레이 디바이스를 상기 선택된 아이템에 관한 추가 정보로 향하게 하는 링크를 포함하는, 시스템.
  5. 제1항에 있어서,
    상기 하드웨어 프로세서는, 상기 비디오 콘텐트 아이템이 미디어 소스로부터 수신되는 상기 비디오 콘텐트 아이템 내에 미리결정된 아이템 식별자 데이터를 포함한다고 결정하도록 추가로 구성되는, 시스템.
  6. 제1항에 있어서,
    상기 이미지에 디스플레이되는 상기 복수의 아이템들은 사람 얼굴, 물체 및 장면 중 적어도 하나를 포함하는, 시스템.
  7. 제1항에 있어서,
    상기 하드웨어 프로세서는,
    상기 이미지를 복수의 영역들로 분할하는 것,
    상기 복수의 영역들의 각각의 영역에서 피처(feature)들을 검출하는 것,
    각각의 영역에서 검출된 피처들을 분석하는 것, 및
    상기 검출된 피처들이 텍스트 정보(textual information)를 포함하는지 여부를 결정하는 것에 의해 상기 이미지 내에서 텍스트 영역을 식별하도록 추가로 구성되는, 시스템.
  8. 방법으로서,
    하드웨어 프로세서를 이용하여, 비디오 콘텐트 아이템의 복수의 이미지들로부터 선택된 이미지를 수신하는 단계;
    상기 하드웨어 프로세서를 이용하여, 메모리에 상기 수신된 이미지를 저장하는 단계;
    상기 하드웨어 프로세서를 이용하여, 상기 이미지가 상기 이미지 내에 디스플레이되는 복수의 아이템들을 포함한다고 결정하는 단계;
    상기 하드웨어 프로세서를 이용하여, 상기 이미지에 디스플레이된 상기 복수의 아이템들 각각에 대해 그 아이템에 대한 검색 상태를 나타내는 초기 검색 표시를 동시에 제공하면서, 상기 이미지에 디스플레이된 상기 복수의 아이템들 중 하나에 각각 대응하는 알려진 아이템들에 대해 검색하는 복수의 이미지 쿼리들을 하나 또는 그 초과의 소스들에 전송하는 단계 ― 상기 초기 검색 표시는, 상기 복수의 이미지 쿼리들 중 하나 또는 그 초과의 이미지 쿼리들을 사용하여 상기 대응하는 알려진 아이템에 대한 검색이 진행 중임을 나타내는 초기 시각 상태로부터, 상기 복수의 이미지 쿼리들 중 하나 또는 그 초과의 이미지 쿼리들을 사용하여 상기 대응하는 알려진 아이템에 대한 검색이 완료되었음을 나타내는 변경된 시각 상태로 변경됨 ―;
    상기 하드웨어 프로세서를 이용하여, 상기 복수의 이미지 쿼리들로부터의 검색 결과들에 기초하여, 상기 이미지에 디스플레이된 상기 복수의 아이템들이 알려진 아이덴티티를 갖는 제1 아이템 및 복수의 알려진 아이덴티티들을 갖는 제2 아이템을 포함한다고 결정하는 단계; 및
    상기 하드웨어 프로세서를 이용하여, 상기 비디오 콘텐트 아이템으로부터의 상기 이미지 및 상기 이미지에 디스플레이된 상기 복수의 아이템들 각각에 대한 식별 표시를 포함하는 오버레이를 동시에 디스플레이하기 위해, 디스플레이 디바이스 상에 디스플레이 데이터를 업데이트하는 단계
    를 포함하고,
    상기 제1 아이템과 관련된 식별 표시는 상기 제2 아이템과 관련된 식별 표시와 상이한, 방법.
  9. 제8항에 있어서,
    상기 제1 아이템과 관련된 식별 표시는 상기 제1 아이템에 연관되어 위치되는 제1 강조 영역을 포함하고,
    상기 제2 아이템과 관련된 식별 표시는 상기 제2 아이템에 연관되어 위치되는 제2 강조 영역을 포함하고,
    상기 제1 강조 영역은, 상기 제1 아이템이 상기 알려진 아이덴티티를 갖는 것을 나타내기 위해 제1 색상과 관련되고, 그리고
    상기 제2 강조 영역은, 상기 제2 아이템이 복수의 알려진 아이덴티티들을 갖는 것을 나타내기 위해 제2 색상과 관련되는, 방법.
  10. 제8항에 있어서,
    상기 검색에 기초하여, 상기 이미지에 디스플레이되는 상기 복수의 아이템들이 알려지지 않은 아이덴티티를 갖는 제3 아이템을 포함한다고 결정하는 단계를 더 포함하고,
    상기 제3 아이템과 관련된 식별 표시는 상기 제3 아이템에 연관되어 위치되는 제3 강조 영역을 포함하고, 그리고
    상기 제3 강조 영역은, 상기 제3 아이템이 상기 알려지지 않은 아이덴티티를 갖는 것을 나타내기 위해 제3 색상과 관련되는, 방법.
  11. 제8항에 있어서,
    상기 제1 아이템 또는 상기 제2 아이템의 선택을 수신하는 단계;
    상기 선택된 아이템에 관한 정보를 검색하는 단계; 및
    상기 검색된 정보에 기초하여 상기 비디오 콘텐트 아이템의 상기 이미지의 상기 오버레이 내의 상기 디스플레이 데이터를 상기 디스플레이 디바이스 상에 제공하는 단계를 더 포함하고,
    상기 디스플레이 데이터는 상기 디스플레이 디바이스를 상기 선택된 아이템에 관한 추가 정보로 향하게 하는 링크를 포함하는, 방법.
  12. 제8항에 있어서,
    상기 비디오 콘텐트 아이템이 미디어 소스로부터 수신되는 상기 비디오 콘텐트 아이템 내에 미리 결정된 아이템 식별자 데이터를 포함한다고 결정하는 단계를 더 포함하는, 방법.
  13. 제8항에 있어서,
    상기 이미지에 디스플레이되는 상기 복수의 아이템들은 사람 얼굴, 물체 및 장면 중 적어도 하나를 포함하는, 방법.
  14. 제8항에 있어서,
    상기 이미지를 복수의 영역들로 분할하는 것,
    상기 복수의 영역들의 각 영역에서 피처들을 검출하는 것,
    각 영역에서 검출된 피처들을 분석하는 것, 및
    상기 검출된 피처들이 텍스트 정보를 포함하는지 여부를 결정하는 것
    에 의해 상기 이미지 내에서 텍스트 영역을 식별하는 단계를 더 포함하는, 방법.
  15. 컴퓨터 실행가능 명령들을 포함하는 비-일시적 컴퓨터 판독가능 매체로서,
    프로세서에 의해 실행될 때 상기 컴퓨터 실행가능 명령들은 상기 프로세서가 방법을 수행하도록 하고, 상기 방법은,
    비디오 콘텐트 아이템의 복수의 이미지들로부터 선택된 이미지를 수신하는 단계;
    메모리에 상기 수신된 이미지를 저장하는 단계;
    상기 이미지가 상기 이미지 내에 디스플레이되는 복수의 아이템들을 포함한다고 결정하는 단계;
    상기 이미지에 디스플레이된 상기 복수의 아이템들 각각에 대해 그 아이템에 대한 검색 상태를 나타내는 초기 검색 표시를 동시에 제공하면서, 상기 이미지에 디스플레이된 상기 복수의 아이템들 중 하나에 각각 대응하는 알려진 아이템들에 대해 검색하는 복수의 이미지 쿼리들을 하나 또는 그 초과의 소스들에 전송하는 단계 ― 상기 초기 검색 표시는, 상기 복수의 이미지 쿼리들 중 하나 또는 그 초과의 이미지 쿼리들을 사용하여 상기 대응하는 알려진 아이템에 대한 검색이 진행 중임을 나타내는 초기 시각 상태로부터, 상기 복수의 이미지 쿼리들 중 하나 또는 그 초과의 이미지 쿼리들을 사용하여 상기 대응하는 알려진 아이템에 대한 검색이 완료되었음을 나타내는 변경된 시각 상태로 변경됨 ―;
    상기 복수의 이미지 쿼리들로부터의 검색 결과들에 기초하여, 상기 이미지에 디스플레이된 상기 복수의 아이템들이 알려진 아이덴티티를 갖는 제1 아이템 및 복수의 알려진 아이덴티티들을 갖는 제2 아이템을 포함한다고 결정하는 단계; 및
    상기 비디오 콘텐트 아이템으로부터의 상기 이미지와 상기 이미지에 디스플레이된 상기 복수의 아이템들 각각에 대한 식별 표시를 포함하는 오버레이를 동시에 디스플레이하기 위해, 디스플레이 디바이스 상에 디스플레이 데이터를 업데이트하는 단계를 포함하고,
    상기 제1 아이템과 관련된 식별 표시는 상기 제2 아이템과 관련된 식별 표시와 상이한, 비-일시적 컴퓨터 판독가능 매체.
  16. 제15항에 있어서,
    상기 제1 아이템과 관련된 식별 표시는 상기 제1 아이템에 연관되어 위치되는 제1 강조 영역을 포함하고,
    상기 제2 아이템과 관련된 식별 표시는 상기 제2 아이템에 연관되어 위치되는 제2 강조 영역을 포함하고,
    상기 제1 강조 영역은, 상기 제1 아이템이 상기 알려진 아이덴티티를 갖는 것을 나타내기 위해 제1 색상과 관련되고, 그리고
    상기 제2 강조 영역은, 상기 제2 아이템이 복수의 알려진 아이덴티티들을 갖는 것을 나타내기 위해 제2 색상과 관련되는, 비-일시적 컴퓨터 판독가능 매체.
  17. 제15항에 있어서,
    상기 방법은, 상기 검색에 기초하여, 상기 이미지에 디스플레이되는 상기 복수의 아이템들이 알려지지 않은 아이덴티티를 갖는 제3 아이템을 포함한다고 결정하는 단계를 더 포함하고,
    상기 제3 아이템과 관련된 식별 표시는 상기 제3 아이템에 연관되어 위치되는 제3 강조 영역을 포함하고, 그리고
    상기 제3 강조 영역은, 상기 제3 아이템이 상기 알려지지 않은 아이덴티티를 갖는 것을 나타내기 위해 제3 색상과 관련되는, 비-일시적 컴퓨터 판독가능 매체.
  18. 제15항에 있어서,
    상기 방법은,
    상기 제1 아이템 또는 상기 제2 아이템의 선택을 수신하는 단계;
    상기 선택된 아이템에 관한 정보를 검색하는 단계; 및
    상기 검색된 정보에 기초하여 상기 비디오 콘텐트 아이템의 상기 이미지의 상기 오버레이 내의 상기 디스플레이 데이터를 상기 디스플레이 디바이스 상에 제공하는 단계를 더 포함하고,
    상기 디스플레이 데이터는 상기 디스플레이 디바이스를 상기 선택된 아이템에 관한 추가 정보로 향하게 하는 링크를 포함하는, 비-일시적 컴퓨터 판독가능 매체.
  19. 제15항에 있어서,
    상기 방법은, 상기 비디오 콘텐트 아이템이 미디어 소스로부터 수신되는 상기 비디오 콘텐트 아이템 내에 미리 결정된 아이템 식별자 데이터를 포함한다고 결정하는 단계를 더 포함하는, 비-일시적 컴퓨터 판독가능 매체.
  20. 제15항에 있어서,
    상기 이미지에 디스플레이되는 상기 복수의 아이템들은 사람 얼굴, 물체 및 장면 중 적어도 하나를 포함하는, 비-일시적 컴퓨터 판독가능 매체.
  21. 제15항에 있어서,
    상기 방법은,
    상기 이미지를 복수의 영역들로 분할하는 것,
    상기 복수의 영역들의 각 영역에서 피처들을 검출하는 것,
    각 영역에서 검출된 피처들을 분석하는 것, 및
    상기 검출된 피처들이 텍스트 정보를 포함하는지 여부를 결정하는 것
    에 의해 상기 이미지 내에서 텍스트 영역을 식별하는 단계를 더 포함하는, 비-일시적 컴퓨터 판독가능 매체.
KR1020147021835A 2012-01-04 2012-10-16 이미지를 탐색하는 시스템들 및 방법들 KR102007999B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/343,630 2012-01-04
US13/343,630 US9596515B2 (en) 2012-01-04 2012-01-04 Systems and methods of image searching
PCT/US2012/060453 WO2013103429A1 (en) 2012-01-04 2012-10-16 Systems and methods of image searching

Publications (2)

Publication Number Publication Date
KR20140111328A KR20140111328A (ko) 2014-09-18
KR102007999B1 true KR102007999B1 (ko) 2019-08-06

Family

ID=48696063

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147021835A KR102007999B1 (ko) 2012-01-04 2012-10-16 이미지를 탐색하는 시스템들 및 방법들

Country Status (5)

Country Link
US (4) US9596515B2 (ko)
EP (1) EP2801043A4 (ko)
KR (1) KR102007999B1 (ko)
CN (1) CN104145267B (ko)
WO (1) WO2013103429A1 (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130088662A (ko) * 2012-01-31 2013-08-08 한국전자통신연구원 디지털 미디어 콘텐트를 통한 부가 정보 제공 장치, 방법 및 시스템
US10389779B2 (en) 2012-04-27 2019-08-20 Arris Enterprises Llc Information processing
US10277933B2 (en) * 2012-04-27 2019-04-30 Arris Enterprises Llc Method and device for augmenting user-input information related to media content
KR102004262B1 (ko) * 2012-05-07 2019-07-26 엘지전자 주식회사 미디어 시스템 및 이미지와 연관된 추천 검색어를 제공하는 방법
US9258597B1 (en) * 2013-03-13 2016-02-09 Google Inc. System and method for obtaining information relating to video images
US9247309B2 (en) 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
US9705728B2 (en) 2013-03-15 2017-07-11 Google Inc. Methods, systems, and media for media transmission and management
CN103442308A (zh) * 2013-08-22 2013-12-11 百度在线网络技术（北京）有限公司 音视频文件的标注方法、装置以及信息推荐方法和装置
KR20150050016A (ko) * 2013-10-31 2015-05-08 삼성전자주식회사 전자 장치 및 전자 장치에서의 검색 방법
KR102204261B1 (ko) * 2013-11-04 2021-01-18 삼성전자 주식회사 전자 장치 및 이의 어플리케이션 실행 방법
US9747727B2 (en) 2014-03-11 2017-08-29 Amazon Technologies, Inc. Object customization and accessorization in video content
US10417271B2 (en) 2014-11-25 2019-09-17 International Business Machines Corporation Media content search based on a relationship type and a relationship strength
US20160182954A1 (en) 2014-12-18 2016-06-23 Rovi Guides, Inc. Methods and systems for generating a notification
US10497053B2 (en) * 2015-02-27 2019-12-03 3D Product Imaging Inc. Augmented reality E-commerce
CN104618741A (zh) * 2015-03-02 2015-05-13 浪潮软件集团有限公司 一种基于视频内容的信息推送系统及方法
CN104837050B (zh) 2015-03-23 2018-09-04 腾讯科技（北京）有限公司 一种信息处理方法及终端
CN104751144B (zh) * 2015-04-02 2017-11-17 山东大学 一种面向视频监控的正面人脸快速评价方法
US11513658B1 (en) 2015-06-24 2022-11-29 Amazon Technologies, Inc. Custom query of a media universe database
US10970843B1 (en) * 2015-06-24 2021-04-06 Amazon Technologies, Inc. Generating interactive content using a media universe database
US10440435B1 (en) * 2015-09-18 2019-10-08 Amazon Technologies, Inc. Performing searches while viewing video content
WO2017143575A1 (zh) * 2016-02-25 2017-08-31 华为技术有限公司 对图片的内容进行检索的方法、便携式电子设备和图形用户界面
CN107577686A (zh) * 2016-07-11 2018-01-12 北京陌上花科技有限公司 搜索方法及装置
CN106210765A (zh) * 2016-07-14 2016-12-07 乐视控股（北京）有限公司 一种视频显示方法及装置
KR101886182B1 (ko) 2016-09-28 2018-08-08 서강대학교산학협력단 내용 기반 이미지 검색을 위한 질의 이미지 생성 방법 및 시스템
US10297059B2 (en) * 2016-12-21 2019-05-21 Motorola Solutions, Inc. Method and image processor for sending a combined image to human versus machine consumers
US10110939B1 (en) * 2017-04-24 2018-10-23 Rovi Guides, Inc. Systems and methods for presenting a service application selection window including dynamic icons
CN107422946A (zh) * 2017-07-21 2017-12-01 广州阿里巴巴文学信息技术有限公司 电子书显示方法、装置及终端设备
CN107844238A (zh) * 2017-11-29 2018-03-27 佛山市因诺威特科技有限公司 一种统计浏览器网页信息的方法和系统
CN108197336B (zh) * 2018-03-15 2022-04-22 北京奇艺世纪科技有限公司 一种视频查找的方法及装置
US10965985B2 (en) * 2018-05-21 2021-03-30 Hisense Visual Technology Co., Ltd. Display apparatus with intelligent user interface
US11507619B2 (en) * 2018-05-21 2022-11-22 Hisense Visual Technology Co., Ltd. Display apparatus with intelligent user interface
WO2019223536A1 (en) * 2018-05-21 2019-11-28 Qingdao Hisense Electronics Co., Ltd. Display apparatus with intelligent user interface
CN109671378A (zh) * 2018-12-27 2019-04-23 努比亚技术有限公司 一种展示柜交互方法、展示柜及计算机可读存储介质
US10477287B1 (en) 2019-06-18 2019-11-12 Neal C. Fairbanks Method for providing additional information associated with an object visually present in media content
CN111314759B (zh) * 2020-03-02 2021-08-10 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及存储介质
US20230232064A1 (en) * 2020-06-04 2023-07-20 Lg Electronics Inc. Image display device and operation method thereof
US11956518B2 (en) 2020-11-23 2024-04-09 Clicktivated Video, Inc. System and method for creating interactive elements for objects contemporaneously displayed in live video
US11997321B2 (en) * 2021-04-22 2024-05-28 Shopify Inc. Systems and methods for controlling transmission of live media streams
US12026201B2 (en) * 2021-05-31 2024-07-02 Google Llc Automated product identification within hosted and streamed videos
CN113691853B (zh) * 2021-07-16 2023-03-28 北京达佳互联信息技术有限公司 页面显示方法、装置及存储介质
US20230308708A1 (en) * 2022-03-25 2023-09-28 Donde Fashion, Inc. Systems and methods for controlling a user interface for presentation of live media streams

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070136773A1 (en) * 2005-12-14 2007-06-14 O'neil Douglas Systems and methods for providing television services using implicit content to indicate the availability of additional content
US20110131605A1 (en) * 2009-12-02 2011-06-02 At&T Intellectual Property I, L.P System and Method to Identify an Item Depicted when Media Content is Displayed

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5929849A (en) * 1996-05-02 1999-07-27 Phoenix Technologies, Ltd. Integration of dynamic universal resource locators with television presentations
US7240075B1 (en) 2002-09-24 2007-07-03 Exphand, Inc. Interactive generating query related to telestrator data designating at least a portion of the still image frame and data identifying a user is generated from the user designating a selected region on the display screen, transmitting the query to the remote information system
WO2006075301A1 (en) * 2005-01-14 2006-07-20 Philips Intellectual Property & Standards Gmbh A method and a system for constructing virtual video channel
US7813557B1 (en) 2006-01-26 2010-10-12 Adobe Systems Incorporated Tagging detected objects
US7783085B2 (en) * 2006-05-10 2010-08-24 Aol Inc. Using relevance feedback in face recognition
JP5044321B2 (ja) * 2006-09-13 2012-10-10 株式会社リコー 撮像装置および被写体検出方法
US20080098433A1 (en) * 2006-10-23 2008-04-24 Hardacker Robert L User managed internet links from TV
US8407744B2 (en) 2007-06-19 2013-03-26 Verizon Patent And Licensing Inc. Snapshot recognition for TV
US8091103B2 (en) 2007-07-22 2012-01-03 Overlay.Tv Inc. Server providing content directories of video signals and linkage to content information sources
KR20090101748A (ko) 2008-03-24 2009-09-29 강민수 사용자의 컴퓨터로부터 선택 정보를 입수 받은 멀티미디어콘텐츠의 재생 시점을 기다려 검색질의어에 기반한 키워드광고 콘텐츠를 제공하는 방법
US9113214B2 (en) 2008-05-03 2015-08-18 Cinsay, Inc. Method and system for generation and playback of supplemented videos
CN101286351B (zh) * 2008-05-23 2011-02-23 广州视源电子科技有限公司 生成流媒体增值描述文件及插播多媒体信息的方法、系统
US8407084B2 (en) 2008-06-13 2013-03-26 Sony Computer Entertainment America Inc. User selectable game information associated with an asset
KR20100137252A (ko) 2009-06-22 2010-12-30 주식회사 코리아퍼스텍 전자앨범장치 및 이의 구동방법, 전자앨범에 객체정보를 포함하는 동영상 제공방법 및 장치
US8947350B2 (en) 2009-09-14 2015-02-03 Broadcom Corporation System and method for generating screen pointing information in a television control device
US9183224B2 (en) 2009-12-02 2015-11-10 Google Inc. Identifying matching canonical documents in response to a visual query
US10043193B2 (en) 2010-01-20 2018-08-07 Excalibur Ip, Llc Image content based advertisement system
US9015139B2 (en) * 2010-05-14 2015-04-21 Rovi Guides, Inc. Systems and methods for performing a search based on a media content snapshot image
US8903798B2 (en) * 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US20110321082A1 (en) 2010-06-29 2011-12-29 At&T Intellectual Property I, L.P. User-Defined Modification of Video Content
US8943071B2 (en) * 2011-08-23 2015-01-27 At&T Intellectual Property I, L.P. Automatic sort and propagation associated with electronic documents
US20130174191A1 (en) * 2011-12-29 2013-07-04 United Video Properties, Inc. Systems and methods for incentivizing user interaction with promotional content on a secondary device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070136773A1 (en) * 2005-12-14 2007-06-14 O'neil Douglas Systems and methods for providing television services using implicit content to indicate the availability of additional content
US20110131605A1 (en) * 2009-12-02 2011-06-02 At&T Intellectual Property I, L.P System and Method to Identify an Item Depicted when Media Content is Displayed

Also Published As

Publication number Publication date
CN104145267A (zh) 2014-11-12
EP2801043A1 (en) 2014-11-12
US20190158922A1 (en) 2019-05-23
CN104145267B (zh) 2018-04-06
US20230229690A1 (en) 2023-07-20
US9596515B2 (en) 2017-03-14
US11611806B2 (en) 2023-03-21
US10194206B2 (en) 2019-01-29
KR20140111328A (ko) 2014-09-18
WO2013103429A1 (en) 2013-07-11
US20170188105A1 (en) 2017-06-29
US20130174195A1 (en) 2013-07-04
EP2801043A4 (en) 2015-08-12

Similar Documents

Publication Publication Date Title
KR102007999B1 (ko) 이미지를 탐색하는 시스템들 및 방법들
US8918731B2 (en) Content search method and display device using the same
RU2614137C2 (ru) Способ и устройство для получения информации
US20150015788A1 (en) Methods and devices for providing companion services to video
US11102552B2 (en) Providing a program listing
JP2017204874A (ja) 画像受信装置
US20120167145A1 (en) Method and apparatus for providing or utilizing interactive video with tagged objects
CN102722517A (zh) 用于观看者选择的视频对象的增强信息
US20140359664A1 (en) Display apparatus, method of controlling display apparatus, and computer-readable recording medium
KR102352764B1 (ko) 사용자 단말 장치, 사용자 단말 장치와 연계되는 디스플레이 장치, 연계 시스템 및 그 제어 방법
US20170171629A1 (en) Display device and method for controlling the same
US10911833B2 (en) Method and device for providing information on content
US20170026707A1 (en) Electronic device for providing information associated with broadcast content and method thereof
CN103154923A (zh) 对电视显示器的远程控制
KR20150111095A (ko) 디스플레이 장치 및 이의 제어 방법
US20150135218A1 (en) Display apparatus and method of controlling the same
KR102088443B1 (ko) 검색을 수행하는 디스플레이 장치 및 이의 제어 방법
KR20150055528A (ko) 디스플레이 장치 및 그 제어 방법
CN105230031A (zh) 遥控设备、显示装置和用于控制遥控设备和显示装置的方法
US9167197B1 (en) Providing a multi-pane display
US11451871B2 (en) Electronic device for providing information related to bookmarked content, and method for controlling electronic device
KR102303286B1 (ko) 단말기 및 그의 동작 방법
EP2645733A1 (en) Method and device for identifying objects in movies or pictures
KR102330475B1 (ko) 단말기 및 그의 동작 방법
KR20150136315A (ko) 디스플레이 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant