KR101783115B1 - 명령 처리를 위한 텔레스트레이션 시스템 - Google Patents

명령 처리를 위한 텔레스트레이션 시스템 Download PDF

Info

Publication number
KR101783115B1
KR101783115B1 KR1020157024553A KR20157024553A KR101783115B1 KR 101783115 B1 KR101783115 B1 KR 101783115B1 KR 1020157024553 A KR1020157024553 A KR 1020157024553A KR 20157024553 A KR20157024553 A KR 20157024553A KR 101783115 B1 KR101783115 B1 KR 101783115B1
Authority
KR
South Korea
Prior art keywords
image
operator
computing device
determining
search
Prior art date
Application number
KR1020157024553A
Other languages
English (en)
Other versions
KR20150119055A (ko
Inventor
라미 에스. 아욥
스위 엠. 목
Original Assignee
제너럴 인스트루먼트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제너럴 인스트루먼트 코포레이션 filed Critical 제너럴 인스트루먼트 코포레이션
Publication of KR20150119055A publication Critical patent/KR20150119055A/ko
Application granted granted Critical
Publication of KR101783115B1 publication Critical patent/KR101783115B1/ko

Links

Images

Classifications

    • G06F17/30277—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42224—Touch pad or touch panel provided on the remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

일 실시형태에서, 방법은 디스플레이 디바이스에 디스플레이되고 있는 이미지에 대한 텔레스트레이션(telestration)을 위한 사용자 입력을 검출하고, 텔레스트레이션에 기초하여 이미지 중의 복수의 이미지 부분들을 결정한다. 복수의 이미지 부분들은 텔레스트레이션에 기초하여 각각의 이미지 부분 주변의 경계(boundary)에 의해 결정된다. 그리고 나서, 본 방법은 복수의 이미지 부분들에 대한 태그들의 세트를 결정한다. 태그들의 세트는 복수의 이미지 부분들에서의 콘텐츠(content)의 이미지 인식에 기초하여 결정된다. 텔레스트레이션에 기초하여 연산자가 결정되고, 여기서 연산자는 복수의 이미지 부분들에 대해 수행하기 위한 연산(operation)을 특징짓는다. 본 방법은 태그들의 세트에 연산자를 적용하는 것에 기초하여 검색 질의(search query)를 결정하고, 검색 질의를 사용하여 검색이 수행되게 한다.

Description

명령 처리를 위한 텔레스트레이션 시스템{TELESTRATION SYSTEM FOR COMMAND PROCESSING}
방송국들은 다양한 디바이스들 상에서 비디오를 시청하는 사용자들에 대해 관람 경험을 향상시키기 위해 텔레스트레이터 시스템(telestrator system)들을 사용할 수 있다. 예를 들어, 사용자는 텔레비전으로 방송하고 있는 풋볼 게임을 시청하고 있을 수 있다. 방송 도중에, 아나운서들은 풋볼 게임 동안 일어나는 이벤트들을 설명한다. 사용자가 이벤트들을 이해하는 것을 돕기 위해, 아나운서는 텔레스트레이션 시스템을 사용하여 풋볼 게임의 방송 도중에 비디오에 주석처리를 할 수 있다. 예를 들어, 아나운서는 텔레스트레이터 시스템을 사용하여 특정 선수들 주위에 원을 그리거나 또는 어떻게 경기가 진행되었는지를 설명한다. 이것은 사용자가 비디오에서 일어나고 있는 것을 더 잘 이해하도록 도울 수 있다. 텔레스트레이터 시스템은 사용자에게 비디오를 전달하고 사용자가 액세스할 수 없는 방송 시스템의 일부분이다. 그리하여, 텔레스트레이션들은 사용자에게 비디오로 송신된다.
다른 예에서, 사용자는 컴퓨팅 디바이스 상에 디스플레이되는 문서(document)와 상호작용할 수 있다. 웹 페이지는 사용자가 선택할 수 있는 특정 링크들 또는 이미지들을 디스플레이한다. 링크들 또는 이미지들 중 하나를 선택함으로써, 사용자는 더 많은 정보를 볼 수 있으며, 예를 들어 링크를 선택하는 것은 다른 웹 페이지가 디스플레이되도록 할 수 있다. 그러나, 이미지를 선택하는 것은 동일한 이미지의 더 큰 버전만을 보여줄 수 있다. 사용자가 링크들 또는 이미지들을 사용하여 더 많은 정보에 액세스할 수 있긴 하지만, 이러한 유형의 상호작용은 추가적인 정보를 수신하기 위한 사용자의 능력을 제한한다. 예를 들어, 링크들은 하드코딩되고(hard-coded), 사용자는 링크와 연관된 웹 페이지만을 수신하는 것으로 제약을 받거나, 또는 화상(picture)이 선택되면, 더 큰 이미지만이 디스플레이된다.
도 1은 일 실시형태에 따른 텔레스트레이션 사용자 인터페이스에 대한 간소화한 시스템을 나타낸다.
도 2는 일 실시형태에 따른 사용자 인터페이스를 텔레스트레이팅(telestrating)하기 위한 방법들의 예들을 나타낸다.
도 3은 일 실시형태에 따른 제1 텔레스트레이션의 예를 나타낸다.
도 4는 일 실시형태에 따른 텔레스트레이션의 제2 예를 도시한다.
도 5는 일 실시형태에 따른 다수의 객체(object)들을 텔레스트레이팅하는 예를 나타낸다.
도 6은 일 실시형태에 따른 논리 연산자(logical operator)들 및 콘텍스트(context)를 사용하여 이미지를 텔레스트레이팅하기 위한 다른 예를 도시한다.
도 7a는 일 실시형태에 따른 텔레스트레이션으로부터 콘텍스트를 도출하는 예를 도시한다.
도 7b는 일 실시형태에 따른 텔레스트레이션을 사용하여 의도(intent)를 나타내기 위한 제2 예를 도시한다.
도 8은 일 실시형태에 따른 상이한 텔레스트레이션 마크들의 예를 도시한다.
도 9는 일 실시형태에 따른 텔레스트레이션을 처리하기 위한 방법의 간소화한 흐름도를 나타낸다.
도 10은 일 실시형태에 따른 시스템의 더욱 상세한 예를 도시한다.
도 11은 일 실시형태에 따른 텔레스트레이션 인터페이스로 구성된 특수 목적 컴퓨터 시스템의 예를 예시한다.
텔레스트레이션 시스템에 대한 기법들이 본 명세서에 설명된다. 하기 설명에서, 설명의 목적으로, 특정한 실시형태들의 철저한 이해를 제공하기 위해 많은 예들 및 특정 상세 사항들이 진술된다. 청구범위에 의해 정의되는 바와 같은 특정한 실시형태들은 이들 예들에서의 특징들의 일부 또는 전부를 단독으로 포함하거나 또는 이하 설명되는 다른 특징들과 조합하여 포함할 수 있고, 본 명세서에 설명되는 특징들 및 개념들의 변경예들 및 등가물들을 더 포함할 수 있다.
일 실시형태에서, 방법은 디스플레이 디바이스 상에 디스플레이되어 있는 이미지에 대한 텔레스트레이션을 위한 사용자 입력을 검출하고, 텔레스트레이션에 기초하여 이미지 중의 복수의 이미지 부분들을 결정한다. 복수의 이미지 부분들은 텔레스트레이션에 기초하여 각 이미지 부분 주변의 경계(boundary)에 의해 결정된다. 이 방법은 그 후에 복수의 이미지 부분들에 대한 태그들의 세트를 결정한다. 태그들의 세트는 복수의 이미지 부분들에서의 콘텐츠(content)의 이미지 인식에 기초하여 결정된다. 텔레스트레이션에 기초하여 연산자가 결정되며, 여기서 연산자는 복수의 이미지 부분들에 대해 수행하기 위한 연산(operation)을 특징짓는다. 이 방법은 태그들의 세트에 연산자를 적용하는 것에 기초하여 검색 질의(search query)를 결정하고, 검색 질의를 사용하여 검색이 수행되도록 한다.
일 실시형태에서, 방법은, 컴퓨팅 디바이스에 의해, 제1 이미지 부분에 대한 제1 텔레스트레이션을 위한 제1 사용자 입력을 검출하는 단계; 컴퓨팅 디바이스에 의해, 제1 텔레스트레이션에 기초하여 제1 이미지 부분 주변의 제1 경계를 결정하는 단계; 컴퓨팅 디바이스에 의해, 제2 이미지 부분에 대한 제2 텔레스트레이션을 위한 제2 사용자 입력을 검출하는 단계; 컴퓨팅 디바이스에 의해, 제2 텔레스트레이션에 기초하여 제2 이미지 부분 주변의 제2 경계를 결정하는 단계; 컴퓨팅 디바이스에 의해, 제1 텔레스트레이션 및 제2 텔레스트레이션을 위한 연산자를 결정하는 단계 - 연산자는 제1 이미지 부분 및 제2 이미지 부분에 대해 수행하기 위한 연산을 특징지음 - ; 컴퓨팅 디바이스에 의해, 명령(command)에 대한 제3 텔레스트레이션을 검출하는 단계; 및 컴퓨팅 디바이스에 의해, 제1 텔레스트레이션, 제2 텔레스트레이션, 또는 연산자에 관하여 수행하기 위한 액션을 결정하는 단계를 포함한다.
일 실시형태에서, 장치는, 하나 이상의 컴퓨터 프로세서들; 및 명령어(instruction)들을 포함하는 비일시적인 컴퓨터 판독가능 저장 매체를 포함하고, 명령어들은, 실행되는 경우, 디스플레이 디바이스 상에 디스플레이되어 있는 이미지에 대한 텔레스트레이션을 위한 사용자 입력을 검출하는 동작; 텔레스트레이션에 기초하여 이미지 중의 복수의 이미지 부분들을 결정하는 동작 - 복수의 이미지 부분들은 텔레스트레이션에 기초하여 각 이미지 부분 주변의 경계에 의해 결정됨 - ; 복수의 이미지 부분들에 대한 태그들의 세트를 결정하는 동작 - 태그들의 세트는 복수의 이미지 부분들에서의 콘텐츠의 이미지 인식에 기초하여 결정됨 - ; 텔레스트레이션에 기초하여 연산자를 결정하는 동작 - 연산자는 복수의 이미지 부분들에 대해 수행하기 위한 연산을 특징지음 - ; 태그들의 세트에 연산자를 적용하는 것에 기초하여 검색 질의를 결정하는 동작; 및 검색 질의를 사용하여 검색이 수행되도록 하는 동작:을 위해 구성되도록 하나 이상의 컴퓨터 프로세서들을 제어한다.
도 1은 일 실시형태에 따른 텔레스트레이션 시스템에 대한 간소화한 시스템(100)을 나타낸다. 시스템(100)은 사용자 인터페이스(UI)(104) 상에서 미디어를 디스플레이하는 디스플레이 디바이스(102)를 포함한다. 디스플레이 디바이스(102)는 다양한 컴퓨팅 디바이스들, 예를 들어 텔레비전, 스마트폰, 태블릿 디바이스, 랩톱 컴퓨터, 퍼스널 컴퓨터, 및 웨어러블 컴퓨팅 디바이스(wearable computing device)를 포함할 수 있다. 미디어 서버(106)는 사용자 인터페이스(104) 상에서 디스플레이되는 미디어를 통신할 수 있다. 예를 들어, 미디어는 비디오, 웹페이지, 이미지, 또는 다른 콘텐츠를 포함할 수 있다. 비디오는 케이블 회사 또는 스트리밍 미디어 회사와 같은 미디어 회사로부터의 방송되는, 텔레비전 및 영화(movie)와 같은 라이브 방송을 포함할 수 있다. 미디어 서버(106)가 나타나 있긴 하지만, 미디어 전달 기반시설(media delivery infrastructure)의 다른 예들이 이해될 것이다. 추가적으로, 미디어는 로컬 저장소 드라이브와 같은 로컬 디바이스로부터 스트리밍될 수 있다. 예를 들어, 로컬 컴퓨터에 저장된 영화가 사용자 인터페이스(104) 상에 디스플레이될 수 있다.
일 실시형태에서, 미디어는 셋톱 박스(108)와 같은 컴퓨팅 디바이스를 통해 사용자 인터페이스(104) 상에 디스플레이될 수 있다. 예를 들어, 셋톱 박스(108)는 미디어 서버(106)로부터 미디어를 수신하고 사용자 인터페이스(104) 상에 미디어를 디스플레이한다. 다른 실시형태들에서, 셋톱 박스(108)가 사용되지 않을 수 있고 미디어 서버(106)가 미디어를 디스플레이 디바이스(102)로 송신할 수 있고, 디스플레이 디바이스(102)는 사용자 인터페이스(104) 상에 미디어를 디스플레이한다. 사용자 인터페이스(104) 상에 디스플레이를 위해 미디어를 송신하는 다양한 구현예들이 이해될 것이다.
미디어가 사용자 인터페이스(104) 상에 디스플레이되는 동안, 특정한 실시형태들은 사용자 인터페이스(104) 상에 디스플레이되는 미디어의 이미지의 텔레스트레이팅을 허용한다. 예를 들어, 미디어는 웹페이지, 이미지 또는 텍스트 문서와 같은 문서를 포함할 수 있다. 일 예에서, 공동 영상 전문가 그룹(joint photographic experts group)(.jpeg) 이미지와 같은 화상이 사용될 수 있다. 또한, 비디오는 사용자 인터페이스(104)가 정적 이미지를 디스플레이하도록 잠시 중지될 수 있다. 그 후에, 사용자 인터페이스(104) 상에 디스플레이되는 정적 이미지의 부분들을 텔레스트레이팅하기 위해 사용자 입력이 수신될 수 있다. 정적 이미지가 설명되긴 하지만, 미디어가 동적으로 디스플레이되고 있을 때 미디어는 텔레스트레이팅될 수 있다. 예를 들어, 영화에서의 장면이 일어나고 있을 때, 디스플레이되고 있는 배우 주위에 원을 그리기 위한 사용자 입력이 수신된다. 그러나, 서술 목적으로, 정적 이미지가 설명된다. 이 경우에, 영화는 잠시 중지되고, 디스플레이되는 이미지에서 배우 주위에 원이 그려진다.
111-1 내지 111-4에서, 사용자 인터페이스(104)는 상이한 텔레스트레이션들을 디스플레이한다. 이들 텔레스트레이션들은, 사용자 입력에 기초하여 사용자 인터페이스(104) 상에 디스플레이되는 선, 점선, 강조(highlighting), 음영, 및 다양한 다른 마킹과 같은 상이한 그래픽 마크들일 수 있다. 텔레스트레이션들은 또한 상이한 형상들로 있을 수 있다. 예를 들어, 텔레스트레이션은 원 또는 타원과 유사할 수 있다. 그러나, 선, 체크 마크, 정사각형 등과 같은 다른 형상들이 사용될 수 있다.
일 실시형태에서, 텔레스트레이션 관리자(110)는 사용자 인터페이스(104) 상의 텔레스트레이션들을 해석하고, 검색 질의를 발생시키고, 검색이 수행되도록 한다. 텔레스트레이션 관리자(110)는 이미지 중의 이미지 부분들에 대한 이미지 인식을 수행하는 것에 기초하여 검색 질의를 발생시킬 수 있다. 이미지 인식은 이미지의 콘텐츠를 결정하기 위해 사용되고, 사용자들로 하여금 검색 질의에서 타이핑해야 하는 대신에 텔레스트레이션을 사용하여 검색이 수행될 수 있게 한다. 이러한 프로세스는 이하에서 더욱 상세하게 설명될 것이다. 텔레스트레이션 관리자(110)는 상이한 엔티티들에 위치될 수 있다. 예를 들어, 텔레스트레이션 관리자(110)는 디스플레이 디바이스(102) 또는 셋톱 박스(108)에 위치될 수 있고, 다른 실시형태들에서, 텔레스트레이션 관리자(110)는, 디스플레이 디바이스(102) 또는 셋톱 박스(108)에 결합되는 네트워크에 접속된 원격 서버에서와 같이 다른 디바이스들과 연관될 수 있다.
특정한 실시형태들은 상이한 유형의 텔레스트레이션들을 수신할 수 있다. 예를 들어, 텔레스트레이션들은 바운딩 텔레스트레이션(bounding telestration)들, 연산자들 및 명령들을 포함할 수 있다. 111-1 및 111-2에 도시되는 바와 같은 바운딩 텔레스트레이션은 이미지 내의 영역을 식별한다. 예를 들어, 사용자가 다양한 배우들의 얼굴들 주위에 원을 그릴 수 있다. 텔레스트레이션 관리자(110)는 텔레스트레이션들을 분석하여, 배우들의 얼굴들 주변의 경계와 같은 이미지의 영역을 정의하는 경계를 결정한다. 예를 들어, 텔레스트레이션이 완전한 원인 것과 같이, 텔레스트레이션은 배우의 얼굴 주변에 완전한 경계를 형성할 수 있다. 다른 예들에서, 경계는 완전한 연결 경계를 형성하지 않을 수 있다(예컨대, 경계는 갭들을 포함할 수 있다). 예를 들어, 불완전한 원이 그려지지만; 텔레스트레이션 관리자(110)는 불완전한 원에 기초하여 추정된 경계를 보간 또는 계산할 수 있다. 게다가, 텔레스트레이션 관리자(110)는 또한 경계를 발생시킬 수 있는데, 예를 들어 사용자가 배우의 얼굴을 통과하는 선을 그릴 수 있고, 그 후에 텔레스트레이션 관리자(110)는 원의 반경 또는 직경으로서 그려진 선을 사용하여 배우의 얼굴 주변의 원을 결정함으로써 경계(예컨대, 원 또는 직사각형 바운딩 박스)를 결정한다.
제2 유형의 텔레스트레이션은 111-3에 도시되는 연산자일 수 있다. 연산자들은 이미지 부분들에 대해 수행하기 위한 연산을 특징짓는다. 예를 들어, 연산자는 AND, NOT, OR, SIMILAR TO, SUM, SUBTRACT 등과 같은 부울(Boolean) 또는 산술 연산자일 수 있다. 본 명세서에 사용되는 바와 같은 연산자라는 용어는 디바이스의 오퍼레이터인 사람을 포함하지 않는다.
제3 유형의 텔레스트레이션은 111-4에 도시되는 명령일 수 있다. 명령들은 텔레스트레이션 관리자(108)가 액션을 수행하게 하는 명령어들을 나타낸다. 예를 들어, 명령은 텔레스트레이션 관리자(108)가 연산자들 및 바운딩 텔레스트레이션들에 관하여 일부 액션을 수행하도록 할 수 있다. 하나의 명령은 검색이 수행되도록 하는 검색 명령일 수 있다. 다른 명령은 마지막 텔레스트레이션을 지우는 "백스페이스(backspace)" 명령, 모든 텔레스트레이션 마크들 및 연관된 버퍼들을 소거하는 "클리어(Clear) 명령", 특정 이미지에서의 글자들 또는 사용자들의 수를 세는 "카운트(Count)" 명령, 텔레스트레이팅된 이미지들 및 텍스트와 같은 정보를 소셜 네트워킹 웹사이트와 같은 웹사이트에 게시하는 "포스트(Post)" 명령일 수 있다.
텔레스트레이션 관리자(110)는 텔레스트레이션들을 사용하여, 연산자들 및 이미지 부분들을 이용하여 검색 질의를 형성한다. 예를 들어, 하나의 검색 질의는, 사용자가 비디오의 이미지에 보여지는 2명의 배우들에 대한 더 많은 정보를 검색하기를 원하는 경우일 수 있다. 따라서, 텔레스트레이션을 사용하여, 사용자는 사용자 인터페이스(104) 상에서 배우 #1 주위에 원을 그리고, 배우 #2 주위에 원을 그리고, AND 연산자를 드로잉함으로써 검색이 수행되도록 할 수 있다. 이 경우에, 텔레스트레이션 관리자(110)는 텔레스트레이션들을 해석하여 "배우 #1" AND "배우 #2"에 대한 검색 질의를 형성한다. 특정한 실시형태들은 배우 #1 및 배우 #2 둘 모두를 포함하는 영화들에 대한 검색을 수행할 수 있다. 사용자가 사용자 인터페이스(104)를 텔레스트레이팅할 수 있게 함으로써, 사용자는 보여지는 이미지에 관한 추가적인 정보를 용이하게 결정할 수 있다. 텔레스트레이팅되는 이미지의 부분들은 링크들과 연관되거나 또는 선택가능하게 될 필요가 없다. 이하에서 더욱 상세하게 설명되듯이, 특정한 실시형태들은 이미지 인식을 사용하여 검색 질의를 결정한다. 추가적으로, 사용자는, 퍼스널 컴퓨터 상에서 검색 질의에 수동으로 타이핑해야 하는 것과 같이, 검색을 수행하기 위해 제2 컴퓨팅 디바이스로 갈 필요가 없었다.
검색 질의의 결정은 다중 단계 프로세스일 수 있다. 예를 들어, 텔레스트레이션 관리자(110)는 사용자 인터페이스(104) 상의 텔레스트레이션을 위한 사용자 입력을 검출한다. 전술한 바와 같이, 텔레스트레이션은 다수의 배우들의 얼굴들 주변에 원을 형성할 수 있다. 텔레스트레이션 관리자(110)는 111-1 및 111-2에서 각각의 텔레스트레이션에 의해 각각 형성되는 경계에 기초하여 이미지 부분을 캡처할 수 있다. 예를 들어, 이미지 부분은 배우 #1의 얼굴을 포함하고, 이미지 부분은 배우 #2의 얼굴을 포함한다. 이어서, 텔레스트레이션 관리자(110)는 이미지 인식을 통해 이미지 부분들을 특징짓는 태그들의 세트를 결정할 수 있다. 일 예에서, 텔레스트레이션 관리자(110)는 광역 네트워크(WAN)와 같은 네트워크(도시 생략)를 통해, 이미지 인식이 수행되게 하기 위해 이미지 분석 서버(112)와 통신한다. 다른 실시형태들에서, 텔레스트레이션 관리자(110)는 국부적으로 이미지 인식을 수행할 수 있다. 이하에서 더욱 상세하게 설명되듯이, 이미지 인식은 이미지 부분들을 설명하는 태그들의 세트를 결정하기 위해 텍스트 인식 또는 객체 인식(예컨대, 배우 또는 랜드마크와 같이, 이미지 부분에서의 특정 객체를 인식하는 것)을 포함할 수 있다. 특정한 실시형태들은 이미지 부분이 다른 정보와의 링크들을 포함하지 않을 수 있기 때문에 이미지 인식을 수행한다. 또한, 이미지 부분의 콘텐츠를 식별하기 위한 메타데이터가 전혀 이용 가능하지 않을 수 있다. 그러나, 메타데이터가 이용 가능한 경우, 특정한 실시형태들은 소스 코드와 같은 메타데이터를 활용하여, 이미지 인식을 수행할 수 있다. 그러나, 텔레비전 방송이 텔레스트레이팅되고 있을 때와 같은, 일부 실시형태들에서, 메타데이터는 이용 불가능하다.
태그들의 세트는 상이한 유형의 정보일 수 있다. 예를 들어, 배우 #1 및 배우 #2의 얼굴들 주위에 원이 그려졌다면, 이미지 분석 서버(112)는 배우 #1 및 배우 #2의 이름들을 결정하고, "배우 #1 이름" 및 "배우 #2 이름"으로서의 태그들의 세트를 반환할 수 있다. 다른 예에서, 텍스트의 이미지 주위에 원이 그려졌다면, 이미지 분석 서버(112)는 텍스트를 반환할 수 있다.
텔레스트레이션 관리자(110)는 또한 텔레스트레이션이 연산자를 포함하는 경우를 검출할 수 있다. 일 실시형태에서, 연산자는 사용자 인터페이스(104) 상에 디스플레이될 수 있다. 이 경우에, 텔레스트레이션 관리자(110)는 마크를 분석하고, 마크가 연산자, 객체 또는 명령으로 지향되는 경우을 결정한다. 예를 들어, 텔레스트레이션 관리자(110)는 마크를 분석하여 의도를 결정하는데, 의도는 사용자가 원하는 연산의 유형일 수 있다. 일 예에서, 사용자는 "AND" 연산자가 요구되는 경우 플러스 "+" 기호를 텔레스트레이팅할 수 있다. 다른 예에서, 텔레스트레이션 관리자(110)는, 사용자가 스와이프(swipe)를 수행하거나 또는 연산자에 대한 다른 제스처를 수행할 수 있는 것과 같이, 수신된 제스처를 통해서 연산자를 추론할 수 있다. 일 예에서, 텔레스트레이션 관리자(110)는 제스처에서 4개 손가락을 함께 움직이는 스와이프를 수신하고, ADD 연산자를 추론할 수 있다. 다른 예들에서, 텔레스트레이션 관리자(110)는 사용자 인터페이스(104) 상의 다른 텔레스트레이션들의 분석에 기초하여 연산자를 추론할 수 있는데, 예를 들어, 2개의 원이 사용자 인터페이스(104) 상에서 텔레스트레이팅되는 경우, 다른 연산자가 특정되지 않은 한 텔레스트레이션 관리자(110)는 "OR" 연산자를 사용한다.
어떤 시점에서, 텔레스트레이션 관리자(110)는 검색이 수행되어야 한다고 결정할 수 있다. 예를 들어, 사용자는 "화살표" 텔레스트레이션 마크(111-4)와 같은 제출(submit) 연산을 텔레스트레이팅하여, 검색이 수행되어야 함을 나타낼 수 있다. "제출"이라는 단어와 같은 다른 텔레스트레이션들이 또한 사용될 수 있거나, 또는 우측으로의 스와이프와 같은 제스터들이 사용될 수 있다. 일단 제출 연산을 결정하면, 텔레스트레이션 관리자(110)는 태그들의 세트 및 연산자에 기초하여 검색 질의를 결정한다. 예를 들어, 검색 질의는 "배우 #1의 이름" AND "배우 #2의 이름"일 수 있다. 이것은 배우 #1의 이름 및 배우 #2의 이름 둘 모두를 포함하는 정보를 검색할 수 있다. 일 예에서, 두 배우들을 포함하는 영화들이 영화 데이터베이스에서 검색될 수 있다. 다른 예들에서, 텔레스트레이션 관리자(110)는 제출 명령을 수신하지 않고서 자동으로 검색을 수행할 수 있다. 예를 들어, 텔레스트레이션 관리자(110)는 텔레스트레이션들이 수신되고 있는 동안 실시간 검색을 수행한다. 즉, 텔레스트레이션 관리자(110)가 배우 #1의 이름을 수신하는 경우, 배우 #1에 대한 검색 결과들이 반환되고, 이어서 텔레스트레이션 관리자(110)가 배우 #2의 이름 및 AND 연산자를 수신하는 경우, 검색 결과들은 배우 #1 및 배우 #2 둘 모두를 포함하는 결과들을 보여주기 위해 업데이트된다.
검색을 수행하기 위해, 텔레스트레이션 관리자(110)는 검색이 수행되게 하기 위해 외부 검색 서비스와 통신할 수 있다. 다른 실시형태들에서, 텔레스트레이션 관리자(110)는 국부적으로 검색을 수행할 수 있는데, 예를 들어 텔레스트레이션 관리자(110)는 사용자의 로컬 저장소를 통해서 검색할 수 있다. 외부 검색 서비스가 사용되는 경우, 텔레스트레이션 관리자(110)는 검색 질의를 검색 서버(114)에 통신한다. 이이서 검색 서버(114)는 검색을 수행하여 검색 결과를 결정할 수 있다. 이 예에서, 텔레스트레이션 관리자(110)는 검색 엔진을 사용하여 검색이 수행되게 할 수 있다. 텔레스트레이션 관리자(110)는 검색 서버(114)로부터 검색 결과를 수신하고, 그 후에 검색 결과를 사용자에게 출력할 수 있다. 검색 프로세스는 이하에서 더욱 상세하게 설명될 것이다.
텔레스트레이션을 위한 사용자 입력은 다양한 방법들을 사용하여 수신될 수 있다. 도 2는 일 실시형태에 따른 사용자 인터페이스(104)를 텔레스트레이팅하기 위한 방법들의 예들을 나타낸다. 일 실시형태에서, 사용자 인터페이스(104)는, 사용자가 디스플레이 디바이스(102)의 스크린을 물리적으로 터치함으로써 사용자 인터페이스(104)를 텔레스트레이팅할 수 있는 터치 스크린을 포함할 수 있다. 예를 들어, 사용자가 테블릿 디바이스 상에서 미디어를 관람하고 있다면, 사용자는 사용자의 손가락, 스타일러스, 또는 다른 입력 디바이스를 사용하여 이미지를 텔레스트레이팅할 수 있다. 게다가, 텔레스트레이션들을 입력하기 위해 제스처들을 검출할 수 있는 모션 검출 시스템들이 사용될 수 있다.
다른 예들에서, 디스플레이 디바이스(102)는 터치 스크린-가능 디바이스가 아닐 수 있거나 또는 사용자가 디스플레이 디바이스(102)의 스크린을 물리적으로 터치하기에 충분히 가까이 위치해 있지 않을 수 있다. 예를 들어, 사용자는 텔레비전의 스크린을 터치하기 위해 (즉, 텔레비전이 터치-가능 사용자 인터페이스를 가진 경우) 사용자가 텔레비전까지 걸어가는 불편함이 있을 수 있는 그러한 거리에서 텔레비전 상의 텔레비전 쇼(television show)를 시청하고 있을 수 있다. 이 경우에, 사용자는 사용자 인터페이스(104) 상의 텔레스트레이션들을 입력하기 위해 입력 디바이스를 사용할 수 있다. 예를 들어, 입력 디바이스(202-1)는 사용자 인터페이스(104) 상의 텔레스트레이션들을 입력하기 위해 이동되는 포인터(pointer)일 수 있는 리모트 컨트롤일 수 있다. 리모트 컨트롤은 적외선(IR), 무선 주파수(RF), 블루투스, 또는 다른 유형의 통신 디바이스일 수 있다. 예를 들어, IR 포인터가 사용되는 경우, 사용자는 사용자 인터페이스(104)에서 IR 포인터를 겨누고, 포인터를 사용하여 원을 그리는 것과 같이, 사용자 인터페이스(104) 상에서 원하는 텔레스트레이션들을 형성할 수 있다. 또한, 추적 센서(tracking sensor)를 사용하는 리모트가 사용될 수 있다.
다른 실시형태에서, 입력 디바이스(202-2)는 사용자로부터의 텔레스트레이션들을 위한 사용자 입력을 수신할 수 있다. 그 후에, 이들 텔레스트레이션들은 사용자 인터페이스(104) 상으로 복사될 수 있다. 예를 들어, 입력 디바이스(202-2)는 터치-가능 사용자 인터페이스(204)를 포함하는 태블릿 디바이스 또는 리모트 컨트롤일 수 있다. 사용자 인터페이스(204)는 사용자 인터페이스(104)와 동기화될 수 있는데, 예를 들어 텔레스트레이션이 사용자 인터페이스(204) 상에서 수신되는 경우, 사용자 인터페이스(104) 상의 대응하는 위치가 텔레스트레이팅된다. 일 예에서, 206-1에서 사용자 인터페이스(204) 상에서 수신된 원은 111-1에서 사용자 인터페이스(104) 상에서 텔레스트레이팅되는 원으로 변환된다. 유사하게, 사용자 인터페이스(204) 상에서 206-2 및 206-3에 있는 텔레스트레이션 마크들은 각각 사용자 인터페이스(104) 상에서 111-2 및 111-3에 있는 텔레스트레이션 마크들로 변환된다. 상기 예들이 설명되긴 하지만, 텔레스트레이션을 위한 사용자 입력을 수신하는 다른 예들이 이해될 수 있으며, 예를 들어 랩톱 또는 퍼스널 컴퓨터가 사용될 수 있는데, 여기서 사용자 인터페이스(104)를 텔레스트레이팅하기 위해 마우스 입력이 수신된다.
상기 간략하게 서술된 바와 같이, 다양한 텔레스트레이션들이 사용자로부터 수신될 수 있다. 하기 내용은 수신될 수 있는 특정 텔레스트레이션들 및 텔레스트레이션들로부터 도출될 수 있는 결과적인 검색들을 설명할 것이다. 그러나, 이들 텔레스트레이션들 및 검색들이 설명되긴 하지만, 다른 텔레스트레이션들 및 검색들이 이해될 수 있다.
도 3은 일 실시형태에 따른 제1 텔레스트레이션의 예를 나타낸다. 이 예에서, 302에 도시된 텔레스트레이션이 디스플레이 디바이스(102)의 사용자 인터페이스(104) 상에 디스플레이되는 이미지(304) 상에 디스플레이된다. 이 경우에, 디스플레이 디바이스(102)는 텔레비전일 수 있지만 또한 태블릿 컴퓨터, 컴퓨터 모니터 또는 스마트폰일 수 있다. 디스플레이되고 있는 이미지는 jpeg 이미지, 웹 페이지일 수 있지만 또한 비디오 또는 TV용 가이드(예컨대, 케이블 TV 가이드)일 수 있다.
이미지(304)에서, 사용자는 306에 도시된 관심 아이템을 볼 수 있다. 예를 들어, 관심 아이템은 웹 페이지 상의 글에서 설명되고 있는 스마트폰일 수 있다. 다른 예에서, 비디오는 스마트폰의 이미지를 디스플레이할 수 있고, 비디오는 이미지(304)를 디스플레이하기 위해 잠시 중지된다. 이어서, 스마트폰을 마킹하기 위해 이미지(304)를 텔레스트레이팅하기 위한 사용자 입력이 수신된다. 예를 들어, 302에 도시된 바와 같이, 원의 텔레스트레이션은 스마트폰 주변에 경계를 형성한다. 그 후에, 텔레스트레이션 관리자(110)는 이미지(304)의 스니핏(snippet)과 같은 이미지 부분을 캡처할 수 있다. 예를 들어, 이미지 부분은 302에 도시된 원에 의해 형성되는 경계 내부에서부터 결정될 수 있다.
이하에서 더욱 상세하게 설명되듯이, 이미지 분석 서버(112)는 이미지 인식을 이용해 이미지 부분을 분석하여, 특정 브랜드의 스마트폰이 이미지 부분에서 발견된다고 결정할 수 있다. 이미지 분석 서버(112)는 스마트폰을 설명하는 태그들의 세트를 결정한다.
사용자는 또한 이미지(304) 상에 보여지는 다른 정보를 텔레스트레이팅할 수 있다. 예를 들어, 도 4는 일 실시형태에 따른 텔레스트레이션의 제2 예를 도시한다. 402에, 텍스트의 텔레스트레이션이 도시된다. 이 경우에, 사용자는 "회사 #1 모델 #1 스마트폰"이라는 텍스트를 텔레스트레이팅했을 수 있다. 이것은 회사의 스마트폰의 모델명일 수 있다. 텍스트는 텍스트의 이미지일 수 있다(예컨대, 임의의 다른 정보에 링크되지 않은 텍스트).
그 후에, 텔레스트레이션 관리자(110)는 402에 도시된 텔레스트레이션에 기초하여 이미지 부분을 캡처할 수 있다. 예를 들어, 이미지 부분은 텔레스트레이션에 의해 형성되는 경계 내부의 텍스트를 포함할 수 있다. 이하에서 더욱 상세하게 설명되듯이, 이미지에서의 텍스트를 인식하기 위해 광학 문자 인식(OCR)과 같은 텍스트 인식이 사용될 수 있다. 인식된 텍스트는 스마트폰의 모델명 또는 회사명의 검색 태그로서 반환될 수 있다. 그 후에, 검색 태그들이 검색 시에 사용될 수 있다.
다수의 이미지 부분들이 이미지(304) 상에서 텔레스트레이팅되는 경우, 텔레스트레이션 관리자(110)는 연산자에 기초하여 검색 질의를 발생시킬 수 있다. 도 5는 일 실시형태에 따라 다수의 객체들을 텔레스트레이팅하는 예를 나타낸다. 502-1에서, 제1 객체가 텔레스트레이팅되었고, 502-2에서, 제2 객체가 텔레스트레이팅되었다. 예를 들어, 이미지(304)는 2명의 배우들, 즉 배우 #1 및 배우 #2를 디스플레이할 수 있다. 502-1에 도시된 텔레스트레이션은 배우 #1의 얼굴(또는 신체) 주변에 경계를 형성할 수 있다. 얼굴이 설명되긴 하지만, 배우 #1을 식별하기 위해 사용될 수 있는 다른 정보가 텔레스트레이팅될 수 있다. 예를 들어, 영화의 크레디트(credit)들이 보여지고 있다면, 크레디트들에서의 배우의 이름이 텔레스트레이팅될 수 있다. 또한, 502-2에 도시된 텔레스트레이션은 배우 #2의 얼굴 주변에 경계를 형성한다. 그리하여, 텔레스트레이션 관리자(110)는 배우 #1 및 배우 #2의 얼굴들을 포함하는 다수의 이미지 부분들을 캡처할 수 있다.
연산자가 또한 502-3에 도시되어 있다. 연산자는 502-1 및 502-2에 있는 텔레스트레이션들에 대해 수행될 연산을 특징짓는다. 이 경우에, 텔레스트레이션 관리자(110)는 마크를 분석하고 가산 기호의 텔레스트레이션을 결정하고, 가산 기호 주변의 원은 AND 연산자의 사용자 의도를 신호한다.
이미지 인식이 수행되는 경우, 검색 태그들은 배우 #1의 이름 - "배우 #1 이름" 및 배우 #2의 이름 - "배우 #2 이름"과 함께 "AND" 연산자일 수 있다. 그 후에, 텔레스트레이션 관리자(110)는 제출 명령이 수신되는 경우 "배우 #1 이름" AND "배우 #2 이름"에 대한 검색 질의를 발생시킬 수 있다. 그리하여, 검색 서버(114)는 배우 #1의 이름 및 배우 #2의 이름 둘 모두를 포함하는 정보에 대한 검색을 수행할 수 있다. 예를 들어, 506에서, 배우 #1 및 배우 #2 둘 모두를 포함하는 이미지들의 검색 결과가 나타나 있다. 검색 결과들은 배우 #1 및 배우 #2 둘 모두를 포함하는 이미지들, 쇼들 및 영화들, 또는 웹사이트들일 수 있다. 검색 결과들은 다른 정보에 추가로 링크될 수 있는데, 예를 들어 이미지들 중 하나를 선택하는 사용자 입력이 수신되는 경우, 그 이미지와 연관된 영화가 재생하기 시작할 수 있다.
특정한 실시형태들은 또한 텔레스트레이션들로부터 콘텍스트를 도출할 수 있다. 텔레스트레이션 관리자(110)는 콘텍스트를 사용하여 검색 질의를 도출할 수 있다. 도 6은 일 실시형태에 따른 논리 연산자들 및 콘텍스트를 사용하여 이미지(304)를 텔레스트레이팅하기 위한 다른 예를 도시한다. 객체의 제1 텔레스트레이션이 602-1에 도시된다. 예를 들어, 이 텔레스트레이션은 특정 제조업자에 의해 제조된 스마트폰과 같은 객체 주변에 경계를 형성할 수 있다. 602-2에 도시된 제2 텔레스트레이션은 이미지(304) 상에 디스플레이되는 텍스트 주변에 경계를 형성할 수 있다. 예를 들어, 텍스트는 스마트폰이 디스플레이되는 "웹사이트 #1"의 웹사이트 이름을 식별할 수 있다. 그리고 나서, 602-3에 도시된 연산자는 602-2에 도시된 텔레스트레이션에 가장 가까이 위치된다.
그리고 나서, 특정한 실시형태들은 연산자에 대한 콘텍스트를 결정할 수 있다. 예를 들어, 콘텍스트는 텔레스트레이션들 중 하나에 대한 연산자의 근접성에 기초할 수 있다. 이 예에서, 텔레스트레이션 관리자(110)는, 연산자가 602-2에서의 텔레스트레이션에 가장 가깝다고 결정한다. 연산자는 "NOT" 연산이고, 텔레스트레이션 관리자(110)는 "웹사이트 #1"의 텍스트를 포함하는 이미지 부분에 NOT 연산을 배정한다. 일 실시형태에서, 검색 질의는 "회사 #1의 스마트폰"이지만 "웹사이트 #1"로부터가 "아닌(NOT)" 것일 수 있다. 이 경우에, 사용자는 이미지(304)에서 스마트폰을 검색하기를 원하지만, 웹사이트 #1과 연관된 웹페이지들에서 검색하지는 않는다. 예를 들어, 회사 #1의 스마트폰을 나타내거나 또는 설명하는 웹사이트 #2에 의한 웹페이지들이 검색 결과로서 반환될 수 있다. 다른 예에서, NOT 연산자가 도 5의 텔레스트레이션들에 적용되는 경우, 검색은 "배우 #1 이름"이지만 "배우 #2 이름"은 "아닌(NOT)" 것일 수 있다. 이 경우에, 검색 질의는 배우 #1을 포함하고 배우 #2를 포함하지 않는 이미지들을 포함하는 검색 결과를 반환하였을 수 있다.
상기 콘텍스트는 거리를 사용하여 설명되긴 하지만, 다른 콘텍스트들이 연산자로부터 도출될 수 있다. 예를 들어, 사용자 입력은 연산자에서부터 이미지 부분의 텔레스트레이션까지 선을 그림으로써 연산자 및 이미지 부분의 텔레스트레이션을 연결할 수 있다. 또한, 사용자는 602-1 또는 602-2에 도시된 텔레스트레이션들 중 하나에 대한 제스처를 사용하여 그 텔레스트레이션에 배정되는 연산자를 나타낼 수 있다. 콘텍스트는 또한 명령들에 관하여 사용될 수 있다. 예를 들어, 스크린의 테두리 근처에 제출 명령을 두는 것은, 명령의 결과들이 디스플레이 디바이스(102) 상에 디스플레이되는 것이 아니라, 휴대 전화로 송신되어야 함을 나타낸다. 다른 예들이 또한 도 7a 및 도 7b에 도시된다. 도 7a는 일 실시형태에 따라 텔레스트레이션으로부터 콘텍스트를 도출하는 예를 도시한다. 이미지(304) 상의 702-1에 제1 텔레스트레이션이 도시된다. 예를 들어, 사용자는 자동차 경주 생중계를 시청하고 있었을 수 있고, 하나의 자동차의 이미지를 디스플레이하기 위해 방송을 잠시 중지시켰을 수 있다. 그 후에 사용자는 경주용 자동차에 관해 더 많이 알기를 원할 수 있지만, 로고 "로고 #1"에 나타낸 회사에 의해 후원받는 경주용 자동차에 관해서만 알기를 원할 수 있다.
사용자는 텔레스트레이션을 사용하여 위와 같은 의도(intention)를 나타낼 수 있다. 예를 들어, 702-1에서의 텔레스트레이션에 도시된 포뮬러 1(Formula 1) 경주용 자동차 주변에 경계를 형성하는 사용자 입력이 수신된다. 그러나, 사용자는 이미지(304)에서 묘사되는 포뮬러 1 경주용 자동차 상의 "로고 #1"에 의해 식별되는 회사에 의해 후원받는 포뮬러 1 경주용 자동차들에 관심이 있을 수 있다. 이 경우에, 사용자 인터페이스(104)에 제2 텔레스트레이션 마크를 두는 사용자에 의해 사용자로부터의 텔레스트레이션으로부터 의도가 도출될 수 있다. 예를 들어, 702-2에 도시된 텔레스트레이션은 로고 #1을 강조하려는 사용자의 의도를 나타낸다. 이 경우에, 텔레스트레이션 관리자(110)는 체크마크가 로고 #1에서 묘사되는 회사와 연관된 포뮬러 1 경주용 자동차들을 검색하려는 의도를 갖는 연산자임을 결정할 수 있다. 따라서, 사용자들은 의도가 결정되어 있는 다른 텔레스트레이션을 제공함으로써 추가적인 의도를 나타낼 수 있다.
의도를 나타내기 위해, 사용자는 로고 #1 위에 체크마크를 두었을 수 있다. 로고 #1 주변의 원, 또는 로고 #1을 통과하는 선과 같은, 텔레스트레이션 마크들의 다른 예들이 또한 사용될 수 있다. 일 예에서, 체크마크는 이미지 부분이 캡처되는 로고 #1 주변에 경계를 형성할 수 있다. 즉, 텔레스트레이션 관리자(110)는 체크 마크를 사용하여 원에 대한 반경 또는 직경을 형성한다. 추가적으로, 텔레스트레이션 관리자(110)는 텔레스트레이션을 사용하여 연산자를 추론할 수 있다. 예를 들어, 체크마크는 "AND" 연산자를 나타낸다. 이 경우에, 검색 질의는 "포뮬러 1 경주용 자동차" AND "로고 #1"일 수 있다.
도 7b는 일 실시형태에 따라 텔레스트레이션을 사용하여 의도를 나타내기 위한 제2 예를 도시한다. 710-1에 도시된 텔레스트레이션에서, 텔레스트레이션에 의해 랩톱 컴퓨터 주위에 원이 그려져 있다. 그러나, 사용자는 특정 유형의 랩톱에만 관심이 있을 수 있다. 예를 들어, 사용자는 랩톱에 대한 일반적인 검색에는 관심이 없고 특정 제조업자의 랩톱들에 대한 검색에 관심이 있을 수 있다. 특정 제조업자에 대한 검색을 수행하기 위한 의도를 나타내기 위해, 710-2에 도시된 바와 같이 제2 텔레스트레이션이 수신되고, "로고 #2" 주변에 경계를 형성한다. 텔레스트레이션 관리자(110)는 이 마크를, 710-1에 도시된 이미지 부분을 정제하는(refine) 의도를 갖는 것으로 해석한다. 예를 들어, 이 텔레스트레이션은 소정 로고, "로고 #2"와 연관된 회사가 요구됨을 나타낸다. 이 경우에, 검색 질의는 로고 #2와 연관된 회사에 의해 제조된 랩톱 컴퓨터들을 검색할 수 있다.
텔레스트레이션들의 다른 예들이 또한 이해될 수 있다. 예를 들어, 배우 #1의 얼굴 주위에 원이 그려질 수 있고, 배우 #2의 얼굴 주위에 원이 그려질 수 있고, 그 후에 검색이 제출될 수 있다. 이 경우에, 연산자가 수신되지 않을 수 있지만, 암시적(implicit) "OR"이 가정된다. 다른 예들은 랜드마크(예컨대, 에펠 탑) 앞에 서 있는 개인의 이미지일 수 있는데, 여기서 개인 및 랜드마크 주위에 원이 그려진다. 그 후에, 에펠 탑 및 개인에 대한 검색이 수행된다. 다른 예에서, 산술 연산들이 수행될 수 있다. 예를 들어, 객체들의 2 세트가 텔레스트레이팅되었을 수 있고, 산술 연산이 객체들의 두 세트를 가산하여 텔레스트레이팅된 영역들에서의 객체들의 총 합계를 반환할 수 있다. 일 예에서, 계산기가 제공될 수 있는데, 여기서 사용자가 숫자들 및 연산자들을 텔레스트레이팅할 수 있다. 또한, 한 무리의 사람들 주위에 원이 그려질 수 있고, 사람들의 수를 세기 위한 명령이 입력될 수 있다.
몇몇 텔레스트레이션 마크들 및 연산자들이 상기 설명되었지만, 다른 것들이 이해될 수 있다. 도 8은 일 실시형태에 따른 상이한 텔레스트레이션 마크들의 예를 도시한다. 802에서, 텔레스트레이션 마크는 관심 객체를 나타낸다. 예를 들어, 802에서의 텔레스트레이션 마크는 객체 주변에 경계를 형성한다. 원이 설명되긴 하지만, 선 또는 체크마크를 사용하는 것과 같이, 경계를 나타내는 다른 방법들이 이해될 수 있다.
텔레스트레이션 마크들은 또한 804에 도시된 바와 같이 연산자들일 수 있다. 804-1에서는, "AND" 연산자가 나타나 있다. AND 연산자는 원 내부에 "+" 기호를 갖는 원일 수 있다. 단지 + 기호 또는 가능하게는 앰퍼샌드(&) 기호와 같이, AND 연산자를 제공하는 다른 방법들이 사용될 수 있음에 유의해야 한다. "NOT" 연산자가 804-2에 나타나 있다. NOT 연산자는 원으로 둘러싸인 마이너스 (-) 기호일 수 있다. 전술한 바와 같이, 단지 마이너스 기호 또는 관심 객체를 통과하는 대각선 사선과 같이, NOT 연산자의 다른 반복들이 사용될 수 있다. 804-3에 도시된 연산자는 "SIMILAR TO" 연산자일 수 있다. SIMILAR TO 연산자는 관심 객체와 유사한 객체들을 결정할 수 있다.
806에서 명령들이 나타나 있다. 806-1 또는 806-2에서, SUBMIT 명령이 나타나 있다. SUBMIT 명령은, 텔레스트레이션이 완성되었고 검색 질의가 제출되어야 함을 나타내기 위해 사용된다. 예를 들어, 사용자는 다수의 객체들 주위에 원을 그림으로써 이미지 상의 다수의 객체들을 텔레스트레이팅할 수 있는데, 예를 들어 사용자는 제1 객체의 제1 얼굴 주위에 원을 그린 후에 제2 객체의 제2 얼굴 주위에 원을 그릴 수 있다. 그 후, 사용자는 AND 연산자와 같은 연산자에 대한 텔레스트레이션 마크를 입력할 수 있다. 사용자가 텔레스트레이팅을 완성하면, 사용자는 검색 질의가 제출되어야 함을 텔레스트레이션 관리자(110)에게 나타낼 수 있다. 예를 들어, 텔레스트레이션 관리자(110)는 806-1에 도시된 바와 같이 주위에 원이 그려진 화살표 또는 806-2에 도시된 바와 같이 단지 화살표의 SUBMIT 명령을 수신한다. SUBMIT 명령이 수신되면, 텔레스트레이션 관리자(110)는 검색 질의를 결정하고 처리를 위해 검색 질의를 제출할 수 있다. SUBMIT 명령에 대해 텔레스트레이션 마크가 나타나 있긴 하지만, 검색 질의를 제출하는 다른 방법들이 사용될 수 있다. 예를 들어, 처리를 위해 검색 질의를 제출하기 위한 제스처가 사용될 수 있는데, 예를 들면 사용자는 좌측으로 스와이프함으로써 제스처를 제공할 수 있다. 또한, 텔레스트레이션 관리자(110)는 검색 질의가 제출되어야 함을 나타내기 위해, 물리적 버튼 또는 가상 버튼과 같은 입력 버튼의 선택을 수신할 수 있다.
806-3에서는, 마지막 텔레스트레이션을 지우는 백스페이스 명령이 나타나 있다. 806-4에서는, 클리어 올(clear all) 명령이 모든 텔레스트레이션 마크들 및 연관된 버퍼들을 소거한다. 806-5에서는, 카운트 명령이 특정 이미지에서의 글자들 또는 사용자들의 수를 센다. 806-6에서는, 포스트 명령이 텔레스트레이팅된 이미지들 및 텍스트와 같은 정보를 웹사이트에 게시한다. 또한, 상기 나타낸 바와 같이, 명령들 주위에 원이 그려질 필요는 없다.
사용자 인터페이스(104) 상의 텔레스트레이션을 처리하기 위한 전반적인 프로세스가 이제 이하에서 더욱 상세하게 설명될 것이다. 도 9는 일 실시형태에 따른 텔레스트레이션을 처리하기 위한 방법의 간소화한 흐름도(900)를 도시한다. 902에서, 텔레스트레이션 관리자(110)는 이미지 상의 텔레스트레이션의 사용자 입력을 수신한다. 예를 들어, 사용자는 상기 설명된 임의의 사용자 입력 방법을 사용하여, 사용자 인터페이스(104) 상에 디스플레이되는 이미지 상에서 텔레스트레이팅할 수 있다. 904에서, 텔레스트레이션 관리자(110)는 텔레스트레이션이 이미지 부분에 대한 것인지를 결정한다. 예를 들어, 텔레스트레이션 관리자(110)는 텔레스트레이션 마크를 분석하여, 그것이 이미지 내의 객체를 마킹하고 있는지, 연산자인지, 또는 제출 명령인지를 결정할 수 있다. 일 예에서, 텔레스트레이션 관리자(110)는, 마크가, 원, 사선 또는 정사각형과 같이, 객체 주변의 경계를 나타내는 마크의 유형과 유사한지를 결정한다.
텔레스트레이션 관리자(110)가 이미지 부분이 선택되었다고 결정하면, 906에서, 텔레스트레이션 관리자(110)는 이미지 부분(또는 부분들)을 이미지 분석기 서버(112)로 송신한다. 그 후에, 이미지 분석기 서버(112)는 이미지 인식을 사용하여 이미지 부분을 분석할 수 있다. 이미지 분석은 또한 텍스트가 인식되는 텍스트 인식을 포함할 수 있다. 이미지 인식은 이미지 부분 내의 객체들을 인식할 수 있다. 예를 들어, 이미지 인식은 얼굴의 이미지를 분석하여 얼굴과 연관된 이름을 결정한다.
908에서, 텔레스트레이션 관리자(110)는 이미지 부분에 대한 태그들의 세트를 수신한다. 예를 들어, 이미지 분석기 서버(110)는 이미지 인식으로부터 결정되는 텍스트 또는 객체들을 설명하는 태그들의 세트를 발생시킬 수 있다. 910에서, 텔레스트레이션 관리자(110)는 태그들의 세트를 태그 버퍼에 저장한다. 그 후에, 프로세스는 902로 가서 반복되는데, 여기서 추가적인 텔레스트레이션들이 수신될 수 있다.
텔레스트레이션이 이미지 부분에 대한 것이 아니었다면, 912에서, 텔레스트레이션 관리자(110)는 텔레스트레이션이 연산자에 대한 것이었지를 결정한다. 텔레스트레이션이 연산자인지를 결정하는 경우에, 텔레스트레이션 관리자(110)는 마크를 분석할 수 있다(즉, 가산 기호가 텔레스트레이팅되는지를 결정함). 그렇지 않다면, 프로세스는 계속해서 명령이 수신되었는지를 결정할 수 있다. 명령이 수신되지 않은 경우, 프로세스는 902로 가서 반복된다. 그러나, 연산자가 수신되었다면, 914에서, 텔레스트레이션 관리자(110)는 연산자를 처리하여 사용자 의도를 결정한다. 예를 들어, 연산자에 대한 심볼이 수신되었을 수 있고, 텔레스트레이션 관리자(110)는 심볼에 대한 사용자 의도를 결정한다. 예를 들어, + 기호는 "AND" 연산이 요구됨을 나타낼 수 있다. 추가적으로, 텔레스트레이션 관리자(110)는 연산자가 이미지 부분 내부에 놓이는지의 의도를 결정할 수 있다. 또한, 텔레스트레이션 관리자(110)는 텔레스트레이션 마크가 연산자인지를 결정하기 위해 이미지 인식이 수행되게 할 수 있다. 916에서, 텔레스트레이션 관리자(110)는 연산자에 대한 콘텍스트를 결정한다. 예를 들어, 전술한 바와 같이, 이미지 부분에 대한 연산자의 근접성이 결정될 수 있다. 콘텍스트는 검색 질의를 정제하기 위해 사용된다. 해석된 콘텍스트는 또한 명령 문자열 내에 포함시키기 위해 저장된다. 918에서, 콘텍스트가 결정된 후에, 텔레스트레이션 관리자(110)는 연산자를 연산자 버퍼에 저장한다. 그 후에, 프로세스는 902로 가서 반복되는데, 여기서 추가적인 텔레스트레이션들이 수신될 수 있다.
상기 프로세스는, 사용자가 이미지 상에서 이미지 부분들을 사용하여 객체들을 마크하고 또한 연산자들을 제공하기 위해 텔레스트레이팅할 수 있으므로 계속될 수 있다. 어느 시점에, 명령이 사용자로부터 수신될 수 있다. 920에서, 텔레스트레이션 관리자(110)는 텔레스트레이팅된 명령이 SUBMIT 명령인지를 결정한다. SUBMIT 명령이 수신되면, 922에서, 텔레스트레이션 관리자(110)는 태그 버퍼 및 연산자 버퍼로부터의 정보 및 임의의 저장된 콘텍스트를 사용하여 검색 질의를 발생시킨다. 예를 들어, 텔레스트레이션 관리자(110)는 모든 검색 태그들을 사용하고, 태그 버퍼 내의 연산자들은 결정된 임의의 콘텍스트 또는 의도에 더하여 검색 질의를 형성한다. 924에서, 텔레스트레이션 관리자(110)는 검색 질의를 검색 서버(114)로 포워딩한다. 그 후에, 검색 서버(114)는 검색 질의를 사용해 검색을 수행하여 검색 결과를 발생시킨다. 이어서 926에서, 텔레스트레이션 관리자(110)는 검색 결과를 수신하고, 검색 결과를 사용자에게 출력할 수 있다.
도 10은 일 실시형태에 따른 시스템(100)의 더욱 상세한 예를 도시한다. 텔레스트레이션 관리자(110)에서, 이미지 캡처 관리자(1002)는 스크린 관리자(1003)에 의해 보고되는 텔레스트레이션들에 기초하여 이미지 부분들을 캡처하는데, 스크린 관리자(1003)는 사용자 인터페이스(104)로부터 텔레스트레이션들을 위한 사용자 입력을 수신한다. 이미지 캡처 관리자(1002)는 이미지 부분들을 이미지 분석 서버(112) 내의 이미지 처리 서비스(1004)로 송신할 수 있다. 이미지 처리 서비스(1004)는 웹 서비스일 수 있는데, 웹 서비스는 이미지 부분에 대한 이미지 인식을 수행하여 이미지 부분 내의 객체들 및 텍스트를 인식할 수 있다. 이어서, 이미지 처리 서비스(1004)는 이미지 부분을 설명하는 태그들의 세트를 이미지 캡처 관리자(1002)로 다시 송신할 수 있다. 그 후에 이미지 캡처 관리자(1002)는 태그들의 세트를 태그 버퍼(1005)에 저장한다.
반환되는 태그들의 세트는 이미지 인식의 성공에 의해 좌우될 수 있다. 예를 들어, 이미지 처리 서비스(1004)가 이미지 부분 내의 객체를 성공적으로 인식하였고 결정하면, 하나의 태그만이 반환될 수 있다. 이미지 처리 서비스(1004)가 비교적 확신을 갖고 이미지 부분 내의 객체를 결정할 수 있다면, 이미지 부분 내의 객체들에 관련되거나 또는 관련되지 않을 수 있는 태그들을 포함할 수 있는 더 많은 수의 태그들이 송신될 수 있다. 이미지 처리 서비스(1004)가 이미지 부분에서의 객체를 용이하게 식별할 수 없다면, 추가적인 정보를 수신하기 위해 선택될 수 있는 이미지 부분에서의 객체에 관련된 링크들과 같이, 이미지 부분에서의 객체를 식별하기 위해 더 많은 양의 정보가 반환될 수 있다. 이미지 처리 서비스(1004)가 더 많은 양의 정보를 다시 송신하는 경우, 추후에(또는 이전에) 텔레스트레이팅될 다른 이미지 부분들에 대한 태그들이 이미지 부분에 어떤 객체가 있었는지를 정제하기 위해 사용될 수 있다는 것이 가능하다. 이 경우에, 이미지 처리 서비스(1004) 또는 텔레스트레이션 관리자(110)는 이전에 송신된 태그들을 정제할 수 있다. 게다가, 이미지 처리 서비스(1004)는 현재 이미지 부분에 대한 태그들을 결정하는 것을 돕기 위해 이전에 결정된 태그들을 사용할 수 있다. 예를 들어, 배우 #2가 배우 #1과 함께 많은 영화에 등장하는 경우, 이미지 부분은 배우 #1과 함께 많은 영화에 등장하지 않은 배우 #3보다 배우 #2를 보여줄 가능성이 더 높아질 수 있다.
텔레스트레이션이 연산에 대한 것이라면, 연산자 분석기(1006)는 연산자에 대한 의도/콘텍스트에 더하여 연산을 결정할 수 있다. 예를 들어, 연산자 분석기(1006)는 연산자의 의도를 결정한 후에, 임의의 콘텍스트가 연산자와 연관되는지를 결정한다. 일 예에서, 연산자 분석기(1006)는 사용자 인터페이스(104) 상의 객체들의 다른 텔레스트레이션들에 대한 텔레스트레이팅된 연산자의 거리를 분석할 수 있다. 그 후에, 연산자 분석기(1006)는 연산자 버퍼(1008)에 연산자를 저장한다. 의도/콘텍스트가 또한 연산자와 함께 저장될 수 있다.
텔레스트레이션 관리자(110)가 SUBMIT 명령을 수신하는 경우, 검색 프로세서(1010)는 검색 질의를 결정한다. 예를 들어, 검색 프로세서(1010)는 태그 버퍼(1005)로부터의 태그들의 세트 및 연산자 버퍼(1008)로부터의 연산자(또는 연산자)를 회수한다. 그 후에, 검색 프로세서(1010)는 태그들의 세트 및 연산자에 기초하여 검색 질의를 발생시킨다. 검색 프로세서(1010)는 또한 연산자 또는 명령에 관하여 결정되는 콘텍스트를 사용하여 검색 질의를 발생시킬 수 있다.
그 후에, 명령 프로세서(1010)는 검색 질의를 검색 서버(114) 내의 검색 서비스(1012)로 송신한다. 검색 서비스(1012)는 검색 엔진, 추천 엔진 또는 다른 검색 질의 프로세서일 수 있다. 이어서, 검색 서비스(1012)는 검색 결과를 결정하고, 검색 결과를 검색 프로세서(1010)로 반환한다. 검색 프로세서(1010)는 검색 결과를 사용자에게 출력할 수 있다.
따라서, 사용자들은 사용자 인터페이스(104) 상에 보여지는 이미지를 텔레스트레이팅하여 이미지에 관한 추가적인 정보를 수신할 수 있다. 텔레스트레이션은 사용자로 하여금 다른 정보에 링크되지 않는 정보를 결정할 수 있게 한다. 예를 들어, 텔레스트레이팅된 객체들을 식별하기 위해 이미지 인식이 사용된다. 그리하여, 검색 질의를 형성하기 위해 사용될 수 있는 연산자들을 사용자가 사용하는 경우 더 풍부한 검색이 제공된다.
도 11은 일 실시형태에 따른 텔레스트레이션 인터페이스로 구성된 특수 목적 컴퓨터 시스템(1100)의 예를 예시한다. 컴퓨터 시스템(1100)은 버스(1102), 네트워크 인터페이스(1104), 컴퓨터 프로세서(1106), 메모리(1108), 저장소 디바이스(1110), 및 디스플레이(1112)를 포함한다.
버스(1102)는 정보를 통신하기 위한 통신 메커니즘일 수 있다. 컴퓨터 프로세서(1104)는 메모리(1108) 또는 저장소 디바이스(1108)에 저장된 컴퓨터 프로그램들을 실행시킬 수 있다. C, C++, 자바(Java), 어셈블리 언어(assembly language) 등을 비롯하여 특정한 실시형태들의 루틴들을 구현하기 위한 임의의 적합한 프로그래밍 언어가 사용될 수 있다. 절차 또는 객체 지향과 같은 상이한 프로그래밍 기법들이 채용될 수 있다. 루틴들은 단일 컴퓨터 시스템(1100) 또는 다수의 컴퓨터 시스템들(1100) 상에서 실행할 수 있다. 게다가, 다수의 프로세서들(1106)이 사용될 수 있다.
메모리(1108)는 전술한 기법들을 수행하기 위한, 소스 코드 또는 이진 코드와 같은 명령어들을 저장할 수 있다. 메모리(1108)는 또한 프로세서(1106)에 의해 실행되는 명령어들의 실행 동안 변수들 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다. 메모리(1108)의 예들은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 또는 둘 모두를 포함한다.
저장소 디바이스(1110)는 또한 전술한 기법들을 수행하기 위한, 소스 코드 또는 이진 코드와 같은 명령어들을 저장할 수 있다. 저장소 디바이스(1110)는 추가적으로 컴퓨터 프로세서(1106)에 의해 조작되고 사용되는 데이터를 저장할 수 있다. 예를 들어, 저장소 디바이스(1110)는 컴퓨터 시스템(1100)에 의해 액세스되는 데이터베이스일 수 있다. 저장소 디바이스(1110)의 다른 예들은 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 드라이브, 자기 디스크, 광학 디스크, CD-ROM, DVD, 플래시 메모리, USB 메모리 카드, 또는 컴퓨터가 판독할 수 있는 임의의 다른 매체를 포함한다.
메모리(1108) 또는 저장소 디바이스(1110)는 컴퓨터 시스템(1100)과 관련되거나 또는 컴퓨터 시스템(1100)에 의해 사용하기 위한 비일시적인 컴퓨터 판독가능 저장 매체의 예일 수 있다. 컴퓨터 판독가능 저장 매체는 특정한 실시형태들에 의해 설명되는 기능들을 수행하도록 동작 가능하게 컴퓨터 시스템을 제어하기 위한 명령어들을 포함한다. 명령어들은, 하나 이상의 컴퓨터 프로세서들에 의해 실행되는 경우, 특정한 실시형태들에서 설명되는 것을 수행하도록 동작 가능할 수 있다.
컴퓨터 시스템(1100)은 컴퓨터 사용자에게 정보를 디스플레이하기 위한 디스플레이(1112)를 포함한다. 디스플레이(1112)는 컴퓨터 시스템(1100)과 상호작용하기 위해 사용자에 의해 사용되는 사용자 인터페이스를 디스플레이할 수 있다.
컴퓨터 시스템(1100)은 또한 근거리 네트워크(LAN) 또는 광역 네트워크(WAN)와 같은 네트워크를 통해 데이터 통신 접속을 제공하기 위한 네트워크 인터페이스(1104)를 포함한다. 무선 네트워크들이 또한 사용될 수 있다. 임의의 이러한 구현예에서, 네트워크 인터페이스(1104)는 다양한 유형의 정보를 표현하는 디지털 데이터를 운반하는 전기, 전자기, 또는 광학 신호를 송신 및 수신한다.
컴퓨터 시스템(1100)은 인트라넷 또는 인터넷일 수 있는 네트워크(1114)에 걸쳐 네트워크 인터페이스(1104)를 통해서 정보를 송신 및 수신할 수 있다. 컴퓨터 시스템(1100)은 네트워크(1114)를 통해서 다른 컴퓨터 시스템들(1100)과 상호작용할 수 있다. 일부 예들에서, 클라이언트-서버 통신들이 네트워크(1114)를 통해서 발생한다. 또한, 특정한 실시형태들의 구현예들은 네트워크(1114)를 통해서 컴퓨터 시스템들(1100)에 걸쳐 분포될 수 있다.
특정한 실시형태들은 명령 실행 시스템, 장치, 시스템, 또는 머신과 관련되거나 또는 그에 의해 사용하기 위한 비일시적인 컴퓨터 판독가능 저장 매체에서 구현될 수 있다. 컴퓨터 판독가능 저장 매체는 특정한 실시형태들에 의해 설명되는 방법을 수행하도록 컴퓨터 시스템을 제어하기 위한 명령어들을 포함한다. 컴퓨터 시스템은 하나 이상의 컴퓨팅 디바이스들을 포함할 수 있다. 명령어들은, 하나 이상의 컴퓨터 프로세서들에 의해 실행되는 경우, 특정한 실시형태들에서 설명되는 것을 수행하도록 동작 가능할 수 있다.
본 명세서의 설명에서 사용되는 바와 같이 그리고 하기 청구범위 전체에 걸쳐서, 단수 표현("a", "an" 및 "the")은 문맥이 분명히 다르게 구술하지 않는 한 복수의 참조들을 포함한다. 또한, 본 명세서의 설명에서 사용되는 바와 같이 그리고 하기 청구범위 전체에 걸쳐서, 에서("in")의 의미는 에서("in") 및 위에서("on")를 포함한다.
상기 설명은 특정한 실시형태들의 양태들이 구현될 수 있는 방식의 예들과 함께 다양한 실시형태들을 예시한다. 상기 예들 및 실시형태들은 유일한 실시형태들이라고 간주되지 않아야 하고, 하기 청구범위에 의해 정의되는 바와 같은 특정한 실시형태들의 유연성 및 장점을 예시하기 위해 제시된 것이다. 상기 개시 내용 및 하기 청구범위에 기초하여, 청구범위에 의해 정의되는 바와 같은 그의 범주로부터 벗어나지 않는 한 다른 구성들, 실시형태들, 구현예들 및 등가물들이 채용될 수 있다.

Claims (20)

  1. 명령 처리 방법으로서,
    컴퓨팅 디바이스에 의해, 디스플레이 디바이스 상에 디스플레이되고 있는 이미지에 대한 텔레스트레이션(telestration)을 위한 사용자 입력을 검출하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 텔레스트레이션에 기초하여 상기 이미지 중의 복수의 이미지 부분을 결정하는 단계 - 상기 복수의 이미지 부분은 상기 텔레스트레이션에 기초하여 각각의 이미지 부분 주변의 경계(boundary)에 의해 결정됨 - ;
    상기 컴퓨팅 디바이스에 의해, 상기 복수의 이미지 부분에 대한 태그들의 세트를 결정하는 단계 - 상기 태그들의 세트는 상기 복수의 이미지 부분에서의 콘텐츠(content)의 이미지 인식에 기초하여 결정됨 - ;
    상기 컴퓨팅 디바이스에 의해, 상기 텔레스트레이션에 기초하여 연산자(operator)를 결정하는 단계 - 상기 연산자는 상기 복수의 이미지 부분에 대해 수행하기 위한 연산(operation)을 특징지음 - ;
    상기 컴퓨팅 디바이스에 의해, 상기 태그들의 세트에 상기 연산자를 적용하는 것에 기초하여 검색 질의(search query)를 결정하는 단계; 및
    상기 컴퓨팅 디바이스에 의해, 상기 검색 질의를 사용하여 검색이 수행되도록 하는 단계
    를 포함하는 명령 처리 방법.
  2. 제1항에 있어서, 상기 사용자 입력을 검출하는 단계는,
    상기 컴퓨팅 디바이스에 의해, 상기 복수의 이미지 부분에서의 제1 이미지 부분에 대한 제1 텔레스트레이션을 위한 제1 사용자 입력을 검출하는 단계 - 상기 제1 텔레스트레이션은 상기 제1 이미지 부분 주변에 경계를 형성하기 위해 사용됨 - ; 및
    상기 컴퓨팅 디바이스에 의해, 상기 복수의 이미지 부분에서의 제2 이미지 부분에 대한 제2 텔레스트레이션을 위한 제2 사용자 입력을 검출하는 단계 - 상기 제2 텔레스트레이션은 상기 제2 이미지 부분 주변에 경계를 형성하기 위해 사용됨 - 를 포함하는 명령 처리 방법.
  3. 제2항에 있어서, 상기 연산자를 결정하는 단계는, 상기 컴퓨팅 디바이스에 의해, 상기 연산자를 정의하는 제3 텔레스트레이션을 위한 제3 사용자 입력을 검출하는 단계를 포함하는 명령 처리 방법.
  4. 제1항에 있어서, 상기 컴퓨팅 디바이스에 의해, 상기 연산자에 대한 콘텍스트(context)를 결정하는 단계를 더 포함하고, 상기 콘텍스트는 상기 검색 질의를 결정하는데 있어서 사용되는 명령 처리 방법.
  5. 제4항에 있어서, 상기 콘텍스트는 상기 이미지에서의 상기 연산자의 위치 또는 상기 복수의 이미지 부분 중 하나로부터의 거리를 포함하는 명령 처리 방법.
  6. 제1항에 있어서, 상기 컴퓨팅 디바이스에 의해, 상기 연산자에 대한 의도(intent)를 결정하는 단계를 더 포함하고, 상기 의도는 상기 연산자에 대해 수행하기 위한 상기 연산을 결정하는데 있어서 사용되는 명령 처리 방법.
  7. 제6항에 있어서, 상기 연산자에 대한 의도를 결정하는 단계는, 상기 연산자에 대한 텔레스트레이션 마크를 분석하거나 또는 상기 텔레스트레이션 마크에 대해 이미지 인식을 수행하여 상기 의도를 결정하는 단계를 포함하는 명령 처리 방법.
  8. 제1항에 있어서, 상기 복수의 이미지 부분에 대한 태그들의 세트를 결정하는 단계는,
    상기 복수의 이미지 부분에 대한 정보를 상기 복수의 이미지 부분에서의 콘텐츠의 상기 이미지 인식을 수행하는 서비스(service)로 송신하여 상기 태그들의 세트를 발생시키는 단계; 및
    상기 서비스로부터 상기 태그들의 세트를 수신하는 단계를 포함하는 명령 처리 방법.
  9. 제1항에 있어서, 상기 이미지 인식은 텍스트 인식 또는 객체 인식(object recognition)을 포함하는 명령 처리 방법.
  10. 제1항에 있어서, 상기 검색이 수행되도록 하는 단계는,
    상기 컴퓨팅 디바이스에 의해, 상기 검색 질의를 사용하여 상기 검색을 수행하도록 구성된 서비스로 상기 검색 질의를 송신하여 검색 결과를 발생시키는 단계; 및
    상기 컴퓨팅 디바이스에 의해, 상기 서비스로부터 상기 검색 결과를 수신하는 단계를 포함하는 명령 처리 방법.
  11. 제1항에 있어서, 상기 사용자 입력을 검출하는 단계는, 상기 컴퓨팅 디바이스에 의해, 상기 디스플레이 디바이스 상에 디스플레이되고 있는 상기 이미지 상에 상기 텔레스트레이션이 디스플레이되게 하도록 구성된 입력 디바이스를 통해 상기 사용자 입력을 수신하는 단계를 포함하는 명령 처리 방법.
  12. 제11항에 있어서, 상기 입력 디바이스는 상기 이미지 상에 상기 텔레스트레이션을 형성하기 위해 사용되는 포인터(pointer)를 포함하는 리모트 컨트롤(remote control)인 명령 처리 방법.
  13. 제11항에 있어서, 상기 입력 디바이스는 상기 텔레스트레이션을 위한 상기 사용자 입력을 수신하고 상기 이미지 상의 상기 텔레스트레이션의 디스플레이를 야기하는 터치스크린을 포함하는 명령 처리 방법.
  14. 제1항에 있어서, 제출 명령(submit command)을 수신하는 단계를 더 포함하고, 상기 제출 명령은 상기 검색 질의의 제출을 야기하여 검색 결과를 결정하게 하는 명령 처리 방법.
  15. 제1항에 있어서, 명령 연산을 수신하는 단계를 더 포함하고, 상기 명령 연산은 명령과 연관된 명령어(instruction)가 상기 텔레스트레이션에 관하여 수행되게 하는 명령 처리 방법.
  16. 제15항에 있어서, 상기 명령 연산과 연관된 콘텍스트를 결정하는 단계를 더 포함하고, 상기 콘텍스트는 상기 명령과 연관된 상기 명령어에 대해 수행하기 위한 액션(action)을 결정하기 위해 사용되는 명령 처리 방법.
  17. 제1항에 있어서, 상기 검색 질의에 대한 검색 결과를 출력하는 단계를 더 포함하는 명령 처리 방법.
  18. 명령 처리 방법으로서,
    컴퓨팅 디바이스에 의해, 제1 이미지 부분에 대한 제1 텔레스트레이션을 위한 제1 사용자 입력을 검출하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 제1 텔레스트레이션에 기초하여 상기 제1 이미지 부분 주변의 제1 경계를 결정하는 단계;
    상기 컴퓨팅 디바이스에 의해, 제2 이미지 부분에 대한 제2 텔레스트레이션을 위한 제2 사용자 입력을 검출하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 제2 텔레스트레이션에 기초하여 상기 제2 이미지 부분 주변의 제2 경계를 결정하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 제1 텔레스트레이션 및 상기 제2 텔레스트레이션을 위한 연산자를 결정하는 단계 - 상기 연산자는 상기 제1 이미지 부분 및 상기 제2 이미지 부분에 대해 수행하기 위한 연산을 특징지음 - ;
    상기 컴퓨팅 디바이스에 의해, 명령에 대한 제3 텔레스트레이션을 검출하는 단계; 및
    상기 컴퓨팅 디바이스에 의해, 상기 제1 텔레스트레이션, 상기 제2 텔레스트레이션, 또는 상기 연산자에 관하여 수행하기 위한 액션을 결정하는 단계
    를 포함하는 명령 처리 방법.
  19. 제18항에 있어서,
    상기 컴퓨팅 디바이스에 의해, 상기 제1 이미지 부분을 이미지 처리 서비스로 송신하여 상기 제1 이미지 부분에 대한 이미지 인식을 수행하게 하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 이미지 인식에 기초하여 상기 제1 이미지 부분의 콘텐츠를 설명하는 태그들의 제1 세트를 수신하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 제2 이미지 부분을 상기 이미지 처리 서비스로 송신하여 상기 제2 이미지 부분에 대한 이미지 인식을 수행하게 하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 이미지 인식에 기초하여 상기 제2 이미지 부분의 콘텐츠를 설명하는 태그들의 제2 세트를 수신하는 단계;
    상기 컴퓨팅 디바이스에 의해, 상기 태그들의 제1 세트 및 상기 태그들의 제2 세트에 상기 연산자를 적용하는 것에 기초하여 검색 질의를 결정하는 단계 - 상기 명령은 검색이 수행되게 하도록 구성된 검색 질의 명령임 - ; 및
    상기 컴퓨팅 디바이스에 의해, 상기 검색 질의를 사용하여 상기 검색이 수행되게 하는 단계
    를 더 포함하는 명령 처리 방법.
  20. 명령 처리 장치로서,
    하나 이상의 컴퓨터 프로세서들; 및
    명령어들을 포함하는 비일시적인 컴퓨터 판독가능 저장 매체를 포함하고,
    상기 명령어들은, 실행되는 경우,
    디스플레이 디바이스 상에 디스플레이되고 있는 이미지에 대한 텔레스트레이션을 위한 사용자 입력을 검출하는 것;
    상기 텔레스트레이션에 기초하여 상기 이미지 중의 복수의 이미지 부분을 결정하는 것 - 상기 복수의 이미지 부분은 상기 텔레스트레이션에 기초하여 각각의 이미지 부분 주변의 경계에 의해 결정됨 - ;
    상기 복수의 이미지 부분에 대한 태그들의 세트를 결정하는 것 - 상기 태그들의 세트는 상기 복수의 이미지 부분에서의 콘텐츠의 이미지 인식에 기초하여 결정됨 - ;
    상기 텔레스트레이션에 기초하여 연산자를 결정하는 것 - 상기 연산자는 상기 복수의 이미지 부분에 대해 수행하기 위한 연산을 특징지음 - ;
    상기 태그들의 세트에 상기 연산자를 적용하는 것에 기초하여 검색 질의를 결정하는 것; 및
    상기 검색 질의를 사용하여 검색이 수행되게 하는 것
    을 위해 구성되도록 상기 하나 이상의 컴퓨터 프로세서들을 제어하는 명령 처리 장치.
KR1020157024553A 2013-03-11 2014-03-07 명령 처리를 위한 텔레스트레이션 시스템 KR101783115B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/794,763 US9384217B2 (en) 2013-03-11 2013-03-11 Telestration system for command processing
US13/794,763 2013-03-11
PCT/US2014/022167 WO2014164371A1 (en) 2013-03-11 2014-03-07 Telestration system for command processing

Publications (2)

Publication Number Publication Date
KR20150119055A KR20150119055A (ko) 2015-10-23
KR101783115B1 true KR101783115B1 (ko) 2017-09-28

Family

ID=50555243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157024553A KR101783115B1 (ko) 2013-03-11 2014-03-07 명령 처리를 위한 텔레스트레이션 시스템

Country Status (6)

Country Link
US (1) US9384217B2 (ko)
EP (1) EP2954692B1 (ko)
KR (1) KR101783115B1 (ko)
CA (1) CA2902510C (ko)
MX (1) MX355819B (ko)
WO (1) WO2014164371A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9258597B1 (en) * 2013-03-13 2016-02-09 Google Inc. System and method for obtaining information relating to video images
US9247309B2 (en) 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
US9705728B2 (en) 2013-03-15 2017-07-11 Google Inc. Methods, systems, and media for media transmission and management
US9456237B2 (en) 2013-12-31 2016-09-27 Google Inc. Methods, systems, and media for presenting supplemental information corresponding to on-demand media content
US10002191B2 (en) 2013-12-31 2018-06-19 Google Llc Methods, systems, and media for generating search results based on contextual information
US9491522B1 (en) 2013-12-31 2016-11-08 Google Inc. Methods, systems, and media for presenting supplemental content relating to media content on a content interface based on state information that indicates a subsequent visit to the content interface
US20150248918A1 (en) * 2014-02-28 2015-09-03 United Video Properties, Inc. Systems and methods for displaying a user selected object as marked based on its context in a program
US10204104B2 (en) * 2015-04-14 2019-02-12 Google Llc Methods, systems, and media for processing queries relating to presented media content
US10083238B2 (en) * 2015-09-28 2018-09-25 Oath Inc. Multi-touch gesture search
KR102524180B1 (ko) * 2017-11-15 2023-04-21 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN108769389B (zh) * 2018-05-10 2021-07-09 Oppo广东移动通信有限公司 图片获取方法、装置、终端设备及存储介质
US11368743B2 (en) 2019-12-12 2022-06-21 Sling Media Pvt Ltd Telestration capture for a digital video production system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7240075B1 (en) 2002-09-24 2007-07-03 Exphand, Inc. Interactive generating query related to telestrator data designating at least a portion of the still image frame and data identifying a user is generated from the user designating a selected region on the display screen, transmitting the query to the remote information system
US20120044179A1 (en) * 2010-08-17 2012-02-23 Google, Inc. Touch-based gesture detection for a touch-sensitive device
WO2012139240A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Next generation television with content shifting and interactive selectability
US8478035B2 (en) 2010-02-22 2013-07-02 Einstruction Corporation Method and apparatus for engaging functionality with a color tag

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69602515T2 (de) 1995-06-16 2000-03-02 Princeton Video Image Inc Vorrichtung und verfahren zur echtzeiteinblendung in videobilder unter verwendung von adaptiver okklusion mit einem synthetischen referenzbild
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US7075556B1 (en) 1999-10-21 2006-07-11 Sportvision, Inc. Telestrator system
US7565680B1 (en) 2000-06-30 2009-07-21 Comcast Ip Holdings I, Llc Advanced set top terminal having a video call feature
US6940558B2 (en) 2001-12-06 2005-09-06 Koninklijke Philips Electronics N.V. Streaming content associated with a portion of a TV screen to a companion device
AUPS020302A0 (en) * 2002-01-31 2002-02-21 Silverbrook Research Pty. Ltd. Methods and systems (npw007)
US7735101B2 (en) 2006-03-28 2010-06-08 Cisco Technology, Inc. System allowing users to embed comments at specific points in time into media presentation
US20080294694A1 (en) 2007-05-24 2008-11-27 Videoclix Technologies Inc. Method, apparatus, system, medium, and signals for producing interactive video content
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US8255955B1 (en) 2009-06-16 2012-08-28 Tivo Inc. Dynamic item highlighting system
US20110107238A1 (en) 2009-10-29 2011-05-05 Dong Liu Network-Based Collaborated Telestration on Video, Images or Other Shared Visual Content
WO2011159680A2 (en) * 2010-06-15 2011-12-22 Scholarbox, Inc. Method, system and user interface for creating and displaying of presentations
US8576184B2 (en) 2010-08-19 2013-11-05 Nokia Corporation Method and apparatus for browsing content files

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7240075B1 (en) 2002-09-24 2007-07-03 Exphand, Inc. Interactive generating query related to telestrator data designating at least a portion of the still image frame and data identifying a user is generated from the user designating a selected region on the display screen, transmitting the query to the remote information system
US8478035B2 (en) 2010-02-22 2013-07-02 Einstruction Corporation Method and apparatus for engaging functionality with a color tag
US20120044179A1 (en) * 2010-08-17 2012-02-23 Google, Inc. Touch-based gesture detection for a touch-sensitive device
WO2012139240A1 (en) * 2011-04-11 2012-10-18 Intel Corporation Next generation television with content shifting and interactive selectability

Also Published As

Publication number Publication date
CA2902510A1 (en) 2014-10-09
KR20150119055A (ko) 2015-10-23
WO2014164371A1 (en) 2014-10-09
US9384217B2 (en) 2016-07-05
EP2954692B1 (en) 2018-05-09
MX355819B (es) 2018-05-02
EP2954692A1 (en) 2015-12-16
MX2015011631A (es) 2016-06-21
US20140253472A1 (en) 2014-09-11
CA2902510C (en) 2018-02-20

Similar Documents

Publication Publication Date Title
KR101783115B1 (ko) 명령 처리를 위한 텔레스트레이션 시스템
US11592980B2 (en) Techniques for image-based search using touch controls
CN104090762B (zh) 一种截图处理装置和方法
US10191616B2 (en) Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
US9881084B1 (en) Image match based video search
US9111255B2 (en) Methods, apparatuses and computer program products for determining shared friends of individuals
CN106462874A (zh) 用于呈现与视频内容有关的商业信息的方法、系统和介质
CN105122242A (zh) 用于呈现与媒体内容相对应的方法、系统以及介质
US20170270506A1 (en) Display terminal-based data processing method
CN105874454A (zh) 用于基于场境信息生成搜索结果的方法、系统和介质
US10175863B2 (en) Video content providing scheme
CN111343512B (zh) 信息获取方法、显示设备及服务器
CN110825928A (zh) 搜索方法和设备
CN104881407A (zh) 基于特征识别的信息推荐系统及方法
US20130159859A1 (en) Method and user device for generating object-related information
KR20130054097A (ko) 전자 장치 및 시청 정보 제공 방법
US20150138077A1 (en) Display system and display controll device
CN112115341A (zh) 内容展示方法、装置、终端、服务器、系统及存储介质
KR20150097250A (ko) 태그 정보를 이용한 스케치 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체
US11249823B2 (en) Methods and systems for facilitating application programming interface communications
US10990456B2 (en) Methods and systems for facilitating application programming interface communications
CN113536037A (zh) 基于视频的信息查询方法、装置、设备及存储介质
Kim et al. Long-range touch gesture interface for Smart TV
CN104063512A (zh) 基于特征识别的信息推荐装置和方法
KR102213856B1 (ko) 스케치를 통한 상품 검색 시스템, 사용자 장치, 서비스 제공 장치, 그 서비스 방법 및 컴퓨터 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
GRNT Written decision to grant