KR20180079762A - 컨텐트에 관한 정보를 제공하는 방법 및 디바이스 - Google Patents

컨텐트에 관한 정보를 제공하는 방법 및 디바이스 Download PDF

Info

Publication number
KR20180079762A
KR20180079762A KR1020170000341A KR20170000341A KR20180079762A KR 20180079762 A KR20180079762 A KR 20180079762A KR 1020170000341 A KR1020170000341 A KR 1020170000341A KR 20170000341 A KR20170000341 A KR 20170000341A KR 20180079762 A KR20180079762 A KR 20180079762A
Authority
KR
South Korea
Prior art keywords
mobile device
electronic device
search
content
recognition information
Prior art date
Application number
KR1020170000341A
Other languages
English (en)
Inventor
장태권
김민수
이현석
최지웅
류종엽
전해인
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170000341A priority Critical patent/KR20180079762A/ko
Priority to US16/475,554 priority patent/US10911833B2/en
Priority to PCT/KR2018/000029 priority patent/WO2018124842A1/ko
Publication of KR20180079762A publication Critical patent/KR20180079762A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F17/2705—
    • G06F17/30861—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0282—Rating or review of business operators or products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4828—End-user interface for program selection for searching program descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Computing Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

컨텐트를 표시하는 전자 디바이스를 감지하고, 전자 디바이스가 감지됨에 따라 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행되는지 여부를 판단하고, 적어도 하나의 검색 애플리케이션이 실행됨에 따라 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 전자 디바이스에 요청하고, 전자 디바이스로부터 요청된 인식 정보를 수신하는 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법이 개시된다.

Description

컨텐트에 관한 정보를 제공하는 방법 및 디바이스 {Method and device for providing information about a content}
개시된 실시예는 컨텐트에 관한 정보를 제공하는 방법, 컨텐트에 관한 정보를 제공하는 디바이스, 컨텐트에 관한 정보를 제공하는 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
IT 기술의 발달로 인해, 사용자들에게 정보를 제공하는 다양한 애플리케이션이 개발됨에 따라, 사용자들은 자신이 원하는 정보를 쉽게 검색할 수 있는 환경을 제공받게 되었다. 특히, 다양한 검색 엔진들이 다양한 객체들을 인터넷을 통해 검색할 수 있는 사용자 인터페이스를 사용자에게 제공하기 위해 개발되고 있는 실정이다.
다만, 종래의 검색 엔진들은 사용자가 정보를 원하는 객체의 명칭을 직접 입력해야 하므로, 사용자가 객체를 인식(recognize)하지 못하는 경우에는 객체에 대한 정보를 얻기 힘들다는 문제점이 있다. 특히, 사용자가 컨텐트 등을 시청하는 동안 컨텐트에 포함된 객체에 대해 정보를 얻고자 하는 경우에는, 객체에 대해 미리 인식하고 있지 않는 한 정보 검색 시점을 놓치게 되어, 사용자가 원하는 정보를 적절한 시점에 검색하지 못한다는 문제점이 있다. 따라서, 사용자가 원하는 시점에 정보 검색을 원하는 객체를 인식하여 제공하는 기술에 대한 필요성이 대두되었다.
개시된 실시예는 사용자가 컨텐트를 시청하고 있는 시점에, 컨텐트와 관련된 객체를 나타내는 인식 정보를 제공함으로써, 사용자가 컨텐트에 관련된 객체의 정보를 보다 용이하게 검색할 수 있는 환경을 제공하는 컨텐트에 관한 정보를 제공하는 방법 및 디바이스를 제공하고자 한다.
일 실시예에 따라, 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 컨텐트를 표시하는 전자 디바이스를 감지하는 단계; 전자 디바이스가 감지됨에 따라, 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행되는지 여부를 판단하는 단계; 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 전자 디바이스에 요청하는 단계; 및 전자 디바이스로부터 요청된 인식 정보를 수신하는 단계를 포함한다.
일 실시예에 따라, 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법에 있어서, 판단하는 단계는, 적어도 하나의 검색 애플리케이션에서 검색어가 입력되는 검색창의 상태 및 검색어를 입력할 수 있는 입력 메뉴의 상태 중 적어도 하나에 기초하여 검색 애플리케이션의 검색 모드가 활성화되는지 여부를 판단한다.
일 실시예에 따라, 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 적어도 하나의 검색 애플리케이션이 표시되는 모바일 디바이스의 화면 상의 기 설정된 영역에 상기 수신된 인식 정보를 표시하는 단계를 더 포함한다.
일 실시예에 따라, 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 수신된 인식 정보를 컨텐트와 관련된 적어도 하나의 객체의 카테고리에 따라 분류하는 단계; 및 분류된 인식 정보를 모바일 디바이스의 화면에 표시하는 단계를 더 포함한다.
일 실시예에 따라, 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 기 저장된 상기 모바일 디바이스의 사용자의 선호도 정보 및 적어도 하나의 검색 애플리케이션의 종류 중 적어도 하나에 따라 인식 정보를 배열하는 단계; 및배열된 인식 정보를 모바일 디바이스의 화면에 표시하는 단계를 더 포함한다.
일 실시예에 따라, 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 모바일 디바이스와 연결된 다른 디바이스에 수신한 인식 정보를 송신하는 단계를 더 포함한다.
일 실시예에 따라, 전자 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 컨텐트를 표시하는 전자 디바이스가 기 설정된 시간 간격에 따라, 신호를 송신하는 단계; 신호를 통해 전자 디바이스를 감지한 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 모바일 디바이스로부터 컨텐트와 관련된 객체를 나타내는 인식 정보에 대한 요청을 수신하는 단계; 요청이 수신됨에 따라, 컨텐트와 관련된 객체를 나타내는 인식 정보를 생성하는 단계; 및 생성된 인식 정보를 모바일 디바이스에 송신하는 단계를 포함한다.
일 실시예에 따라, 전자 디바이스가 컨텐트에 관한 정보를 제공하는 방법에 있어서, 인식 정보를 생성하는 단계는, 컨텐트가 출력되는 화면이 캡쳐된 이미지 및 컨텐트의 메타데이터 중 적어도 하나를 기초로 컨텐트와 관련된 객체를 인식하는 단계를 더 포함한다.
일 실시예에 따라 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 컨텐트를 표시하는 전자 디바이스를 감지하는 단계; 전자 디바이스가 감지됨에 따라, 모바일 디바이스에서 검색 모드의 활성화 여부를 판단하는 단계; 및판단 결과, 모바일 디바이스에서 검색 모드가 활성화된 경우 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 전자 디바이스로부터 수신하는 단계를 포함한다.
일 실시예에 따라 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은, 모바일 디바이스에서 검색 모드가 활성화된 경우, 전자 디바이스에 인식 정보를 요청하는 단계를 더 포함한다.
일 실시예에 따라 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법은에 있어서, 검색 모드의 활성화 여부를 판단하는 단계는, 모바일 디바이스에서, 검색어를 입력 가능한 검색창의 상태 및 검색어를 입력 가능한 입력 메뉴의 상태 중 적어도 하나를 기초로 검색 모드의 활성화 여부를 판단한다.
일 실시예에 따라, 컨텐트에 관한 정보를 제공하는 모바일 디바이스는, 컨텐트를 표시하는 전자 디바이스에서 송신되는 신호를 통해 전자 디바이스를 감지하는 통신부; 전자 디바이스가 감지됨에 따라, 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행되는지 여부를 판단하는 제어부; 및 적어도 하나의 검색 애플리케이션의 실행 화면을 표시하는 출력부를 포함하고, 통신부는, 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 전자 디바이스에 요청하고, 전자 디바이스로부터 요청된 인식 정보를 수신한다.
일 실시예에 따라, 컨텐트에 관한 정보를 제공하는 전자 디바이스는, 컨텐트를 표시하는 디스플레이부; 기 설정된 시간 간격에 따라, 신호를 송신하고, 신호를 통해 전자 디바이스를 감지한 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 모바일 디바이스로부터 컨텐트와 관련된 객체를 나타내는 인식 정보에 대한 요청을 수신하는 통신부; 및 요청이 수신됨에 따라, 컨텐트와 관련된 객체를 나타내는 인식정보를 생성하는 제어부를 포함하고, 통신부는, 생성된 인식 정보를 모바일 디바이스에 송신한다.
도 1은 일 실시예에 따른 전자 디바이스 및 모바일 디바이스에서 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 개념도이다.
도 2는 일 실시예에 따라 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 실시예에 따른 전자 디바이스가 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
도 4a 및 도 4b는 일 실시예에 따른 모바일 디바이스 및 전자 디바이스가 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
도 5는 일 실시예에 따른 모바일 디바이스가 검색 애플리케이션에 대해 검색 모드의 활성화 여부를 판단하는 방법을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 전자 디바이스가 컨텐트의 인식 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 검색창에 입력하는 방법을 설명하기 위한 도면이다.
도 9는 다른 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 10은 다른 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 검색창에 입력하는 방법을 설명하기 위한 도면이다.
도 11은 또 다른 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 12 는 또 다른 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 13은 또 다른 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 14는 일 실시예에 따른 모바일 디바이스가 컨텐트에 관한 인식 정보를 검색 애플리케이션의 종류 및 사용자의 선호도 정보 중 적어도 하나에 따라 분류하여 표시하는 방법을 설명하기 위한 흐름도이다.
도 15는 일 실시예에 따른 모바일 디바이스가 수신한 인식 정보를 기 설정된 카테고리에 따라 분류하여 표시하는 방법을 설명하기 위한 도면이다.
도 16은 다른 실시예에 따른 모바일 디바이스가 컨텐트에 표시된 객체 및 컨텐트에 표시된 객체의 연관 객체를 포함하는 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 17a는 일 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 다른 사용자와 공유하는 방법을 설명하기 위한 도면이다.
도 17b는 다른 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 다른 사용자와 공유하는 방법을 설명하기 위한 도면이다.
도 18은 일 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신하는 인식 정보의 종류를 설명하기 위한 도면이다.
도 19는 일 실시예에 따른 모바일 디바이스가 전자 디바이스로부터 수신한 인식 정보를 사용자에게 제공하는 방법을 설명하기 위한 도면이다.
도 20은 일 실시예에 따른 전자 디바이스, 모바일 디바이스 및 냉장고가 연동되어 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 21 및 도 22는 일 실시예에 따라 컨텐트에 관한 정보를 제공하는 모바일 디바이스의 블록도이다.
도 23은 일 실시예에 따라 컨텐트에 관한 정보를 제공하는 전자 디바이스의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 전자 디바이스(10) 및 모바일 디바이스(100)에서 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 개념도이다.
도 1을 참고하면, 전자 디바이스(10)는 외부의 장치로부터 컨텐트를 수신할 수 있다. 예를 들어, 전자 디바이스(10)는 방송국 서버, 셋탑 박스 및 웹 서버 중 적어도 하나로부터 컨텐트를 수신할 수 있으나, 이는 일 실시예일 뿐, 외부의 장치가 전술한 예에 한정되는 것은 아니다.
본 명세서 전체에서 '컨텐트'는 유무선 통신망을 통해 제공되는 디지털 정보를 의미한다. 본 발명의 일 실시예에 따른 컨텐트는, 동영상 컨텐트, 정지 영상 콘텐트(예컨대, 사진, 그림 등), 텍스트 컨텐트(예컨대, 웹 페이지 등) 및 음성 컨텐트(예컨대, 음악, 라디오 방송 등) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
전자 디바이스(10)는 수신한 컨텐트를 표시할 수 있다. 예를 들어, 전자 디바이스(10)는 설정되어 있는 채널 또는 사용자가 선택한 채널로부터 수신한 컨텐트를 표시할 수 있다.
한편, 일 실시예에 따른 전자 디바이스(10)는 전자 디바이스(10)의 주변에 위치한 모바일 디바이스(100)가 전자 디바이스(10)를 감지할 수 있도록 주기적으로 신호를 송신할 수 있다. 모바일 디바이스(100)는 전자 디바이스(10)가 송신하는 신호를 수신하여, 모바일 디바이스(100)의 주변에 전자 디바이스(10)가 위치함을 확인할 수 있다.
일 실시예에 따른 모바일 디바이스(100)는 전자 디바이스(10)가 감지됨에 따라, 모바일 디바이스(100)에서 검색 모드가 활성화되었는지 여부를 판단할 수 있다. 예를 들어, 모바일 디바이스(100)는 검색 기능을 갖는 애플리케이션의 실행 여부, 검색어를 입력 가능한 검색창의 상태 및 검색어를 입력 가능한 입력 메뉴의 상태 중 적어도 하나를 기초로 검색 모드의 활성화 여부를 판단할 수 있다. 여기에서, 입력 메뉴의 상태는 키보드 메뉴가 표시되었는지 여부, 음성 명령이 수신 대기 상태인지 여부 등을 포함할 수 있으나, 이는 일 실시예일 뿐, 입력 메뉴의 상태가 전술한 예에 한정되는 것은 아니다.
또한, 모바일 디바이스(100)는 검색 모드가 활성화된 것으로 판단된 경우, 전자 디바이스(10)에 표시되는 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 요청할 수 있다.
본 명세서에서, 인식 정보는 전자 디바이스(10)에 표시되는 컨텐트의 채널 컨텐트의 제목, 컨텐트의 줄거리, 컨텐트 내의 등장 인물, 상품 및 장소 중 적어도 하나에 관한 정보를 포함할 수 있으나, 이는 일 실시예일 뿐, 인식 정보가 전술한 예에 한정되는 것은 아니다.
일 실시예에 따른 모바일 디바이스(100)는 요청에 대한 응답으로, 전자 디바이스(10)로부터 인식 정보를 수신할 수 있다. 모바일 디바이스(100)는 수신된 인식 정보를 화면에 표시할 수 있다. 모바일 디바이스(100)에서 인식 정보를 화면에 표시하는 방법에 대해서는 도 7 내지 도 19를 참고하여 보다 구체적으로 후술하도록 한다.
도 2는 일 실시예에 따라 모바일 디바이스(100)가 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
단계 S210에서, 모바일 디바이스(100)는 컨텐트를 표시하는 전자 디바이스를 감지할 수 있다.
일 실시예에 따른 모바일 디바이스(100)는 컨텐트를 표시하는 전자 디바이스(10)가 주기적으로 송신하는 신호를 수신함으로써, 전자 디바이스(10)를 감지한다. 예를 들어, 모바일 디바이스(100)는 전자 디바이스(10)가 주기적으로 송신하는 BLE(Bluetooth Low Energy) 게시(advertising) 패킷을 수신함으로써, 전자 디바이스(10)를 감지할 수 있다. 다만, 이는 일 실시예일 뿐, 전자 디바이스(10)가 주기적으로 송신하는 신호가 BLE 게시 패킷에 한정되는 것은 아니다.
단계 S220에서, 모바일 디바이스(100)는 전자 디바이스(10)가 감지됨에 따라 모바일 디바이스(100)에서 검색 모드가 활성화되었는지 여부를 판단한다. 여기에서, 모바일 디바이스(100)에는 컨텐트에 관한 정보를 검색할 수 있는 검색 기능을 갖는 적어도 하나의 애플리케이션이 기 설치될 수 있다. 모바일 디바이스(100)는 검색 기능을 갖는 애플리케이션에 적어도 하나의 검색어가 입력되는 경우, 웹 서버를 통해 검색어와 관련된 데이터를 획득하여 표시할 수 있다.
일 실시예에 따른 모바일 디바이스(100)는 애플리케이션의 메타데이터를 확인함으로써, 현재 실행되고 있는 애플리케이션에서 검색 기능을 수행할 수 있는 지 여부를 판단할 수 있다. 예를 들어, 모바일 디바이스(100)는 현재 실행되고 있는 애플리케이션의 메타데이터를 확인하여, 현재 실행되고 있는 애플리케이션의 식별 정보를 확인할 수 있다. 모바일 디바이스(100)는 기 저장된 애플리케이션의 리스트에 확인된 애플리케이션의 식별 정보가 포함되는 경우, 모바일 디바이스(100)에 검색 기능을 수행할 수 있는 애플리케이션이 실행되고 있는 것으로 판단할 수 있다. 여기에서, 검색 기능을 수행할 수 있는 애플리케이션은 애플리케이션 마켓에서 유틸리티 또는 쇼핑 등으로 분류된 카테고리에 포함된 애플리케이션일 수 있다. 또한, 모바일 디바이스(100)는 애플리케이션이 실행되고 있는 화면 및 애플리케이션의 시작 화면에 검색 기능을 나타내는 아이콘(예를 들어, 검색 버튼, 돋보기 모양의 아이콘)이 표시되어 있는 경우, 실행되고 있는 애플리케이션이 검색 기능을 수행할 수 있는 애플리케이션임을 확인할 수 있다.
또한, 다른 실시예에 따라, 모바일 디바이스(100)는 검색어를 입력 가능한 검색창의 상태 및 검색어를 입력 가능한 입력 메뉴의 상태 중 적어도 하나를 기초로 검색 모드의 활성화 여부를 판단할 수도 있다. 예를 들어, 모바일 디바이스(100)는 검색창 또는 입력 메뉴가 화면에 표시된 경우, 검색 모드가 활성화된 것으로 판단할 수 있다. 다른 예에 따라, 모바일 디바이스(100)는 모바일 디바이스(100)의 사용자가 컨텐트의 정보에 관한 검색을 의도하는지 여부를 보다 명확히 확인하기 위해, 검색창에 커서 등이 표시되거나, 모바일 디바이스(100)의 화면에 텍스트를 입력할 수 있는 키보드 메뉴가 표시되어 있는지 여부를 추가적으로 확인할 수 있다. 여기에서, 키보드 메뉴가 표시되어 있는지 여부는 화면 인식을 수행하거나 OS(Operating System)로부터 키보드 메뉴가 on 상태임을 알리는 브로드캐스트 이벤트를 감지하여 확인할 수 있으나 키보드 메뉴가 표시되어 있는지 여부를 확인하는 방법이 전술한 예에 한정되는 것은 아니다. ,
한편, 전술한 예는 일 실시예일 뿐, 모바일 디바이스(100)가 검색 모드가 활성화되어 있는지 여부를 판단하는 방법이 전술한 예에 한정되는 것은 아니다.
단계 S230에서, 모바일 디바이스(100)는 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 전자 디바이스(10)에 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 요청할 수 있다.
일 실시예에 따른 모바일 디바이스(100)는 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 모바일 디바이스(100)의 사용자가 전자 디바이스(10)에 표시되는 컨텐트에 대한 인식 정보의 검색을 의도하는 것으로 판단할 수 있다. 여기에서, 인식 정보는 컨텐트와 관련된 적어도 하나의 객체를 나타내는 텍스트, 이미지 및 동영상 중 적어도 하나를 포함할 수 있다. 예를 들어, 인식 정보에는 컨텐트의 제목, 컨텐트가 제공되는 채널, 컨텐트가 출력되는 화면에 포함된 객체를 나타내는 키워드와 이미지 및 컨텐트가 출력되는 화면에 포함된 객체와 관련된 연관 객체를 나타내는 키워드와 이미지 중 적어도 하나가 포함될 수 있다.
한편, 다른 실시예에 따라, 모바일 디바이스(100)는 인식 정보를 요청하기에 앞서, 전자 디바이스와 연결 프로세스를 수행할 수 있다. 예를 들어, 모바일 디바이스(100)는 적어도 하나의 검색 애플리케이션이 실행됨에 따라 전자 디바이스에 연결을 요청하는 연결 요청 메시지를 송신할 수 있다. 모바일 디바이스(100)는 연결 요청 메시지에 대한 응답 메시지가 수신됨에 따라, 전자 디바이스(10)에 인식 정보를 요청할 수 있다.
단계 S240에서, 모바일 디바이스(100)는 전자 디바이스(10)로부터 요청된 인식 정보를 수신할 수 있다.
일 실시예에 따른 모바일 디바이스(100)는 전자 디바이스(10)로부터 수신된 인식 정보를 적어도 하나의 검색 애플리케이션이 실행되고 있는 모바일 디바이스의 화면의 기 설정된 영역에 표시할 수 있다. 여기에서, 모바일 디바이스(100)의 화면에는 적어도 하나의 검색 애플리케이션이 표시되고 있는 것으로 가정한다.
예를 들어, 모바일 디바이스(100)는 화면에 표시되는 적어도 하나의 검색 애플리케이션의 검색창 주변에 수신된 인식 정보를 표시할 수 있다. 모바일 디바이스(100)가 수신한 인식 정보에는 전자 디바이스(10)에서 표시되고 있는 컨텐트의 등장 인물의 성명, 컨텐트의 제목 및 등장인물이 착용하고 있는 가방의 브랜드 정보가 포함될 수 있다. 이에 따라, 모바일 디바이스(100)는 검색창 주변에 컨텐트의 등장 인물의 성명, 컨텐트의 제목 및 등장 인물이 착용하고 있는 가방의 브랜드 정보를 표시할 수 있다.
다른 실시예에 따라 모바일 디바이스(100)는 전자 디바이스(10)로부터 수신된 인식 정보를 외부의 디바이스에 송신할 수 있다. 예를 들어, 모바일 디바이스(100)는 모바일 디바이스(100)와 연결이 설정되어 있는 다른 디바이스에 전자 디바이스로부터 수신된 인식 정보를 송신할 수 있다.
도 3은 일 실시예에 따른 전자 디바이스(10)가 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
단계 S310에서, 전자 디바이스(10)는 신호를 송신할 수 있다. 예를 들어, 전자 디바이스(10)에서 송신되는 신호는 비콘 및 파일럿 신호 등을 포함할 수 있다. 또한, 전자 디바이스(10)는 기 설정된 시간 간격에 따라 신호를 송신할 수 있으나, 이는 일 실시예일 뿐, 전자 디바이스(10)에서 신호를 송신하는 방법이 전술한 예에 한정되는 것은 아니다.
일 실시예에 따른 전자 디바이스(10)는 화면이 켜져 있는 상태에서, 전자 디바이스(10) 주변의 다른 기기와의 연결을 수행하기 위해, 전자 디바이스(10)가 동작함을 알리는 비콘을 기 설정된 시간 간격으로 송신할 수 있다. 예를 들어, 전자 디바이스(10)는 BLE 게시 패킷을 기 설정된 시간 간격으로 송신할 수 있다. 다만, 이는 일 실시예일 뿐, 전자 디바이스(10)에서 송신되는 신호가 BLE 게시 패킷에 한정되는 것은 아니며,BLE, Wifi,Bluetooth 등 다양한 신호가 될 수 있다.
한편, 다른 실시예에 따라, 전자 디바이스(10)는 화면이 켜져있을 때와 꺼져 있을 때 모두 비콘을 송신할 수도 있다.
단계 S320에서, 전자 디바이스(10)는 신호를 통해 전자 디바이스(10)를 감지한 모바일 디바이스(100)에서 검색 모드가 활성화됨에 따라, 모바일 디바이스(100)로부터 컨텐트에 관련된 객체를 나타내는 인식 정보에 대한 요청을 수신할 수 있다.
예를 들어, 전자 디바이스(10)로부터 기 설정된 거리 범위 내에 위치한 모바일 디바이스(100)는 전자 디바이스(10)에서 송신되는 비콘을 감지할 수 있다. 모바일 디바이스(100)는 전자 디바이스(10)에서 송신되는 비콘을 통해, 전자 디바이스(10)가 소정 거리 이내에 위치하고 있음을 확인할 수 있다.
일 실시예에 따른 전자 디바이스(10)는 모바일 디바이스(100)에서 적어도 하나의 검색 애플리케이션이 실행되는 경우, 모바일 디바이스(100)로부터 인식 정보에 대한 요청을 수신할 수 있다.
한편, 단계 S310에서 전술한 바와 같이, 전자 디바이스(10)는 화면이 켜져있을 때와 꺼져 있을 때 모두 비콘을 송신할 수 있다. 이러한 경우, 모바일 디바이스(100)는 전자 디바이스(10)로부터 비콘이 수신되는 경우, 전자 디바이스(10)의 화면이 켜져 있는지 여부를 확인하여 전자 디바이스(10)에 컨텐트에 관련된 객체를 나타내는 인식 정보에 대한 요청을 송신할 수 있다. 예를 들어, 모바일 디바이스(100)는 전자 디바이스(10)에 화면의 전원 상태를 질의하는 메시지를 송신하거나, 비콘에 포함된 화면의 전원 상태 정보를 기초로 전자 디바이스(10)의 화면이 켜져 있는지 여부를 판단할 수 있다.
다른 실시예에 따라, 전자 디바이스(10)는 모바일 디바이스(100)로부터 인식 정보에 대한 요청을 수신하기에 앞서, 모바일 디바이스(100)와 연결 프로세스를 수행할 수 있다. 예를 들어, 전자 디바이스(10)는 비콘을 통해 전자 디바이스(10)를 감지한 모바일 디바이스(100)로부터 연결 요청 메시지를 수신할 수 있다. 이에 따라, 전자 디바이스(10)는 연결 요청 메시지에 따른 응답 메시지를 모바일 디바이스(100)에 송신함으로써, 모바일 디바이스(100)와 세션을 설정할 수 있다. 전자 디바이스(10)는 세션이 설정된 후에, 모바일 디바이스(100)로부터 인식 정보에 대한 요청을 수신할 수 있다.
단계 S330에서, 전자 디바이스(10)는 요청이 수신됨에 따라 컨텐트와 관련된 객체를 나타내는 인식 정보를 생성할 수 있다.
일 실시예에 따른 전자 디바이스(10)는 컨텐트가 출력되고 있는 화면의 캡쳐 이미지에 포함된 객체를 인식하여, 인식 정보를 생성할 수 있다. 예를 들어, 전자 디바이스(10)는 OCR, 핑거 프린트(finger print) 기술을 이용하여, 화면에 표시되고 있는 객체를 인식할 수 있다. 다른 예에 따라, 전자 디바이스(10)는 복수의 객체의 이미지를 저장한 데이터 베이스와 화면에 표시되고 있는 객체의 이미지를 비교하여, 객체를 인식할 수도 있다. 또 다른 예에 따라, 전자 디바이스(10)는 이전에 출력되었던 컨텐트를 통해 학습한 객체의 정보를 기초로 딥러닝(deep learning) 등의 기법을 이용하여, 객체를 인식할 수도 있다.
또한, 전자 디바이스(10)는 출력되고 있는 컨텐트의 메타데이터로부터 인식 정보를 생성할 수도 있다. 예를 들어, 전자 디바이스(10)는 컨텐트의 메타데이터를 파싱(parsing)하여, 컨텐트의 제목, 컨텐트가 제공되는 채널 등의 정보를 포함하는 인식 정보를 생성할 수도 있다. 다른 예에 따라, 전자 디바이스(10)는 컨텐트의 음성 인식을 통해, 컨텐트의 음성 정보로부터 노래 제목 등의 인식 정보를 생성할 수도 있다.
단계 S340에서, 전자 디바이스(10)는 생성된 인식 정보를 모바일 디바이스(100)에 송신할 수 있다.
일 실시예에 따른 전자 디바이스(10)는 표시되고 있는 컨텐트에 대한 인식 정보가 생성됨에 따라, 생성된 인식 정보를 브로드캐스팅할 수 있다. 다른 실시예에 따라, 전자 디바이스(10)는 모바일 디바이스(100)와 연결 프로세스를 통해 설정한 세션을 통해 인식 정보를 모바일 디바이스(100)에 송신할 수도 있다.
도 4a 및 도 4b는 일 실시예에 따른 모바일 디바이스(100) 및 전자 디바이스(10)가 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 흐름도이다.
도 4a의 실시예에서는, 모바일 디바이스(100)는 전자 디바이스(10)로부터컨테트 관한 정보를 BLE data 채널을 통해 전송하는 것으로 가정한다..
단계 S410a에서, 전자 디바이스(10)는 BLE 게시(advertising) 신호를 송신할 수 있다. 여기에서, BLE 게시 신호에는 전자 디바이스의 식별 정보 및 전자 디바이스의 상태 정보(예를 들어, 화면 전원 상태) 중 적어도 하나에 관한 정보가 포함될 수 있다.
단계 S420a에서, 모바일 디바이스(100)는 전자 디바이스(10)로부터 수신된 BLE 게시 신호를 기초로 전자 디바이스(10)가 일정 거리안에 위치함이 확인됨에 따라, 모바일 디바이스(100)의 검색 모드가 활성화되었는지 여부를 판단할 수 있다. 여기에서, 검색 모드가 활성화되었는지 여부를 판단하는 방법은 도 2를 참고하여 전술한 바와 대응될 수 있다.
한편, 모바일 디바이스(100)는 BLE 게시 신호를 통해, 전자 디바이스(10)가 모바일 디바이스(100)로부터 소정 거리 이내에 위치함을 확인할 수도 있다. 또한, 모바일 디바이스(100)는 BLE 게시 신호를 통해 전자 디바이스(10)의 전원이 켜져 있는 상태임을 확인할 수 있다. 또한, 모바일 디바이스(100)는 BLE 게시 신호를 통해, 전자 디바이스(10)가 컨텐트를 표시하고 있음을 확인할 수도 있다.
단계 S430a에서, 모바일 디바이스(100)는 검색 모드가 활성화됨에 따라, 전자 디바이스(10)에 연결 요청을 송신할 수 있다. 여기에서, 연결 요청에는 전자 디바이스(10)의 식별 정보가 포함될 수 있다.
단계 S440a에서, 전자 디바이스(10)는 모바일 디바이스(100)로부터 연결 요청이 수신됨에 따라, 이에 대한 연결 응답을 송신할 수 있다.
단계 S450a에서, 모바일 디바이스(10)는 연결 응답이 수신됨에 따라, BLE데이터 채널이 형성되고, BLE 데이터 채널을 통해 전자 디바이스(10)에 컨텐트와 관련된 객체를 나타내는 인식 정보를 요청할 수 있다.
단계 S460a에서, 전자 디바이스(10)는 모바일 디바이스(100)의 요청에 따라, 전자 디바이스(10)에서 표시되는 컨텐트와 관련된 객체를 나타내는 인식 정보를 생성할 수 있다.
일 실시예에 따른 전자 디바이스(10)는 컨텐트가 표시되는 화면을 캡쳐하여, 캡쳐된 이미지의 객체를 인식함으로써 인식 정보를 생성할 수 있다. 다른 실시예에 따라, 전자 디바이스(10)는 컨텐트의 메타데이터를 기초로 컨텐트의 인식 정보를 생성할 수도 있다.
단계 S470a에서, 전자 디바이스(10)는 모바일 디바이스(100)에 생성된 인식 정보를 송신할 수 있다.
일 실시예에 따른 전자 디바이스(10)는 생성된 인식 정보를 브로드캐스팅할 수 있다. 이에 따라, 전자 디바이스(10)로부터 기 설정된 범위 내에 위치한 모바일 디바이스(100)는 전자 디바이스로부터 브로드캐스팅 되는 인식 정보를 수신할 수 있다. 다른 실시예에 따라 전자 디바이스(10)는 모바일 디바이스(100)와 연결 프로세스를 통해 기 설정된 세션을 이용하여, 모바일 디바이스(100)에 인식 정보를 송신할 수도 있다.
단계 S480a에서, 모바일 디바이스(100)는 수신한 인식 정보를 표시할 수 있다.
도 4b의 실시예에서는, 모바일 디바이스(100)는 전자 디바이스(10)로부터 BLE 게시(advertising) 신호를 통해 컨텐츠 정보를 전송하는 것으로 가정한다.단계 S410b에서, 전자 디바이스(10)는 기 설정된 시간 간격으로 비콘을 송신할 수 있다. 이 때, 비콘 신호는 BLE 게시(advertising) 신호일 수 있으며 이에 한정되지는 않는다. 여기에서, 비콘에는 전자 디바이스의 식별 정보 및 전자 디바이스의 상태 정보(예를 들어, 화면 전원 상태) 중 적어도 하나에 관한 정보가 포함될 수 있다. 또한, 기 설정된 시간 간격은 예를 들어, 120ms 이하일 수 있다.
단계 S420b에서, 모바일 디바이스(100)는 전자 디바이스(10)로부터 수신된 비콘을 기초로 전자 디바이스(10)가 일정 거리안에 위치함이 확인됨에 따라 모바일 디바이스(100)의 검색 모드가 활성화되었는지 여부를 판단할 수 있다. 여기에서, 검색 모드가 활성화되었는지 여부를 판단하는 방법은 도 2를 참고하여 전술한 바와 대응될 수 있다.
단계 S430b에서, 모바일 디바이스(100)는 검색 모드가 활성화됨에 따라, 전자 디바이스(10)에 컨텐트와 관련된 객체를 나타내는 인식 정보를 요청할 수 있다. 여기에서, 인식 정보의 요청에는 모바일 디바이스(100)의 식별 정보가 포함될 수 있다.
단계 S440b에서, 전자 디바이스(10)는 모바일 디바이스(100)의 요청에 따라, 전자 디바이스(10)에서 표시되는 컨텐트와 관련된 객체를 나타내는 인식 정보를 생성할 수 있다.
일 실시예에 따른 전자 디바이스(10)는 컨텐트가 표시되는 화면을 캡쳐하여, 캡쳐된 이미지의 객체를 인식함으로써 인식 정보를 생성할 수 있다. 다른 실시예에 따라, 전자 디바이스(10)는 컨텐트의 메타데이터를 기초로 컨텐트의 인식 정보를 생성할 수도 있다.
단계 S450b에서, 전자 디바이스(10)는 모바일 디바이스(100)에 생성된 인식 정보를 송신할 수 있다. 이 때, 정보를 송신하는 신호는 BLE 게시(advertising) 신호일 수 있으며 이에 한정되지는 않는다..
일 실시예에 따른 전자 디바이스(10)는 생성된 인식 정보를 브로드캐스팅할 수 있다. 이에 따라, 전자 디바이스(10)로부터 기 설정된 범위 내에 위치한 모바일 디바이스는 전자 디바이스(10)로부터 브로드캐스팅 되는 인식 정보를 수신할 수 있다. 다른 실시예에 따라 전자 디바이스(10)는 모바일 디바이스(100)와 연결 프로세스를 통해 기 설정된 세션을 이용하여, 모바일 디바이스에 인식 정보를 송신할 수도 있다.
한편, 전자 디바이스(10)가 모바일 디바이스(100)에 송신하는 인식 정보에는 전자 디바이스(10)의 식별 정보가 포함될 수도 있다.
단계 S460b에서, 모바일 디바이스(100)는 수신한 인식 정보를 표시할 수 있다.
도 5는 일 실시예에 따른 모바일 디바이스(500)가 검색 애플리케이션에 대해 검색 모드의 활성화 여부를 판단하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 모바일 디바이스(500)는 컨텐트를 표시하는 전자 디바이스가 감지됨에 따라, 모바일 디바이스(500)에서 검색 애플리케이션의 검색 모드가 활성화되었는지 여부를 판단할 수 있다.
도 5를 참고하면, 모바일 디바이스(500)는 현재 실행되고 있는 애플리케이션의 메타데이터를 파싱하여, 현재 실행되고 있는 애플리케이션이 검색 애플리케이션인지 여부를 판단할 수 있다.
또한, 모바일 디바이스(500)는 검색 애플리케이션이 실행되고 있는 경우, 검색 애플리케이션의 검색 모드가 활성화되었는지 여부를 판단할 수 있다. 예를 들어, 모바일 디바이스(500)는 검색 애플리케이션의 검색창(510)에 커서가 실행되고 있는지 여부를 확인할 수 있다. 모바일 디바이스(500)는 검색창(510)에 커서가 실행되고 있는 경우, 검색 모드가 활성화된 것으로 판단할 수 있다.
다른 예에 따라, 모바일 디바이스(500)는 검색창(510)에 텍스트를 입력할 수 있는 키보드 메뉴(520)가 실행되고 있는지 여부를 확인할 수 있다. 모바일 디바이스(500)는 키보드 메뉴(520)가 실행되고 있는 경우, 검색 모드가 활성화된 것으로 판단할 수 있다.
일 실시예에 따른 모바일 디바이스(500)는 검색 모드가 활성화됨에 따라, 전자 디바이스에 컨텐트와 관련된 객체를 나타내는 인식 정보를 요청할 수 있다.
도 6은 일 실시예에 따른 전자 디바이스(600)가 컨텐트의 인식 정보를 생성하는 방법을 설명하기 위한 도면이다.
도 6을 참고하면, 전자 디바이스(600)는 모바일 디바이스로부터 컨텐트에 관련된 객체를 나타내는 인식 정보에 대한 요청이 수신됨에 따라, 인식 정보를 생성하기 위해, 컨텐트가 표시되는 화면을 캡쳐할 수 있다. 전자 디바이스(600)는 객체 인식 기법을 통해, 캡쳐된 이미지에 포함된 객체를 인식할 수 있다. 여기에서, 객체 인식 기법에는 OCR, 핑거프린트, 딥러닝 등이 포함될 수 있으나 이는 일 실시예일 뿐, 객체 인식 기법이 전술한 예에 한정되는 것은 아니다.
예를 들어, 전자 디바이스(600)는 OCR 기법을 통해 캡쳐된 이미지에 표시된 컨텐트의 제목(610) 및 채널 번호(620)를 인식할 수 있다. 또한, 전자 디바이스(600)는 캡쳐된 이미지에 표시된 등장 인물이 착용한 가방(630)의 브랜드 및 제품명을 인식할 수 있다. 전자 디바이스(600)는 인식된 컨텐트의 제목(610), 채널 번호(620) 및 가방(630)의 브랜드 및 제품명을 포함한 인식 정보를 생성할 수 있다. 한편, 이는 일 실시예일 뿐, 인식 정보는 텍스트 형태 이외에도, 가방(630)의 이미지와 같은 이미지 형태의 정보를 포함할 수도 있다.
또한, 다른 예에 따라, 캡쳐된 이미지에 표시된 객체와 관련된 연관 객체가 인식 정보에 포함될 수도 있다. 예를 들어, 화면에 표시되고 있는 컨텐트와 동시간대에 다른 채널에서 제공되는 컨텐트의 제목이 현재 화면에 표시되고 있는 컨텐트의 연관 정보로서 인식 정보에 포함될 수도 있다.
일 실시예에 따른, 전자 디바이스(600)는 인식 정보가 생성됨에 따라, 생성된 인식 정보를 모바일 디바이스에 송신할 수 있다.
도 7은 일 실시예에 따른 모바일 디바이스(720)가 전자 디바이스(710)로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 7을 참고하면, 모바일 디바이스(720)는 축구 경기 프로그램을 출력하는 전자 디바이스(710)를 감지할 수 있다. 예를 들어, 모바일 디바이스(720)는 전자 디바이스(710)에서 기 설정된 시간 간격에 따라 송신되는 비콘을 통해 전자 디바이스(710)를 감지할 수 있다.
모바일 디바이스(720)는 전자 디바이스(710)가 감지됨에 따라, 모바일 디바이스(720) 의 검색 모드가 활성화되었는지 여부를 판단할 수 있다. 모바일 디바이스(720)의 사용자가 검색 애플리케이션의 검색창(722)을 터치하여, 검색창(722)에 커서가 실행되고 있는 경우, 모바일 디바이스(720)는 검색 모드가 활성화된 것으로 판단할 수 있다. 다른 예에 따라, 모바일 디바이스(720)는 검색창(722)에 텍스트를 입력할 수 있는 키보드 메뉴(724)가 실행되고 있는 경우, 검색 모드가 활성화된 것으로 판단할 수 있다.
모바일 디바이스(720)는 검색 모드가 활성화된 것으로 판단된 경우, 전자 디바이스(710)에 컨텐트와 관련된 객체를 나타내는 인식 정보를 요청할 수 있다. 이에 따라, 전자 디바이스(710)는 현재 표시되고 있는 컨텐트인 축구 경기 프로그램과 관련된 객체를 나타내는 인식 정보를 생성할 수 있다. 예를 들어, 전자 디바이스(710)는 축구 경기 프로그램이 표시되고 있는 화면을 캡쳐하여, 캡쳐된 이미지에 포함된 축구 선수를 인식할 수 있다. 또한, 전자 디바이스(710)는 캡쳐된 이미지에 포함된 경기 스코어, 국가 정보 등을 인식할 수 있다. 다른 예에 따라, 전자 디바이스(710)는 축구 경기 프로그램의 메타데이터로부터 축구 경기 프로그램이 제공되는 채널 등을 인식할 수도 있다.
전자 디바이스(710)는 축구 경기 프로그램과 관련된 객체를 나타내는 인식 정보를 모바일 디바이스(720)에 송신할 수 있다. 모바일 디바이스(720)는 수신한 인식 정보를 검색창(722)과 키보드 메뉴(724)사이의 기 설정된 영역(726)에 표시할 수 있다.
도 8은 도 7을 참고하여 전술한 모바일 디바이스(720)가 전자 디바이스(710)로부터 수신한 인식 정보를 검색창에 입력하는 방법을 설명하기 위한 도면이다.
도 8을 참고하면, 모바일 디바이스(720)는 화면에 표시된 인식 정보에 포함된 복수의 객체 각각의 식별 정보들 중 경기 종목에 해당하는 "축구"라는 키워드(734)를 선택하는 사용자 입력을 수신할 수 있다. 이에 따라, 모바일 디바이스(720)는 검색창에 "축구"라는 키워드(734)를 입력할 수 있다.
또한, 모바일 디바이스(720)는 화면에 표시된 인식 정보에 포함된 복수의 객체 각각의 식별 정보들 중 선수이름에 해당하는 "AAA"라는 키워드(736)를 선택하는 사용자 입력을 추가적으로 수신할 수 있다. 모바일 디바이스(720)는 키워드가 선택된 순서에 따라, 순차적으로 검색창에 선택된 키워드를 입력할 수 있다. 이에 따라, 검색창에는 "축구"라는 키워드(734)와 "AAA"라는 키워드가 순차적으로 입력될 수 있다.
모바일 디바이스(720)는 사용자가 검색을 요청할 수 있는 검색 아이콘(738)을 터치함에 따라, 입력된 키워드들에 대한 검색을 수행할 수 있다. 이에 따라, 모바일 디바이스(720)는 "축구"와 "AAA"에 대한 검색 정보를 획득할 수 있다.
도 9는 다른 실시예에 따른 모바일 디바이스(920)가 전자 디바이스(910)로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 9를 참고하면, 모바일 디바이스(920)는 축구 경기 프로그램을 출력하는 전자 디바이스(910)를 감지할 수 있다. 모바일 디바이스(920)는 전자 디바이스(910)가 감지됨에 따라, 모바일 디바이스(920)에 설치된 검색 애플리케이션의 검색창(922)이 실행되고 있는지 여부를 판단하여, 검색 애플리케이션의 검색 모드가 활성화되었는지 여부를 판단할 수 있다.
모바일 디바이스(920)는 검색 애플리케이션의 검색 모드가 활성화된 것으로 판단된 경우, 전자 디바이스(910)에 컨텐트와 관련된 객체를 나타내는 인식 정보를 요청할 수 있다. 이에 따라, 모바일 디바이스(920)는 전자 디바이스(910)로부터 현재 표시되고 있는 컨텐트인 축구 경기 프로그램과 관련된 객체를 나타내는 인식 정보를 수신할 수 있다.
일 실시예에 따른 모바일 디바이스(920)는 수신한 인식 정보에 포함된 객체의 키워드들을 키보드 메뉴(924)의 상단에 표시할 수 있다. 예를 들어, 모바일 디바이스(920)는 키보드 메뉴(924)의 상단에 라벨 형태로, 경기 종목, 축구 선수 이름, 채널 종류 등을 나타내는 키워드(926)를 표시할 수 있다.
도 10은 다른 실시예에 따른 모바일 디바이스(920)가 전자 디바이스(910)로부터 수신한 인식 정보를 검색창에 입력하는 방법을 설명하기 위한 도면이다.
도 10을 참고하면, 모바일 디바이스(920)는 키보드 메뉴의 상단에 인식 정보에 포함된 복수의 객체 각각의 키워드(926)를 표시할 수 있다. 모바일 디바이스(920)는 복수의 객체 각각의 키워드(926) 중에서, 사용자가 키보드 메뉴에서 선택한 글자에 따라, 일부를 선택하여 표시할 수 있다. 예를 들어, 사용자가 키보드 메뉴에서 선택한 글자가 A인 경우, 모바일 디바이스(920)는 복수의 객체 각각의 키워드(926) 중에서, A로 시작하는 AAA 및 ACC(932)를 선택적으로 키보드 메뉴의 상단에 표시할 수 있다.
또한, 모바일 디바이스(920)는 선택적으로 표시된 키워드인 AAA 및 ACC(932) 중에서, 사용자가 ACC(934)를 선택하는 경우, 검색창(922)에 ACC를 입력할 수 있다. 모바일 디바이스(720)는 사용자가 검색을 요청할 수 있는 검색 아이콘(미도시)을 터치함에 따라, 입력된 키워드인 ACC(932)에 대한 검색을 수행할 수 있다. 이에 따라, 모바일 디바이스(920)는 "AAC"에 대한 검색 정보를 획득할 수 있다.
도 11은 또 다른 실시예에 따른 모바일 디바이스(1120)가 전자 디바이스(1110)로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 11을 참고하면, 모바일 디바이스(1120)는 드라마 "OOO"를 출력하는 전자 디바이스(1110)를 감지할 수 있다. 모바일 디바이스(1120)는 전자 디바이스(1110)가 감지됨에 따라, 모바일 디바이스(1120)에 설치된 검색 애플리케이션의 검색창(1122)이 실행되고 있는지 여부를 판단하여, 검색 애플리케이션의 검색 모드가 활성화되었는지 여부를 판단할 수 있다.
모바일 디바이스(1120)는 검색 애플리케이션의 검색 모드가 활성화된 것으로 판단된 경우, 전자 디바이스(1110)에 컨텐트와 관련된 객체를 나타내는 인식 정보를 요청할 수 있다. 이에 따라, 모바일 디바이스(1120)는 전자 디바이스(1110)로부터 현재 표시되고 있는 컨텐트인 드라마 "OOO"와 관련된 객체를 나타내는 인식 정보를 수신할 수 있다.
일 실시예에 따른 모바일 디바이스(1120)는 수신한 인식 정보에 포함된 드라마의 제목인 "OOO"(1124)를 검색창(1122)의 상단에 바(bar) 형태로 표시할 수 있다. 또한, 모바일 디바이스(1120)는 사용자가 검색창(1122)의 상단에 표시된 "OOO"를 선택함에 따라, 드라마 "OOO"의 세부 정보인 배우 A 및 배우 B의 이름(1126)을 순차적으로 표시할 수 있다.
모바일 디바이스(1120)는 사용자가 배우 A의 이름을 선택함에 따라, 전자 디바이스(1110)로부터 수신한 인식 정보 중에서, 배우 A에 관한 세부 정보를 추가적으로 표시할 수 있다. 예를 들어, 모바일 디바이스(1120)는 배우 A가 드라마 "OOO"에서 착용한 블라우스, 청바지 및 가방에 관한 키워드(1128)를 추가적으로 표시할 수 있다.
일 실시예에 따른 모바일 디바이스(1120)는 전자 디바이스(1110)로부터 수신한 인식 정보를 사용자로의 입력에 따라 순차적으로 표시함으로써 사용자가 검색을 원하는 키워드를 보다 용이하게 찾을 수 있는 환경을 제공할 수 있다.
도 12 는 또 다른 실시예에 따른 모바일 디바이스(1200)가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 12를 참고하면, 모바일 디바이스(1200)는 검색 애플리케이션이 실행되고 있는 탭과 별도의 탭을 생성하여 전자 디바이스로부터 수신한 인식 정보를 표시할 수도 있다. 예를 들어, 모바일 디바이스(1200)는 전자 디바이스로부터 인식 정보가 수신됨에 따라, 검색창(1210)이 활성화되어 있는 검색 애플리케이션의 탭과는 별도로 인식 정보에 대한 검색을 수행하는 탭(1220)을 생성할 수 있다. 또한, 모바일 디바이스(1120)는 별도로 생성된 탭(1220)을 이용하여 인식 정보에포함된 키워드에 대한 검색을 수행할 수 있다.
일 실시예에 따른 모바일 디바이스(1200)는 별도의 탭을 생성함으로써, 사용자에게 검색창(1210)이 활성화되어 있는 검색 애플리케이션의 탭과 병렬적으로 인식 정보에 대한 검색 결과를 제공할 수 있다.
도 13은 또 다른 실시예에 따른 모바일 디바이스(1300)가 전자 디바이스로부터 수신한 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
도 13을 참고하면, 모바일 디바이스(1300)는 웹 브라우저를 통해 검색 기능을 제공하는 웹 페이지(1310)를 실행할 수 있다. 모바일 디바이스(1300)는 검색 기능을 제공하는 웹 페이지(1310)가 활성화된 것으로 판단됨에 따라, 감지된 전자 디바이스에 전자 디바이스에서 표시되는 컨텐트의 인식 정보를 요청할 수 있다.
한편, 모바일 디바이스(1300)는 요청에 대한 응답으로 전자 디바이스로부터 컨텐트의 인식 정보가 수신됨에 따라, 검색 기능을 제공하는 웹 페이지에 컨텐트의 인식 정보에 포함된 키워드들을 입력한 결과 정보를 별도의 탭(1320, 1330)으로 제공할 수 있다. 예를 들어, 모바일 디바이스(1300)는 검색 기능을 제공하는 웹 페이지(1310)에 키워드 중 하나인 "AAA"를 입력한 결과 페이지의 탭(1320)과 또 다른 키워드인 "ACC"를 입력한 결과 페이지의 탭(1330)을 화면에 표시할 수 있다.
이에 따라, 모바일 디바이스(1300)는 사용자가 인식 정보에 대한 검색 결과와, 검색 웹 페이지를 병렬적으로 제공받을 수 있는 환경을 제공할 수 있다.
도 14는 일 실시예에 따른 모바일 디바이스(100)가 컨텐트에 관한 인식 정보를 검색 애플리케이션의 종류 및 사용자의 선호도 정보 중 적어도 하나에 따라 분류하여 표시하는 방법을 설명하기 위한 흐름도이다.
단계 S1410에서, 모바일 디바이스(100)는 컨텐트를 표시하는 전자 디바이스(10)를 감지할 수 있다.
한편, 단계 S1410은 도 2를 참고하여 전술한 단계 S210과 대응될 수 있다.
단계 S1420에서, 모바일 디바이스(100)는 전자 디바이스(10)가 감지됨에 따라 모바일 디바이스(100)에서 적어도 하나의 검색 애플리케이션이 실행되는지 여부를 판단할 수 있다.
한편, 단계 S1420은 도 2를 참고하여 전술한 단계 S220과 대응될 수 있다.
단계 S1430에서, 모바일 디바이스(100)는 적어도 하나의 검색 애플리케이션이 실행됨에 따라 전자 디바이스(10)에 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 요청할 수 있다.
한편, 단계 S1430은 도 2를 참고하여 전술한 단계 S230과 대응될 수 있다.
단계 S1440에서, 모바일 디바이스(100)는 전자 디바이스(10)로부터 요청된 인식 정보를 수신할 수 있다.
한편, 단계 S1440은 도 2를 참고하여 전술한 단계 S240과 대응될 수 있다.
단계 S1450에서, 모바일 디바이스(100)는 기 저장된 모바일 디바이스(100)의 사용자의 선호도 정보 및 검색 애플리케이션의 종류 중 적어도 하나에 따라 배열된 인식 정보를 표시할 수 있다.
일 실시예에 따른 모바일 디바이스(100)는 모바일 디바이스(100)의 사용자의 선호도 정보를 기 저장할 수 있다. 여기에서 선호도 정보는 사용자의 성별, 나이 및 직업 등을 포함하는 프로파일 정보, 사용자가 컨텐트 인식 정보를 수신하기 이전에, 검색 애플리케이션을 통해 검색하였던 정보의 종류 및 검색 횟수 등을 기초로 결정될 수 있다.
한편, 모바일 디바이스(100)는 수신한 인식 정보에 포함된 복수의 객체 각각의 키워드를 사용자의 선호도 정보에 기초하여 선호도가 높은 순서에 따라 분류할 수 있다. 예를 들어, 모바일 디바이스(100)는 수신한 인식 정보에 자동차 A, 블라우스 B, 카페 C의 키워드가 포함되어 있고, 사용자가 최근 검색한 정보의 횟수가 여성 의류 10회, 맛집 5회인 경우 블라우스 B, 카페 C 및 자동차 A의 순서로 인식 정보를 표시할 수 있다.
다른 실시예에 따라, 모바일 디바이스(100)는 수신한 인식 정보에 포함된 복수의 객체 각각의 키워드와 검색 애플리케이션 간의 연관도를 산출할 수 있다. 예를 들어, 모바일 디바이스(100)는 검색 애플리케이션이 의류 쇼핑몰 애플리케이션인 경우, 인식 정보에 포함된 자동차 A, 블라우스 B, 카페 C의 키워드 중 의류 쇼핑몰 애플리케이션과 연관도가 가장 높은 블라우스 B를 제 1 순위로 표시할 수 있다.
모바일 디바이스(100)는 수신한 인식 정보를 사용자의 선호도 정보 및 검색 애플리케이션의 종류 및 적어도 하나에 따라 배열하여 표시함으로써, 모바일 디바이스(100)의 사용자가 검색을 원하는 인식 정보를 보다 정확하게 제공할 수 있다.
도 15는 일 실시예에 따른 모바일 디바이스(1500)가 수신한 인식 정보를 기 설정된 카테고리에 따라 분류하여 표시하는 방법을 설명하기 위한 도면이다.
도 15를 참고하면, 모바일 디바이스(1500)는 수신한 인식 정보에 포함된 복수의 객체의 키워드를 기 설정된 카테고리에 따라 분류할 수 있다. 예를 들어, 기 설정된 카테고리에는 등장 인물, 채널 정보 및 의류 등을 포함할 수 있으나, 이는 일 실시예일 뿐 카테고리가 전술한 예에 한정되는 것은 아니다.
일 실시예에 따른 모바일 디바이스(1500)가 수신한 인식 정보에는 "23번, 채널 N, OOO!, 서OO, 김OO, 전OO, 블라우스 및 맨투맨"이라는 키워드가 포함될 수 있다. 모바일 디바이스(1500)는 수신한 인식 정보를 컨텐트의 식별 정보, 등장 인물 및 의류라는 카테고리로 분류하여 표시할 수 있다. 이에 따라, 모바일 디바이스(1500)는 컨텐트의 식별 정보에 포함되는 채널 번호인 "23번", 채널 명칭인 "채널 N" 및 컨텐트의 제목인 "OOO!"를 하나의 그룹으로 분류할 수 있다. 또한, 모바일 디바이스(1500)는 등장인물들에 해당하는 "서OO", "김OO" 및 "전OO"를 하나의 그룹으로 분류하고, 의류에 해당하는 "블라우스" 및 "맨투맨"을 하나의 그룹으로 분류할 수 있다.
또한, 모바일 디바이스(1500)는 기 설정된 카테고리에 따라 분류된 인식 정보(1510)를 모바일 디바이스(1500)의 화면 상의 기 설정된 영역에 표시할 수 있다.
도 16은 다른 실시예에 따른 모바일 디바이스(1600)가 컨텐트에 표시된 객체 및 컨텐트에 표시된 객체의 연관 객체를 포함하는 인식 정보를 표시하는 방법을 설명하기 위한 도면이다.
일 실시예에 따른 모바일 디바이스(1600)는 검색 애플리케이션의 검색창(1610)이 활성화됨을 감지함에 따라, 기 감지된 전자 디바이스에서 표시되고 있는 컨텐트의 인식 정보를 전자 디바이스에 요청할 수 있다.
이에 따라 전자 디바이스는 컨텐트가 재생되는 화면 상에 표시된 객체를 인식하여 인식 정보를 생성할 수 있다. 한편, 전자 디바이스는 화면 상에 표시된 객체 이외에 화면 상에 표시된 객체와 관련된 연관 객체를 나타내는 정보를 인식 정보에 포함시킬 수 있다.
예를 들어, 도 16을 참고하면, 전자 디바이스는 음악 프로그램에 등장하는 가수의 이름과 가수의 노래 제목을 인식할 수 있다. 여기에서, 전자 디바이스가 가수의 이름과 가수의 노래 제목을 인식하는 방법은 도 3을 참고하여 전술한 바와 대응될 수 있다.
한편, 전자 디바이스는 가수 및 가수의 노래 제목과 함께 가수의 노래를 재생할 수 있는 애플리케이션의 식별 정보를 연관 객체를 나타내는 정보로서 인식 정보에 포함시킬 수 있다.
일 실시예에 따른 모바일 디바이스(1600)는 전자 디바이스로부터 음악 프로그램에 등장하는 가수, 가수의 노래 제목 및 가수의 노래를 재생할 수 있는 애플리케이션의 식별 정보를 포함한 인식 정보(1620)를 수신하여, 화면 상에 인식 정보(1620)를 표시할 수 있다.
또한, 모바일 디바이스(1600)는 인식 정보(1620)에 표시된 키워드들 중 가수의 이름(1622)이 사용자로부터 선택됨에 따라, 가수의 이름(1622)을 검색창(1610)에 입력할 수 있다.
도 17a는 일 실시예에 따른 모바일 디바이스(1720)가 전자 디바이스(1710)로부터 수신한 인식 정보를 다른 사용자와 공유하는 방법을 설명하기 위한 도면이다.
도 17a를 참고하면, 모바일 디바이스(1720)는 드라마 "OOO"를 출력하는 전자 디바이스(1710)를 감지할 수 있다. 모바일 디바이스(1720)는 전자 디바이스(1710)가 감지됨에 따라, 화면에 TV 정보 요청 버튼(1722)을 표시할 수 있다. 다만, 여기에서, TV 정보 요청 버튼(1722)은 일 실시예일 뿐, 모바일 디바이스(1720)는 사용자가 인식 정보를 획득하기를 원하는지 여부를 확인하기 위한 다른 형태의 아이콘 또는 버튼 등을 표시할 수 있다.
또한, 모바일 디바이스(1720)는 사용자가 TV 정보 요청 버튼(1722)을 터치함에 따라, 전자 디바이스(1710)에 인식 정보를 요청할 수 있다. 이에 따라, 전자 디바이스(710)는 현재 표시되고 있는 드라마 "OOO"와 관련된 객체를 나타내는 인식 정보를 생성할 수 있다. 예를 들어, 전자 디바이스(1710)는 드라마 "OOO"에서 배우 A가 착용한 가방에 관한 정보(1724, 예를 들어, 가방의 이미지, 가방의 브랜드 명)(1128)를 포함한 인식 정보를 생성할 수 있다. 전자 디바이스(1710)는 생성된 인식 정보를 모바일 디바이스(1720)에 송신할 수 있다.
한편, 일 실시예에 따른 모바일 디바이스(1720)는 전자 디바이스(1710)로부터 수신한 인식 정보를 화면에 표시할 수 있다. 모바일 디바이스(1720)는 수신한 인식 정보를 모두 화면에 표시할 수도 있으나, 본 실시예에서는 수신한 인식 정보 중 사용자가 선택한 배우 A가 착용한 가방에 관한 정보(1724) 만이 화면에 표시되는 것으로 가정한다.
또한, 모바일 디바이스(1720)는 수신된 인식 정보를 다른 디바이스와 공유할 지 여부를 결정할 수 있다. 예를 들어, 모바일 디바이스(1720)는 SNS(Social Network Service) 또는 메신저 서비스를 통한 공유 여부를 확인하는 결과 공유 버튼(1726)을 표시할 수 있다. 모바일 디바이스(1720)는 사용자가 결과 공유 버튼(1726)을 터치하는 경우, 수신한 인식 정보 전체 또는 수신한 인식 정보 중 사용자가 선택한 일부를 SNS 또는 메신저 서비스를 통해 공유할 수 있다. 이에 따라, 모바일 디바이스(1720)에는 예를 들어, 배우 A가 착용한 가방에 관한 정보(1724)가 공유된 SNS 화면(1728)이 표시될 수 있다. 한편, 도 17a는 일 실시예일 뿐, 모바일 디바이스(1720)에는 복수의 SNS 또는 메신저 서비스 중 어느 하나를 선택할 수 있는 추가 메뉴가 결과 공유 버튼(1726)과 함께 표시될 수도 있다. 모바일 디바이스(1720)의 사용자는 추가 메뉴를 통해, 결과를 공유하기를 원하는 서비스를 선택할 수 있다.
한편, SNS 또는 메신저 서비스를 통해 인식 정보가 공유됨에 따라, SNS 또는 메신저 서비스를 이용하는 다른 사용자는 공유된 인식 정보를 선택함으로써, 인식 정보를 획득할 수 있다. 또한, 다른 예에 따라, 다른 사용자는 공유된 인식 정보를 선택하여, 인식 정보가 생성된 시점의 컨텐트 부분을 시청할 수 있다. 다른 사용자가 공유된 인식 정보를 선택하는 경우, 다른 사용자의 주변에 위치한 디스플레이 기능을 가진 디바이스를 통해, 인식 정보가 생성된 시점의 컨텐트 부분이 제공될 수 있다.
도 17b는 다른 실시예에 따른 모바일 디바이스(1720)가 전자 디바이스(1710)로부터 수신한 인식 정보를 다른 사용자와 공유하는 방법을 설명하기 위한 도면이다.
도 17b에서는 도 17a를 참고하여 전술한 바와 같이, 사용자가 TV 정보 요청 버튼(1722)을 터치함에 따라, 모바일 디바이스(1720)가 전자 디바이스(1710)로부터 인식 정보를 수신하는 것으로 가정한다.
한편, 본 실시예에서는 모바일 디바이스(1720)에 메신저 애플리케이션이실행되고 있는 것으로 가정한다. 모바일 디바이스(1720)는 메신저 애플리케이션의 메신저 창에 입력된 텍스트에 수신한 인식 정보와 관련된 텍스트가 포함되어 있는 경우, 결과 공유 버튼(1726)을 메신저 창의 일부 영역에 표시할 수 있다.
모바일 디바이스(1720)는 사용자가 결과 공유 버튼(1726)을 터치하는 경우, 수신한 인식 정보 중 메신저 창에 입력된 텍스트와 대응되는 정보를 표시할 수 있다. 예를 들어, 모바일 디바이스(1720)는 "드라마 A에 나온 배우 B가 착용한 가방"이라는 메신저 창의 텍스트를 인식하여, 수신한 인식 정보 중 배우 B가 착용한 가방에 관한 정보(1728)를 메신저 창에 표시할 수 있다. 배우 B가 착용한 가방에 관한 정보(1728)에는 예를 들어, 가방의 이미지, 가방을 구매할 수 있는 쇼핑몰의 URL 정보 등이 포함될 수 있으나, 이는 일 실시예일 뿐, 메신저 창에 표시되는 정보가 전술한 예에 한정되는 것은 아니다.
도 18은 일 실시예에 따른 모바일 디바이스(1820)가 전자 디바이스(1810)로부터 수신하는 인식 정보의 종류를 설명하기 위한 도면이다.
도 18을 참고하면, 모바일 디바이스(1820)는 여행에 관한 프로그램인 "C프로그램"을 출력하는 전자 디바이스(1810)를 감지할 수 있다. 모바일 디바이스(1820)는 전자 디바이스(1810)가 감지됨에 따라, 화면에 TV 정보 요청 버튼(1822)을 표시할 수 있다.
또한, 모바일 디바이스(1820)는 사용자가 TV 정보 요청 버튼(1822)을 터치함에 따라, 인식 정보의 종류를 선택하는 메뉴(1824)를 표시할 수 있다. 메뉴(1824)에는 "C 프로그램"의 요약 정보를 요청할 수 있는 요약 버튼(1825) 및 "C 프로그램"에 포함된 이미지를 모바일 디바이스(1820)의 배경 화면으로 설정할 수 있는 배경 화면 버튼(1826)이 표시될 수 있다.
일 실시예에 따른, 모바일 디바이스(1820)는 사용자가 요약 버튼(1825)을 선택하는 경우, 요약 버튼(1825)이 선택된 시점부터 재생된 "C 프로그램"의 내용을 요약한 정보를 제공할 수 있다. 예를 들어, 모바일 디바이스(1820)는 요약 버튼(1825)이 선택됨에 따라, 전자 디바이스(1810)에 요약 버튼(1825)이 선택된 시점부터 "C 프로그램"의 종료 시점까지의 요약 내용을 포함한 인식 정보를 요청할 수 있다. 다른 예에 따라, 모바일 디바이스(1820)는 전자 디바이스(1810)로부터 수신한 전체 인식 정보 중에서 요약 버튼(1825)이 선택된 시점부터의 내용을 요약할 수도 있다. 이에 따라, 모바일 디바이스(1820)는 "C 프로그램"의 요약 내용(1827)를 화면에 표시할 수 있다. 여기에서, "C 프로그램"의 요약 내용에는 여행 루트, 이동 수단 및 숙박 시설 등에 관한 정보가 포함될 수 있으나, 이는 일 실시예일 뿐, 전술한 예가 요약 내용에 한정되는 것은 아니다.
한편, 다른 실시예에 따른 모바일 디바이스(1820)는 사용자가 배경 화면 버튼(1826)을 선택하는 경우, 배경 화면 버튼(1826)이 선택된 시점에 전자 디바이스(1810)에 표시되는 이미지를 인식 정보로서 수신할 수 있다. 다른 예에 따라, 모바일 디바이스(1820)는 전자 디바이스(1810)로부터 수신한 전체 인식 정보 중에서 배경 화면 버튼(1826)이 선택된 시점의 이미지를 인식 정보로서 수신할 수 있다. 모바일 디바이스(1820)는 수신된 이미지를 모바일 디바이스(1820)의 배경 화면(1828)으로 설정할 수 있다.
도 19는 일 실시예에 따른 모바일 디바이스(1920)가 전자 디바이스(1910)로부터 수신한 인식 정보를 사용자에게 제공하는 방법을 설명하기 위한 도면이다.
도 19를 참고하면, 모바일 디바이스(1920)는 음식에 관한 프로그램인 "D프로그램"을 출력하는 전자 디바이스(1910)를 감지할 수 있다. 모바일 디바이스(1920)는 전자 디바이스(1910)가 감지됨에 따라, 화면에 TV 정보 요청 버튼(1922)을 표시할 수 있다. 또한, 모바일 디바이스(1920)는 사용자가 TV 정보 요청 버튼(1922)을 터치함에 따라, 전자 디바이스(1910)로부터 "D 프로그램"에 대한 인식 정보를 수신할 수 있다. 여기에서, "D 프로그램"에 대한 인식 정보에는 "D 프로그램"으로부터 획득한 장소명 또는 장소의 위치 정보(1924)가 포함되는 것으로 가정한다. 다만, 이는 일 실시예일 분, 인식 정보에 포함되는 정보가 전술한 예에 한정되는 것은 아니다.
모바일 디바이스(1920)는 수신한 장소명 또는 장소의 위치 정보(1924)를 저장할 수 있다. 또한, 모바일 디바이스(1920)는 수신한 장소명 또는 장소의 위치 정보(1924)를 모바일 디바이스(1920) 내에 설치된 위치 정보 제공 애플리케이션에 저장할 수 있다. 이에 따라, 모바일 디바이스(1920)는 수신한 장소명 또는 장소의 위치 정보(1924)에 대응되는 장소의 주변에 사용자가 위치한 경우, 위치 정보 제공 애플리케이션을 실행하여, 실행 화면 상에 장소명(1926) 및 장소의 위치(1928)를 표시할 수 있다. 이에 따라, 사용자는 현재 사용자의 위치가 전자 디바이스(1910)를 통해 시청하였던 컨텐트에 등장한 장소의 주변이라는 점을 확인할 수 있다.
도 20은 일 실시예에 따른 전자 디바이스(2010), 모바일 디바이스(2020)및 냉장고(2030)가 연동되어 컨텐트에 관한 정보를 제공하는 방법을 설명하기 위한 도면이다.
도 20을 참고하면, 모바일 디바이스(2020)는 요리에 관한 프로그램인 "E프로그램"을 출력하는 전자 디바이스(2010)를 감지할 수 있다. 모바일 디바이스(2020)는 전자 디바이스(2010)가 감지됨에 따라, 화면에 TV 정보 요청 버튼을 표시할 수 있다. 또한, 모바일 디바이스(2020)는 사용자가 TV 정보 요청 버튼을 터치함에 따라, 전자 디바이스(2010)로부터 "E 프로그램"에 대한 인식 정보를 수신할 수 있다. 여기에서, "E 프로그램"에 대한 인식 정보에는 "E 프로그램"으로부터 획득한 요리 레시피(recipe)가 포함되는 것으로 가정한다. 다만, 이는 일 실시예일 분, 인식 정보에 포함되는 정보가 전술한 예에 한정되는 것은 아니다.
일 실시예에 따른 모바일 디바이스(2020)는 수신한 요리 레시피를 냉장고(2030)에 송신할 수 있다. 냉장고(2030)는 모바일 디바이스(2020)로부터 요리 레시피를 수신함에 따라, 냉장고(2030)에 보관되어 있는 재료들과 요리 레시피를 비교할 수 있다. 여기에서, 냉장고(2030)는 구비된 카메라를 통해 보관되어 있는 재료의 이미지를 획득하고, 획득된 이미지를 기초로 보관되어 있는 재료의 종류를 식별할 수 있는 것으로 가정한다. 냉장고(2030)는 요리 레시피와 관련된 재료들 중 냉장고(2030)에 보관되어 있지 않은 재료에 대한 정보를 모바일 디바이스(2020)에 송신할 수 있다.
또한, 모바일 디바이스(2020)는 보관되어 있지 않은 재료에 대한 정보를 수신함에 따라, 모바일 디바이스(2020)의 화면에 보관되어 있지 않은 재료의 구매 의사를 확인하는 팝업 메시지를 표시할 수 있다. 모바일 디바이스(2020)는 사용자가 표시된 팝업 메시지를 터치하는 경우, 보관되어 있지 않은 재료를 구매할 수 있는 쇼핑몰을 추천할 수 있다.
한편, 다른 실시예에 따라, 모바일 디바이스(2020) 또는 전자 디바이스(2010)는 냉장고(2030)로부터 현재 보관된 재료들로 가능한 레시피를 수신하여 표시할 수도 있다.
도 21 및 도 22는 일 실시예에 따라 컨텐트에 관한 정보를 제공하는 모바일 디바이스(100)의 블록도이다.
도 21에 도시된 바와 같이, 본 발명의 일 실시예에 따른 모바일 디바이스(100)는, 통신부(110), 프로세서(120) 및 출력부(130)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 모바일 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 모바일 디바이스(100)는 구현될 수 있다.
예를 들어, 도 22에 도시된 바와 같이, 본 발명의 일 실시예에 따른 모바일 디바이스(100)는, 통신부(110), 제어부(120) 및 출력부(130) 이외에 사용자 입력부(140), 센싱부(150), A/V입력부(160) 및 메모리(170)를 더 포함할 수도 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
통신부(110)는 컨텐트를 표시하는 전자 디바이스에서 송신되는 비콘을 통해 전자 디바이스를 감지한다. 또한, 통신부(110)는 적어도 하나의 검색 애플리케이션이 프로세서(120)에서 실행됨에 따라, 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 전자 디바이스에 요청한다. 통신부(110)는 전자 디바이스로부터 요청된 인식 정보를 수신할 수 있다.
또한, 일 실시예에 따른 통신부(110)는 모바일 디바이스(100)와 연결된 다른 디바이스에 전자 디바이스로부터 수신한 인식 정보를 송신할 수 있다.
통신부(110)는, 모바일 디바이스(100)와 전자 디바이스(미도시) 또는 모바일 디바이스(100)와 서버 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(110)는, 근거리 통신부(111), 이동 통신부(112) 및 방송 수신부(113)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(111)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(112)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(113)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 모바일 디바이스(100)가 방송 수신부(113)를 포함하지 않을 수도 있다.
프로세서(120)는, 통상적으로 모바일 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(120)는, 메모리(170)에 저장된 프로그램들을 실행함으로써, 통신부(110), 출력부(130), 사용자 입력부(140), 센싱부(150), A/V 입력부(160), 메모리(170) 등을 전반적으로 제어할 수 있다.
프로세서(120)는, 통신부(110)를 통해 전자 디바이스가 감지됨에 따라, 모바일 디바이스(100)에서 검색 모드가 활성화되는지 여부를 판단한다. 예를 들어, 프로세서(120)는 적어도 하나의 검색 애플리케이션에서 검색어가 입력되는 검색창의 상태 및 검색어를 입력할 수 있는 입력 메뉴의 상태 중 적어도 하나에 기초하여 검색 모드가 활성화되는지 여부를 판단할 수 있다.
프로세서(120)는 수신된 인식 정보를 컨텐트와 관련된 적어도 하나의 객체의 카테고리에 따라 분류할 수 있다. 또한, 다른 예에 따라 프로세서(120)는 기 저장된 모바일 디바이스(100)의 사용자의 선호도 정보 및 적어도 하나의 검색 애플리케이션의 종류 중 적어도 하나에 따라 인식 정보를 배열할 수 있다.
출력부(130)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(131)와 음향 출력부(132), 진동 모터(133) 등이 포함될 수 있다.
디스플레이부(131)는 모바일 디바이스(100)에서 처리되는 정보를 표시 출력한다. 예를 들어, 디스플레이부(131)는 적어도 하나의 검색 애플리케이션의 실행 화면을 표시할 수 있다.
또한, 디스플레이부(131)는 적어도 하나의 검색 애플리케이션이 표시되는 모바일 디바이스(100)의 화면 상의 기 설정된 영역에 수신된 인식 정보를 표시할 수 있다.
디스플레이부(131)는 컨텐트와 관련된 적어도 하나의 객체의 카테고리에 따라 분류된 인식 정보를 표시할 수 있다. 다른 예에 따라, 디스플레이부(131)는 기 저장된 모바일 디바이스(100)의 사용자의 선호도 정보 및 적어도 하나의 검색 애플리케이션의 종류 중 적어도 하나에 따라 배열된 인식 정보를 표시할 수 있다.
한편, 디스플레이부(131)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(131)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 디스플레이부(131)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 모바일 디바이스(1700)의 구현 형태에 따라 모바일 디바이스(100)는 디스플레이부(1731)를 2개 이상 포함할 수도 있다. 이때, 2개 이상의 디스플레이부(1731)는 힌지(hinge)를 이용하여 마주보게 배치될 수 있다.
음향 출력부(132)는 통신부(110)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(132)는 모바일 디바이스(1700)에서 수행되는 기능(예를 들어, 전자 디바이스와의 연결을 알리는 알림음, 팝업 메시지 표시음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(132)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
진동 모터(133)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(133)는 오디오 데이터 또는 비디오 데이터(예컨대, 인식 정보 수신에 따른 알람, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(133)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
사용자 입력부(140)는, 사용자가 모바일 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(140)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
사용자 입력부(140)는, 모바일 디바이스(100)에서 실행되는 검색 애플리케이션의 검색 모드를 활성화하는 사용자 입력을 수신할 수 있다. 또한, 사용자 입력부(140)는 모바일 디바이스(100)에 표시되는 인식 정보에 포함된 복수의 객체 각각의 키워드 중 어느 하나를 선택하는 사용자 입력을 수신할 수 있다.
센싱부(150)는, 모바일 디바이스(100)의 상태 또는 모바일 디바이스(1700) 주변의 상태를 감지하고, 감지된 정보를 프로세서(120)로 전달할 수 있다. 예를 들어, 센싱부(150)는 모바일 디바이스(100)가 존재하는 위치 등에 관한 정보를 감지하여 프로세서(120)로 전달할 수 있다.
센싱부(150)는, 지자기 센서(Magnetic sensor)(151), 가속도 센서(Acceleration sensor)(152), 온/습도 센서(1753), 적외선 센서(154), 자이로스코프 센서(155), 위치 센서(예컨대, GPS)(156), 기압 센서(157), 근접 센서(158), 및 RGB 센서(illuminance sensor)(159) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
A/V(Audio/Video) 입력부(160)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(161)와 마이크로폰(162) 등이 포함될 수 있다. 카메라(161)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(120) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.
카메라(161)에서 처리된 화상 프레임은 메모리(170)에 저장되거나 통신부(150)를 통하여 외부로 송신될 수 있다. 카메라(161)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크로폰(162)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(162)은 외부 디바이스 또는 사용자로부터 음성 입력을 수신할 수 있다. 마이크로폰(162)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
메모리(170)는, 프로세서(120)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 인식 정보, 검색 애플리케이션의 검색어, 선호도 정보 등)을 저장할 수도 있다.
메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 모바일 디바이스(100)는 인터넷(internet)상에서 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.
메모리(170)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(171), 터치 스크린 모듈(172), 알림 모듈(173) 등으로 분류될 수 있다.
UI 모듈(171)은, 애플리케이션 별로 모바일 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(172)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(120)로 전달할 수 있다. 본 발명의 일 실시예에 따른 터치 스크린 모듈(172)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(172)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.
사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.
알림 모듈(173)은 모바일 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 모바일 디바이스(100)에서 발생되는 이벤트의 예로는 비콘 신호 수신, 메시지 수신, 인식 정보 수신, , 전자 디바이스와의 연결 등이 있다. 알림 모듈(173)은 디스플레이부(131)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(132)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(133)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.
도 23은 일 실시예에 따라 컨텐트에 관한 정보를 제공하는 전자 디바이스(10)의 블록도이다.
도 23을 참고하면, 일 실시예에 따른 전자 디바이스(10)는 통신부(11), 프로세서(12), 디스플레이부(13) 및 메모리(14)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 전자 디바이스(10)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자 디바이스(10)는 구현될 수 있다. 예를 들어, 전자 디바이스(10)는 입/출력부를 더 포함할 수도 있다. 전자 디바이스(10)는 입/출력부를 통해 컨텐트를 수신할 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
통신부(11)는 프로세서(12)의 제어에 의해 전자 디바이스(10)를 외부 장치(예를 들어, 모바일 디바이스, 입력 장치, 서비스 제공 장치 및 서버 등)와 연결할 수 있다. 예를 들어, 프로세서(12)는 통신부(11)를 통해 연결된 서비스 제공 장치로 컨텐트를 송/수신, 서비스 제공 장치에서부터 어플리케이션(application)을 다운로드 하거나 또는 웹 브라우징을 할 수 있다. 통신부(11)는 전자 디바이스(10)의 성능 및 구조에 대응하여 무선 랜, 블루투스, 및 유선 이더넷(Ethernet) 중 하나를 포함할 수 있다. 또한, 통신부(11)는 무선랜, 블루투스, 및 유선 이더넷(Ethernet)의 조합을 포함할 수 있다. 통신부(11)는 프로세서(12)의 제어에 의해 입력 장치의 제어 신호를 수신할 수 있다. 제어 신호는 블루투스 타입, RF 신호 타입 또는 와이파이 타입으로 구현될 수 있다.
통신부(11)는 블루투스 외에 다른 근거리 통신(예를 들어, NFC(near field communication, 도시되지 아니함), BLE(bluetooth low energy, 도시되지 아니함)를 더 포함할 수 있다.
통신부(11)는 기 설정된 시간 간격에 따라, 비콘을 송신한다. 또한, 통신부(11)는 비콘을 통해 전자 디바이스를 감지한 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 모바일 디바이스로부터 컨텐트와 관련된 객체를 나타내는 인식 정보에 대한 요청을 수신한다. 예를 들어, 통신부(11)는 모바일 디바이스에서 검색 모드가 활성화된 것으로 판단됨에 따라, 모바일 디바이스로부터 인식 정보에 대한 요청을 수신할 수 있다.
통신부(11)는 프로세서(12)에서 생성된 인식 정보를 모바일 디바이스에 송신한다.
프로세서(12)는 통상적으로 전자 디바이스(10)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(12)는, 메모리(14)에 저장된 프로그램들을 실행함으로써, 통신부(11) 및 디스플레이부(13),등을 전반적으로 제어할 수 있다. 또한, 프로세서(12)는 메모리(14)에 저장된 프로그램들을 실행함으로써, 도 1 내지 도 20을 참고하여 전술한 컨텐트를 인식하는 방법을 수행할 수 있다.
한편, 프로세서(12)는 컨텐트의 인식 정보에 대한 요청이 수신됨에 따라,컨텐트와 관련된 객체를 나타내는 인식 정보를 생성한다. 예를 들어, 프로세서(12)는 컨텐트가 출력되는 화면이 캡쳐된 이미지 및 컨텐트의 메타데이터 중 적어도 하나를 기초로 컨텐트와 관련된 객체를 인식할 수 있다.
또한, 프로세서(12)는 컨텐트와 관련된 적어도 하나의 객체를 기 설정된 카테고리에 따라 분류하여, 인식 정보를 생성할 수 있다.
디스플레이부(13)는, 프로세서(12)에서 처리된 이미지, 데이터 신호, OSD 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다. 디스플레이부(13)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display)등으로 구현될 수 있으며, 또한, 3차원 디스플레이(3D display)로 구현될 수 있다. 또한, 디스플레이부(13)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
일 실시예에 따른 디스플레이부(13)는 수신된 컨텐트를 표시한다. 본 명세서에서 디스플레이부(13)는 컨텐트가 표시된다는 점에서 화면과 대응되는 구성일 수 있다.
메모리(14)는 프로세서(12)의 제어에 의해 전자 디바이스(10)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 예를 들어, 메모리(14)는 전자 디바이스(10) 및 프로세서(12)의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 어플리케이션, 어플리케이션과 관련된 GUI(graphical user interface), GUI를 제공하기 위한 오브젝트(예를 들어, 이미지 텍스트, 아이콘, 버튼 등), 사용자 정보, 문서, 복수의 컨텐트에 관한 식별 정보, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
일 실시예에서 "메모리" 라는 용어는 저장부(1940), 제어부의 롬(1922), 램(1921) 또는 전자 디바이스(10)에 장착되는 메모리 카드(예를 들어, micro SD 카드, USB 메모리, 도시되지 아니함)를 포함한다. 또한, 메모리(1440)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
메모리(14)는 도시되지 아니한 방송 수신 모듈, 채널 제어 모듈, 볼륨 제어 모듈, 통신 제어 모듈, 음성 인식 모듈, 모션 인식 모듈, 광 수신 모듈, 디스플레이 제어 모듈, 오디오 제어 모듈, 외부 입력 제어 모듈, 전원 제어 모듈, 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 모듈, 음성 데이터베이스(DB), 또는 모션 데이터베이스(DB)를 포함할 수 있다. 메모리(14)의 도시되지 아니한 모듈들 및 데이터 베이스는 전자 디바이스(10)에서 방송 수신의 제어 기능, 채널 제어 기능, 볼륨 제어 기능, 통신 제어 기능, 음성 인식 기능, 모션 인식 기능, 광 수신 제어 기능, 디스플레이 제어 기능, 오디오 제어 기능, 외부 입력 제어 기능, 전원 제어 기능 또는 무선(예를 들어, 블루투스)으로 연결되는 외부 장치의 전원 제어 기능을 수행하기 위하여 소프트웨어 형태로 구현될 수 있다. 프로세서(12)는 메모리(14)에 저장된 이들 소프트웨어를 이용하여 각각의 기능을 수행할 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
실시 예에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
도면에 도시된 실시 예들에서 참조 부호를 기재하였으며, 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 실시 예는 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 또한, 실시예는 동종의 또는 서로 다른 종류의 코어들, 서로 다른 종류의 CPU들을 채용할 수도 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
실시 예에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 실시 예의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
실시 예의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 실시 예에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 실시 예에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 실시 예들이 한정되는 것은 아니다. 실시 예에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 실시 예를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 실시 예의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (19)

  1. 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법에 있어서,
    상기 컨텐트를 표시하는 전자 디바이스를 감지하는 단계;
    상기 전자 디바이스가 감지됨에 따라, 상기 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행되는지 여부를 판단하는 단계;
    상기 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 상기 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 상기 전자 디바이스에 요청하는 단계; 및
    상기 전자 디바이스로부터 상기 요청된 인식 정보를 수신하는 단계를 포함하는 방법.
  2. 제 1항에 있어서, 상기 판단하는 단계는,
    상기 적어도 하나의 검색 애플리케이션에서 검색어가 입력되는 검색창의 상태 및 상기 검색어를 입력할 수 있는 입력 메뉴의 상태 중 적어도 하나에 기초하여 상기 검색 애플리케이션의 검색 모드가 활성화되는지 여부를 판단하는 방법.
  3. 제 1항에 있어서,
    상기 적어도 하나의 검색 애플리케이션이 표시되는 상기 모바일 디바이스의 화면 상의 기 설정된 영역에 상기 수신된 인식 정보를 표시하는 단계를 더 포함하는 방법.
  4. 제 1항에 있어서,
    상기 수신된 인식 정보를 상기 컨텐트와 관련된 적어도 하나의 객체의 카테고리에 따라 분류하는 단계; 및
    상기 분류된 인식 정보를 상기 모바일 디바이스의 화면에 표시하는 단계를 더 포함하는 방법.
  5. 제 1항에 있어서,
    기 저장된 상기 모바일 디바이스의 사용자의 선호도 정보 및 상기 적어도 하나의 검색 애플리케이션의 종류 중 적어도 하나에 따라 상기 인식 정보를 배열하는 단계; 및
    상기 배열된 인식 정보를 상기 모바일 디바이스의 화면에 표시하는 단계를 더 포함하는 방법.
  6. 제 1항에 있어서,
    상기 모바일 디바이스와 연결된 다른 디바이스에 상기 수신한 인식 정보를 송신하는 단계를 더 포함하는 방법.
  7. 모바일 디바이스가 컨텐트에 관한 정보를 제공하는 방법에 있어서,
    상기 컨텐트를 표시하는 전자 디바이스를 감지하는 단계;
    상기 전자 디바이스가 감지됨에 따라, 상기 모바일 디바이스에서 검색 모드의 활성화 여부를 판단하는 단계; 및
    상기 판단 결과, 상기 모바일 디바이스에서 상기 검색 모드가 활성화된 경우 상기 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 상기 전자 디바이스로부터 수신하는 단계를 포함하는 방법.
  8. 제 7항에 있어서,
    상기 모바일 디바이스에서 상기 검색 모드가 활성화된 경우, 상기 전자 디바이스에 상기 인식 정보를 요청하는 단계를 더 포함하는 방법.
  9. 제 7항에 있어서, 상기 검색 모드의 활성화 여부를 판단하는 단계는,
    상기 모바일 디바이스에서, 검색어를 입력 가능한 검색창의 상태 및 상기검색어를 입력 가능한 입력 메뉴의 상태 중 적어도 하나를 기초로 상기 검색 모드의 활성화 여부를 판단하는 방법.
  10. 컨텐트에 관한 정보를 제공하는 모바일 디바이스에 있어서,
    상기 컨텐트를 표시하는 전자 디바이스에서 송신되는 신호를 통해 상기 전자 디바이스를 감지하는 통신부;
    상기 전자 디바이스가 감지됨에 따라, 상기 모바일 디바이스에서 적어도 하나의 검색 애플리케이션이 실행되는지 여부를 판단하는 프로세서; 및
    상기 적어도 하나의 검색 애플리케이션의 실행 화면을 표시하는 출력부를 포함하고,
    상기 통신부는,
    상기 적어도 하나의 검색 애플리케이션이 실행됨에 따라, 상기 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 상기 전자 디바이스에 요청하고, 상기 전자 디바이스로부터 상기 요청된 인식 정보를 수신하는 모바일 디바이스.
  11. 제 10항에 있어서, 상기 프로세서는,
    상기 적어도 하나의 검색 애플리케이션에서 검색어가 입력되는 검색창의 상태 및 상기 검색어를 입력할 수 있는 입력 메뉴의 상태 중 적어도 하나에 기초하여 상기 검색 애플리케이션의 검색 모드가 활성화되는지 여부를 판단하는 모바일 디바이스.
  12. 제 10항에 있어서, 상기 출력부는,
    상기 적어도 하나의 검색 애플리케이션이 표시되는 상기 모바일 디바이스의 화면 상의 기 설정된 영역에 상기 수신된 인식 정보를 표시하는 모바일 디바이스.
  13. 제 10항에 있어서, 상기 프로세서는,
    상기 수신된 인식 정보를 상기 컨텐트와 관련된 적어도 하나의 객체의 카테고리에 따라 분류하고,
    상기 출력부는,
    상기 분류된 인식 정보를 상기 모바일 디바이스의 화면에 표시하는 모바일 디바이스.
  14. 제 10항에 있어서, 상기 프로세서는,
    기 저장된 상기 모바일 디바이스의 사용자의 선호도 정보 및 상기 적어도 하나의 검색 애플리케이션의 종류 중 적어도 하나에 따라 상기 인식 정보를 배열하고,
    상기 출력부는,
    상기 배열된 인식 정보를 표시하는 모바일 디바이스.
  15. 제 10항에 있어서, 상기 통신부는,
    상기 모바일 디바이스와 연결된 다른 디바이스에 상기 수신한 인식 정보를 송신하는 모바일 디바이스.
  16. 컨텐트에 관한 정보를 제공하는 모바일 디바이스에 있어서,
    상기 컨텐트를 표시하는 전자 디바이스를 감지하는 통신부; 및
    상기 전자 디바이스가 감지됨에 따라, 상기 모바일 디바이스에서 검색 모드의 활성화 여부를 판단하는 프로세서를 포함하고,
    상기 통신부는,
    상기 모바일 디바이스에서 상기 검색 모드가 활성화된 경우 상기 컨텐트와 관련된 적어도 하나의 객체를 나타내는 인식 정보를 상기 전자 디바이스로부터 수신하는 모바일 디바이스.
  17. 제 16항에 있어서, 상기 통신부는,
    상기 모바일 디바이스에서 상기 검색 모드가 활성화된 경우, 상기 전자 디바이스에 상기 인식 정보를 요청하는 모바일 디바이스.
  18. 제 16항에 있어서, 상기 프로세서는,
    상기 모바일 디바이스에서, 검색어를 입력 가능한 검색창의 상태 및 상기검색어를 입력 가능한 입력 메뉴의 상태 중 적어도 하나를 기초로 상기 검색 모드의 활성화 여부를 판단하는 모바일 디바이스.
  19. 제 1 항 내지 제 9 항 중 어느 한 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020170000341A 2017-01-02 2017-01-02 컨텐트에 관한 정보를 제공하는 방법 및 디바이스 KR20180079762A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170000341A KR20180079762A (ko) 2017-01-02 2017-01-02 컨텐트에 관한 정보를 제공하는 방법 및 디바이스
US16/475,554 US10911833B2 (en) 2017-01-02 2018-01-02 Method and device for providing information on content
PCT/KR2018/000029 WO2018124842A1 (ko) 2017-01-02 2018-01-02 컨텐트에 관한 정보를 제공하는 방법 및 디바이스

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170000341A KR20180079762A (ko) 2017-01-02 2017-01-02 컨텐트에 관한 정보를 제공하는 방법 및 디바이스

Publications (1)

Publication Number Publication Date
KR20180079762A true KR20180079762A (ko) 2018-07-11

Family

ID=62709962

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170000341A KR20180079762A (ko) 2017-01-02 2017-01-02 컨텐트에 관한 정보를 제공하는 방법 및 디바이스

Country Status (3)

Country Link
US (1) US10911833B2 (ko)
KR (1) KR20180079762A (ko)
WO (1) WO2018124842A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017263A (ko) * 2018-08-08 2020-02-18 삼성전자주식회사 이미지에 포함된 상품 정보와 관련된 키워드를 제공하기위한 전자 장치
WO2020149546A1 (ko) * 2019-01-18 2020-07-23 삼성전자주식회사 전자 장치 및 이의 제어 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816495B (zh) * 2019-02-13 2020-11-24 北京达佳互联信息技术有限公司 商品信息推送方法、系统及服务器和存储介质
US11589124B1 (en) * 2020-04-14 2023-02-21 Worldpay Limited Methods and systems for seamlessly transporting objects between connected devices for electronic transactions
NL2033903A (en) * 2022-01-04 2023-07-07 Uniquify Inc Implementations and methods for using mobile devices to communicate with a neural network semiconductor

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10580459B2 (en) * 2007-08-23 2020-03-03 Sony Interactive Entertainment America Llc Dynamic media interaction using time-based metadata
US8180891B1 (en) * 2008-11-26 2012-05-15 Free Stream Media Corp. Discovery, access control, and communication with networked services from within a security sandbox
KR20100128895A (ko) * 2009-05-29 2010-12-08 엘지전자 주식회사 이동 단말기 및 이것의 방송 콘텐츠 검색 방법
KR101387819B1 (ko) * 2010-04-14 2014-04-21 인텔렉추얼디스커버리 주식회사 Ｉｐｔｖ 서비스 제공 방법 및 그 장치
KR102012381B1 (ko) * 2012-06-25 2019-08-20 네이버 주식회사 실시간 방송에서의 자동화된 추천 검색어 제안 방법 및 서버
US9247309B2 (en) 2013-03-14 2016-01-26 Google Inc. Methods, systems, and media for presenting mobile content corresponding to media content
KR101343488B1 (ko) * 2013-06-10 2013-12-20 주식회사 코난테크놀로지 Tv 방송 프로그램과 연동되는 tv-커머스 상품 검색 시스템 및 tv 커머스 상품 검색 방법
KR20150046950A (ko) 2013-10-23 2015-05-04 삼성전자주식회사 영상에 포함된 정보코드를 처리하는 디스플레이장치 및 방법
FR3016510B1 (fr) * 2014-01-20 2018-04-20 Arthroplastie Diffusion Instrument chirurgical pour poser une agrafe d’osteosynthese
JP6415929B2 (ja) * 2014-10-30 2018-10-31 株式会社東芝 音声合成装置、音声合成方法およびプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200017263A (ko) * 2018-08-08 2020-02-18 삼성전자주식회사 이미지에 포함된 상품 정보와 관련된 키워드를 제공하기위한 전자 장치
US11636529B2 (en) 2018-08-08 2023-04-25 Samsung Electronics Co., Ltd. Method and device for providing keywords related to product information included in image
WO2020149546A1 (ko) * 2019-01-18 2020-07-23 삼성전자주식회사 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
US10911833B2 (en) 2021-02-02
US20190349640A1 (en) 2019-11-14
WO2018124842A1 (ko) 2018-07-05

Similar Documents

Publication Publication Date Title
JP6363758B2 (ja) 関連コンテンツを見るためのジェスチャー・ベースのタグ付け
KR101885775B1 (ko) 컨텐트 캡쳐 방법 및 이를 위한 이동 단말기
KR101919008B1 (ko) 정보 제공 방법 및 이를 위한 이동 단말기
KR102008495B1 (ko) 데이터 공유 방법 및 이를 위한 이동 단말기
KR101894395B1 (ko) 캡쳐 데이터 제공 방법 및 이를 위한 이동 단말기
US10911833B2 (en) Method and device for providing information on content
US8510287B1 (en) Annotating personalized recommendations
WO2015196709A1 (zh) 信息获取方法及装置
US20170031575A1 (en) Tailored computing experience based on contextual signals
KR102402511B1 (ko) 영상 검색 방법 및 이를 위한 장치
US11194796B2 (en) Intuitive voice search
US11049163B2 (en) Method, device and computer program for providing image search information
US20170103072A1 (en) Generating Image Tags
US20160139777A1 (en) Screenshot based indication of supplemental information
KR101626874B1 (ko) 이동 단말기 및 이동 단말기에서의 컨텐츠 전송 방법
KR102276856B1 (ko) 컴퓨팅 디바이스와 상호작용하는 장치 및 방법
KR20160075126A (ko) 전자 장치가 콘텐츠를 제공하는 방법 및 그 전자 장치
JP2019525291A (ja) 動的リストを表示する方法、デバイス、装置及びシステム
CN107045541A (zh) 数据显示方法和装置
KR102208361B1 (ko) 키워드 검색 방법 및 장치
US20170293938A1 (en) Interactive competitive advertising commentary
KR20150019668A (ko) 검색 연관 정보 제공 방법 및 이를 지원하는 전자 장치
CN107688617B (zh) 多媒体服务方法及移动终端
CN113190752A (zh) 信息推荐方法、移动终端及存储介质
KR102307349B1 (ko) 검색 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal