KR101818986B1 - 오디오 입력에 기초하여 정보를 획득하는 방법, 장치 및 시스템 - Google Patents

오디오 입력에 기초하여 정보를 획득하는 방법, 장치 및 시스템 Download PDF

Info

Publication number
KR101818986B1
KR101818986B1 KR1020167018721A KR20167018721A KR101818986B1 KR 101818986 B1 KR101818986 B1 KR 101818986B1 KR 1020167018721 A KR1020167018721 A KR 1020167018721A KR 20167018721 A KR20167018721 A KR 20167018721A KR 101818986 B1 KR101818986 B1 KR 101818986B1
Authority
KR
South Korea
Prior art keywords
audio
channel
time
server
electronic device
Prior art date
Application number
KR1020167018721A
Other languages
English (en)
Other versions
KR20160099617A (ko
Inventor
와 예
젠유 슈
보 순
징 장
주오 탕
홍양 왕
커런 리
Original Assignee
텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 filed Critical 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Publication of KR20160099617A publication Critical patent/KR20160099617A/ko
Application granted granted Critical
Publication of KR101818986B1 publication Critical patent/KR101818986B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/083—Recognition networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/06—Transformation of speech into a non-audible representation, e.g. speech visualisation or speech processing for tactile aids
    • G10L21/10—Transforming into visible information
    • G10L21/14—Transforming into visible information by displaying frequency domain information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/375—Commercial
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2542—Management at additional data server, e.g. shopping server, rights management server for selling goods, e.g. TV shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4222—Remote control device emulator integrated into a non-television apparatus, e.g. a PDA, media center or smart toy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/54—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for retrieval
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H2201/00—Aspects of broadcast communication
    • H04H2201/90—Aspects of broadcast communication characterised by the use of signatures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/63—Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for services of sales

Abstract

오디오 입력에 기초하여 정보를 획득하는 방법 및 장치가 개시된다. 방법은 하나 이상의 프로세서 및 메모리를 갖는 전자 장치에 수행된다. 방법은, 소셜 네트워킹 애플리케이션을 실행하는 동안: 트리거링 이벤트에 응답하여 캡처되는 제1 오디오 입력을 소셜 네트워킹 애플리케이션을 호스팅하는 서버로 전송하는 단계; 서버에서, 제1 오디오 입력에 기초하여 식별된 제품과 연관된 제품 정보 항목을 검색하는 단계로서, 제품 정보 항목은 제1 오디오 입력의 적어도 하나의 오디오 특징을 사전에 결정된 기간 내의 TV 또는 라디오 방송의 오디오로부터 추출된 서명 오디오 특징과 비교함으로써 획득되는 단계; 및 검색된 제품 정보 항목을 소셜 네트워킹 애플리케이션 내에서 전자 장치의 사용자에게 디스플레이하는 단계를 포함한다.

Description

오디오 입력에 기초하여 정보를 획득하는 방법, 장치 및 시스템{METHOD, DEVICE, AND SYSTEM FOR OBTAINING INFORMATION BASED ON AUDIO INPUT}
[우선권 주장 및 관련 출원]
본 출원은 2014년 6월 13일 출원되고, 발명의 명칭이 "METHOD AND SYSTEM FOR OBTAINING AND PUSHING INFORMATION AND SYSTEM FOR INFORMATION INTERACTION"인 중국 특허 출원 제201410265512.0호에 대한 우선권을 주장하며, 이의 전문이 본 명세서에 참조로서 편입된다.
또한, 본 출원은, 2014년 5월 29일 출원되고, 발명의 명칭이 "METHOD, DEVICE, SERVER, AND SYSTEM FOR OBTAINING INTERACTION INFORMATION"인 중국 특허 출원 제201410235379.4호와, 2014년 5월 30일 출원되고, 발명의 명칭이 "METHOD, DEVICE, SERVER, AND SYSTEM FOR INTERACTION BASED ON VIDEO"인 중국 특허 출원 제201410241073.X호에 대한 우선권을 주장하며, 이들의 전문이 본 명세서에 참조로서 편입된다.
또한, 본 출원은 2013년 2월 4일 출원되고 발명의 명칭이 "METHOD AND DEVICE FOR AUDIO RECOGNITION"인 중국 특허 출원 제CN201310042408.0호 및 이의 관련된 2013년 12월 11일 출원되고 발명의 명칭이 "METHOD AND DEVICE FOR AUDIO RECOGNITION"인 미국 특허 출원 제14/103,753호에 관련되며, 이들의 전문이 본 명세서에 참조로서 편입된다.
[기술분야]
본 출원은 인터넷 기술 분야에 관한 것으로, 특히, 소셜 네트워크 애플리케이션을 이용하여 오디오 입력에 기초하여 정보를 획득하는 방법 및 장치에 관한 것이다.
종래, 실시간 프로그램이 텔레비전 채널에 방송될 때, 프로그램 콘텐츠에 의해 전달되는 정보는 단시간 내에 사용자에 의해 기억될 수 없다. 일반적으로, 비용을 고려하여, 텔레비전 프로그램 내의 콘텐츠는 짧고 빠르게 방송된다. 따라서, 실시간 프로그램으로부터 정보를 획득하기 위한 효율적이고 효과적인 방법을 가지는 것이 바람직하다.
2차원 코드를 스캐닝함으로써 정보를 획득하는 방법이 실시간 프로그램으로부터 정보를 획득하는데 사용될 수 있다. 일부 실시예에서, 프로그램에 따른 정보가 매입된 2차원 코드가 생성되어 방송 텔레비전 프로그램에서 디스플레이된다. 사용자는 정보를 획득하기 위하여 2차원 코드를 스캔하고, 휴대 전화기와 같은 장치를 이용하여 2차원 코드를 분석할 수 있다.
그러나, 일반적으로 텔레비전이 한정된 지속 시간, 예를 들어 수 초 동안 이미지를 디스플레이하기 때문에, 2차원 코드가 너무 작거나 너무 클 때, 2차원 코드는 정확하게 인식되지 않을 수 있다. 또한, 종래의 많은 텔레비전은 로우(row) 스캐닝 및 이미징 기술을 이용하여 이미지를 디스플레이한다. 이 방식에서, 2차원 코드가 휴대 전화기와 같은 장치에 의해 스캐닝될 때, "주사선(scanning line)"이 나타난다. 따라서, 스크린 상에서 텔레비전 프로그램에 디스플레이된 2차원 코드에 포함된 정보를 효과적으로 인식하는 것은 어렵다. 따라서, 종래의 정보 획득 방법은 효과적이지 않을 수 있다.
본 개시 내용의 실시예는 소셜 네트워킹 애플리케이션을 이용하여 오디오 입력에 기초하여 정보를 획득하는 방법 및 장치를 제공한다. 일부 실시예에서, 오디오 입력에 기초하여 정보를 획득하는 방법은 하나 이상의 프로세서와 메모리를 갖는 전자 장치(예를 들어, 도 1 및 3에서의 전자 장치(104))에서 수행된다. 방법은, 소셜 네트워킹 애플리케이션을 실행하는 동안: 트리거링 이벤트에 응답하여 캡처되는 제1 오디오 입력을 상기 소셜 네트워킹 애플리케이션을 호스팅하는 서버로 전송하는 단계; 서버에서, 제1 오디오 입력에 기초하여 식별된 제품과 연관된 제품 정보 항목을 검색하는 단계로서, 상기 제품 정보 항목은 제1 오디오 입력의 적어도 하나의 오디오 특징을 사전에 결정된 기간 내에 TV 또는 라디오 방송의 오디오로부터 추출된 서명 오디오 특징(signature audio features)과 비교함으로써 획득되는 단계; 및 검색된 제품 정보 항목을 소셜 네트워킹 애플리케이션 내에서 전자 장치의 사용자에게 디스플레이하는 단계를 포함한다.
일부 실시예에서, 전자 장치(예를 들어, 도 1 및 3에서의 전자 장치(104))는 하나 이상의 프로세서와, 이러한 하나 이상의 프로세서에 의한 실행을 위하여 하나 이상의 프로그램을 저장하는 메모리를 포함하고, 하나 이상의 프로그램은 본 명세서에서 설명되는 임의의 방법의 동작들을 수행하기 위한 명령어를 포함한다.
일부 실시예에서, 임의의 전자 장치(예를 들어, 도 1 및 3에서의 전자 장치(104))에 의해 실행될 때 전자 장치가 본 명세서에서 설명되는 임의의 방법의 동작들을 수행하게 하는 명령어를 포함하는 하나 이상의 프로그램을 저장하는 비일시적인 컴퓨터 판독 가능한 저장 매체가 제공된다. 일부 실시예에서, 전자 장치(예를 들어, 도 1 및 3에서의 전자 장치(104))는 본 명세서에서 설명되는 임의의 방법의 동작들을 수행하거나 이들의 성능을 제어하는 수단을 포함한다.
본 출원의 다양한 실시예가 아래의 설명에 비추어 명백하게 된다.
본 출원의 전술한 양태 및 이의 추가적인 양태와 실시예에 대한 더 나은 이해를 위하여, 도면 전체에 걸쳐 유사한 도면 부호가 대응하는 부분을 지칭하는 다음의 도면과 함께, 아래의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1a는 일부 실시예에 따른 서버-전자 장치 환경의 예시적인 실시예를 도시하는 블록도이다.
도 1b는 일부 실시예에 따른 정보 획득 장치의 작동 환경의 개략도이다.
도 2는 일부 실시예에 따른 서버 시스템의 블록도이다.
도 3은 일부 실시예에 따른 전자 장치의 예시적인 실시예를 도시하는 블록도이다.
도 4는 일부 실시예에 따른 정보 획득 방법을 나타내는 개략적인 흐름도이다.
도 5는 일부 실시예에 따른 오디오 입력에 따라 오디오 특징 정보를 추출하는 방법을 나타내는 개략적인 흐름도이다.
도 6은 일부 실시예에 따른 정보 푸시 방법의 개략적인 흐름도이다.
도 7은 일부 실시예에 따른 전자 장치에 의한 오디오 수집으로부터 서버에 의한 오디오 핑거프린트(audio fingerprint) 추출까지의 과정에 대한 개략도이다.
도 8은 일부 실시예에 따른 채널 오디오 핑거프린트 데이터베이스를 실시간으로 버퍼링하는 단계들의 개략적인 흐름도이다.
도 9는 일부 실시예에 따른 실시간으로 버퍼링된 채널 오디오 핑거프린트 데이터베이스에 따라, 오디오 핑거프린트와 매칭하는 채널 오디오 핑거프린트에 대응하는 매칭된 채널 식별자를 판단하는 단계들의 개략적인 흐름도이다.
도 10은 일부 실시예에 따른 수집된 오디오 핑거프린트가 채널의 채널 오디오 핑거프린트와 매칭하지 않을 때, 타임스탬프 쌍의 수가 채널 타임스탬프와 수집 타임스탬프 사이의 카운트된 차이에 대응하는 개략적인 히스토그램이다.
도 11은 일부 실시예에 따른 수집된 오디오 핑거프린트가 채널의 채널 오디오 핑거프린트와 매칭할 때, 타임스탬프 쌍의 수가 채널 타임스탬프와 수집 타임스탬프 사이의 카운트된 차이에 대응하는 개략적인 히스토그램이다.
도 12는 일부 실시예에 따른 정보 획득 장치의 구조 블록도이다.
도 13은 일부 실시예에 따른 정보 획득 장치의 구조 블록도이다.
도 14는 일부 실시예에 따른 정보 획득 장치의 구조 블록도이다.
도 15는 일부 실시예에 따른 정보 푸시 장치의 구조 블록도이다.
도 16은 일부 실시예에 따른 정보 푸시 장치의 구조 블록도이다.
도 17은 일부 실시예에 따른 정보 푸시 장치의 구조 블록도이다.
도 18은 일부 실시예에 따른 정보 푸시 장치의 구조 블록도이다.
도 19는 일부 실시예에 따른 정보 상호 작용 시스템의 구조 블록도이다.
도 20은 일부 실시예에 따른 정보 획득 시스템의 작동 환경의 개략도이다.
도 21a 내지 21e는 일부 실시예에 따른 정보 획득을 위한 사용자 인터페이스의 예시적인 실시예이다.
도 22a 내지 22d는 일부 실시예에 따른 오디오 입력에 기초한 정보 획득 방법을 나타내는 흐름도이다.
유사한 도면 보호는 여러 도면에 걸쳐 대응하는 부분을 나타낸다.
예가 첨부된 도면에 도시되는 실시예가 상세하게 참조될 것이다. 다음의 상세한 설명에서, 본 명세서에 제공된 주제의 이해를 제공하기 위하여 많은 특정 상세가 설명된다. 그러나, 그 주제는 이러한 특정 상세 없이 또는 대체적인 적합한 방식으로 실시될 수 있다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백하게 될 것이다. 다른 경우에, 실시예의 양태를 불필요하게 흐리게 하지 않도록 잘 알려진 방법, 절차, 컴포넌트 및 회로는 상세하게 설명되지 않았다.
본 출원의 기술적 해결 방안이 첨부된 도면을 참조하여 다음에 설명될 것이다. 설명될 실시예는 본 출원의 모든 실시예가 아니고 단지 그 일부인 것이 분명하다. 본 출원의 실시예에 기초하여 창조적 노력 없이 당업계에서의 통상의 기술자에 의해 획득되는 모든 다른 실시예는 본 출원의 보호 범위 내에 포함될 것이다.
도 1a는 일부 실시예에 따른 서버-전자 장치 환경(100)을 도시하는 블록도이다. 일부 실시예에서, 서버-클라이언트 환경(100)은 전자 장치(104-1, 104-2)에서 실행되는 클라이언트측 처리부(102-1, 102-2)(이하, "클라이언트측 모듈(client-side module)(102)"이라 한다)과, 서버 시스템(108)에서 실행되는 서버측 처리부(106)(이하, "서버측 모듈(server-side module)(106)"이라 한다)을 포함한다. 클라이언트측 모듈(102)은 하나 이상의 네트워크(110)를 통해 서버측 모듈(106)과 통신한다. 클라이언트측 모듈(102)은 소셜 네트워킹 플랫폼을 위한 클라이언트측 기능(예를 들어, 인스턴트 메시징, 오디오 녹음, 소셜 네트워킹 서비스 및 지불 처리)을 제공하고, 서버측 모듈(106)과 통신한다. 서버측 모듈(106)은 소셜 네트워킹 플랫폼을 위한 서버측 기능(예를 들어, 인스턴트 메시징, 소셜 네트워킹 서비스, 요청 처리 및 지불 처리)을 각각 해당하는 클라이언트 장치(104)에 상주하는 임의의 개수의 클라이언트 모듈(102)에 제공한다.
일부 실시예에서, 서버측 모듈(106)은 하나 이상의 프로세서(112), 거래 정보 데이터베이스(114), 프로파일 데이터베이스(116), 하나 이상의 클라이언트에 대한 I/O 인터페이스(118), 상인 서버(122-1) 및 지불 처리 서비스(122-2)와 같은 하나 이상의 외부 서비스(122)에 대한 I/O 인터페이스를 포함한다. 하나 이상의 클라이언트에 대한 I/O 인터페이스(118)는 서버층 모듈(106)을 위한 클라이언트를 향한 입력 및 출력 처리를 용이하게 한다. 하나 이상의 프로세서(112)는 하나 이상의 전자 장치(104)로부터 요청을 획득하고, 이 요청을 처리하고, 이 요청에 응답하여 정보를 식별하고, 식별된 정보를 하나 이상의 전자 장치(104)의 장치 모듈(102)로 전송한다. 제품 정보 데이터베이스(114)는 복수의 제품 정보 항목을 저장하고, 프로파일 데이터베이스(116)는 소셜 네트워킹 플랫폼의 각각의 사용자에 대한 사용자 프로파일을 저장한다. 하나 이상의 외부 서비스에 대한 I/O 인터페이스(120)는 하나 이상의 외부 서비스(122)(예를 들어, 상인 웹사이트, 신용 카드 회사 및/또는 다른 지불 처리 서비스)와의 통신을 가능하게 한다.
전자 장치(104)의 예는 휴대용 컴퓨터, 웨어러블 컴퓨팅 장치, PDA(personal digital assistant), 태블릿 컴퓨터, 랩탑 컴퓨터, 데스크탑 컴퓨터, 휴대 전화기, 스마트폰, EGPRS(enhanced general packet radio service) 휴대 전화기, 미디어 플레이어, 네비게이션 장치, 게임 콘솔, 텔레비전, 원격 컨트롤, 또는 이러한 데이터 처리 장치나 다른 데이터 처리 장치의 임의의 2개 이상의 조합을 포함하나, 이에 한정되지 않는다.
하나 이상의 네트워크(110)의 예는 LAN(local area network) 및 인터넷과 같은 WAN(wide area network)을 포함한다. 하나 이상의 네트워크(110)는, 선택적으로, 이더넷, USB(Universal Serial Bus), FIREWIRE, GSM(Global System for Mobile Communications), EDGE(Enhanced Data GSM Environment), CDMA(code division multiple access), TDMA(time division multiple access), 블루투스, 와이파이, VoIP(voice over Internet Protocol), Wi-MAX 또는 임의의 다른 적합한 통신 프로토콜과 같은 다양한 유선 또는 무선 프로토콜을 포함하는 임의의 알려진 네트워크 프로토콜을 이용하여 구현된다.
서버 시스템(108)은 하나 이상의 독립형 데이터 처리 장치 또는 컴퓨터 분산 네트워크에서 구현된다. 일부 실시예에서, 서버 시스템(108)은, 또한, 서버 시스템(108)의 기저 컴퓨팅 리소스 및/또는 인프라스트럭처 리소스를 제공하기 위하여, 다양한 가상 장치 및/또는 서드 파티 서비스 제공자(예를 들어, 서드 파티 클라우드 서비스 제공자)의 서비스를 채용한다.
도 1에 도시된 서버-클라이언트 환경(100)은 클라이언트측 부분(예를 들어, 클라이언트측 모듈(102))과 서버측 부분(예를 들어, 서버측 모듈(106))을 모두 포함한다. 일부 실시예에서, 데이터 처리는 클라이언트 장치(104)에 설치된 독립형 애플리케이션으로서 구현된다. 또한, 클라이언트 환경 데이터 처리의 클라이언트 부분 및 서버 부분 사이의 기능의 구분은 상이한 실시예에서 다를 수 있다. 예를 들어, 일부 실시예에서, 클라이언트측 모듈(102)은 사용자를 향하는 입력 및 출력 처리 기능만을 제공하고 모든 다른 데이터 처리 기능을 백엔드(backend) 서버(예를 들어, 서버 시스템(108))에 위임하는 씬 클라이언트(thin-client)이다.
도 1b를 참조하면, 네트워크 환경은 네트워크(예를 들어, 도 1a에서의 네트워크(110))를 통해 서버(예를 들어, 도 1a에서의 서버 시스템(108))에 연결된 전자 장치(예들 들어, 도 1a에서의 전자 장치(104))를 포함한다. 일부 실시예에서, 전자 장치는 텔레비전(TV) 부근 내에 있어, 전자 장치는 TV에 의해 방송되는 사운드를 수신할 수 있다. 텔레비전은 실시간으로 텔레비전 중계 위성에 의해 방송되는 위성 신호를 수신하고, 위성 신호를 변환하여 오디오 스트림 데이터를 획득하고, 오디오 스트림 데이터를 전자 장치와 연관된 사용자에게 방송한다. 서버는 위성 신호 수신기에 연결되어, 위성 신호 수신기를 이용하여 텔레비전 중계 위성에 의해 방송되는 위성 신호를 실시간으로 수신하고 위성 신호를 변환하여 채널 오디오 데이터와 관련된 정보(예를 들어, 제품 정보, 타임스탬프, 채널 정보 등)를 획득한다. 채널 오디오 데이터는 텔레비전에서 하나 이상의 채널에서 판촉되는 해당하는 제품과 연관된 복수의 제품 정보 항목을 포함한다. 서버는 위성 신호 수신기로부터 텔레비전 채널 오디오 데이터를 획득하여, 제품 정보 데이터베이스(114)와 같은 데이터베이스에 정보를 저장한다.
도 2는 일부 실시예에 따른 서버 시스템(108)을 도시하는 블록도이다. 서버 시스템(108)은 하나 이상의 처리 유닛(CPU)(112), 하나 이상의 네트워크 인터페이스(204)(예를 들어, 하나 이상의 클라이언트에 대한 I/O 인터페이스(118) 및 하나 이상의 외부 서비스에 대한 I/O 인터페이스(120)), 메모리(206) 및 이러한 컴포넌트들(때때로 칩셋이라고 함)을 상호 연결하기 위한 하나 이상의 통신 버스(208)를 포함한다. 메모리(206)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 고체 상태 메모리 장치와 같은 고속 랜덤 액세스 메모리를 포함한다; 그리고, 선택적으로, 하나 이상의 자기 디스크 저장 장치, 하나 이상의 광 디스크 저장 장치, 하나 이상의 플래시 메모리 장치 또는 하나 이상의 비휘발성 고체 상태 저장 장치와 같은 비휘발성 메모리를 포함한다. 선택적으로, 메모리(206)는 하나 이상의 처리 유닛(112)으로부터 원격에 위치된 하나 이상의 저장 장치를 포함한다. 메모리(206), 또는 이 대신에 메모리(206) 내의 비휘발성 메모리는, 비일시적인 컴퓨터 판독 가능한 저장 매체를 포함한다. 일부 구현예에서, 메모리(206) 또는 메모리(206)의 비일시적인 컴퓨터 판독 가능한 저장 매체는 다음의 프로그램, 모듈 및 데이터 구조 또는 이의 서브 세트나 수퍼 세트를 저장한다:
-- 다양한 기본 시스템 서비스를 다루고 하드웨어 의존성 작업을 수행하기 위한 절차를 포함하는 운영 체제(210);
-- 하나 이상의 네트워크 인터페이스(204)(유선 또는 무선)를 통해 하나 이상의 네트워크(110)에 연결된 다른 컴퓨팅 장치(예를 들어, 클라이언트 장치(104) 및 외부 서버스(들)(122))에 서버 시스템(108)을 연결하기 위한 네트워크 통신 모듈(212);
-- 다음을 포함하지만 그에 한정되지 않는, 소셜 네트워킹 플랫폼을 위한 서버측 데이터 처리(예를 들어, 인스턴트 메시징, 요청 처리 및/또는 소셜 네트워킹 서비스)를 제공하는 서버측 모듈(106):
-- 장치 식별자 정보에 대한 요청을 포함하는, 전자 장치(104)로부터 전송된 다양한 요청을 다루고 이에 응답하기 위한 요청 처리 모듈(222);
-- 소셜 네트워킹 플랫폼의 사용자 계정과 장치 연락처 사이에 전송된 메시지를 관리하고 라우팅하기 위한 메시징 모듈(224);
-- 음성 인식 기술 또는 다른 적합한 기술을 이용하는 것과 같이, 전자 장치(104)로부터 수신된 오디오 입력(들)을 처리하기 위한 오디오 입력 처리 모듈(226);
-- 전자 장치(104)로부터 수신된 오디오 입력에 기초하여 제품 정보 데이터베이스(114)로부터 제품 정보 항목을 식별하기 위한 제품 정보 식별 모듈(228);
-- 오디오 입력에 기초하여 제품에 대응하는 주문과 같은, 전자 장치(104)에서 실행되는 소셜 네트워킹 플랫폼의 사용자에 의해 제출된 주문(들)을 처리하기 위한 주문 처리 모듈(230); 및
-- 해당하는 사용자에 대응하는 프로파일 데이터베이스(116)에서 사용자 프로파일 내의 지불 데이터에 기초하여 소셜 네트워킹 플랫폼의 사용자에 대한 거래를 처리하기 위한 지불 처리 모듈(232); 및
-- 다음을 포함하지만 그에 한정되지 않는, 소셜 네트워킹 플랫폼을 위한 데이터를 저장하는 서버 데이터(240):
-- 복수의 제품 정보 엔트리(예를 들어, 도 1b에서, 위성 신호 수신기로부터 수신되고 제품 정보를 검색하기 위하여 처리되는)를 저장하는 제품 정보 데이터베이스(114); 및
-- 소셜 네트워킹 플랫폼의 사용자에 대한 사용자 프로파일을 저장하는 프로파일 데이터베이스(116)로서, 사용자에 대한 각각의 사용자 프로파일은, 사용자/계정 이름 또는 핸들(handle), 소셜 네트워킹 플랫폼에 대한 로그인 자격, 지불 데이터(예를 들어, 연결된 신용 카드 정보, 앱 크래딧 또는 기프트 카드 잔고, 청구 주소, 배송 주소 등), 사용자에 대한 맞춤 파라미터(예를 들어, 나이, 위치, 취미 등), 소셜 네트워크 연락처, 사용자가 속하는 연락처 그룹 및 식별된 경향 및/또는 사용자가 좋아하는 것/싫어하는 것을 포함한다.
위에서 식별된 요소의 각각은 이전에 언급된 메모리 장치의 하나 이상에 저장될 수 있고, 전술한 기능을 수행하기 위한 명령어 세트에 대응한다. 위에서 식별된 모듈 또는 프로그램(즉, 명령어 세트)은 개별 소프트웨어 프로그램, 절차, 모듈 또는 데이터 구조로서 구현될 필요는 없으며, 따라서, 이러한 모듈의 다양한 서브 세트가 결합되거나 아니면 다양한 구현예에서 재배열될 수 있다. 일부 실시예에서, 메모리(206)는, 선택적으로, 위에서 식별된 모듈 및 데이터 구조의 서브 세트를 저장한다. 또한, 메모리(206)는, 선택적으로, 전술되지 않은 추가 모듈 및 데이터 구조를 저장한다.
도 3은 일부 실시예에 따른 소셜 네트워킹 사용자 계정과 연관된 대표적인 클라이언트 장치(104)를 도시하는 블록도이다. 클라이언트 장치(104)는, 통상적으로, 하나 이상의 처리 유닛(CPU)(302), 하나 이상의 네트워크 인터페이스(304), 메모리(306) 및 이러한 컴포넌트들(때때로 칩셋이라고 함)을 상호 연결하기 위한 하나 이상의 통신 버스(308)를 포함한다. 또한, 클라이언트 장치(104)는 사용자 인터페이스(310)를 포함한다. 사용자 인터페이스(310)는, 하나 이상의 스피커 및/또는 하나 이상의 시각적 디스플레이를 포함하는, 미디어 콘텐츠의 제공을 가능하게 하는 하나 이상의 출력 장치(312)를 포함한다. 또한, 사용자 인터페이스(310)는 키보드, 마우스, 음성 명령 입력 유닛 또는 마이크, 터치 스크린 디스플레이, 터치 민감형 입력 패드, 카메라, 제스처 캡처링 카메라 또는 다른 입력 버튼 또는 컨트롤과 같은 사용자 입력을 가능하게 하는 사용자 인터페이스 컴포넌트를 포함하는 하나 이상의 입력 장치(314)를 포함한다. 또한, 일부 클라이언트 장치(104)는 키보드를 보완하거나 대체하도록 마이크 및 음성 인식 또는 카메라 및 제스처 인식을 이용한다.
메모리(306)는 DRAM, SRAM, DDR RAM 또는 다른 랜덤 액세스 고체 상태 메모리 장치와 같은 고속 랜덤 액세스 메모리를 포함한다; 그리고, 선택적으로, 하나 이상의 자기 디스크 저장 장치, 하나 이상의 광 디스크 저장 장치, 하나 이상의 플래시 메모리 장치 또는 하나 이상의 비휘발성 고체 상태 저장 장치와 같은 비휘발성 메모리를 포함한다. 선택적으로, 메모리(306)는 하나 이상의 처리 유닛(302)으로부터 원격에 위치된 하나 이상의 저장 장치를 포함한다. 메모리(306), 또는 이 대신에 메모리(306) 내의 비휘발성 메모리는, 비일시적인 컴퓨터 판독 가능한 저장 매체를 포함한다. 일부 구현예에서, 메모리(306) 또는 메모리(306)의 비일시적 컴퓨터 판독 가능한 저장 매체는 다음의 프로그램, 모듈 및 데이터 구조 또는 이의 서브 세트나 수퍼 세트를 저장한다:
-- 다양한 기본 시스템 서비스를 다루고 하드웨어 의존성 작업을 수행하기 위한 절차를 포함하는 운영 체제(316);
-- 하나 이상의 네트워크 인터페이스(304)(유선 또는 무선)를 통해 하나 이상의 네트워크(110)에 연결된 다른 컴퓨팅 장치(예를 들어, 서버 시스템(108) 및 외부 장치(들)(122))에 클라이언트 장치(104)를 연결하기 위한 네트워크 통신 모듈(218);
-- 사용자 인터페이스(310)와 연관된 하나 이상의 입력 장치(312)(예를 들어, 디스플레이, 스피커 등)를 통해 클라이언트 장치(104)에서의 정보(예를 들어, 소셜 네트워킹 플랫폼을 위한 사용자 인터페이스, 위젯, 웹페이지, 게임 및/또는 애플리케이션, 오디오 및/또는 비디오 콘텐츠, 문자 등)의 제공을 가능하게 하기 위한 제공 모듈(320);
-- 하나 이상의 입력 장치(314) 중 하나로부터 하나 이상의 사용자 입력 또는 상호 작용을 검출하고, 검출된 입력 또는 상호 작용을 해석하기 위한 입력 처리 모듈(322);
-- 웹사이트 및 이의 웹페이지를 탐색하고, 요청하고(예를 들어, HTTP를 통해), 디스플레이하기 위한 웹페이지 브라우저 모듈(324);
-- 클라이언트 장치(104)에 의한 실행을 위한 하나 이상의 애플리케이션(326-1 내지 326-N)(예를 들어, 게임, 애플리케이션 마켓 플레이스, 지불 플랫폼 및/또는 다른 애플리케이션); 및
-- 다음을 포함하지만 그에 한정되지 않는, 소셜 네트워킹 플랫폼을 위한 기능 및 클라이언트측 데이터 처리를 제공하는 클라이언트측 모듈(102):
-- 오디오 입력의 제품, 시간 및/또는 채널 정보를 추출하는 것과 같이, 소셜 네트워킹 애플리케이션 및/또는 외부 미디어(예를 들어, 텔레비전)의 사용자로부터 수신된 오디오 입력을 처리하기 위한 오디오 처리부(332); 및
-- 소셜 네트워킹 플랫폼의 다른 사용자로 메시지를 전송하고 그로부터 메시지를 수신하기 위한 통신 시스템(334)(예를 들어, 인스턴트 메시징, 그룹 채팅, 메시지 게시판, 메시지/뉴스 피드 등); 및
-- 다음을 포함하지만 그에 한정되지 않는, 소셜 네트워킹 플랫폼과 연관된 데이터를 저장하는 클라이언트 데이터(340):
-- 사용자 계정 이름, 소셜 네트워킹 플랫폼에 대한 로그인 자격, 지불 데이터(예를 들어, 연결된 신용 카드 정보, 크래딧 또는 기프트 카드 잔고, 청구 주소, 배송 주소 등), 사용자에 대한 맞춤 파라미터(예를 들어, 나이, 위치, 취미 등), 소셜 네트워크 연락처, 사용자가 속하는 연락처 그룹 및 식별된 경향 및/또는 사용자가 좋아하는 것/싫어하는 것을 포함하는, 클라이언트 장치(104)와 연관된 소셜 네트워킹 사용자 계정의 사용자 프로파일을 저장하는 사용자 프로파일(342); 및
-- 소셜 네트워킹 플랫폼에서 클라이언트 장치(104)의 사용자에 의해 좋아하는 것으로 기록되거나, 저장되거나, 즐겨찾기 되거나 또는 선택된 데이터를 저장하는 사용자 데이터(344).
위에서 식별된 요소의 각각은 이전에 언급된 메모리 장치의 하나 이상에 저장될 수 있고, 전술한 기능을 수행하기 위한 명령어 세트에 대응한다. 위에서 식별된 모듈 또는 프로그램(즉, 명령어 세트)은 개별 소프트웨어 프로그램, 절차 또는 모듈로서 구현될 필요는 없으며, 따라서, 이러한 모듈의 다양한 서브 세트가 결합되거나 아니면 다양한 구현예에서 재배열될 수 있다. 일부 실시예에서, 메모리(306)는, 선택적으로, 위에서 식별된 모듈 및 데이터 구조의 서브 세트를 저장한다. 또한, 메모리(306)는, 선택적으로, 전술되지 않은 추가 모듈 및 데이터 구조를 저장한다.
일부 실시예에서, 서버 시스템(108)의 기능의 적어도 일부는 클라이언트 장치(104)에 의해 수행되고, 이 기능의 대응하는 서브 모듈은 서버 시스템(108)이 아니라 클라이언트 장치(104) 내에 위치될 수 있다. 일부 실시예에서, 클라이언트 장치(104)의 기능의 적어도 일부는 서버 시스템(108)에 의해 수행되고, 이 기능의 대응하는 서브 모듈은 클라이언트 장치(104)가 아니라 서버 시스템(108) 내에 위치될 수 있다. 도 2 및 3에 도시된 클라이언트 장치(104) 및 서버 시스템(108)은 각각 단지 예시적이며, 여기에서 설명된 기능을 구현하기 위한 모듈의 상이한 구성이 다양한 실시예에서 가능하다.
도 4는 일부 실시예에 따른 정보 획득 방법(400)을 나타내는 개략적인 흐름도이다. 방법(400)은 오디오 입력을 캡처하기 위한 트리거링 이벤트를 검출하는 단계(402)를 포함한다. 트리거링 이벤트는 전자 장치의 터치 디스플레이 스크린에 디스플레이되거나 또는 전자 장치 상의 버튼을 누르는 것과 같은, 동작을 트리거링하기 위한 이벤트를 말한다.
일부 실시예에서, 전자 장치는, 전자 장치의 모션 센서를 이용하여, 모션 및 모션 가속도, 모션 방향 또는 모션 정도(degree)와 같은 전자 장치의 모션에 관련된 파라미터(들)를 감지할 수 있다. 감지된 모션 파라미터가 사전 설정된 모션 조건을 만족할 때, 트리거링 이벤트가 검출된다고 판단된다. 사전 설정된 모션 조건은, 모션 가속도가 가속도 임계값을 초과하는 것, 모션 방향의 변화 빈도가 사전 설정된 빈도 임계값을 초과하는 것 및 모션 정도가 사전 설정된 정도 임계값을 초과하는 것 중 적어도 하나일 수 있다. 예를 들어, 사용자는 소정의 강도로 전자 장치를 흔들 수 있으며, 전자 장치가 전자 장치의 흔들림을 검출하면, 트리거링 이벤트가 검출된다. 일부 실시예에서, 전자 장치가 기록된 사전 설정 사용자 지문을 검출할 때, 트리거링 이벤트가 검출된다. 이 대신에, 사용자가 기록된 사전 설정 오디오 신호를 검출할 때, 트리거링 이벤트가 검출된다. 이 대신에, 사용자가 기록된 사전 설정 암호를 검출할 때, 트리거링 이벤트가 검출된다.
방법(400)은 오디오 데이터를 획득하기 위하여 실시간으로 방송되는 현재 채널의 오디오 입력을 수집하는 단계(404)를 더 포함한다. 텔레비전 또는 텔레비전에 연결된 외부 라우드스피커가 전자 장치의 오디오 입력 감지 범위 내에 위치된다. 현재 채널은 사용자에 의해 현재 선택된 채널일 수 있다. 텔레비전 또는 텔레비전에 연결된 셋톱 박스는 텔레비전 중계 위성에 의해 방송되는 현재 채널의 위성 신호를 실시간으로 수신하고, 위성 신호를 비디오-오디오 데이터 흐름으로 변환한다. 텔레비전 또는 셋톱 박스는 유선 텔레비전 채널 또는 네트워크 연결을 통해 현재 채널의 비디오-오디오 데이터 흐름을 실시간으로 수신할 수 있다. 텔레비전의 라우드스피커 또는 텔레비전에 연결된 외부 라우드스피커는 현재 채널의 비디오-오디오 데이터 흐름에서의 오디오 데이터 흐름에 따라 사용자에 의해 현재 선택된 채널의 프로그램 사운드를 실시간으로 방송한다. 일부 실시예에서, 실시간으로 방송되는 현재 채널의 프로그램 사운드는 텔레비전 채널의 프로그램 사운드일 수 있다. 일부 실시예에서, 프로그램 사운드는 방송국 채널의 프로그램 사운드이다.
트리거링 이벤트가 검출되면, 전자 장치는 전자 장치의 오디오 입력 수집기(collector)를 통해 환경 사운드를 수집하고, 이에 의해 텔레비전에 의해 방송되는 현재 채널의 프로그램 사운드를 실시간으로 수집한다. 일부 실시예에서, 환경에서 실시간으로 방송되는 현재 채널의 사운드의 수집은 트리거링 이벤트가 검출되는 순간으로부터 수행된다. 타이밍이 사전 설정된 시간 길이에 도달할 때, 수집은 종료하고, 그 다음, 사전 설정된 시간 길이 내의 오디오 데이터가 획득된다. 오디오 데이터는 수집 오디오 데이터라 한다. 사전 설정된 길이는 바람직하게는 5 내지 15초이고, 이러한 방식으로, 오디오는 효과적으로 인식될 수 있으며, 차지된 저장 공간은 상대적으로 작다. 물론, 사용자는 또한 맞춤형 시간 길이를 설정할 수 있다. 사전 설정된 길이를 이용함으로써, 후속 처리에서, 서버는 매칭된 채널 식별자를 판단하기 위하여 정확한 오디오 인식을 편리하게 수행할 수 있다. 일 실시예에서, 오디오 데이터는 샘플링 주파수가 8 kHZ이고, 16비트로 양자화된 PCM(pulse-code modulation) 오디오 데이터이다.
방법(400)은, 오디오 데이터, 오디오 데이터에 따라 추출된 오디오 특징 정보 및/또는 오디오 데이터에 따라 생성된 오디오 핑거프린트를 서버에 전송하여, 서버가 오디오 데이터, 오디오 특징 정보 또는 오디오 핑거프린트에 따라 오디오 핑거프린트를 획득하고, 실시간으로 버퍼링된 채널 오디오 핑거프린트 데이터베이스에 따라 오디오 핑거프린트와 매칭하는 채널 오디오 핑거프린트에 대응하는 매칭된 채널 식별자를 판단하는 단계(406)를 더 포함한다.
오디오 핑거프린트는 하나의 오디오 데이터의 중요한 음향 특징을 나타내는 콘텐츠 기반의 컴팩트한 디지털 서명을 말한다. 오디오 핑거프린트는 지각 유사성(perceptual similarity)을 필요로 하며, 식별 가능성(differentiability), 강건성(robustness) 및 입도(granularity)와 같은 기본 특성을 가진다. 식별 가능성은 상이한 오디오 데이터에 따라 생성된 오디오 핑거프린트가 실질적으로 서로 다르고, 원래 데이터에 따라 개별적으로 생성된 오디오 핑거프린트와 오디오 데이터의 동일한 부분의 왜곡된 데이터가 서로 약간 다르다는 것을 말한다. 강건성은 오디오 데이터가 오디오 포맷 변환 및 채널 노이즈 간섭과 같은 다양한 처리를 겪은 후에도 여전히 인식될 수 있다는 것을 말한다. 입도는 상대적으로 짧은 시간 길이(예를 들어, 5초 내지 10초)의 오디오 데이터도 역시 성공적으로 인식될 수 있다는 것을 말한다.
일부 실시예에서, 전자 장치는 네트워크 인터페이스 또는 무선 모바일 통신 인터페이스와 같은 전자 장치의 통신 인터페이스를 통해 오디오 데이터를 서버로 전송할 수 있다. 서버는, 전자 장치에 의해 전송된 오디오 데이터를 수신한 후에, 오디오 데이터로부터 오디오 특징 정보를 추출하고, 오디오 특징 정보에 따라 오디오 핑거프린트를 생성하는데 사용된다. 이러한 실시예는 전자 장치가 데이터 처리 성능에서 제한을 받고 오디오 데이터에 추가 처리를 할 수 없거나, 오디오 데이터를 높은 시간 비용으로 추가 처리하는 시나리오에 적용 가능하다.
일부 실시예에서, 전자 장치는 오디오 특징 정보를 획득하기 위하여 오디오 데이터로부터의 특징 추출을 먼저 수행하고, 전자 장치의 통신 인터페이스를 통해 오디오 특징 정보를 서버로 전송할 수 있다. 서버는, 오디오 특징 정보를 수신한 후에, 오디오 특징 정보에 따라 오디오 핑거프린트를 생성하는데 사용될 수 있다. 오디오 특징 정보는 오디오 데이터로부터 특징 추출을 수행함으로써 획득된 특징 정보를 말하며, 오디오 핑거프린트는 오디오 데이터에 따라 생성된 오디오 핑거프린트를 말한다. 오디오 데이터로부터의 특징 추출은 주파수 및 진폭에 따른 추출을 채용함으로써 또는 선형 예측 부호화(linear predictive coding(LPC))를 채용함으로써 수행될 수 있다. 이러한 실시예들은 전자 장치가 강력한 데이터 처리 성능을 가지는 시나리오에 적용 가능하다. 일부 예에서, 전자 장치는 상대적으로 큰 데이터량의 오디오 데이터로부터 상대적으로 작은 데이터량의 오디오 특징 정보를 추출하여, 오디오 특징 정보를 서버에 전송한다. 이러한 방식으로, 오디오 핑거프린트가 직접 생성되지 않기 때문에, 네트워크 리소스 소비가 어느 정도 감소될 수 있고, 전자 장치의 전력 소비가 어느 정도 감소될 수 있다.
또한, 일부 실시예에서, 전자 장치는 오디오 데이터에 따라 오디오 핑거프린트를 로컬로 생성할 수 있다. 일부 실시예에서, 전자 장치는 오디오 특징 정보를 획득하기 위하여 오디오 데이터로부터 특징 추출을 먼저 수행하고, 오디오 특징 정보에 따라 오디오 핑거프린트를 생성하고, 오디오 핑거프린트를 서버에 전송할 수 있어, 서버는 오디오 인식을 위한 오디오 핑거프린트를 직접 획득하고 매칭된 채널 식별자를 추가로 판단할 수 있다. 이러한 실시예는 전자 장치가 강력한 데이터 처리 성능을 가지는 시나리오에 적용 가능하다. 일부 예에서, 생성된 오디오 핑거프린트는 네트워크 리소스 소비에 현저하게 영향을 미치지는 않는다.
일부 실시예에서, 서버는 위성 신호 수신기를 통해 텔레비전 중계 위성에 의해 방송되는 각 채널의 위성 신호를 실시간으로 수신하는데 사용되며, 위성 신호를 비디오-오디오 데이터 흐름으로 변환한다. 서버는 유선 텔레비전 채널 또는 네트워크 연결을 통해 각 채널의 비디오-오디오 데이터 흐름을 실시간으로 수신할 수 있다. 서버는, 비디오-오디오 데이터 흐름으로부터 채널 오디오 데이터 흐름을 추출하고, 채널 오디오 데이터 흐름에 따라 각각의 채널 식별자에 대응하는 채널 오디오 특징 정보를 추출하고; 각각의 채널 식별자에 대응하는 채널 오디오 특징 정보에 따라 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트를 생성하고; 그리고, 채널 식별자와 채널 오디오 핑거프린트 사이의 대응 관계를 채널 오디오 핑거프린트 데이터베이스에 실시간으로 버퍼링하는데 사용된다. 채널 오디오 특징 정보를 추출하기 위하여 서버에 의해 사용되는 기술 수단은 오디오 특징 정보를 추출하기 위하여 전자 장치에 의해 사용되는 기술 수단과 일치한다. 채널 오디오 데이터 흐름은 채널의 오디오 데이터 흐름을 말하고, 채널 오디오 특징 정보는 채널의 오디오 데이터 흐름으로부터 특징 추출을 수행함으로써 획득되는 특징 정보를 말하고, 채널 오디오 핑거프린트는 채널의 오디오 데이터 흐름에 따라 생성된 오디오 핑거프린트를 말한다.
일부 실시예에서, 서버는 각각의 채널 식별자에 대응하는 채널 오디오 데이터 흐름을 실시간으로 획득하고, 획득된 채널 오디오 데이터 흐름에 따라 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트를 생성하는데 사용되고, 채널 오디오 핑거프린트는 채널 타임스탬프를 포함한다. 서버는 현재 시간으로부터 사전 설정된 시간 내에 채널 타임스탬프가 있는 채널 오디오 핑거프린트와, 채널 식별자 사이의 대응 관계를 채널 오디오 핑거프린트 데이터베이스에 주기적으로 버퍼링하는데 더 사용된다. 서버에 의해 이 기능을 구현하는 구체적인 단계들은 이어지는 적용예에서 방법(800)의 단계 802 내지 814에서 설명된다.
서버는 오디오 핑거프린트를 채널 오디오 핑거프린트 데이터베이스에 현재 버퍼링된 각각의 채널의 채널 오디오 핑거프린트와 비교하고, 매칭된 채널 오디오 핑거프린트를 판단하고, 채널 오디오 핑거프린트 데이터베이스 내의 매칭된 채널 오디오 핑거프린트에 대응하는 채널 식별자를 매칭된 채널 식별자로서 획득하는데 사용될 수 있다. 매칭된 채널 식별자는 서버에 의해 판단된 실시간으로 방송되는 프로그램의 채널 식별자이다. 일부 실시예에서, 서버에 의해 이 기능을 구현하는 구체적인 단계들은 이어지는 적용예에서 방법(900)의 단계 902 내지 906에서 설명된다.
방법(400)은 사전 설정 정보 데이터베이스로부터 서버에 의해 획득되고 매칭된 채널 식별자에 대응하는 사전 설정 정보를 수신하는 단계(408)를 더 포함한다. 서버는 사전 설정 정보 데이터베이스를 미리 저장하는데 사용된다. 사전 설정 정보 데이터베이스는 채널 식별자와 사전 설정 정보 사이의 대응 관계를 저장하여, 서버가 사전 설정 정보 데이터베이스로부터 대응 관계에 따라 매칭된 채널 식별자에 대응하는 사전 설정 정보를 획득하고 획득된 사전 설정 정보를 전자 장치에 전송할 수 있다. 전자 장치는 사전 설정된 정보를 수신한 후에 전자 장치의 디스플레이 스크린에 사전 설정 정보를 디스플레이할 수 있다.
정보 획득 방법에서, 트리거링 이벤트가 검출되면, 오디오 데이터가 환경 내의 텔레비전과 같은 장치에 의해 실시간으로 방송되는 현재 채널의 오디오 입력을 수집함으로써 획득된다; 오디오 데이터, 오디오 특징 정보 또는 오디오 핑거프린트는 서버로 전송되어, 서버는 오디오 데이터, 오디오 특징 정보 또는 오디오 핑거프린트에 기초하여 오디오 핑거프린트를 획득하며, 매칭된 채널 식별자를 판단하기 위하여 오디오 인식을 더 수행한다. 매칭된 채널 식별자는, 서버에 의해 판단된, 오디오 수집 동안 방송되는 프로그램의 채널 식별자이다. 수신된 사전 설정 정보는 방송되는 프로그램에 관련된 정보이다. 이러한 방식으로, 정보는 사운드 인식을 이용하여 획득될 수 있다. 오디오 수집이 전자 장치에서 트리거링되는 한, 오디오 인식은 현재 채널에서 방송되는 프로그램에 관련된 정보를 획득하기 위하여 서버를 통해 수행될 수 있어, 이에 의해 정보 획득 효율성을 개선한다.
일부 실시예에서, 오디오 핑거프린트 수집은 수집 시간 정보에 대응하고, 단계 408은, 사전 설정 정보 데이터베이스로부터 서버에 의해 획득되고, 서버에 의해 전송되며, 매칭된 채널 식별자에 대응하고, 수집 시간 정보와 매칭하는 시간 속성을 갖는 사전 설정 정보를 수신하는 단계를 포함한다.
수집 시간 정보는 오디오 핑거프린트 수집 동안의 시간 정보를 나타내는데 사용된다. 수집 시간 정보는, 전자 장치가 트리거링 이벤트를 검출할 때 획득되고 서버에 전송되는 로컬 시간; 트리거링 이벤트를 검출할 때 전자 장치가 서버에 통지한 후에 서버에 의해 기록된 서버의 현재 시스템 시간; 서버가 전자 장치에 의해 전송된 오디오 데이터, 오디오 특징 정보 또는 오디오 핑거프린트를 수신할 때 서버에 의해 기록된 서버의 현재 시스템 시간; 사전 설정 정보 데이터베이스로부터 사전 설정 정보를 획득할 때 서버에 의해 획득된 서버의 현재 시스템 시간; 및/또는 사전 설정 정보 데이터베이스로부터 사전 설정 정보를 획득할 때, 사전 설정된 딜레이 상수에 따라 서버에 의해 획득된 서버의 현재 시스템 시간을 수정한 후 획득된 시간, 예를 들어, 서버의 현재 시스템 시간으로부터 사전 설정된 딜레이 상수를 뺀 후의 시간을 포함한다. 서버의 시스템 시간은 전자 장치에 의해 전송된 시간보다 더 정확하여, 획득된 정보의 정확성이 개선된다.
채널 식별자에 대응하는 사전 설정 정보는 채널에서의 방송 프로그램에 관련된 정보, 예를 들어, 쇼핑 정보, 광고 판촉 정보, 발표 정보 또는 뉴스 정보일 수 있다. 서버는 사전 설정 정보 데이터베이스에서 각각의 채널 식별자에 대응하는 사전 설정 정보를 저장하는데 사용된다. 각각의 사전 설정 정보는 시간 속성, 예를 들어, 시작 시간 마크 또는 종료 시간 마크를 가진다; 그리고, 시간 속성은 현재 채널에서의 방송되는 프로그램의 사전 설정 정보의 대응 관계를 나타낼 수 있어, 서버는 동일한 채널의 상이한 프로그램에 대하여 상이한 콘텐츠를 푸시할 수 있다. 예를 들어, 사전 설정 정보 데이터베이스가 채널 1 및 사전 설정 정보 역할을 하는 상품 정보 사이의 대응 관계를 인식하고 저장할 수 있고, 상품 정보의 시간 속성은 19:00 ~ 19:30이다. 그 다음, 매칭된 채널 식별자가 1이고 수집 시간정보에 의해 표시된 시간이 19:00 ~ 19:30 내에 있을 때, 쇼핑 정보가 전자 장치에 전송되고, 전자 장치는 상품 정보를 수신하여 디스플레이한다.
일부 실시예에서, 정보 획득 방법은, 사전 설정 정보를 디스플레이하는 단계, 디스플레이된 사전 설정 정보에 대응하는 동작 명령을 수신하는 단계 및 동작 명령과 매칭하는 동작을 수행하는 단계를 더 포함한다. 동작 명령은, 정보 수집 명령, 디스플레이 닫기 명령, 정보 공유 명령 및 수치 이전(transfer) 명령 중 적어도 하나를 포함한다.
일부 실시예에서, 정보 획득 방법은, 디스플레이된 사전 설정 정보에 대응하는 수치 이전 명령을 수신하는 단계 및 수치 이전 명령에 따라, 이전량, 제1 수치 계정 식별자 및 제2 수치 계정 식별자를 반송하는 수치 이전 요청을 서버에 전송하여, 서버가, 수치 이전 요청에 따라, 제1 수치 계정 식별자에 대응하는 제1 수치 계정으로부터 이전량을 빼고, 수치 이전 요청에 따라, 제2 수치 계정 식별자에 대응하는 제2 수치 계정에 이전량을 더하는 단계를 더 포함한다. 수치 이전 요청은 수치 이전 명령에 따라 직접 생성되어 서버로 전송될 수 있거나; 또는 수치 이전 애플리케이션이 수치 이전 명령에 따라 호출될 수 있고, 수치 이전 요청이 수치 이전 애플리케이션을 통해 서버로 전송된다.
일부 실시예에서, 수치 이전 명령은 지불 명령일 수 있다. 그 다음, 수치 이전 애플리케이션은 지불 애플리케이션이다; 수치 이전 요청은 지불 요청이다; 이전량은 지불량이다; 제1 수치 계정 식별자는 지불 계정 식별자이고, 지불 계정 식별자는 사용자 식별자 및 지불 계정인 2가지 종류 중 하나일 수 있고, 제1 수치 계정은 지불 계정이다; 제2 수치 계정 식별자는 지불 수신 계정 식별자이고, 지불 수신 계정 식별자는 판매자 식별자 및 지불 수신 계정인 2가지 종류 중 적어도 하나일 수 있고, 제2 수치 계정은 지불 수신 계정이다; 그리고, 사전 설정 정보는 상품 정보일 수 있다.
상응하여, 수치 이전 명령에 따라, 이전량, 제1 수치 계정 식별자 및 제2 수치 계정 식별자를 반송하는 수치 이전 요청을 서버에 전송하여, 서버가, 수치 이전 요청에 따라, 제1 수치 계정 식별자에 대응하는 제1 수치 계정으로부터 이전량을 빼고, 수치 이전 요청에 따라, 제2 수치 계정 식별자에 대응하는 제2 수치 계정에 이전량을 더하는 단계는, 지불 명령에 따라, 지불량, 지불 계정 식별자 및 지불 수신 계정 식별자를 서버에 전송하여, 서버가, 지불 요청에 따라, 지불 계정 식별자에 대응하는 지불 계정으로부터 지불량을 빼고, 지불 요청에 따라, 지불 수신 계정 식별자에 대응하는 지불 수신 계정에 지불량을 더하는 단계를 포함한다. 지불 요청은 지불 명령에 따라 직접 생성되어 서버로 전송될 수 있거나; 또는 지불 애플리케이션이 지불 명령에 따라 호출될 수 있고, 지불 요청이 지불 애플리케이션을 통해 서버로 전송된다.
다른 실시예에서, 수치 이전 동작은, 더하여, 수치 형태로 서버에 저장된 파라미터에서의 조정, 예를 들어 데이터 트래픽의 통계 수집일 수 있다. 그 다음, 제1 수치 계정은 남아 있는 트래픽 계정일 수 있으며, 제2 수치 계정은 사용된 트래픽 계정일 수 있다.
일부 실시예에서, 정보 획득 방법은, 디스플레이된 사전 설정 정보에 대응하는 정보 수집 명령을 수신하는 단계 및 정보 수집 명령에 따라 수집 리스트에서 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 기록하는 단계를 더 포함한다. 후속 사용에서, 사용자는 수집 리스트를 이용하여 수집된 사전 설정 정보를 빠르게 액세스할 수 있다. 후속 사용에서, 사용자는 수집 리스트를 이용하여 수집된 사전 설정 정보를 빠르게 액세스할 수 있다.
일부 실시예에서, 정보 획득 방법은, 사전 설정 정보를 디스플레이하는 단계, 디스플레이된 사전 설정 정보에 대응하는 디스플레이 닫기 명령을 수신하는 단계 및 디스플레이 닫기 명령에 따라 사전 설정 정보를 디스플레이하기 위한 인터페이스를 닫는 단계를 더 포함한다. 인터페이스를 닫는 것은 인터페이스를 숨기거나 인터페이스를 삭제하는 것일 수 있다.
일부 실시예에서, 정보 획득 방법은, 사전 설정 정보를 디스플레이하는 단계, 디스플레이된 사전 설정 정보에 대응하는 정보 공유 명령을 수신하는 단계 및 정보 공유 명령에 따라 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 정보 공유 명령에 의해 지정된 단말기로 전송하는 단계를 더 포함한다. 지정된 단말기의 네트워크 어드레스가 정보 공유 명령에 따라 획득될 수 있어, 서버의 참여 없이 지정된 단말기로 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 직접 전송한다.
일부 실시예에서, 정보 획득 방법은, 사전 설정 정보를 디스플레이하는 단계, 디스플레이된 사전 설정 정보에 대응하는 정보 공유 명령을 수신하는 단계 및 정보 공유 명령에 따라 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 반송하는 정보 공유 요청을 서버에 전송하여, 서버가, 정보 공유 요청에 따라, 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 정보 공유 요청에 반송되는 목표 사용자 식별자에 대응하는 단말기에 전송하는 단계를 더 포함한다. 목표 사용자 식별자는 공유된 정보를 수신하도록 지정된 사용자의 사용자 식별자이고, 사용자 식별자는 정보 공유 명령을 개시하는 사용자 식별자와 친구 관계에 있을 수 있으며, 친구 관계는 디지털화된 가상 소셜 관계이다.
도 5는 일부 실시예에 따른 오디오 데이터에 따라 오디오 특징 정보를 추출하는 방법(500)을 나타내는 개략적인 흐름도이다. 방법(500)은 오디오 데이터에 시간-주파수 분석을 수행하여 오디오 데이터의 시간-주파수 다이어그램을 생성하는 단계(502)를 포함한다.
JTFA(joint time-frequency analysis)는 간단히 시간-주파수 분석이라 한다. 시변 비고정 신호(time-varying non-stationary signal)를 분석하기 위한 강력한 도구이며 최근에 알려진 신호 처리 방법으로서, 시간-주파수 분석은 현대 신호 처리 연구의 주요 관심이 되었으며, 근년에 점점 더 관심을 끈다. 시간-주파수 분석 방법은 시간 도메인과 주파수 도메인에서 연합 분포(joint distribution)에 관한 정보를 제공하며, 신호 주파수가 시간에 따라 변동하는 관계를 명확하게 설명한다.
오디오 데이터는 샘플링 주파수가 8 kHZ이고 16비트로 양자화되는 PCM 오디오 데이터를 획득하도록 먼저 전처리될 수 있다. 오디오 데이터의 각각의 프레임의 오디오 신호를 획득하도록, 프레이밍 처리(framing processing)가 1차원 시간 도메인에서 오디오 데이터 x(t)에 수행되며, 프레이밍 처리는 파라미터로서 128ms의 윈도우 길이와 16ms의 프레임 스택으로 수행될 수 있다. 오디오 데이터의 각각의 프레임의 오디오 신호의 주파수 스펙트럼 x(f)를 획득하기 위하여, 단기 푸리에 변환(short-time Fourier transform (STFT))이 수학식 1을 이용하여 각각의 프레임의 오디오 신호에 수행된다.
Figure 112016067215923-pct00001
여기에서, T는 푸리에 변환점 양이고; t는 시간 차원의 독립 변수이고; w(t)는 해밍(Hamming) 윈도우 함수, 한(Hann) 윈도우 함수 또는 가우시안(Gaussian) 윈도우 함수와 같은 일반적인 윈도우 함수이고, 해밍 윈도우 함수는 수학식 2에 나타내며; f는 주파수 값이다.
Figure 112016067215923-pct00002
각각의 프레임의 오디오 신호의 주파수 스펙트럼에 대응하는 진폭 스펙트럼이 추출되고, 각각의 프레임의 진폭 스펙트럼은 시간 순으로 스택되어, 오디오 데이터의 시간-주파수 다이어그램 S(t, f)를 획득하며, 시간-주파수 다이어그램은 시간과 주파수의 2차원의 정보를 구체화할 수 있다.
방법(500)은 시간-주파수 다이어그램을 사전 설정된 개수의 시간-주파수 서브-다이어그램으로 분할하는 단계(504)를 더 포함한다.
시간-주파수 다이어그램은 시간 모듈 방식으로 사전 설정된 개수의 시간-주파수 서브-다이어그램으로 분할되고, 각각의 시간-주파수 서브-다이어그램은 위상 채널에 대응한다. 사전 설정된 개수의 값은 실제 상황에 따라 판단될 수 있으며, 예를 들어 신호 대 잡음비와 같은 오디오 데이터의 인자에 따라 판단되는 것과 같이 오디오 데이터의 오디오 파라미터에 따라 판단될 수 있다.
사전 설정된 개수가 양의 정수 M에 의해 표현되면, 단계(504)는, 오디오 데이터의 시간-주파수 다이어그램 내의 시간 차원의 독립 변수의 값 범위에서 시간 차원의 독립 변수가 0, M, 2M, ...일 때 획득된 주파수 값을 제1 위상 채널에 대응하는 제1 시간-주파수 서브-다이어그램으로서 이용하는 단계, 오디오 데이터의 시간-주파수 다이어그램 내의 시간 차원의 독립 변수의 값 범위에서 시간 차원의 독립 변수가 1, M+1, 2M+1, ...일 때 획득된 주파수 값을 제2 위상 채널에 대응하는 제2 시간-주파수 서브-다이어그램으로서 이용하는 단계 및 M 번째 위상 채널에 대응하는 M 번째 시간-주파수 서브-다이어그램이 획득될 때까지 유사한 동작을 수행하는 단계를 포함한다.
방법(500)은 각각의 시간-주파수 서브-다이어그램의 피크 특징점을 추출하여 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점 시퀀스를 구성하는 단계(506)를 더 포함한다. 일부 실시예에서, 피크 특징점은 오디오 데이터의 각각의 시간-주파수 서브-다이어그램으로부터 추출되고, 추출된 피크 특징점은 에너지 값이 사전 설정된 직사각형 이웃에서 최대에 도달하는 조건을 만족할 필요가 있다. 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점은 시간의 오름차순으로의 시퀀스로서 순위가 매겨진다.
피크 특징점 시퀀스가 생성된 후에, 전자 장치는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스에서 시간 데이터 및 주파수 데이터를 개별적으로 압축하고, 압축된 시간 데이터 및 압축된 주파수 데이터를 서버에 전송할 수 있어, 서버는 시간 데이터의 압축되고 수신된 데이터와 주파수 데이터의 압축되고 수신된 데이터를 개별적으로 압축 해제하여 오디오 데이터의 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스를 획득한다. 시간 데이터에 대하여, 수집된 것이 사전 설정된 시간 길이 내의 오디오 입력이기 때문에, 시간 데이터는 값 범위 내로 한정되고, 시간의 오름차순으로 순위가 매겨지고, 여러 개의 시간 값은 32 비트의 데이터 구조로 인코딩되어 압축될 수 있다. 주파수 데이터에 대하여, 주파수 데이터의 값 범위가 [0, T/2+1]이기 때문에(여기에서, T=1024), 각각의 주파수 값은 9비트만으로 표현될 수 있다.
서버는 전자 장치의 암호화 방식과 매칭하는 사전 설정된 복호화 방식으로 시간 데이터의 압축되고 수신된 데이터와 주파수 데이터의 압축되고 수신된 데이터를 개별적으로 압축 해제하는데 사용되어, 오디오 데이터의 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스를 획득한다. 피크 특징점 시퀀스는 오디오 핑거프린트를 생성하기 위하여 서버에 의해 사용된다. 서버는 이어지는 정보 푸시 방법에서의 단계 11) 및 단계 12)에 구현되는 오디오 데이터의 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스에 따라 오디오 핑거프린트를 생성하는 기능을 구현한다.
도 6은 일부 실시예에 따른 정보 푸시 방법(600)을 나타내는 개략적인 흐름도이다. 본 실시예는 전술한 정보 상호 작용 시스템에서 방법(600)이 서버에 적용되는 예를 이용하여 설명된다. 정보 푸시 방법은 전술한 실시예에서의 정보 획득 방법에 대응한다. 방법(600)은 오디오 데이터, 오디오 데이터에 따라 추출된 오디오 특징 정보 또는 오디오 데이터에 따라 생성된 오디오 핑거프린트를 수신하는 단계(602)를 포함한다.
일부 실시예에서, 실시간으로 방송되는 현재 채널의 프로그램 사운드는 텔레비전 채널의 프로그램 사운드일 수 있다. 일부 실시예에서, 프로그램 사운드는 추가로 방송국 채널의 프로그램 사운드일 수 있다. 전자 장치는, 전자 장치의 터치 디스플레이 스크린에 디스플레이된 트리거링 버튼에 대한 사용자의 클릭 동작 또는 전자 장치에 사전 설정된 바로가기(shortcut) 버튼을 누르는 동작을 검출함으로써, 또는 전자 장치의 모션 센서에 의해 전자 장치의 모션 파라미터가 사전 설정된 모션 조건을 만족하는지를 감지함으로써 트리거링 이벤트를 검출하는데 사용될 수 있다. 트리거링 이벤트가 검출되면, 전자 장치는 전자 장치의 오디오 입력 수집기를 통해 환경 사운드를 수집하고, 이에 의해 실시간으로 텔레비전에 의해 방송되는 현재 채널의 프로그램 사운드를 수집한다.
오디오 데이터는, 예를 들어 5 내지 15초인, 사전 설정된 시간 길이에 따라 수집될 수 있다. 오디오가 효과적으로 인식될 수 있고 차지된 저장 공간이 상대적으로 작도록 사전 설정된 시간 길이가 사용된다. 물론, 사용자가 또한 오디오 수집을 위한 시간 길이를 설정할 수 있지만, 사전 설정된 시간 길이를 이용하여, 후속 처리에서, 서버는 매칭된 채널 식별자를 판단하기 위하여 정확한 오디오 인식을 편리하게 수행할 수 있다. 일 실시예에서, 오디오 데이터는 샘플링 주파수가 8 kHZ이고, 16비트로 양자화된 PCM 오디오 데이터이다.
방법(600)은, 수신된 오디오 핑거프린트를 획득하거나, 수신된 오디오 데이터에 따라 오디오 핑거프린트를 생성하거나, 또는 수신된 오디오 특징 정보에 따라 오디오 핑거프린트를 생성하는 단계(604)를 더 포함한다. 전자 장치가 오디오 핑거프린트를 전송할 때, 서버는 전자 장치에 의해 전송된 오디오 핑거프린트를 직접 획득한다. 전자 장치가 오디오 특징 정보를 전송할 때, 서버는 오디오 특징 정보에 따라 오디오 핑거프린트를 생성한다. 전자 장치가 오디오 데이터를 전송할 때, 서버는 먼저 오디오 데이터로부터 특징 추출을 수행하여 오디오 특징 정보를 획득하고, 그 다음, 오디오 특징 정보에 따라 오디오 핑거프린트를 생성할 수 있다.
방법(600)은, 실시간으로 버퍼링된 채널 오디오 핑거프린트 데이터베이스에 따라, 오디오 핑거프린트와 매칭하는 채널 오디오 핑거프린트에 대응하는 매칭된 채널 식별자를 판단하는 단계(606)를 더 포함한다.
서버는, 예를 들어, 실시간으로, 서버에 연결된 위성 신호 수신기를 통해 텔레비전 중계 위성에 의해 방송되는 각각의 채널의 위성 신호를 수신한다. 서버는 위성 신호를 비디오-오디오 데이터 흐름으로 변환한다. 서버는 유선 텔레비전 채널 또는 네트워크 연결을 통해 실시간으로 각각의 채널의 비디오-오디오 데이터 흐름을 수신할 수 있다. 서버는 비디오-오디오 데이터 흐름으로부터 채널 오디오 데이터 흐름을 추출하고, 채널 오디오 데이터 흐름에 따라 각각의 채널 식별자에 대응하는 채널 오디오 특징 정보를 생성하고, 각각의 채널 식별자에 대응하는 채널 오디오 특징 정보에 따라 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트를 생성하고, 채널 식별자와 채널 오디오 핑거프린트 사이의 대응 관계를 채널 오디오 핑거프린트 데이터베이스에 실시간으로 버퍼링한다. 채널 오디오 특징 정보를 추출하기 위하여 서버에 의해 사용되는 기술 수단은 오디오 특징 정보를 추출하기 위하여 전자 장치에 의해 사용되는 전술한 기술 수단과 일치한다. 채널 오디오 데이터 흐름은 채널의 오디오 데이터 흐름을 말하고, 채널 오디오 특징 정보는 채널의 오디오 데이터 흐름으로부터의 특징 추출을 수행함으로써 획득되는 특징 정보를 말하고, 채널 오디오 핑거프린트는 채널의 오디오 데이터 흐름에 따라 생성된 오디오 핑거프린트를 말한다.
서버는 오디오 핑거프린트를 채널 오디오 핑거프린트 데이터베이스에 현재 버퍼링된 각각의 채널의 채널 오디오 핑거프린트와 비교하고, 매칭된 채널 오디오 핑거프린트를 판단하고, 채널 오디오 핑거프린트 데이터베이스에서의 매칭된 채널 오디오 핑거프린트에 대응하는 채널 식별자를 매칭된 채널 식별자로서 획득할 수 있다. 매칭된 채널 식별자는, 서버에 의해 판단되는, 오디오 수집 동안 방송되는 프로그램의 채널 식별자이다.
방법(600)은, 사전 설정 정보 데이터베이스로부터 매칭된 채널 식별자에 대응하는 사전 설정 정보를 획득하고, 전자 장치로 사전 설정 정보를 전송하는 단계(608)를 포함한다. 서버는 사전 설정 정보 데이터베이스를 미리 저장한다. 사전 설정 정보 데이터베이스는 채널 식별자와 사전 설정 정보 사이의 대응 관계를 저장하여, 서버는 대응 관계에 따라 매칭된 채널 식별자에 대응하는 사전 설정 정보를 사전 설정 정보 데이터베이스로부터 획득하여 전자 장치가 사전 설정 정보를 수신하도록 획득된 사전 설정 정보를 전자 장치로 전송할 수 있다.
전술한 정보 푸시 방법에서, 오디오 핑거프린트를 획득하기 위하여, 전자 장치에 의해 수집되는 오디오 데이터, 오디오 특징 정보 및 오디오 핑거프린트 중 하나가 수신된다. 오디오 핑거프린트와 매칭하는 채널 오디오 핑거프린트에 대응하는 매칭된 채널 식별자는 실시간으로 버퍼링되는 채널 오디오 핑거프린트 데이터베이스를 이용하여 판단된다. 매칭된 채널 식별자는, 서버에 의해 판단되는, 오디오 수집 동안 방송되는 프로그램의 채널 식별자이다. 서버에 의해 전자 장치로 전송되고 매칭된 채널 식별자에 대응하는 사전 설정 정보는 방송되고 있는 프로그램에 관련된 정보이다. 따라서, 텔레비전과 같은 사용자가 위치되어 있는 환경에 있는 장치가 실시간 사운드 정보를 방송할 때, 전자 장치가 필요로 하는 정보를 전자 장치로 효율적으로 푸시하기 위하여 사용자가 방송되는 실시간 사운드 정보에 관한 정보를 효율적으로 획득할 수 있도록 원격 서비스 지원이 제공된다.
일 실시예에서, 오디오 핑거프린트 수집은 수집 시간 정보에 대응하고, 단계(608)는, 사전 설정 정보 데이터베이스로부터, 매칭된 채널 식별자에 대응하고 수집 시간 정보와 매칭하는 시간 속성을 갖는 사전 설정 정보를 획득하고, 사전 설정 정보를 전자 장치로 전송하는 단계를 포함한다.
일 실시예에서, 정보 푸시 방법은, 이전량, 제1 수치 계정 식별자 및 제2 수치 계정 식별자를 반송하고 사전 설정 정보에 응답하여 전자 장치에 의해 전송되는 수치 이전 요청을 수신하는 단계; 및 수치 이전 요청에 따라, 제1 수치 계정 식별자에 대응하는 제1 수치 계정에서 이전량을 빼고, 수치 이전 요청에 따라, 제2 수치 계정 식별자에 대응하는 제2 수치 계정에 이전량을 더하는 단계를 더 포함한다.
상응하여, 이전량, 제1 수치 계정 식별자 및 제2 수치 계정 식별자를 반송하고 사전 설정 정보에 응답하여 전자 장치에 의해 전송되는 수치 이전 요청을 수신하는 단계는, 지불량, 지불 계정 식별자 및 지불 수신 계정 식별자를 반송하고 상품 정보에 응답하여 전자 장치에 의해 전송되는 지불 요청을 수신하는 단계를 포함한다. 수치 이전 요청에 따라, 제1 수치 계정 식별자에 대응하는 제1 수치 계정에서 이전량을 빼고, 수치 이전 요청에 따라, 제2 수치 계정 식별자에 대응하는 제2 수치 계정에서 이전량을 더하는 단계는, 지불 요청에 따라, 지불 계정 식별자에 대응하는 지불 계정에서 지불량을 빼고, 지불 요청에 따라, 지불 수신 계정 식별자에 대응하는 지불 수신 계정에 지불량을 더하는 단계를 포함한다.
다른 실시예에서, 수치 이전 동작은, 더하여, 수치 형태로 서버에 저장된 파라미터에서의 조정, 예를 들어 데이터 트래픽의 통계 수집일 수 있다. 그 다음, 제1 수치 계정은 남아 있는 트래픽 계정일 수 있으며, 제2 수치 계정은 사용된 트래픽 계정일 수 있다.
일부 실시예에서, 정보 푸시 방법은, 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 반송하고 사전 설정 정보에 응답하여 전자 장치에 의해 전송되는 정보 공유 요청을 수신하는 단계; 및 정보 공유 요청에 따라, 정보 공유 요청에 반송되는 목표 사용자 식별자에 대응하는 단말기에 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 전송하는 단계를 더 포함한다. 목표 사용자 식별자는 공유된 정보를 수신하도록 지정된 사용자의 사용자 식별자이고, 사용자 식별자는 정보 공유 명령을 개시하는 사용자 식별자와 친구 관계에 있을 수 있으며, 친구 관계는 디지털화된 가상 소셜 관계이다.
일 실시예에서, 오디오 특징 정보는 오디오 데이터의 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점 시퀀스다. 일부 실시예에서, 전자 장치는, 단계 502 내지 506을 사용하여, 오디오 데이터의 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점 시퀀스를 생성하고; 생성된 피크 특징점 시퀀스를 서버로 전송할 수 있다. 일 실시예에서, 전자 장치는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스에서 시간 데이터 및 주파수 데이터를 개별적으로 압축하고, 압축된 시간 데이터와 압축된 주파수 데이터를 서버로 전송하는데 사용된다. 서버는 전자 장치의 암호화 방식과 매칭하는 사전 설정된 복호화 방식으로 시간 데이터의 압축되고 수신된 데이터와 주파수 데이터의 압축되고 수신된 데이터를 개별적으로 압축 해제할 수 있어, 오디오 데이터의 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스를 획득한다.
일 실시예에서, 단계 604에서 수신된 오디오 특징 정보에 따라 오디오 핑거프린트를 생성하는 단계는 다음의 단계 11) 및 단계 12)를 포함한다.
단계 11): 오디오 데이터의 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점 쌍을 획득하기 위하여, 오디오 데이터의 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스에서의 각각의 피크 특징점에 페어링 처리(pairing processing)를 수행.
일부 실시예에서, n 번째 위상 채널 또는 n 번째 시간-주파수 서브-다이어그램에서의 임의의 피크 특징점을 나타내도록
Figure 112016067215923-pct00003
이 정의되며, n은 위상 채널의 시퀀스 번호 또는 시간-주파수 서브-다이어그램의 시퀀스 번호를 나타내고 0<n≤M이다; M은 전술한 사전 설정된 수이다; k는 n 번째 위상 채널에 대응하는 피크 특징점 시퀀스에서의 피크 특징점 n의 시퀀스 번호를 나타내고, k는 양의 정수이다; tk는 피크 특징점이 n 번째 시간-주파수 서브-다이어그램에서 나타나는 시간을 나타낸다; 그리고, fk는 피크 특징점의 주파수값을 나타낸다.
각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스에서의 각각의 피크 특징점에 페어링 처리가 수행되는 과정은 다음의 단계들을 포함할 수 있다:
(1) 각각의 위상 채널에 일대일 대응하는 시간-주파수 서브-다이어그램에서, 각각의 위상 채널의 피크 특징점 시퀀스에서 각각의 피크 특징점을 기준점(anchor point)으로서 이용하여 직사각형 목표 영역을 선택하는 단계로서, 임의의 시간-주파수 서브-다이어그램에서 임의의 피크 특징점
Figure 112016067215923-pct00004
에 대하여, 직사각형 목표 영역은 다음의 조건을 만족한다:
Figure 112016067215923-pct00005
및
Figure 112016067215923-pct00006
여기에서, tstart는 기준점으로서 피크 특징점
Figure 112016067215923-pct00007
를 이용하여 선택된 직사각형 목표 영역의 시작 시간을 나타내고, tend는 기준점으로서 피크 특징점
Figure 112016067215923-pct00008
를 이용하여 선택된 직사각형 목표 영역의 종료 시간을 나타내고, fstart는 기준점으로서 피크 특징점
Figure 112016067215923-pct00009
를 이용하여 선택된 직사각형 목표 영역의 최소 주파수를 나타내고, tend는 기준점으로서 피크 특징점
Figure 112016067215923-pct00010
를 이용하여 선택된 직사각형 목표 영역의 최대 주파수를 나타낸다.
(2) 직사각형 목표 영역 내에서 기준점과 쌍을 이룰 기준점 이외의 피크 특징점을 선택하는 단계로서, 기준점 및 기준점과 쌍을 이루는 피크 특징점은 피크 특징점 쌍을 구성한다. 기준점과 쌍을 이루는 피크 특징점을 선택하기 위한 원리는, 출현 시간이 기준점의 출현 시간과 최소 시간차를 갖는 피크 특징점을 선택하는 것 또는 기준점 이외에 최대 에너지를 갖는 피크 특징점을 선택하는 것을 포함할 수 있다.
단계 (1) 및 (2)를 수행함으로써, 임의의
Figure 112016067215923-pct00011
에 대하여, 쌍을 이루는 피크 특징점
Figure 112016067215923-pct00012
이 획득될 수 있으며, n은 위상 채널의 시퀀스 번호 또는 시간-주파수 서브-다이어그램의 시퀀스 번호를 나타내고 0<n≤M이다; b는 피크 특징점 시퀀스 n에서 쌍을 이루는 피크 특징점의 시퀀스 번호를 나타내고, b는 양의 정수이다; tb는 피크 특징점
Figure 112016067215923-pct00013
이 n 번째 시간-주파수 서브-다이어그램에서 나타나는 시간을 나타낸다; 그리고, fb는 쌍을 이루는 피크 특징점의 주파수값을 나타낸다. 이 실시예에서, 임의의 위상 채널의 피크 특징점 쌍 시퀀스에서 임의의 피크 특징점 쌍을 나타내기 위하여, 4개의 요소로 된 집합 (tk, fk, Δfk, Δtk)n이 정의되고, 여기에서 n은 위상 채널의 시퀀스 번호 또는 시간-주파수 서브-다이어그램의 시퀀스 번호를 나타낸다; Δtk는 피크 특징점 쌍에서 2개의 피크 특징점 사이의 시간 차이를 나타내며, Δtk = tb - tk이다; 그리고, Δfk는 피크 특징점 쌍에서 2개의 피크 특징점 사이의 주파수 차이를 나타내며, Δfk = fb - fk이다.
단계 12): 오디오 핑거프린트를 획득하기 위하여 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점 쌍에 따라 해시(Hash) 연산을 수행.
전술한 바와 같이, 임의의 위상 채널의 피크 특징점 쌍 시퀀스에서 임의의 피크 특징점 쌍을 나타내기 위하여, 4개의 요소로 된 집합 (tk, fk, Δfk, Δtk)n이 사용된다. 4개의 요소로 된 집합에서의 파라미터는 다음과 같이 이해될 수 있다: (fk, Δfk, Δtk)는 피크 특징점 쌍의 특징부를 나타내고, tk는 (fk, Δfk, Δtk)가 나타나는 시간을 나타내며, 수집 타임 스탬프를 나타낸다. 이 단계에서, 해시 연산은 (fk, Δfk, Δtk)에 수행될 수 있으며, (fk, Δfk, Δtk)는, hashcodek = H(fk, Δfk, Δtk)와 같은 고정 비트량의 해시 코드를 이용하여 표현된다. 이 단계에서의 계산을 통해, 임의의 위상 채널의 피크 특징점 쌍 시퀀스에서의 임의의 피크 특징점 쌍은 (tk, hashcodek)n로 표현될 수 있으며, 여기에서, n은 위상 채널의 시퀀스 번호 또는 시간-주파수 서브-다이어그램의 시퀀스 번호를 나타내고, tk는 hashcodek가 나타나는 시간이고, (tk, hashcodek)n은 오디오 핑거프린트이며 피크 특징점 쌍을 나타낼 수 있다. 오디오 핑거프린트는 수집 타임스탬프와 해시 값에 의해 나타낼 수 있다.
단계 11) 및 12)를 통해, M 피크 특징점 쌍 시퀀스에서, 각각의 피크 특징점 쌍 시퀀스에서의 각각의 피크 특징점 쌍은 오디오 핑거프린트에 의해 나타낼 수 있고, 각각의 피크 특징점 쌍 시퀀스는 오디오 핑거프린트 시퀀스에 대응하고, M 특징점 쌍 시퀀스는 M 오디오 핑거프린트 시퀀스에 대응한다. M 오디오 핑거프린트 시퀀스에 의해 형성된 세트는 오디오 데이터의 음향 특징을 구체화할 수 있다; 따라서, 이에 따라 매칭된 채널 식별자를 판단하기 위하여 오디오 인식이 수행될 수 있다.
도 7은 일부 실시예에 따른 전자 장치에 의한 오디오 수집으로부터 서버에 의한 오디오 핑거프린트 추출까지의 과정에 대한 개략도이다. 단계 701 내지 705는 전자 장치에 의해 완료되고, 단계 706 내지 708은 서버에 의해 완료된다. 단계 701에서, 전자 장치는 오디오 데이터를 획득하기 위하여 환경에서 실시간으로 방송되는 현재 채널의 오디오 입력을 수집한다. 단계 702 내지 단계 704는, 전자 장치가 오디오 데이터에 따라 오디오 특징 정보를 추출하는 단계 502 내지 506에 각각 대응한다. 단계 705에서, 전자 장치는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스에서 시간 데이터와 주파수 데이터를 개별적으로 압축하고, 압축된 시간 데이터와 압축된 주파수 데이터를 서버로 전송한다. 단계 706에서, 서버는 시간 데이터의 압축되고 수신된 데이터와 주파수 데이터의 압축되고 수신된 데이터를 개별적으로 압축 해제하여, 오디오 데이터의 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스를 획득한다. 단계 707 및 708은, 서버가 수신된 오디오 특징 정보에 따라 오디오 핑거프린트를 생성하는 단계 11) 및 단계 12)에 각각 대응한다.
도 8은 일부 실시예에 따른 채널 오디오 핑거프린트 데이터베이스를 실시간으로 버퍼링하는 단계들의 개략적인 흐름도이다. 방법(800)은, 각각의 채널 식별자에 대응하는 채널 오디오 데이터 흐름을 실시간으로 획득하는 단계(802)를 포함한다. 서버는 텔레비전 중계 위성에 의해 방송되는 각각의 채널의 위성 신호를 위성 신호 수신기를 통해 실시간으로 수신하고, 위성 신호를 비디오-오디오 데이터 흐름으로 변환하거나; 유선 텔레비전 채널 또는 네트워크 연결을 통해 각각의 채널의 비디오-오디오 데이터 흐름을 실시간으로 수신하는데 사용된다. 그 다음, 서버는, 비디오-오디오 데이터 흐름으로부터, 각각의 채널 식별자에 대응하는 채널 오디오 데이터 흐름을 추출하는데 사용된다.
방법(800)은, 각각의 채널 식별자에 대응하는 실시간 채널 오디오 데이터 흐름의 시간-주파수 다이어그램을 생성하기 위하여 각각의 채널 식별자에 대응하는 실시간 채널 오디오 데이터 흐름에 시간-주파수 분석을 수행하는 단계(804)를 더 포함한다.
서버는, 각각의 채널 식별자에 대응하는 획득된 채널 오디오 데이터 흐름에 대하여 실시간으로 처리를 수행하고 채널 오디오 데이터 흐름을 주파수가 8 kHZ이고 16비트로 양자화되는 PCM 채널 오디오 데이터 흐름으로서 다운 샘플링하는데 사용될 수 있다. 각각의 프레임의 오디오 신호 흐름을 획득하기 위하여, 프레이밍 처리가 1차원 시간 도메인에서 채널 오디오 데이터 흐름에 수행되어 각각의 프레임의 오디오 신호 흐름을 획득한다. 일부 실시예에서, 프레이밍 처리는 파라미터로서 128 ms의 윈도우 길이와 16 ms의 프레임 스택으로 수행될 수 있다. 각각의 프레임의 오디오 신호 흐름의 주파수 스펙트럼을 획득하기 위하여 STFT가 각각의 프레임의 오디오 신호 흐름에 수행된다.
서버는, 각각의 채널 식별자에 대응하는 실시간 채널 오디오 데이터 흐름의 시간-주파수 다이어그램을 획득하도록, 각각의 프레임의 오디오 신호 흐름의 주파수 스펙트럼에 대응하는 진폭 스펙트럼을 추출하고, 각각의 프레임의 진폭 스펙트럼을 시간 순으로 스택하는데 사용되고, 시간-주파수 다이어그램은 시간 및 주파수의 2차원 정보를 구체화할 수 있다.
방법(800)은 각각의 채널 식별자에 대응하는 실시간 채널 오디오 데이터 흐름의 시간-주파수 다이어그램을 사전 설정된 개수의 시간-주파수 서브-다이어그램으로 분할하는 단계(806)를 더 포함한다. 시간-주파수 다이어그램은 시간 모듈 방식으로 사전 설정된 개수의 시간-주파수 서브-다이어그램으로 분할되고, 각각의 시간-주파수 서브-다이어그램은 위상 채널에 대응한다. 일부 실시예에서, 사전 설정된 개수는 양의 정수 M으로 표현되며, 각각의 채널 식별자에 대응하는 실시간 채널 오디오 데이터 흐름의 시간-주파수 다이어그램에서 시간 차원의 독립 변수가 0, M, 2M, ...일 때 획득된 주파수 값은 제1 위상 채널에 대응하는 제1 시간-주파수 서브-다이어그램으로서 이용되고, 오디오 데이터의 시간-주파수 다이어그램에서 시간 차원의 독립 변수가 1, M+1, 2M+1, ...일 때 획득된 주파수 값은 제2 위상 채널에 대응하는 제2 시간-주파수 서브-다이어그램으로서 이용되고, 유사한 동작이 M 번째 위상 채널에 대응하는 M 번째 시간-주파수 서브-다이어그램이 획득될 때까지 수행된다.
방법(800)은, 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스를 구성하기 위하여 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점을 추출하는 단계(808)를 더 포함한다. 일부 실시예에서, 서버는 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램으로부터 피크 특징점을 추출하는데 사용되고, 추출된 피크 특징점은 에너지값이 사전 설정된 직사각형 이웃에서 최대에 도달하는 조건을 만족할 필요가 있다. 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점은 시간의 오름차순으로의 시퀀스로서 순위가 매겨진다.
방법(800)은, 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 쌍을 획득하기 위하여 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스에 페어링 처리를 수행하는 단계(810)를 더 포함한다.
단계 11)을 참조하면, 각각의 채널 식별자에 대응하는 N 번째 위상 채널 또는 N 번째 시간-주파수 서브-다이어그램에서의 임의의 피크 특징점을 나타내도록
Figure 112016067215923-pct00014
이 정의되며, N은 위상 채널의 시퀀스 번호 또는 시간-주파수 서브-다이어그램의 시퀀스 번호를 나타내고 0<N≤M이다; M은 전술한 사전 설정된 수이다; K는 N 번째 위상 채널에 대응하는 피크 특징점 시퀀스 N에서의 피크 특징점의 시퀀스 번호를 나타내고, K는 양의 정수이다; t'K는 피크 특징점이 N 번째 시간-주파수 서브-다이어그램에서 나타나는 시간을 나타낸다; 그리고, f'K는 피크 특징점의 주파수값을 나타낸다.
페어링을 통해, 쌍을 이루는 피크 특징점
Figure 112016067215923-pct00015
가
Figure 112016067215923-pct00016
에 대하여 획득되고, N은 위상 채널의 시퀀스 번호 또는 시간-주파수 서브-다이어그램의 시퀀스 번호를 나타내고 0<N≤M이다; B는 특징점 시퀀스 N에서 쌍을 이루는 피크 특징점의 시퀀스 번호를 나타내고, B는 양의 정수이다; tB는 쌍을 이루는 피크 특징점
Figure 112016067215923-pct00017
이 이 N 번째 시간-주파수 서브-다이어그램에서 나타나는 시간을 나타낸다; 그리고, fB는 쌍을 이루는 피크 특징점의 주파수값을 나타낸다.
각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 쌍은 4개의 요소로 된 집합 (t'K, f'K, Δf'K, Δt'K)N에 의해 표현될 수 있고, 여기에서 N은 위상 채널의 시퀀스 번호 또는 시간-주파수 서브-다이어그램의 시퀀스 번호를 나타낸다; Δt'K는 피크 특징점 쌍에서 2개의 피크 특징점 사이의 시간 차이를 나타내며, Δt'K = t'B - t'K이다; 그리고, Δf'K는 피크 특징점 쌍에서 2개의 피크 특징점 사이의 주파수 차이를 나타내며, Δf'K = f'B - f'K이다.
방법(800)은, 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트를 획득하기 위하여 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 쌍에 해시 연산을 수행하는 단계(812)를 더 포함한다.
전술한 바와 같이, 임의의 위상 채널의 피크 특징점 쌍 시퀀스에서 임의의 피크 특징점 쌍을 나타내기 위하여, 4개의 요소로 된 집합 (t'K, f'K, Δf'K, Δt'K)N이 사용된다. 4개의 요소로 된 집합에서의 파라미터는 다음과 같이 이해될 수 있다: (f'K, Δf'K, Δt'K)는 피크 특징점 쌍의 특징부를 나타내고, t'K는 (f'K, Δf'K, Δt'K)가 나타나는 시간을 나타내며, 수집 타임 스탬프를 나타낸다. 이 단계에서, 해시 연산은 (f'K, Δf'K, Δt'K)에 수행될 수 있으며, (f'K, Δf'K, Δt'K)는, hashcodek = H(f'K, Δf'K, Δt'K)와 같은 고정 비트량의 해시 코드를 이용하여 표현된다. 이 단계에서의 계산을 통해, 임의의 위상 채널의 피크 특징점 쌍 시퀀스에서의 임의의 피크 특징점 쌍은 (tK, hashcodeK)N으로 표현될 수 있으며, 여기에서, N은 위상 채널의 시퀀스 번호 또는 시간-주파수 서브-다이어그램의 시퀀스 번호를 나타내고, t'K는 hashcodeK가 나타나는 시간이고, (tK, hashcodeK)N은 오디오 핑거프린트이며, 피크 특징점 쌍을 나타낼 수 있다. 오디오 핑거프린트는 수집 타임스탬프와 해시 값에 의해 나타낼 수 있다.
이 단계를 통해, M 피크 특징점 쌍 시퀀스에서, 각각의 피크 특징점 쌍 시퀀스에서의 각각의 피크 특징점 쌍은 채널 오디오 핑거프린트에 의해 나타낼 수 있고, 각각의 피크 특징점 쌍 시퀀스는 채널 오디오 핑거프린트 시퀀스에 대응하고, M 피크 특징점 쌍 시퀀스는 M 채널 오디오 핑거프린트 시퀀스에 대응한다. 단계 804 내지 812에서, 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트는 획득된 채널 오디오 데이터 흐름에 따라 생성된다.
방법(800)은, 채널 타임스탬프가 현재 시간으로부터 사전 설정된 시간 길이 내에 있는 채널 오디오 핑거프린트와 채널 식별자 사이의 대응 관계를 채널 오디오 핑거프린트 데이터베이스에 주기적으로 버퍼링하는 단계(814)를 더 포함한다.
채널 오디오 핑거프린트 데이터베이스가 Y 위성 텔레비전 채널의 채널 오디오 핑거프린트를 버퍼링할 필요가 있다면, 사전 설정된 시간 길이(Tpre)의 채널 오디오 핑거프린트가 각각의 채널에 대하여 주기적으로 버퍼링될 필요가 있다. 일부 실시예에서, 현재 시간을 Tnow로 가정하면, 채널 타임스탬프 범위가 [Tnow-Tpre, Tnow]인 채널 오디오 핑거프린트가 채널 오디오 핑거프린트 데이터베이스에 버퍼링될 필요가 있다. 사전 설정된 시간 길이(Tpre)는 채널 오디오 핑거프린트 데이터베이스에서의 채널 오디오 핑거프린트의 생명 주기이고, 사전 설정된 시간 길이(Tpre)의 선택은 오디오 핑거프린트가 획득된 후에 대응하는 채널 오디오 핑거프린트가 매칭을 수행하기 위하여 채널 오디오 핑거프린트 데이터베이스에서 발견될 수 있다는 것을 보장할 필요가 있다. 사용자가 텔레비전 프로그램을 시청하기 위하여 상이한 방식을 가지는 것을 고려하면, 디지털 셋톱 박스에 의해 발생되는 지연(delay) 또는 텔레비전 프로그램의 생방송이 네트워크를 통해 시청될 때 존재하는 지연이 있을 수 있으며, 사전 설정된 시간 길이(Tpre)는 1 내지 10분에서 선택될 수 있다. 시간의 진행에 따라, 새로운 채널 오디오 핑거프린트가 끊임없이 생성되어 채널 오디오 핑거프린트 데이터베이스에 버퍼링되고, 상응하여, 채널 타임스탬프가 현재 시간으로부터 사전 설정된 시간 길이(Tpre)를 초과한 버퍼링된 채널 오디오 핑거프린트가 채널 오디오 핑거프린트 데이터베이스로부터 삭제된다.
채널 오디오 핑거프린트 데이터베이스에서 현재 시간(Tnow)에 버퍼링된 채널 오디오 핑거프린트는 표 1에 나타낸다:
채널 식별자 채널 타임스탬프가 [Tnow-Tpre, Tnow]인 버퍼링된 채널 오디오 핑거프린트
채널 1
Figure 112016067215923-pct00018
채널 2
Figure 112016067215923-pct00019
... ...
채널 y
Figure 112016067215923-pct00020
... ...
채널 Y
Figure 112016067215923-pct00021
표 1에서, ly는 채널 y에 대하여 채널 오디오 핑거프린트 데이터베이스에 현재 버퍼링된 채널 오디오 핑거프린트의 수를 나타내고,
Figure 112016067215923-pct00022
는 현재 시간에서 채널 y의 ly 번째 채널 오디오 핑거프린트의 채널 타임스탬프를 나타낸다. 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트는 채널 오디오 핑거프린트의 채널 타임스탬프에 따라 오름차순으로 순위가 매겨지고, 채널 타임스탬프는 [Tnow-Tpre, Tnow] 내에 유지되며, 다음과 같은 수식에 의해 표현된다.
Figure 112016067215923-pct00023
, 여기에서 y = 1, 2, ..., Y
오디오 채널 핑거프린트 데이터베이스에서 채널 오디오 핑거프린트를 검색하는 효율을 개선하기 위하여, 해시 값의 오름차순으로 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트에 대하여 인덱스가 생성된다.
... ...


채널 y
Figure 112016067215923-pct00024
Figure 112016067215923-pct00025
Figure 112016067215923-pct00026
Figure 112016067215923-pct00027
... ...
Figure 112016067215923-pct00028
Figure 112016067215923-pct00029
... ...
표 2에서,
Figure 112016067215923-pct00030
이다.
본 실시예에서, 단계 802 내지 814에서, 채널 타임스탬프가 현재 시간으로부터 사전 설정된 시간 길이 내에 있는 채널 오디오 핑거프린트와 채널 식별자 사이의 대응 관계가 채널 오디오 핑거프린트 데이터베이스에 주기적으로 버퍼링된다. 이러한 방식으로, 상대적으로 작은 저장 공간이 사용될 수 있으며, 버퍼가 실시간으로 업데이트되는 것이 보장되어, 이에 의해 전자 장치에 의해 요구되고 현재 채널에서 방송되는 오디오 입력과 매칭하는 사전 설정 정보가 전자 장치에 실시간으로 제공되는 것이 보장된다.
도 9는 일부 실시예에 따른 실시간으로 버퍼링된 채널 오디오 핑거프린트 데이터베이스에 따라, 오디오 핑거프린트와 매칭하는 채널 오디오 핑거프린트에 대응하는 매칭된 채널 식별자를 판단하는 단계(606)의 개략적인 흐름도이다. 일부 실시예에서, 단계 606는 다음의 단계들을 포함한다.
단계 902: 오디오 핑거프린트와 채널 오디오 핑거프린트 데이터베이스에서 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트의 유사도(similarity) 측정값을 별도로 계산.
전자 장치로부터의 오디오 핑거프린트 시퀀스가 다음과 같다고 가정한다:
Figure 112016067215923-pct00031
여기에서, τ는 수집 타임스탬프이고 사운드 녹음의 시작 포인트로부터의 시간 오프셋일 수 있으며, hashcode는 오디오 핑거프린트의 해시 값이고, L은 오디오 핑거프린트 시퀀스에서의 오디오 핑거프린트의 개수이다.
일부 실시예에서, 각각의 채널 식별자에 대응하고 오디오 핑거프린트의 수집 타임스탬프와 채널 오디오 핑거프린트의 채널 타임스탬프에 의해 형성되는 타임스탬프 쌍 (ty, τ)을 획득하도록, 오디오 핑거프린트와 동일한 해시 값을 갖는 채널 오디오 핑거프린트가 채널로부터 차례로 채널 오디오 핑거프린트 데이터베이스에서 검색되고, 여기에서 오디오 핑거프린트와 채널 오디오 핑거프린트는 동일한 해시 값을 가지며, y는 채널 식별자를 나타내며, ty는 채널 오디오 핑거프린트 데이터베이스에서 채널 식별자 y에 대응하는 채널 오디오 핑거프린트의 채널 타임스탬프를 나타낸다.
각각의 채널 식별자에 대응하는 타임스탬프 쌍 (ty, τ)에 따라, 통계 수집이 각각의 타임스탬프 쌍에서의 채널 타임스탬프와 수집 타임스탬프 사이의 차이에 대응하는 타임스탬프 쌍의 개수의 히스토그램에 수행된다. 각각의 채널 식별자에 대응하는 히스토그램에서의 최대 피크는 오디오 핑거프린트와 채널 오디오 핑거프린트 데이터베이스에서 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트의 유사도 측정값으로서 사용된다. 유사도 측정값은 2개의 데이터의 유사도를 나타내는 양자화된 수치를 말한다.
도 10에 도시된 바와 같이, 오디오 핑거프린트가 채널의 채널 오디오 핑거프린트와 매칭하지 않으면, 히스토그램에서 명확한 피크가 없다. 도 11에 도시된 바와 같이, 오디오 핑거프린트가 채널의 채널 오디오 핑거프린트와 매칭하면, 히스토그램에서 명확한 피크가 있다. 따라서, 최대 피크는 오디오 핑거프린트와 채널의 채널 오디오 핑거프린트의 유사도 측정값으로서 사용될 수 있다.
904: 계산된 유사도 측정값에서의 최대값이 사전 설정된 임계값을 초과하는지 판단하고; 초과하는 경우, 단계 906을 수행하고, 초과하지 않는 경우, 단계 908을 수행.
계산을 통해 획득된 각각의 채널 식별자에 대응하는 유사도 측정값은 값의 내림차순으로 순위가 매겨지고, 제1 위치로 순위가 매겨진 유사도 측정값이 유사도 측정값에서의 최대값이며, 최대값이 사전 설정된 임계값을 초과하는지 판단된다. 유사도 측정값의 최대값은 오디오 핑거프린트에 가장 유사한 채널 오디오 핑거프린트에 대응한다. 사전 설정된 임계값은 20 내지 25이다.
단계 906: 유사도 측정값의 최대값에 대응하는 채널 오디오 핑거프린트에 대응하는 채널 식별자를 매칭된 채널 식별자로서 판단. 유사도 측정값의 최대값이 사전 설정된 임계값을 초과하면, 이는 유사도 측정값의 최대값에 대응하는 채널 오디오 핑거프린트가 오디오 핑거프린트와 매칭하고, 채널 오디오 핑거프린트에 대응하는 채널 식별자가 매칭된 채널 식별자로서 판단된다는 것을 나타낸다.
단계 908: 인식이 오디오 데이터에 수행될 수 없다고 판단. 유사도 측정값의 최대값이 사전 설정된 임계값을 초과하지 않는다면, 이는 오디오 핑거프린트에 가장 유사한 채널 오디오 핑거프린트도 오디오 핑거프린트와 매칭할 수 없다는 것을 나타낸다. 인식이 오디오 데이터에 수행될 수 없다는 것이 판단될 수 있고, 전자 장치가 오디오 입력을 재수집하도록 요청하기 위하여 실패한 인식을 나타내는 메시지가 리턴될 수 있다.
본 실시예에서, 단계 902 내지 908에서, 매칭된 채널 식별자를 판단하기 위하여 오디오 인식을 수행하도록, 오디오 핑거프린트의 매칭 정도가 유사도 측정값을 통해 측정된다. 따라서, 인식 정확도는 높으며, 검색은 빠르다.
도 12는 일부 실시예에 따른 정보 획득 장치의 구조 블록도이다. 정보 획득 장치는 전술한 실시예의 정보 획득 방법을 구현하는데 사용된다. 장치는, 이벤트 검출 모듈(1202), 오디오 수집 모듈(1204), 전송 모듈(1206) 및 사전 설정 정보 수신 모듈(1208)을 포함한다.
이벤트 검출 모듈(1202)은 트리거링 이벤트를 검출하는데 사용된다. 오디오 수집 모듈(1204)은 오디오 데이터를 획득하기 위하여 환경에서 실시간으로 방송되는 현재 채널의 오디오 입력을 수집하는데 사용된다. 전송 모듈(1206)은 오디오 데이터, 오디오 데이터에 따라 추출된 오디오 특징 정보 또는 오디오 데이터에 따라 생성된 오디오 핑거프린트를 서버에 전송하여, 서버가 오디오 데이터, 오디오 특징 정보 또는 오디오 핑거프린트에 따라 오디오 핑거프린트를 획득하고, 실시간으로 버퍼링된 채널 오디오 핑거프린트 데이터베이스에 따라 오디오 핑거프린트와 매칭하는 채널 오디오 핑거프린트에 대응하는 매칭된 채널 식별자를 판단한다. 사전 설정 정보 수신 모듈(1208)은, 사전 설정 정보 데이터베이스로부터 서버에 의해 획득되고, 서버에 의해 전송되고, 매칭된 채널 식별자에 대응하는 사전 설정 정보를 수신한다.
일부 실시예에서, 오디오 핑거프린트 수집은 수집 시간 정보에 대응하고, 사전 설정 정보 수신 모듈(1208)은, 사전 설정 정보 데이터베이스로부터 서버에 의해 획득되고, 서버에 의해 전송되고, 매칭된 채널 식별자에 대응하고, 수집 시간 정보와 매칭하는 시간 속성을 갖는 사전 설정 정보를 수신하는데 더 사용된다.
도 13은 일부 실시예에 따른 정보 획득 장치의 구조 블록도이다. 정보 획득 장치는, 사전 설정 정보 디스플레이 모듈(1209), 명령 수신 모듈(1210) 및 요청 전송 모듈(1211)을 더 포함한다. 사전 설정 정보 디스플레이 모듈(1209)은 사전 설정 정보를 디스플레이하는데 사용된다. 명령 수신 모듈(1210)은 디스플레이된 사전 설정 정보에 대응하는 수치 이전 명령을 수신하는데 사용된다. 요청 전송 모듈(1211)은, 수치 이전 명령에 따라, 이전량, 제1 수치 계정 식별자 및 제2 수치 계정 식별자를 반송하는 수치 이전 요청을 서버에 전송하는데 사용되어, 서버가, 수치 이전 요청에 따라, 제1 수치 계정 식별자에 대응하는 제1 수치 계정으로부터 이전량을 빼고, 수치 이전 요청에 따라, 제2 수치 계정 식별자에 대응하는 제2 수치 계정에 이전량을 더한다.
일 실시예에서, 사전 설정 정보는 상품 정보이고, 수치 이전 명령은 지불 명령이다. 요청 전송 모듈(1211)은, 지불 명령에 따라, 지불량, 지불 계정 식별자 및 지불 수신 계정 식별자를 반송하는 지불 요청을 서버에 전송하는데 더 사용되어, 서버가, 지불 요청에 따라, 지불 계정 식별자에 대응하는 지불 계정으로부터 지불량을 빼고, 지불 요청에 따라, 지불 수신 계정 식별자에 대응하는 지불 수신 계정에 지불량을 더한다.
일부 실시예에서, 명령 수신 모듈(1210)은 디스플레이된 사전 설정 정보에 대응하는 정보 수집 명령을 수신하는데 사용되고, 요청 전송 모듈(1211)은 정보 수집 명령에 따라 수집 리스트에서 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 기록하는데 사용된다.
이 대신에, 명령어 수신 모듈(1210)은 디스플레이된 사전 설정 정보에 대응하는 디스플레이 닫기 명령을 수신하는데 사용되고, 요청 전송 모듈(1211)은 디스플레이 닫기 명령에 따라 사전 설정 정보가 디스플레이되는 인터페이스를 닫는데 사용된다.
이 대신에, 명령어 수신 모듈(1210)은 디스플레이된 사전 설정 정보에 대응하는 정보 공유 명령을 수신하는데 사용되고, 요청 전송 모듈(1211)은 정보 공유 명령에 따라 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 정보 공유 명령에 의해 지정된 단말기로 전송하는데 사용된다.
이 대신에, 명령어 수신 모듈(1210)은 디스플레이된 사전 설정 정보에 대응하는 정보 공유 명령을 수신하는데 사용되고, 요청 전송 모듈(1211)은 정보 공유 명령에 따라 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 반송하는 정보 공유 요청을 서버에 전송하는데 사용되어, 서버가, 정보 공유 요청에 따라, 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 정보 공유 요청에서 반송되는 목표 사용자 식별자에 대응하는 단말기에 전송한다.
도 14는 일부 실시예에 따른 정보 획득 장치의 구조 블록도이다. 정보 획득 장치는 오디오 특징 정보 추출 모듈(1205)을 더 포함한다. 오디오 특징 정보 추출 모듈(1205)은 오디오 데이터에 시간-주파수 분석을 수행하여 오디오 데이터의 시간-주파수 다이어그램을 생성하고, 시간-주파수 다이어그램을 사전 설정된 개수의 시간-주파수 서브-다이어그램으로 분할하고, 각각의 시간-주파수 서브-다이어그램의 피크 특징점을 추출하여 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점 시퀀스를 구성하는데 사용된다.
정보 획득 장치에서, 트리거링 이벤트가 검출될 때, 오디오 데이터는 환경 내의 텔레비전과 같은 장치에 의해 실시간으로 방송되는 현재 채널의 오디오 입력을 수집함으로써 획득된다; 그리고, 오디오 데이터, 오디오 특징 정보 또는 오디오 핑거프린트가 서버로 전송되어, 서버가 오디오 데이터, 오디오 특징 정보 또는 오디오 핑거프린트에 따라 오디오 핑거프린트를 획득하고 매칭된 채널 식별자를 결정하기 위하여 오디오 인식을 더 수행한다. 매칭된 채널 식별자는, 서버에 의해 판단되는, 오디오 수집 동안 방송되고 있는 프로그램의 채널 식별자이다. 수신된 사전 설정 정보는 방송되고 있는 프로그램에 관련된 정보이다. 이러한 방식으로, 정보가 사운드 인식에 의해 획득된다. 오디오 수집이 전자 장치에서 트리거링되기만 하면, 서버가 현재 채널에서 방송되고 있는 프로그램에 관련된 정보를 획득하기 위하여 오디오 인식을 수행할 수 있어, 이에 의해 정보 획득 효율을 상당히 개선한다.
도 15는 일부 실시예에 따른 정보 푸시 장치의 구조 블록도이다. 장치는, 데이터 수신 모듈(1502), 오디오 핑거프린트 획득 모듈(1504), 매칭 채널 식별자 판단 모듈(1506) 및 사전 설정 정보 전송 모듈(1508)을 포함한다.
데이터 수신 모듈(1502)은, 오디오 데이터, 오디오 데이터에 따라 추출된 오디오 특징 정보 또는 오디오 데이터에 따라 생성된 오디오 핑거프린트를 수신하는데 사용된다. 오디오 핑거프린트 획득 모듈(1504)은, 수신된 오디오 핑거프린트를 획득하거나, 수신된 오디오 데이터에 따라 오디오 핑거프린트를 생성하거나, 또는 수신된 오디오 특징 정보에 따라 오디오 핑거프린트를 생성하는데 사용된다.
매칭 채널 식별자 판단 모듈(1506)은, 실시간으로 버퍼링된 채널 오디오 핑거프린트 데이터베이스에 따라, 오디오 핑거프린트와 매칭하는 채널 오디오 핑거프린트에 대응하는 매칭된 채널 식별자를 판단하는데 사용된다. 사전 설정 정보 전송 모듈(1508)은, 사전 설정 정보 데이터베이스로부터 매칭된 채널 식별자에 대응하는 사전 설정 정보를 획득하고, 전자 장치로 사전 설정 정보를 전송하는데 사용된다.
일부 실시예에서, 오디오 핑거프린트 수집은 수집 시간 정보에 대응하고, 사전 설정 정보 전송 모듈(1508)은, 사전 설정 정보 데이터베이스로부터, 매칭된 채널 식별자에 대응하고 수집 시간 정보와 매칭하는 시간 속성을 갖는 사전 설정 정보를 획득하고; 그리고 사전 설정 정보를 전자 장치로 전송하는데 사용된다.
도 16은 일부 실시예에 따른 정보 푸시 장치의 구조 블록도이다. 정보 푸시 장치는 수치 이전 요청 수신 모듈(1509) 및 수치 이전 실행 모듈(1510)을 더 포함한다. 수치 이전 요청 수신 모듈(1509)은, 이전량, 제1 수치 계정 식별자 및 제2 수치 계정 식별자를 반송하고 사전 설정 정보에 응답하여 전자 장치에 의해 전송되는 수치 이전 요청을 수신하도록 사용된다. 수치 이전 실행 모듈(1510)은, 수치 이전 요청에 따라, 제1 수치 계정 식별자에 대응하는 제1 수치 계정으로부터 이전량을 빼고, 수치 이전 요청에 따라, 제2 수치 계정 식별자에 대응하는 제2 수치 계정에 이전량을 더하는데 사용된다.
일부 실시예에서, 사전 설정 정보는 상품 정보이고, 수치 이전 요청 모듈(1509)은, 지불량, 지불 계정 식별자 및 지불 수신 계정 식별자를 반송하고 상품 정보에 응답하여 전자 장치에 의해 전송되는 지불 요청을 수신하는데 더 사용된다. 수치 이전 실행 모듈(1510)은, 지불 요청에 따라, 지불 계정 식별자에 대응하는 지불 계정으로부터 지불량을 빼고, 지불 요청에 따라, 지불 수신 계정 식별자에 대응하는 지불 수신 계정에 지불량을 더하는데 사용된다.
도 17은 일부 실시예에 따른 정보 푸시 장치의 구조 블록도이다. 정보 푸시 장치는, 정보 공유 요청 수신 모듈(1511) 및 정보 공유 실행 모듈(1512)을 더 포함한다. 정보 공유 요청 수신 모듈(1511)은, 사전 설정 정보에 응답하여 전자 장치에 의해 전송되고 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 반송하는 정보 공유 요청을 수신하는데 사용된다. 정보 공유 실행 모듈(1512)은, 정보 공유 요청에 따라, 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 정보 공유 요청에 반송되는 목표 사용자 식별자에 대응하는 단말기로 전송하는데 사용된다.
일부 실시예에서, 오디오 특징 정보는 오디오 데이터의 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점 시퀀스다. 오디오 핑거프린트 획득 모듈(1504)은, 오디오 데이터의 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점 쌍을 획득하기 위하여, 오디오 데이터의 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스에서의 각각의 피크 특징점에 페어링 처리를 수행하고, 오디오 핑거프린트를 획득하기 위하여 오디오 데이터의 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점 쌍에 따라 해시 연산을 수행하는데 더 사용된다.
도 18은 일부 실시예에 따른 정보 푸시 장치의 구조 블록도이다. 일부 실시예에서, 정보 푸시 장치는, 각각의 채널 식별자에 대응하는 채널 오디오 데이터 흐름을 실시간으로 획득하고, 각각의 채널 식별자에 대응하는 실시간 채널 오디오 데이터 흐름의 시간-주파수 다이어그램을 생성하기 위하여 각각의 채널 식별자에 대응하는 실시간 채널 오디오 데이터 흐름에 시간-주파수 분석을 수행하고, 각각의 채널 식별자에 대응하는 실시간 채널 오디오 데이터 흐름의 시간-주파수 다이어그램을 사전 설정된 개수의 시간-주파수 서브-다이어그램으로 분할하고, 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스를 구성하도록 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점을 추출하고, 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 쌍을 획득하기 위하여 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스에 페어링 처리를 수행하고, 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트를 획득하기 위하여 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 쌍에 해시 연산을 수행하고, 채널 타임스탬프가 현재 시간으로부터 사전 설정된 시간 길이 내에 있는 채널 오디오 핑거프린트와 채널 식별자 사이의 대응 관계를 채널 오디오 핑거프린트 데이터베이스에 주기적으로 버퍼링하는데 사용되는, 채널 오디오 핑거프린트 데이터베이스 실시간 버퍼링 모듈(1501)을 더 포함한다.
일부 실시예에서, 매칭 채널 식별자 판단 모듈(1506)은, 오디오 핑거프린트와 채널 오디오 핑거프린트 데이터베이스에서 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트의 유사도 측정값을 별도로 계산하고; 계산된 유사도 측정값에서의 최대값이 사전 설정된 임계값을 초과하는지 판단하고; 초과하는 경우, 유사도 측정값의 최대값에 대응하는 채널 오디오 핑거프린트에 대응하는 채널 식별자를 매칭된 채널 식별자로서 판단하는데 사용된다. 계산된 유사도 측정값에서의 최대값이 사전 설정된 임계값을 초과하지 않는다고 판단하면, 매칭 채널 식별자 판단 모듈(1506)은 인식이 오디오 데이터에 수행될 수 없다고 판단한다.
정보 푸시 장치에서, 오디오 핑거프린트를 획득하기 위하여, 전자 장치에 의해 수집되는 오디오 데이터, 오디오 특징 정보 및 오디오 핑거프린트 중 하나가 수신된다. 오디오 핑거프린트와 매칭하는 채널 오디오 핑거프린트에 대응하는 매칭된 채널 식별자는 실시간으로 버퍼링되는 채널 오디오 핑거프린트 데이터베이스를 이용하여 판단된다. 매칭된 채널 식별자는, 서버에 의해 판단되는, 오디오 수집 동안 방송되고 있는 프로그램의 채널 식별자이다. 서버에 의해 전자 장치로 전송되고 매칭된 채널 식별자에 대응하는 사전 설정 정보는 방송되고 있는 프로그램에 관련된 정보이다. 따라서, 텔레비전과 같은 사용자가 위치되어 있는 환경에 있는 장치가 실시간 사운드 정보를 방송할 때, 전자 장치가 필요로 하는 정보를 전자 장치로 효율적으로 푸시하기 위하여 사용자가 방송되는 실시간 사운드 정보에 관한 정보를 효율적으로 획득할 수 있도록 원격 서비스 지원이 제공된다.
도 19는 일부 실시예에 따른 정보 상호 작용 시스템의 구조 블록도이다. 시스템은 전자 장치 및 서버를 포함하며, 전자 장치는 전술한 실시예의 정보 획득 방법을 구현하는데 사용되고, 서버는 전술한 실시예의 정보 푸시 방법을 구현하는데 사용된다. 전자 장치는, 트리거링 이벤트를 검출할 때, 환경에서 실시간으로 방송되는 현재 채널의 오디오 입력을 수집하여 오디오 데이터를 획득하는데 사용된다. 전자 장치는, 오디오 데이터, 오디오 데이터에 따라 추출된 오디오 특징 정보 또는 오디오 데이터에 따라 생성된 오디오 핑거프린트를 서버에 전송하는데 더 사용된다.
서버는, 수신된 오디오 핑거프린트를 획득하거나, 수신된 오디오 데이터에 따라 오디오 핑거프린트를 생성하거나, 수신된 오디오 특징 정보에 따라 오디오 핑거프린트를 수신하는데 사용된다. 서버는, 실시간으로 버퍼링된 채널 오디오 핑거프린트 데이터베이스에 따라, 오디오 핑거프린트와 매칭하는 채널 오디오 핑거프린트에 대응하는 매칭된 채널 식별자를 판단하는데 더 사용된다. 서버는, 사전 설정 정보 데이터베이스로부터, 매칭된 채널 식별자에 대응하는 사전 설정 정보를 획득하여, 사전 설정 정보를 전자 장치로 전송하는데 더 사용된다.
전자 장치는, 사전 설정 정보를 수신하는데 더 사용된다. 일부 실시예에서, 오디오 핑거프린트 수집은 수집 시간 정보에 대응하고, 서버는, 사전 설정 정보 데이터베이스로부터, 매칭된 채널 식별자에 대응하고 수집 시간 정보와 매칭하는 시간 속성을 갖는 사전 설정 정보를 획득하여, 사전 설정 정보를 전자 장치로 전송하는데 더 사용된다.
전자 장치는, 사전 설정 정보를 디스플레이하고, 디스플레이된 사전 설정 정보에 대응하는 수치 이전 명령을 수신하고, 수치 이전 명령에 따라 이전량, 제1 수치 계정 식별자 및 제2 수치 계정 식별자를 반송하는 수치 이전 요청을 서버로 전송하는데 더 사용된다. 서버는, 수치 이전 요청에 따라, 제1 수치 계정 식별자에 대응하는 제1 수치 계정으로부터 이전량을 빼고, 수치 이전 요청에 따라, 제2 수치 계정 식별자에 대응하는 제2 수치 계정에 이전량을 더하는데 사용된다.
일부 실시예에서, 사전 설정 정보는 상품 정보이고, 전자 장치는 상품 정보를 디스플레이하고; 디스플레이된 상품 정보에 대응하는 지불 명령을 수신하고; 그리고, 지불 명령에 따라, 지불량, 지불 계정 식별자 및 지불 수신 계정 식별자를 반송하는 지불 요청을 서버에 전송하는데 더 사용된다. 서버는, 지불 요청에 따라, 지불 계정 식별자에 대응하는 지불 계정으로부터 지불량을 빼고, 지불 요청에 따라, 지불 수신 계정 식별자에 대응하는 지불 수신 계정에 지불량을 더하는데 더 사용된다.
일부 실시예에서, 전자 장치는 사전 설정 정보를 디스플레이하고, 디스플레이된 사전 설정 정보에 따라 정보 공유 명령을 수신하고, 정보 공유 명령에 따라 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 반송하는 정보 공유 요청을 서버에 전송하는데 더 사용된다. 서버는, 정보 공유 요청에 따라, 사전 설정 정보 또는 사전 설정 정보의 액세스 경로를 정보 공유 요청에서 반송되는 목표 사용자 식별자에 대응하는 단말기에 전송하는데 더 사용된다.
일부 실시예에서, 서버는, 각각의 채널 식별자에 대응하는 채널 오디오 데이터 흐름을 실시간으로 획득하고, 각각의 채널 식별자에 대응하는 실시간 채널 오디오 데이터 흐름의 시간-주파수 다이어그램을 생성하기 위하여 각각의 채널 식별자에 대응하는 실시간 채널 오디오 데이터 흐름에 시간-주파수 분석을 수행하고, 각각의 채널 식별자에 대응하는 실시간 채널 오디오 데이터 흐름의 시간-주파수 다이어그램을 사전 설정된 개수의 시간-주파수 서브-다이어그램으로 분할하고, 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스를 구성하도록 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점을 추출하고, 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 쌍을 획득하기 위하여 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스에 페어링 처리를 수행하고, 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트를 획득하기 위하여 각각의 채널 식별자에 대응하는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 쌍에 해시 연산을 수행하고, 채널 타임스탬프가 현재 시간으로부터 사전 설정된 시간 길이 내에 있는 채널 오디오 핑거프린트와 채널 식별자 사이의 대응 관계를 채널 오디오 핑거프린트 데이터베이스에 주기적으로 버퍼링하는데 더 사용된다.
일부 실시예에서, 전자 장치는, 오디오 데이터에 시간-주파수 분석을 수행하여 오디오 데이터의 시간-주파수 다이어그램을 생성하고, 시간-주파수 다이어그램을 사전 설정된 개수의 시간-주파수 서브-다이어그램으로 분할하고, 각각의 시간-주파수 서브-다이어그램의 피크 특징점을 추출하여 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점 시퀀스를 구성하는데 더 사용된다. 서버는, 오디오 데이터의 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점 쌍을 획득하기 위하여 오디오 데이터의 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스에서의 각각의 피크 특징점에 페어링 처리를 수행하고, 오디오 핑거프린트를 획득하기 위하여 오디오 데이터의 각각의 시간-주파수 서브-다이어그램에 대응하는 피크 특징점 쌍에 따라 해시 연산을 수행하는데 더 사용된다.
일부 실시예에서, 전자 장치는 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스에서 시간 데이터 및 주파수 데이터를 개별적으로 압축하고, 압축된 시간 데이터 및 압축된 주파수 데이터를 서버에 전송하는데 사용될 수 있다. 서버는, 오디오 데이터의 각각의 시간-주파수 서브-다이어그램의 피크 특징점 시퀀스를 획득하기 위하여 시간 데이터의 압축되고 수신된 데이터와 주파수 데이터의 압축되고 수신된 데이터를 개별적으로 압축 해제하는데 사용될 수 있다.
일부 실시예에서, 서버는, 오디오 핑거프린트와 채널 오디오 핑거프린트 데이터베이스에서 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트의 유사도 측정값을 별도로 계산하고; 계산된 유사도 측정값에서의 최대값이 사전 설정된 임계값을 초과하는지 판단하고; 초과하는 경우, 유사도 측정값의 최대값에 대응하는 채널 오디오 핑거프린트에 대응하는 채널 식별자를 매칭된 채널 식별자로서 판단하는데 더 사용된다. 서버는, 계산된 유사도 측정값에서의 최대값이 사전 설정된 임계값을 초과하지 않는다고 판단하면, 인식이 오디오 데이터에 수행될 수 없다고 판단하는데 더 사용된다.
정보 상호 작용 시스템에서, 트리거링 이벤트를 검출할 때, 전자 장치는, 환경 내에서 텔레비전과 같은 장치에 의해 실시간으로 방송되는 현재 채널의 오디오 입력을 수집함으로써 오디오 데이터를 획득하고; 오디오 데이터, 오디오 특징 정보 또는 오디오 핑거프린트를 서버로 전송하여, 서버가, 오디오 데이터, 오디오 특징 정보 또는 오디오 핑거프린트에 따라 오디오 핑거프린트를 획득하고, 매칭된 채널 식별자를 결정하도록 오디오 인식을 수행한다. 매칭된 채널 식별자는 서버에 의해 판단된 오디오 수집 동안 방송되고 있는 프로그램의 채널 식별자이다. 수신된 사전 설정 정보는 방송되고 있는 프로그램에 관한 정보이다. 이러한 방식으로, 정보는 사운드 인식을 이용하여 능숙하게 획득된다. 오디오 검출이 전자 장치에 트리거링되기만 하면, 서버는 현재 채널에 방송되고 있는 프로그램에 관한 정보를 획득하도록 오디오 인식을 수행할 수 있어, 이에 의해 정보 획득 및 푸시 효율을 상당히 개선한다.
도 20은 일부 실시예에 따른 정보 획득 시스템의 작동 환경의 개략도이다. 일부 실시예에서, 정보 획득 방법이 휴대 전화기에 적용되는 예가 설명을 위하여 사용된다. 도 20에 도시된 바와 같이, 애플리케이션 시나리오는 다음의 단계들을 포함한다:
서버는 각각의 채널 식별자에 대응하는 채널 오디오 데이터 흐름을 실시간으로 획득하고, 획득된 채널 오디오 데이터 흐름에 따라, 각각의 채널 식별자에 대응하는 채널 오디오 핑거프린트를 생성한다. 채널 오디오 핑거프린트는 채널 타임스탬프를 포함한다. 서버는 채널 타임스탬프가 현재 시간으로부터 사전 설정된 시간 길이 내에 있는 채널 오디오 핑거프린트와 채널 식별자 사이의 대응 관계를 채널 오디오 핑거프린트 데이터베이스에 주기적으로 버퍼링한다.
사용자가 가정에서 채널의 텔레비전 프로그램을 시청하고 사용자의 관심을 끄는 광고를 볼 때, 사용자는 즉시 휴대 전화기를 흔든다. 휴대 전화기는 휴대 전화기의 모션 센서를 이용하여 휴대 전화기의 모션을 감지하고, 5 내지 15초 동안 지속되고, 샘플링 주파수가 8 kHz이고, 16 비트로 양자화된 PCM 오디오를 획득하도록 환경 사운드를 녹음하기 위하여 마이크를 작동시키고, 녹음된 오디오는 오디오 데이터이다. 그 다음, 마이크는 오디오 데이터로부터 특징 추출을 수행함으로써 오디오 특징 정보를 획득하고; 오디오 특징 정보에 따라, 수집 타임스탬프를 포함하는 오디오 핑거프린트를 생성하고; 그리고, 와이파이(무선파를 통해 무선 네트워크 액세스를 가능하게 하는 기술), 2G(2세대 이동 통신 기술), 3G(3세대 이동 통신 기술) 또는 4G(4세대 이동 통신 기술)와 같은 통신 방식으로 서버에 오디오 핑거프린트를 전송한다.
서버는, 오디오 핑거프린트를 획득하고, 실시간으로 버퍼링된 채널 오디오 핑거프린트 데이터베이스에 따라, 오디오 핑거프린트와 매칭하는 채널 오디오 핑거프린트에 대응하는 매칭된 채널 식별자를 판단한다. 서버에 저장된 사전 설정 정보 데이터베이스에서의 사전 설정 정보는 상품 정보이다; 그리고, 상품 정보의 각각은 채널 식별자에 대응하고, 시작 시간 마크와 종료 시간 마크를 포함한다. 서버는 채널 식별자가 매칭된 채널 식별자이고 수집 타임스탬프가 시작 시간 마크와 종료 시간 마크에 의해 표시되는 시간 범위 내에 있는 상품 정보에 대하여 사전 설정 정보 데이터베이스를 검색하고; 그리고, 검색된 상품 정보를 휴대 전화기에 전송하며, 상품 정보는 사용자가 시청하는 광고에 관련된 상품 정보이다.
휴대 전화기는 상품 정보를 디스플레이하고, 상품 이름, 상품 사진, 상품 가격, 상품 소개 및 판촉 정보와 같은 정보를 디스플레이할 수 있다. 사용자는, 공유, 수집 또는 닫기와 같은 조작을 상품 정보에 수행할 수 있고, 지불 명령을 트리거하도록 바로 주문을 할 수 있다. 주문을 한 후에, 사용자는 수취인 정보를 결정할 수 있고, 그 다음 지불한다. 사용자는 온라인 지불을 하도록 선택하고 지불을 완료하기 위해 서버에 지불 요청을 전송할 수 있거나, 또는 지불 작업을 완료하기 위하여 지불 애플리케이션을 이용하여 서버에 지불 요청을 전송하도록 선택할 수 있거나, 또는 사용자가 배달시 지불을 선택할 수도 있다. 그 다음, 사용자는 쇼핑 과정을 완료하기 위하여 배달을 기다린다.
도 21a 내지 21e는, 일부 실시예에 따른, 정보 획득을 위한 사용자 인터페이스의 예시적인 실시예이다. 도 21a는 소셜 네트워킹 애플리케이션(2100)에서 오디오 입력(2106)을 캡처하기 위한 예시적인 사용자 인터페이스이다. 오디오 입력은 텔레비전에 방송되는 텔레비전 광고(2108)로부터 캡처될 수 있다. 일부 실시예에서, 전자 장치(104)는 전자 장치의 모션 센서에 의해 검출되는 "흔들기(shake)" 모션(2102) 또는 근처의 사운드를 검출하기 위하여 전자 장치(104)의 마이크를 개시하도록 버튼(2104)을 누르는 것과 같은 트리거링 이벤트에 응답하여 오디오 입력을 캡처한다. 캡처된 오디오 입력은 시스템 서버(108)로 전송된다.
도 21b는 서버 시스템(108)으로부터 수신되고 전자 장치(104)에 디스플레이되는 제품 정보(2110)의 예시적인 실시예를 도시한다. 제품 정보(2110)는 오디오 입력(2106)에 기초하여 획득되고, 텔레비전 광고(2108)와 연관된다. 일부 실시예에서, 제품 정보는 오디오 입력(2106)의 적어도 하나의 오디오 특징을 텔레비전 광고(2108)의 오디오로부터 추출된 서명 오디오 특징과 비교함으로써 획득된다. 실시예에서, 제품 정보는 소셜 네트워킹 플랫폼(2100) 내에 디스플레이된다. 사용자 계정과 연관된 거래 정보를 이용하여 제품의 구입 주문이 소셜 네트워킹 플랫폼(2100)에서 제출되어 처리될 수 있다.
도 21c에서, 일부 실시예에서, 판매자의 목록(2114)이 제품 정보에 기초하여 식별되어 사용자에게 제공될 수 있다. 사용자는 도 21d에 도시된 바에 바와 같이 제품을 구매할 판매자 중 하나를 선택할 수 있다.
도 21e에서, 일부 실시예에서, 서버 시스템(108)이 소셜 네트워킹 애플리케이션 내의 사용자 연락처(예를 들어, Li Lei)로부터 제품과 관련된 활동을 검출할 때 전자 장치(104)에 통지가 전송된다. 예를 들어, 서버는 Li Lei가 방금 제품에 대한 리뷰를 포스팅한 것을 검출한다. 따라서, 사용자가 소셜 네트워킹 애플리케이션 내의 사용자 연락처와 채팅하기 원하는지 질문하기 위하여 통지가 사용자에게 제공된다. 도 21a 내지 21e의 추가적인 상세한 실시예는 도 22a 내지 22d의 방법(2200)과 함께 예시된다.
도 22a 내지 22d는, 일부 실시예에 따른, 오디오 입력에 기초한 정보 획득 방법(2200)을 나타내는 흐름도이다. 일부 실시예에서, 방법(2200)은 하나 이상의 프로세서 및 메모리를 갖는 전자 장치(104)에 의해 수행된다. 예를 들어, 일부 실시예에서, 방법(2200)은 전자 장치(104)(도 1a 및 3) 또는 이의 컴포넌트에 의해 수행된다. 일부 실시예에서, 방법(2200)은 비일시적인 컴퓨터 판독 가능한 저장 매체에 저장된 명령에 의해 제어되고, 명령어는 전자 장치의 하나 이상의 프로세서에 의해 실행된다. 선택적인 동작은 점선으로 표시된다(예를 들어, 점선 경계선을 갖는 상자).
방법(2200)에서, 소셜 네트워킹 애플리케이션을 실행하는 동안, 전자 장치는 소셜 네트워킹 애플리케이션을 호스팅하는 서버로 제1 오디오 입력(예를 들어, 도 21a의 오디오 입력(2106))을 전송하고(2202), 제1 오디오 입력은 트리거링 이벤트에 응답하여 검출된다. 트리거링 이벤트에 응답하여, 예를 들어, 전자 장치의 모션 센서가 사전에 결정된 장치의 모션(예를 들어, 장치를 쥐고 있는 사용자에 의해 발생된 장치의 흔들림)을 검출할 때, 소셜 네트워킹 애플리케이션의 "흔들기" 기능을 개시함으로써, 전자 장치는 주변의 사운드를 캡쳐하기 시작하고 소셜 네트워크 애플리케이션을 위한 오디오 입력을 생성한다.
이 대신에, 일부 실시예에서, 소셜 네트워킹 애플리케이션의 "근처의 사운드 검출(detect sound nearby)" 기능을 개시함으로써, 전자 장치의 마이크는 사운드(예를 들어, TV 사운드)가 주변 환경에서 검출되자마자 오디오 입력을 캡처하여 생성하기 시작한다. 일부 실시예에서, "근처의 사운드 검출"은 선택적으로 캡처된 녹음에서 사용자에게 관심이 될 가능성이 없는 사운드를 걸러낸다. 예를 들어, 근처의 사운드 검출은 주변 환경에서 검출된 음성과 음악만을 유지할 것이고, 에어컨 팬 회전, 개 짖는 소리, 지나가는 차 등과 같은 주변 소음을 걸러낼 것이다. 일부 구현예에서, 제1 오디오 입력은 적어도 제1 TV 또는 라디오 방송 채널에서 방송되는 제1 광고의 캡처된 오디오 녹음을 포함한다.
또한, 일부 실시예에서, 트리거링 이벤트는 "말하기 위해 홀드(Hold To Talk)" 버튼을 누르고 사용자의 음성 명령을 녹음하는 것을 포함할 수 있다. 예를 들어, 사용자의 음성 명령은 여러 제품이 언급될 때 TV에서의 광고에서 언급된 특정 제품에 대한 사용자의 희망에 관한 정보를 제공할 수 있다. 다른 예에서, 사용자의 음성 명령은 사용자가 실제로 관심 있는 것은 현재 광고 바로 전의 광고라고 특정할 수 있다. 사용자의 음성 명령은 전자 장치 또는 서버에서 구현되는 음성 인식 기술을 이용하여 처리될 수 있다.
전자 장치는, 서버로부터, 제1 오디오 입력에 기초하여 식별된 제품과 연관된 제품 정보 항목을 수신하고(2204), 제품 정보 항목은 제1 오디오 입력의 적어도 하나의 오디오 특징을 사전에 결정된 기간 내의 TV 또는 라디오 방송의 오디오로부터 추출된 서명 오디오 특징과 비교함으로써 획득된다. 그 다음, 전자 장치는, 검색된 제품 정보 항목(예를 들어, 도 21b에서의 제품 정보(2110))을 소셜 네트워킹 애플리케이션 내에서 전자 장치의 사용자에게 디스플레이한다(2206).
일부 구현예에서, 오디오 녹음은 전자 장치에서 분석되어 오디오 핑거프린트와 같은 오디오 특징 정보를 추출하고, 전자 장치는 추출된 오디오 특징 정보를 서버에 전송한다. 일부 구현예에서, 오디오 입력은 서버로 바로 전송되고, 오디오 특징 정보를 추출하도록 서버에 의해 분석된다.
일부 실시예에서, 서버에서, 제품 정보 항목은, 제1 오디오 특징이 서버에서의 데이터베이스 내의 임의의 서명 오디오 특징과 매칭하는지 판단함으로써(여기에서, 데이터베이스 내의 서명 오디오 특징은 상업 광고를 포함하는 TV 또는 라디오 프로그램의 실시간 오디오 방송으로부터 추출된다); 그리고, 제1 오디오 특징이 데이터베이스 내의 특정 서명 오디오 특징과 매칭한다는 판단에 응답하여, 제1 오디오 특징과 매칭하는 특정 서명 오디오 특징을 갖는 오디오 방송(예를 들어, TV 또는 라디오 상업 광고)과 연관된 제품 정보를 식별함으로써 획득된다. 일부 구현예에서, 서명 오디오 특징은 대응하는 TV 또는 라디오 방송 세그먼트에 대한 채널 정보 및 시간 정보와 연관된다.
일부 실시예에서, 실제 방송 동안 서버에 의해 실시간으로 추출되는 대신에, TV 또는 라디오 방송 세그먼트가 TV 또는 라디오에 방송되기 전에, 방송 세그먼트와 연관된 대응하는 제품 정보, 시간 정보, 채널 정보가 방송국 또는 광고주에 의해 서버에 제공될 수 있다.
도 22b를 참조하면, 일부 실시예에서, 제1 오디오 입력은 제1 시간에 TV에 방송되는 제품에 대한 제1 광고의 적어도 일부의 오디오 녹음을 포함한다(2208). 제1 오디오 입력의 적어도 하나의 오디오 특징이 제1 시간에 제1 채널에서 TV에 방송되는 제품에 대한 제1 광고로부터 추출된 제1 서명 오디오 특징과 매칭한다(2208). 제품 정보 항목이 제1 채널 및 제1 시간과 연관된 광고 정보에 기초하여 식별된다(2208).
일부 구현예에서, 제1 오디오 입력은 광고의 오디오 녹음이 전자 장치에 의해 캡처된 때에 대한 타임스탬프를 수반한다. 이 타임스탬프는 캡처된 제1 광고를 식별하기 위하여 상이한 광고들에 대하여 방송 시간을 매칭하도록 서버에 의해 사용될 수 있다. 일부 실시예에서, 사용자는 선택적으로 녹음이 캡처된 때에 TV 방송에 대한 채널 번호를 입력할 수 있어, 광고의 식별이 더욱 정확하게 될 수 있다. 채널 번호는 오디오 녹음/오디오 핑거프린트 및 타임스탬프와 함께 서버로 전송될 수 있다.
일부 실시예에서, 사용자는 현재 방송의 녹음을 캡처하고, TV가 현재 어느 채널인지 서버가 판단하게 하고, 이전 시간에 동일한 채널에서의 광고(예를 들어, "이 채널에서의 마지막 광고 시간 동안의 마지막 광고 찾기" 또는 "이 채널에서의 Macy의 광고")를 식별하도록 서버에게 알려주기 위한 음성 명령을 사용할 수 있다. 일부 실시예에서, 음성 명령은 오디오 녹음 및 녹음의 타임스탬프와 함께 서버로 전송된다.
일부 실시예에서, 제1 오디오 입력은 오디오 녹음을 포함하고, 오디오 핑거프린트가 오디오 녹음으로부터 추출될 수 있다. 이 대신에, 제1 오디오 입력은 오디오 녹음을 포함하지 않고 오디오 녹음으로부터 추출된 오디오 핑거프린트를 포함한다. 제1 오디오 입력은, 타임스탬프, 채널 번호, 사용자의 음성 명령 및 전자 장치가 갖는 다른 정보와 같은 다른 관련된 정보를 수반할 수 있다. 다른 실시예에서, 채널 번호 및 시간 정보가 서버에서 식별된 오디오 녹음에 기초하여 판단될 수 있다.
일부 실시예에서, 트리거링 이벤트는 전자 장치의 사용자로부터 음성 명령을 수신하는 것을 포함하며, 음성 명령은 하나 이상의 키워드를 포함한다(2210). 제1 오디오 입력은 제1 시간에 TV에 방송되는 제1 프로그램의 적어도 일부의 오디오 녹음을 포함한다(2210). 제1 오디오 입력의 적어도 하나의 오디오 특징이 제1 시간에 제1 채널에서 TV에 방송되는 제1 프로그램으로부터 추출된 제1 서명 오디오 특징과 매칭한다(2210). 제품 정보 항목이 제1 채널, 제1 시간 및 하나 이상의 키워드에 기초하여 식별된다(2210).
일부 실시예에서, 하나 이상의 키워드는 제품 이름, 시간, 또는 사용자가 관심 있는 제품을 판단하는데 사용될 수 있는 다른 정보를 포함한다. 예를 들어, 제1 프로그램이 9:32pm에 채널 2에서의 Macy로부터의 광고이고, 음성 명령이 "이전 광고"라고 한다면, 서버는, 9:31pm에 채널 2에서의 McDonald의 광고일 수 있는, 채널 2에서의 Macy의 광고 바로 전의 광고를 찾을 것이다. 다른 예에서, 음성 명령은 "동일한 광고주로부터의 다른 광고"일 수 있다. 서버는 이전에 방송된 동일 채널 또는 다른 채널에서의 Macy의 다른 광고를 찾을 것이다. 다른 예에서, 음성 명령은 "토요일 세일"일 수 있으며, 서버는 이전에 방송된 동일 채널 또는 다른 채널에서의 토요일 세일과 관련된 Macy의 광고를 찾을 것이다.
서버가 오디오 서명에 기초하여 오디오 입력에서 캡처된 프로그램/광고를 찾으면, 서버는 현재 캡처된 프로그램의 정보(예를 들어, 채널, 광고주, 제품, 시간, 콘텐츠, 제품 등)를 획득할 수 있고, 서버는 사용자가 실제로 관심 있는 프로그램 또는 광고를 식별하기 위하여 식별된 정보와 사용자의 음성 명령을 사용할 수 있고, 그 다음 사용자가 관심 있는 제품 정보를 사용할 수 있다.
도 22c를 참조하면, 일부 실시예에서, 검색된 제품 정보 항목을 디스플레이한 후에, 제품을 주문하려는 의도를 나타내는 사용자로부터의 상호 작용에 응답하여, 전자 장치는 소셜 네트워킹 애플리케이션 내에서 사용자와 연관된 거래 계정을 이용하여 제품을 주문하기 위하여 서버에 요청을 전송한다(2212)(예를 들어, 도 21d에 도시된 바와 같이).
일부 실시예에서, 제품 정보 항목은 제품을 주문하기 위하여 판매자에게 통화하기 위한 전화 번호를 포함한다(2214). 전자 장치는, 전화 번호를 이용하여 판매자에게 전화 통화를 개시하기 위한 요청을 전송한다(2214). 전화기에서 판매자와의 라이브 연결(live connection)을 구축하는 것에 응답하여, 전자 장치는 전자 장치에서 판매자에 대한 전화 통화에 참여하도록 사용자에게 통지를 전송한다(2214).
예를 들어, 전자 장치는 서버에게 판매자에 대한 통화를 구축하려고 시도하게 요청할 수 있으며, 실시간 판매 대리점이 통화에 응답하면, 서버는 소셜 네트워킹 애플리케이션을 이용하여 사용자에게 통지하거나 전자 장치에서 사용자에게 전화한다. 사용자가 응답하면, 서버는 사용자가 판매 대리점에게 직접 말할 수 있도록 2개의 통화를 결합한다. 이러한 방식으로, 사용자는 판매 대리점이 전화를 받도록 온라인에 대기할 필요가 없다. 일부 실시예에서, 통화는 전자 장치에서 개시되며, 사용자는 실제 사람이 통화에 응답할 때 통지된다.
도 22d를 참조하면, 일부 실시예에서, 제품 정보 항목에 기초하여 식별된 여러 판매자(예를 들어, 도 21c에 도시된 판매자 목록(2114))에 대응하는 판매자 정보 항목을 검색한다(2216). 전자 장치는, 여러 판매자의 목록과 여러 판매자에 의해 제공된 제품의 각각의 판매 가격을 제공한다(2216). 사용자로부터의 선택에 응답하여, 전자 장치는, 선택된 판매자로부터 제품을 주문하기 위하여 서버로 요청을 전송한다(2216).
일부 실시예에서, 전자 장치는 서버가 소셜 네트워킹 애플리케이션 내의 사용자 연락처로부터 활동을 검출하는 것에 응답하여 서버로부터 알림을 수신하고(2218), 활동은 제품과 관련된다. 일부 실시예에서, 활동은, 제품의 광고와 연관된 오디오 입력을 캡처하는 것, 제품의 제품 정보를 검색하기 위하여 서버에 요청을 전송하는 것, 또는 소셜 네트워킹 애플리케이션 내에서 제품을 좋아하거나, 공유하거나, 리뷰하거나 또는 코멘트하는 것과 같은, 제품과 연관된 다른 적합한 활동을 포함한다.
일부 실시예에서, 알림 수신한 것에 응답하여, 전자 장치는 사용자 및 소셜 네트워킹 애플리케이션 내의 사용자 연락처 사이에 채팅 세션을 구축할지 사용자에게 질문하는 통지를 사용자에게 제공한다(2218)(예를 들어, 도 21e에 도시된 바와 같이).
여기에서 설명된 방법의 각각은 컴퓨터 판독 가능한 저장 매체에 저장되고 하나 이상의 서버 또는 전자 장치의 하나 이상의 프로세서에 의해 실행되는 명령어에 의해 일반적으로 제어된다. 전술한 모듈들 또는 프로그램들(즉, 명령어 세트)은 개별 소프트웨어 프로그램, 절차 또는 모듈로서 구현될 필요는 없으며, 따라서, 이러한 모듈들의 다양한 서브 세트가 결합되거나 아니면 다양한 실시예에서 재배열될 것이다.
설명의 목적을 위한 전술한 설명은 특정 실시예를 참조하여 설명되었다. 그러나, 전술한 예시적인 논의는 소진적이거나 개시된 기술을 개시된 정확한 형태로 제한하는 것으로 의도되지 않는다. 많은 수정 및 변형이 전술한 교시 내용에 비추어 가능하다. 실시예들은 개시된 기술의 원리와 이의 실용적인 적용예를 최상으로 설명하고, 이에 의해 당해 기술 분야에서의 다른 통상의 기술자가 개시된 기술 및 고려되는 특정 사용에 적합한 다양한 변형을 갖는 다양한 실시예를 최상으로 실시할 수 있도록 선택되고 설명되었다.

Claims (20)

  1. 하나 이상의 프로세서 및 메모리를 갖는 전자 장치에서:
    소셜 네트워킹 애플리케이션을 실행하는 동안:
    트리거링 이벤트에 응답하여 캡처되는 제1 오디오 입력을 상기 소셜 네트워킹 애플리케이션을 호스팅하는 서버로 전송하는 단계;
    상기 서버에서, 상기 제1 오디오 입력에 기초하여 식별된 제품과 연관된 제품 정보 항목을 검색하는 단계; 및
    검색된 상기 제품 정보 항목을 상기 소셜 네트워킹 애플리케이션 내에서 상기 전자 장치의 사용자에게 디스플레이하는 단계
    를 포함하고,
    상기 제품 정보 항목은,
    상기 제1 오디오 입력의 적어도 하나의 오디오 특징을 사전에 결정된 기간 내의 TV 또는 라디오 방송의 오디오로부터 추출된 서명 오디오 특징과 비교하여, 매칭된 서명 오디오 특징을 결정하고;
    상기 매칭된 서명 오디오 특징에 대응하는 채널 식별자를 획득하고 - 각각의 상기 서명 오디오 특징은 채널 타임스탬프를 포함함 -; 그리고,
    상기 채널 식별자에 기초하여 상기 제품과 연관된 제품 정보 항목을 검색
    함으로써 획득되는,
    오디오 입력에 기초한 정보 획득 방법.
  2. 제1항에 있어서,
    상기 제1 오디오 입력은 제1 시간에 TV에 방송되는 제품에 대한 제1 광고의 적어도 일부의 오디오 녹음을 포함하고;
    상기 제1 오디오 입력의 상기 적어도 하나의 오디오 특징이 상기 제1 시간에 제1 채널에서 TV에 방송되는 제품에 대한 상기 제1 광고로부터 추출된 제1 서명 오디오 특징과 매칭하고; 그리고,
    상기 제품 정보 항목이 상기 제1 채널 및 상기 제1 시간과 연관된 광고 정보에 기초하여 식별되는,
    오디오 입력에 기초한 정보 획득 방법.
  3. 제1항에 있어서,
    상기 트리거링 이벤트는 상기 전자 장치의 사용자로부터 음성 명령을 수신하는 것을 포함하고, 상기 음성 명령은 하나 이상의 키워드를 포함하고;
    상기 제1 오디오 입력은 제1 시간에 TV에 방송되는 제1 프로그램의 적어도 일부의 오디오 녹음을 포함하고;
    상기 제1 오디오 입력의 상기 적어도 하나의 오디오 특징이 상기 제1 시간에 제1 채널에서 TV에 방송되는 상기 제1 프로그램으로부터 추출된 제1 서명 오디오 특징과 매칭하고; 그리고,
    상기 제품 정보 항목이 상기 제1 채널, 상기 제1 시간 및 상기 하나 이상의 키워드에 기초하여 식별되는,
    오디오 입력에 기초한 정보 획득 방법.
  4. 제1항에 있어서,
    검색된 상기 제품 정보 항목을 디스플레이한 후에,
    상기 제품을 주문하려는 의도를 나타내는 상기 사용자로부터의 상호 작용에 응답하여, 상기 소셜 네트워킹 애플리케이션 내에서 상기 사용자와 연관된 거래 계정을 이용하여 상기 제품을 주문하기 위하여 상기 서버에 요청을 전송하는 단계를 더 포함하는,
    오디오 입력에 기초한 정보 획득 방법.
  5. 제1항에 있어서,
    상기 제품 정보 항목은 상기 제품을 주문하기 위하여 판매자에게 통화하기 위한 전화 번호를 포함하고; 그리고,
    상기 정보 획득 방법은,
    상기 전화 번호를 이용하여 상기 판매자에게 전화 통화를 개시하기 위한 요청을 전송하는 단계; 및
    전화기에서 상기 판매자와의 라이브 연결(live connection)을 구축하는 것에 응답하여, 상기 전자 장치에서 상기 판매자에 대한 전화 통화에 참여하도록 사용자에게 통지를 전송하는 단계
    를 더 포함하는,
    오디오 입력에 기초한 정보 획득 방법.
  6. 제1항에 있어서,
    상기 제품 정보 항목에 기초하여 식별된 여러 판매자에 대응하는 판매자 정보 항목을 검색하는 단계;
    상기 여러 판매자의 목록과 상기 여러 판매자에 의해 제공된 제품의 각각의 판매 가격을 제공하는 단계; 및
    상기 사용자로부터의 선택에 응답하여, 선택된 상기 판매자로부터 상기 제품을 주문하기 위한 요청을 상기 서버로 전송하는 단계
    를 더 포함하는,
    오디오 입력에 기초한 정보 획득 방법.
  7. 제1항에 있어서,
    상기 서버가 상기 소셜 네트워킹 애플리케이션 내의 사용자 연락처로부터 상기 제품과 연관된 활동을 검출하는 것에 응답하여 상기 서버로부터 알림을 수신하는 단계; 및
    상기 알림을 수신한 것에 응답하여, 상기 사용자 및 상기 소셜 네트워킹 애플리케이션 내의 상기 사용자 연락처 사이에 채팅 세션을 구축할지 사용자에게 질문하는 통지를 상기 사용자에게 제공하는 단계
    를 더 포함하는,
    오디오 입력에 기초한 정보 획득 방법.
  8. 전자 장치에 있어서,
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리
    를 포함하고,
    상기 하나 이상의 프로그램은,
    소셜 네트워킹 애플리케이션을 실행하는 동안:
    트리거링 이벤트에 응답하여 캡처되는 제1 오디오 입력을 상기 소셜 네트워킹 애플리케이션을 호스팅하는 서버로 전송하고;
    상기 서버에서, 상기 제1 오디오 입력에 기초하여 식별된 제품과 연관된 제품 정보 항목을 검색하고; 그리고
    검색된 상기 제품 정보 항목을 상기 소셜 네트워킹 애플리케이션 내에서 상기 전자 장치의 사용자에게 디스플레이하는
    명령어를 포함하고,
    상기 제품 정보 항목은,
    상기 제1 오디오 입력의 적어도 하나의 오디오 특징을 사전에 결정된 기간 내의 TV 또는 라디오 방송의 오디오로부터 추출된 서명 오디오 특징과 비교하여, 매칭된 서명 오디오 특징을 결정하고;
    상기 매칭된 서명 오디오 특징에 대응하는 채널 식별자를 획득하고 - 각각의 상기 서명 오디오 특징은 채널 타임스탬프를 포함함 -; 그리고,
    상기 채널 식별자에 기초하여 상기 제품과 연관된 제품 정보 항목을 검색
    함으로써 획득되는,
    전자 장치.
  9. 제8항에 있어서,
    상기 제1 오디오 입력은 제1 시간에 TV에 방송되는 제품에 대한 제1 광고의 적어도 일부의 오디오 녹음을 포함하고;
    상기 제1 오디오 입력의 상기 적어도 하나의 오디오 특징이 상기 제1 시간에 제1 채널에서 TV에 방송되는 제품에 대한 상기 제1 광고로부터 추출된 제1 서명 오디오 특징과 매칭하고; 그리고,
    상기 제품 정보 항목이 상기 제1 채널 및 상기 제1 시간과 연관된 광고 정보에 기초하여 식별되는,
    전자 장치.
  10. 제8항에 있어서,
    상기 트리거링 이벤트는 상기 전자 장치의 사용자로부터 음성 명령을 수신하는 것을 포함하고, 상기 음성 명령은 하나 이상의 키워드를 포함하고;
    상기 제1 오디오 입력은 제1 시간에 TV에 방송되는 제1 프로그램의 적어도 일부의 오디오 녹음을 포함하고;
    상기 제1 오디오 입력의 상기 적어도 하나의 오디오 특징이 상기 제1 시간에 제1 채널에서 TV에 방송되는 상기 제1 프로그램으로부터 추출된 제1 서명 오디오 특징과 매칭하고; 그리고,
    상기 제품 정보 항목이 상기 제1 채널, 상기 제1 시간 및 상기 하나 이상의 키워드에 기초하여 식별되는,
    전자 장치.
  11. 제8항에 있어서,
    상기 하나 이상의 프로그램은,
    검색된 상기 제품 정보 항목을 디스플레이한 후에:
    상기 제품을 주문하려는 의도를 나타내는 상기 사용자로부터의 상호 작용에 응답하여, 상기 소셜 네트워킹 애플리케이션 내에서 상기 사용자와 연관된 거래 계정을 이용하여 상기 제품을 주문하기 위하여 상기 서버에 요청을 전송하는 명령어를 더 포함하는,
    전자 장치.
  12. 제8항에 있어서,
    상기 제품 정보 항목은 상기 제품을 주문하기 위하여 판매자에게 통화하기 위한 전화 번호를 포함하고; 그리고,
    상기 하나 이상의 프로그램은,
    상기 전화 번호를 이용하여 상기 판매자에게 전화 통화를 개시하기 위한 요청을 전송하고; 그리고
    전화기에서 상기 판매자와의 라이브 연결(live connection)을 구축하는 것에 응답하여, 상기 전자 장치에서 상기 판매자에 대한 전화 통화에 참여하도록 사용자에게 통지를 전송하는
    명령어를 더 포함하는,
    전자 장치.
  13. 제8항에 있어서,
    상기 하나 이상의 프로그램은,
    상기 제품 정보 항목에 기초하여 식별된 여러 판매자에 대응하는 판매자 정보 항목을 검색하고;
    상기 여러 판매자의 목록과 상기 여러 판매자에 의해 제공된 제품의 각각의 판매 가격을 제공하고; 그리고,
    상기 사용자로부터의 선택에 응답하여, 선택된 상기 판매자로부터 상기 제품을 주문하기 위한 요청을 상기 서버로 전송하는
    명령어를 더 포함하는,
    전자 장치.
  14. 제8항에 있어서,
    상기 하나 이상의 프로그램은,
    상기 소셜 네트워킹 애플리케이션 내의 사용자 연락처로부터 상기 제품과 연관된 활동을 검출하는 상기 서버에 응답하여 상기 서버로부터 알림을 수신하고; 그리고
    상기 알림을 수신한 것에 응답하여, 상기 사용자 및 상기 소셜 네트워킹 애플리케이션 내의 상기 사용자 연락처 사이에 채팅 세션을 구축할지 사용자에게 질문하는 통지를 상기 사용자에게 제공하는
    명령어를 더 포함하는,
    전자 장치.
  15. 하나 이상의 프로그램을 저장하는 비일시적인 컴퓨터 판독 가능한 저장 매체에 있어서,
    상기 하나 이상의 프로그램은, 하나 이상의 프로세서를 갖는 전자 장치에 의해 실행될 때, 상기 전자 장치가,
    소셜 네트워킹 애플리케이션을 실행하는 동안:
    트리거링 이벤트에 응답하여 캡처되는 제1 오디오 입력을 상기 소셜 네트워킹 애플리케이션을 호스팅하는 서버로 전송하고;
    상기 서버에서, 상기 제1 오디오 입력에 기초하여 식별된 제품과 연관된 제품 정보 항목을 검색하고; 그리고
    검색된 상기 제품 정보 항목을 상기 소셜 네트워킹 애플리케이션 내에서 상기 전자 장치의 사용자에게 디스플레이하는
    동작을 수행하게 하는 명령어를 포함하고,
    상기 제품 정보 항목은,
    상기 제1 오디오 입력의 적어도 하나의 오디오 특징을 사전에 결정된 기간 내의 TV 또는 라디오 방송의 오디오로부터 추출된 서명 오디오 특징과 비교하여, 매칭된 서명 오디오 특징을 결정하고;
    상기 매칭된 서명 오디오 특징에 대응하는 채널 식별자를 획득하고 - 각각의 상기 서명 오디오 특징은 채널 타임스탬프를 포함함 -; 그리고,
    상기 채널 식별자에 기초하여 상기 제품과 연관된 제품 정보 항목을 검색
    함으로써 획득되는,
    비일시적인 컴퓨터 판독 가능한 저장 매체.
  16. 제15항에 있어서,
    상기 제1 오디오 입력은 제1 시간에 TV에 방송되는 제품에 대한 제1 광고의 적어도 일부의 오디오 녹음을 포함하고;
    상기 제1 오디오 입력의 상기 적어도 하나의 오디오 특징이 상기 제1 시간에 제1 채널에서 TV에 방송되는 제품에 대한 상기 제1 광고로부터 추출된 제1 서명 오디오 특징과 매칭하고; 그리고,
    상기 제품 정보 항목이 상기 제1 채널 및 상기 제1 시간과 연관된 광고 정보에 기초하여 식별되는,
    비일시적인 컴퓨터 판독 가능한 저장 매체.
  17. 제15항에 있어서,
    상기 트리거링 이벤트는 상기 전자 장치의 사용자로부터 음성 명령을 수신하는 것을 포함하고, 상기 음성 명령은 하나 이상의 키워드를 포함하고;
    상기 제1 오디오 입력은 제1 시간에 TV에 방송되는 제1 프로그램의 적어도 일부의 오디오 녹음을 포함하고;
    상기 제1 오디오 입력의 상기 적어도 하나의 오디오 특징이 상기 제1 시간에 제1 채널에서 TV에 방송되는 상기 제1 프로그램으로부터 추출된 제1 서명 오디오 특징과 매칭하고; 그리고,
    상기 제품 정보 항목이 상기 제1 채널, 상기 제1 시간 및 상기 하나 이상의 키워드에 기초하여 식별되는,
    비일시적인 컴퓨터 판독 가능한 저장 매체.
  18. 제15항에 있어서,
    상기 하나 이상의 프로그램은, 상기 전자 장치가,
    검색된 상기 제품 정보 항목을 디스플레이한 후에:
    상기 제품을 주문하려는 의도를 나타내는 상기 사용자로부터의 상호 작용에 응답하여, 상기 소셜 네트워킹 애플리케이션 내에서 상기 사용자와 연관된 거래 계정을 이용하여 상기 제품을 주문하기 위하여 상기 서버에 요청을 전송하는 동작을 수행하게 하는 명령어를 더 포함하는,
    비일시적인 컴퓨터 판독 가능한 저장 매체.
  19. 제15항에 있어서,
    상기 제품 정보 항목은 상기 제품을 주문하기 위하여 판매자에게 통화하기 위한 전화 번호를 포함하고; 그리고,
    상기 하나 이상의 프로그램은, 상기 전자 장치가,
    상기 전화 번호를 이용하여 상기 판매자에게 전화 통화를 개시하기 위한 요청을 전송하고; 그리고
    전화기에서 상기 판매자와의 라이브 연결(live connection)을 구축하는 것에 응답하여, 상기 전자 장치에서 상기 판매자에 대한 전화 통화에 참여하도록 사용자에게 통지를 전송하는
    동작을 수행하게 하는 명령어를 더 포함하는,
    비일시적인 컴퓨터 판독 가능한 저장 매체.
  20. 제15항에 있어서,
    상기 하나 이상의 프로그램은, 상기 전자 장치가,
    상기 제품 정보 항목에 기초하여 식별된 여러 판매자에 대응하는 판매자 정보 항목을 검색하고;
    상기 여러 판매자의 목록과 상기 여러 판매자에 의해 제공된 제품의 각각의 판매 가격을 제공하고; 그리고,
    상기 사용자로부터의 선택에 응답하여, 선택된 상기 판매자로부터 상기 제품을 주문하기 위한 요청을 상기 서버로 전송하는
    동작을 수행하게 하는 명령어를 더 포함하는,
    비일시적인 컴퓨터 판독 가능한 저장 매체.
KR1020167018721A 2014-05-29 2015-01-08 오디오 입력에 기초하여 정보를 획득하는 방법, 장치 및 시스템 KR101818986B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201410235379 2014-05-29
CN201410241073 2014-05-30
CN201410265512.0 2014-06-13
CN201410265512.0A CN104023247B (zh) 2014-05-29 2014-06-13 获取、推送信息的方法和装置以及信息交互系统
PCT/CN2015/070333 WO2015188620A1 (en) 2014-05-29 2015-01-08 Method, device, and system for obtaining information based on audio input

Publications (2)

Publication Number Publication Date
KR20160099617A KR20160099617A (ko) 2016-08-22
KR101818986B1 true KR101818986B1 (ko) 2018-01-16

Family

ID=51439785

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167018721A KR101818986B1 (ko) 2014-05-29 2015-01-08 오디오 입력에 기초하여 정보를 획득하는 방법, 장치 및 시스템

Country Status (6)

Country Link
US (1) US10354307B2 (ko)
JP (1) JP6168544B2 (ko)
KR (1) KR101818986B1 (ko)
CN (6) CN104093079B (ko)
HK (1) HK1200624A1 (ko)
WO (1) WO2015188620A1 (ko)

Families Citing this family (216)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8798995B1 (en) * 2011-09-23 2014-08-05 Amazon Technologies, Inc. Key word determinations from voice data
CN104093079B (zh) * 2014-05-29 2015-10-07 腾讯科技（深圳）有限公司 基于多媒体节目的交互方法、终端、服务器和系统
WO2015188753A1 (en) 2014-06-13 2015-12-17 Tencent Technology (Shenzhen) Company Limited Interaction method based on multimedia programs and terminal device
MY188534A (en) 2014-06-27 2021-12-20 Tencent Tech Shenzhen Co Ltd Video-based check-in method, terminal, server and system
CN104410914A (zh) * 2014-11-03 2015-03-11 乐视网信息技术（北京）股份有限公司 播放多媒体内容的方法、装置以及终端
CN105653530B (zh) * 2014-11-12 2021-11-30 上海交通大学 一种高效可伸缩的多媒体传送、存储和呈现方法
WO2016081624A1 (en) * 2014-11-18 2016-05-26 Branch Media Labs, Inc. Automatic identification and mapping of consumer electronic devices to ports on an hdmi switch
CN104464004A (zh) * 2014-12-04 2015-03-25 重庆晋才富熙科技有限公司 电子签到装置
CN104492082A (zh) * 2014-12-24 2015-04-08 天脉聚源（北京）科技有限公司 一种动态显示球员图像的方法及装置
CN104579930A (zh) * 2015-01-10 2015-04-29 蓝信工场（北京）科技有限公司 一种统计参与信息的方法、装置和系统
CN104618813B (zh) * 2015-01-20 2018-02-13 腾讯科技（北京）有限公司 弹幕信息处理方法、客户端及服务平台
CN104660495A (zh) * 2015-01-28 2015-05-27 腾讯科技（深圳）有限公司 一种信息处理方法、客户端及服务器
AU2016211254B2 (en) * 2015-01-30 2019-09-19 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
TWI549545B (zh) * 2015-01-30 2016-09-11 三竹資訊股份有限公司 將訊息置頂之行動公佈欄系統與方法
US11087379B1 (en) * 2015-02-12 2021-08-10 Google Llc Buying products within video content by voice command
CA2977740C (en) * 2015-02-26 2023-10-03 Second Screen Ventures Ltd. System and method for associating messages with media during playing thereof
CN104754419A (zh) * 2015-03-13 2015-07-01 腾讯科技（北京）有限公司 基于视频的互动方法和装置
CN104815438B (zh) * 2015-04-08 2018-03-13 深圳市鱼丸互动科技有限公司 一种评论显示方法及系统
CN104869468A (zh) 2015-04-22 2015-08-26 腾讯科技（北京）有限公司 一种显示弹幕信息的方法和装置
CN104796751A (zh) * 2015-04-23 2015-07-22 福州大学 一种电视信号识别的方法及装置
US10360130B2 (en) * 2015-05-20 2019-07-23 Sap Se Symbol tables for processing hierarchical data structures in data flow analysis
US10331399B2 (en) * 2015-06-05 2019-06-25 Apple Inc. Smart audio playback when connecting to an audio output system
US20160373498A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Media-timed web interactions
GB2539875B (en) * 2015-06-22 2017-09-20 Time Machine Capital Ltd Music Context System, Audio Track Structure and method of Real-Time Synchronization of Musical Content
CN105072476A (zh) * 2015-07-27 2015-11-18 天脉聚源（北京）科技有限公司 一种生成互动信息的方法及系统
CN105187922A (zh) * 2015-07-27 2015-12-23 天脉聚源（北京）科技有限公司 一种更新互动信息的方法及装置
CN105187927A (zh) * 2015-07-29 2015-12-23 天脉聚源（北京）科技有限公司 推送互动界面的方法和装置
CN105072501A (zh) * 2015-07-29 2015-11-18 天脉聚源（北京）科技有限公司 推送比赛竞猜互动界面的方法和装置
CN105187924A (zh) * 2015-07-29 2015-12-23 天脉聚源（北京）科技有限公司 电视节目抽奖互动的方法和装置
CN105072502A (zh) * 2015-07-29 2015-11-18 天脉聚源（北京）科技有限公司 电视节目投票互动的方法和装置
CN105187925A (zh) * 2015-07-29 2015-12-23 天脉聚源（北京）科技有限公司 推送投票互动界面的方法和装置
CN105072500A (zh) * 2015-07-29 2015-11-18 天脉聚源（北京）科技有限公司 推送调查竞猜互动界面的方法和装置
CN105072503A (zh) * 2015-07-29 2015-11-18 天脉聚源（北京）科技有限公司 推送互动界面的方法和装置
CN105187926A (zh) * 2015-07-29 2015-12-23 天脉聚源（北京）科技有限公司 推送互动界面的方法和装置
CN105072499A (zh) * 2015-07-29 2015-11-18 天脉聚源（北京）科技有限公司 电视节目比赛竞猜互动的方法和装置
CN105187923A (zh) * 2015-07-29 2015-12-23 天脉聚源（北京）科技有限公司 推送抽奖互动界面的方法和装置
CN105142018A (zh) * 2015-08-12 2015-12-09 深圳Tcl数字技术有限公司 基于音频指纹的节目识别方法及装置
CN105120362A (zh) * 2015-08-24 2015-12-02 天脉聚源（北京）科技有限公司 一种电视互动系统显示互动信息的方法
CN105120357A (zh) * 2015-08-24 2015-12-02 天脉聚源（北京）科技有限公司 一种参与电视互动系统的方法及装置
CN105120350A (zh) * 2015-08-24 2015-12-02 天脉聚源（北京）科技有限公司 一种电视互动系统的管理平台
CN105120361A (zh) * 2015-08-24 2015-12-02 天脉聚源（北京）科技有限公司 一种电视互动系统推送互动信息的方法
CN105120319A (zh) * 2015-08-24 2015-12-02 天脉聚源（北京）科技有限公司 一种电视互动系统推送互动信息的方法
CN105120346A (zh) * 2015-08-24 2015-12-02 天脉聚源（北京）科技有限公司 一种电视互动系统的互动接入方法
CN105163152A (zh) * 2015-08-24 2015-12-16 天脉聚源（北京）科技有限公司 一种电视互动系统的互动接入方法
CN105187934A (zh) * 2015-08-24 2015-12-23 天脉聚源（北京）科技有限公司 一种电视互动系统的终端平台
CN105120318A (zh) * 2015-08-24 2015-12-02 天脉聚源（北京）科技有限公司 一种电视互动系统选取互动信息显示位置的方法
CN105120347A (zh) * 2015-08-24 2015-12-02 天脉聚源（北京）科技有限公司 一种用于电视互动系统的信息管理方法及装置
CN105208410A (zh) * 2015-08-29 2015-12-30 天脉聚源（北京）科技有限公司 显示投票互动界面的方法和装置
CN105100928A (zh) * 2015-08-29 2015-11-25 天脉聚源（北京）科技有限公司 显示互动结果的方法和装置
CN105100940A (zh) * 2015-08-29 2015-11-25 天脉聚源（北京）科技有限公司 显示互动结果的方法和装置
CN105100918A (zh) * 2015-08-29 2015-11-25 天脉聚源（北京）科技有限公司 显示互动结果的方法和装置
CN105208427A (zh) * 2015-08-29 2015-12-30 天脉聚源（北京）科技有限公司 获取互动界面的方法和装置
CN105100962A (zh) * 2015-08-29 2015-11-25 天脉聚源（北京）科技有限公司 生成互动信号串联单的方法和装置
CN105100929A (zh) * 2015-08-29 2015-11-25 天脉聚源（北京）科技有限公司 显示调查结果竞猜的互动界面的方法和装置
CN105228009A (zh) * 2015-08-29 2016-01-06 天脉聚源（北京）科技有限公司 显示比赛结果竞猜的互动界面的方法和装置
CN105100941A (zh) * 2015-08-29 2015-11-25 天脉聚源（北京）科技有限公司 显示抽奖互动界面的方法和装置
CN105100938A (zh) * 2015-08-29 2015-11-25 天脉聚源（北京）科技有限公司 显示互动结果的方法和装置
CN105100919A (zh) * 2015-08-29 2015-11-25 天脉聚源（北京）科技有限公司 显示互动结果的方法和装置
CN105100932A (zh) * 2015-08-29 2015-11-25 天脉聚源（北京）科技有限公司 显示参与互动的用户信息的方法和装置
CN105100931B (zh) * 2015-08-29 2018-04-10 天脉聚源（北京）科技有限公司 互动信号的处理方法和装置
CN105100939A (zh) * 2015-08-29 2015-11-25 天脉聚源（北京）科技有限公司 显示互动结果的方法和装置
CN105337843B (zh) * 2015-09-23 2018-10-30 腾讯科技（深圳）有限公司 交互系统、方法、客户端及后台服务器
CN105208455A (zh) * 2015-09-24 2015-12-30 天脉聚源（北京）科技有限公司 显示参赛队支持率的方法和装置
CN105208453A (zh) * 2015-09-24 2015-12-30 天脉聚源（北京）科技有限公司 一种显示电视互动系统互动反馈信息的方法及装置
CN105245968A (zh) * 2015-09-30 2016-01-13 天脉聚源（北京）科技有限公司 在视频节目上动态显示互动入口信息的方法和装置
CN105245969A (zh) * 2015-09-30 2016-01-13 天脉聚源（北京）科技有限公司 在视频节目上实时显示支持率的方法和装置
CN105245967A (zh) * 2015-09-30 2016-01-13 天脉聚源（北京）科技有限公司 在视频节目上实时显示支持率的方法和装置
CN105245438B (zh) * 2015-10-10 2021-05-28 形山科技（深圳）有限公司 一种内容共享方法、装置及系统
CN111833144A (zh) * 2015-10-20 2020-10-27 创新先进技术有限公司 一种物品提取、物品提取验证方法及装置
CN105282599B (zh) * 2015-10-21 2018-05-08 天脉聚源（北京）科技有限公司 一种确定电视频道的方法及装置
CN105323645B (zh) * 2015-10-21 2018-07-24 天脉聚源（北京）科技有限公司 一种移动终端与电视节目互动的匹配方法及装置
CN105307031B (zh) * 2015-10-21 2019-06-28 天脉聚源（北京）科技有限公司 一种多用户信息的推送方法及装置
CN106612229B (zh) * 2015-10-23 2019-06-25 腾讯科技（深圳）有限公司 对用户生成内容进行反馈以及展示反馈信息的方法和装置
CN105407386A (zh) * 2015-10-26 2016-03-16 天脉聚源（北京）科技有限公司 在视频节目上实时显示支持率的方法和装置
CN105307036A (zh) * 2015-10-26 2016-02-03 天脉聚源（北京）科技有限公司 实时显示参赛队支持率的方法和装置
CN105307037A (zh) * 2015-10-26 2016-02-03 天脉聚源（北京）科技有限公司 在视频节目上实时显示支持率的方法和装置
CN105263061A (zh) * 2015-10-26 2016-01-20 天脉聚源（北京）科技有限公司 实时显示观众投票数目的方法和装置
CN105307035A (zh) * 2015-10-26 2016-02-03 天脉聚源（北京）科技有限公司 在视频节目上实时显示观众投票数目的方法和装置
CN105376631A (zh) * 2015-10-26 2016-03-02 天脉聚源（北京）科技有限公司 实时显示观众投票数目的方法和装置
CN105307038A (zh) * 2015-10-26 2016-02-03 天脉聚源（北京）科技有限公司 实时显示参赛队支持率的方法和装置
CN105407387A (zh) * 2015-10-26 2016-03-16 天脉聚源（北京）科技有限公司 实时显示参赛队观众投票数目的方法和装置
CN105407374A (zh) * 2015-10-26 2016-03-16 天脉聚源（北京）科技有限公司 实时显示参赛队支持率的方法和装置
CN105282595A (zh) * 2015-10-26 2016-01-27 天脉聚源（北京）科技有限公司 在视频节目上实时显示支持率的方法和装置
CN105392058A (zh) * 2015-10-28 2016-03-09 天脉聚源（北京）科技有限公司 一种互动电视系统生成互动信息的方法及装置
CN105307040A (zh) * 2015-10-28 2016-02-03 天脉聚源（北京）科技有限公司 一种获取互动电视系统参与互动兴趣的方法及装置
CN106658204A (zh) * 2015-11-02 2017-05-10 天脉聚源（北京）科技有限公司 一种视频直播弹幕播放方法及系统
CN106657189A (zh) * 2015-11-02 2017-05-10 天脉聚源（北京）科技有限公司 一种微信摇一摇应用推送方法及系统
CN106658203A (zh) * 2015-11-02 2017-05-10 天脉聚源（北京）科技有限公司 一种微信摇一摇视频内容显示方法及系统
CN106657188A (zh) * 2015-11-02 2017-05-10 天脉聚源（北京）科技有限公司 一种微信摇一摇终端内容推送方法及系统
CN105321101A (zh) * 2015-11-10 2016-02-10 张家港智帆技术咨询有限公司 一种基于音频的信息获取方法
CN105320776B (zh) * 2015-11-12 2019-02-05 广州优识科技资讯股份有限公司 一种基于WebApp的数据处理方法和系统
CN105376653A (zh) * 2015-11-24 2016-03-02 天脉聚源（北京）科技有限公司 一种显示互动电视系统的互动信息的方法及装置
CN105407392A (zh) * 2015-11-24 2016-03-16 天脉聚源（北京）科技有限公司 一种互动电视系统推送互动信息的方法及装置
CN105407393A (zh) * 2015-11-24 2016-03-16 天脉聚源（北京）科技有限公司 一种更新互动电视节目的互动信息的方法及装置
CN105376654A (zh) * 2015-11-25 2016-03-02 天脉聚源（北京）科技有限公司 在视频节目上显示互动信息的方法和装置
CN105376655A (zh) * 2015-11-25 2016-03-02 天脉聚源（北京）科技有限公司 在视频节目上显示互动信息的方法和装置
CN105407406A (zh) * 2015-11-26 2016-03-16 天脉聚源（北京）科技有限公司 一种互动电视系统的互动反馈信息生成的方法及装置
CN105407404A (zh) * 2015-11-26 2016-03-16 天脉聚源（北京）科技有限公司 一种互动电视系统的互动反馈信息生成的方法及装置
CN105407405A (zh) * 2015-11-26 2016-03-16 天脉聚源（北京）科技有限公司 一种配置互动电视系统的互动信息的方法及装置
CN105407402A (zh) * 2015-11-26 2016-03-16 天脉聚源（北京）科技有限公司 一种互动电视系统互动信息推送的方法及装置
CN105898456A (zh) * 2015-12-02 2016-08-24 乐视网信息技术（北京）股份有限公司 多媒体播放时的交互方法及装置
CN105898602A (zh) * 2015-12-15 2016-08-24 乐视网信息技术（北京）股份有限公司 一种互动方法及互动系统
CN106888403A (zh) * 2015-12-16 2017-06-23 天脉聚源（北京）科技有限公司 一种互动内容关联推送方法及系统
CN106888388A (zh) * 2015-12-16 2017-06-23 天脉聚源（北京）科技有限公司 一种视频直播互动自动识别方法及系统
CN106886536A (zh) * 2015-12-16 2017-06-23 天脉聚源（北京）科技有限公司 一种模块化互动展示方法及系统
CN105634918B (zh) * 2015-12-18 2020-01-31 联想(北京)有限公司 一种信息处理方法及电子设备
CN105611417A (zh) * 2015-12-19 2016-05-25 天脉聚源（北京）科技有限公司 显示比赛投票信息的方法和装置
CN105611419A (zh) * 2015-12-20 2016-05-25 天脉聚源（北京）科技有限公司 显示观众猜测比分的方法和装置
CN105592365A (zh) * 2015-12-20 2016-05-18 天脉聚源（北京）科技有限公司 显示嘉宾猜测比分的方法和装置
CN105611411A (zh) * 2015-12-20 2016-05-25 天脉聚源（北京）科技有限公司 显示观众猜测比分的方法和装置
KR102499124B1 (ko) 2016-01-21 2023-02-15 삼성전자주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
CN105656762A (zh) * 2016-01-26 2016-06-08 四川长虹电器股份有限公司 用于移动办公软件的消息推送方法与系统
CN107094262B (zh) * 2016-02-17 2021-02-12 阿里巴巴集团控股有限公司 一种无线媒体互动方法、系统和服务器
US10063918B2 (en) 2016-02-29 2018-08-28 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on single-match
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
US9924222B2 (en) 2016-02-29 2018-03-20 Gracenote, Inc. Media channel identification with multi-match detection and disambiguation based on location
CN105611364B (zh) * 2016-03-02 2020-01-24 腾讯科技（深圳）有限公司 便携数码设备与大屏幕互动的方法、装置及系统
CN105681851A (zh) * 2016-03-18 2016-06-15 深圳市轱辘软件开发有限公司 一种信息处理的方法和装置
CN105847878A (zh) * 2016-03-23 2016-08-10 乐视网信息技术（北京）股份有限公司 数据推荐方法及装置
CN105847882A (zh) * 2016-03-30 2016-08-10 乐视控股（北京）有限公司 推送电视节目的关联商品信息的方法、移动终端及系统
CN105847973A (zh) * 2016-03-30 2016-08-10 乐视控股（北京）有限公司 音视频设备的播放控制方法和装置、以及音视频设备
CN115190676A (zh) * 2016-04-02 2022-10-14 启迪公司 分布式灯具信标管理
CN105933739B (zh) * 2016-04-22 2019-08-13 腾讯科技（深圳）有限公司 节目互动系统、方法、客户端及后台服务器
CN105828212A (zh) * 2016-04-22 2016-08-03 乐视控股（北京）有限公司 一种互动点赞方法及装置
CN105916020A (zh) * 2016-05-09 2016-08-31 深圳泽坤信息科技有限公司 一种基于视频超声波的互联网应用方法及系统
CN106162357B (zh) * 2016-05-31 2019-01-25 腾讯科技（深圳）有限公司 获取视频内容的方法及装置
CN106060609B (zh) * 2016-05-31 2019-01-22 腾讯科技（深圳）有限公司 获取图片的方法及装置
CN107526607A (zh) * 2016-06-21 2017-12-29 天脉聚源（北京）科技有限公司 一种自动实现摇一摇功能的方法和系统
CN107623874A (zh) * 2016-07-13 2018-01-23 天脉聚源（北京）科技有限公司 一种启动摇电视功能的方法和系统
CN106209885B (zh) * 2016-07-22 2019-02-05 腾讯科技（深圳）有限公司 流媒体播放方法及相关装置
CN106446042B (zh) * 2016-08-31 2020-02-18 上海银赛计算机科技有限公司 信息显示方法及装置
CN106408004B (zh) * 2016-08-31 2021-02-19 北京城市网邻信息技术有限公司 识别伪造营业执照的方法及装置
CN106412715A (zh) * 2016-09-14 2017-02-15 华为软件技术有限公司 一种信息检索方法、终端以及服务器
CN107659545B (zh) * 2016-09-28 2021-02-05 腾讯科技（北京）有限公司 一种媒体信息处理方法及媒体信息处理系统、电子设备
CN106375798A (zh) * 2016-10-11 2017-02-01 上海涛略广告有限公司 基于声纹识别技术的互动方法及系统
CN106572241A (zh) * 2016-10-21 2017-04-19 北京巡声巡影科技服务有限公司 一种信息展示方法和装置
CN106570100B (zh) * 2016-10-31 2019-02-26 腾讯科技（深圳）有限公司 信息搜索方法和装置
CN107066477A (zh) * 2016-12-13 2017-08-18 合网络技术（北京）有限公司 一种智能推荐视频的方法及装置
CN106878797A (zh) * 2016-12-31 2017-06-20 天脉聚源（北京）科技有限公司 一种显示互动观众支持信息的方法和装置
CN106899891A (zh) * 2016-12-31 2017-06-27 天脉聚源（北京）科技有限公司 竞猜互动的方法和装置
CN106899890A (zh) * 2016-12-31 2017-06-27 天脉聚源（北京）科技有限公司 涂鸦互动的方法和装置
CN106792232A (zh) * 2016-12-31 2017-05-31 天脉聚源（北京）科技有限公司 电视节目中红包互动的方法和装置
CN107071545A (zh) * 2016-12-31 2017-08-18 天脉聚源（北京）科技有限公司 一种显示比赛信息的方法和装置
CN106792235A (zh) * 2016-12-31 2017-05-31 天脉聚源（北京）科技有限公司 一种构建全景画面电视节目的方法和装置
CN106878816A (zh) * 2016-12-31 2017-06-20 天脉聚源（北京）科技有限公司 一种显示互动信息的方法和装置
CN106713999A (zh) * 2016-12-31 2017-05-24 天脉聚源（北京）科技有限公司 一种显示参赛者信息的方法和装置
CN106790196A (zh) * 2016-12-31 2017-05-31 天脉聚源（北京）科技有限公司 红包互动的方法和装置
CN106888398A (zh) * 2016-12-31 2017-06-23 天脉聚源（北京）科技有限公司 竞猜互动的方法和装置
CN106878817A (zh) * 2016-12-31 2017-06-20 天脉聚源（北京）科技有限公司 投票互动的方法和装置
CN106888399A (zh) * 2016-12-31 2017-06-23 天脉聚源（北京）科技有限公司 抽奖互动的方法和装置
CN106713996A (zh) * 2016-12-31 2017-05-24 天脉聚源（北京）科技有限公司 一种构建全景画面电视节目的方法和装置
CN106933943A (zh) * 2017-01-17 2017-07-07 浙江工业大学 一种基于记录时间差的朋友推荐方法
US11632345B1 (en) * 2017-03-31 2023-04-18 Amazon Technologies, Inc. Message management for communal account
CN108696564A (zh) * 2017-04-12 2018-10-23 腾讯科技（深圳）有限公司 任务处理方法、装置、终端及存储介质
CN107071546A (zh) * 2017-05-25 2017-08-18 非凡部落（北京）科技有限公司 一种跨屏交互的实现方法
WO2018222249A1 (en) * 2017-06-02 2018-12-06 Apple Inc. Device, method, and graphical user interface for presenting representations of media containers
US10395650B2 (en) 2017-06-05 2019-08-27 Google Llc Recorded media hotword trigger suppression
US10950228B1 (en) * 2017-06-28 2021-03-16 Amazon Technologies, Inc. Interactive voice controlled entertainment
CN109309851B (zh) * 2017-07-26 2022-02-11 腾讯科技（深圳）有限公司 信息处理方法、服务器及终端
CN107705170B (zh) * 2017-08-31 2021-12-21 北京小米移动软件有限公司 订单赠与方法及装置
CN107635153B (zh) * 2017-09-11 2020-07-31 北京奇艺世纪科技有限公司 一种基于影像数据的交互方法及系统
CN109587574A (zh) * 2017-09-28 2019-04-05 上海全土豆文化传播有限公司 一种信息交互方法以及信息交互装置
CN108023941B (zh) * 2017-11-23 2020-05-05 阿里巴巴集团控股有限公司 语音控制方法及装置和电子设备
JP6461290B1 (ja) * 2017-11-24 2019-01-30 株式会社ドワンゴ コンテンツ提供サーバ、コンテンツ提供プログラム、コンテンツ提供システムおよびユーザプログラム
CN109842806B (zh) * 2017-11-29 2021-09-17 腾讯科技（深圳）有限公司 视频提醒播放、播放控制方法、装置、设备和存储介质
US11100147B2 (en) * 2017-12-22 2021-08-24 Google Llc Electronic list user interface
US11170033B2 (en) * 2017-12-22 2021-11-09 Google Llc Electronic list user interface
CN108055343B (zh) * 2017-12-26 2021-07-13 北京奇虎科技有限公司 用于机房的数据同步方法及装置
CN108305101B (zh) * 2018-01-30 2020-12-29 深圳壹账通智能科技有限公司 数值转移方法、装置、计算机设备和存储介质
CN108242017A (zh) * 2018-02-07 2018-07-03 杭州蜜迩科技有限公司 一种基于位置的点评互动系统和方法
CN108449647A (zh) * 2018-02-12 2018-08-24 广州虎牙信息科技有限公司 一种弹幕处理方法、装置及电子设备
CN110198484B (zh) * 2018-02-27 2021-09-14 腾讯科技（深圳）有限公司 消息推送方法、装置及设备
US11676220B2 (en) 2018-04-20 2023-06-13 Meta Platforms, Inc. Processing multimodal user input for assistant systems
US11886473B2 (en) 2018-04-20 2024-01-30 Meta Platforms, Inc. Intent identification for agent matching by assistant systems
US20190327330A1 (en) 2018-04-20 2019-10-24 Facebook, Inc. Building Customized User Profiles Based on Conversational Data
US11715042B1 (en) 2018-04-20 2023-08-01 Meta Platforms Technologies, Llc Interpretability of deep reinforcement learning models in assistant systems
CN110445821B (zh) * 2018-05-03 2022-05-31 阿里巴巴集团控股有限公司 家用电器的信息推送方法、装置、系统及信息处理方法
US11488590B2 (en) 2018-05-09 2022-11-01 Staton Techiya Llc Methods and systems for processing, storing, and publishing data collected by an in-ear device
GB2578082A (en) * 2018-05-23 2020-04-22 Zoo Digital Ltd Comparing Audiovisual Products
CN110674331A (zh) * 2018-06-15 2020-01-10 华为技术有限公司 信息处理方法、相关设备及计算机存储介质
CN108989875B (zh) * 2018-07-04 2020-12-25 北京奇艺世纪科技有限公司 一种生成弹幕文件的方法及装置
CN108924624B (zh) * 2018-08-03 2021-08-31 百度在线网络技术（北京）有限公司 信息处理方法和装置
CN109144342B (zh) * 2018-08-14 2021-05-28 阿里巴巴（中国）有限公司 比赛竞猜互动方法及装置
CN108924643A (zh) * 2018-08-22 2018-11-30 上海芽圃教育科技有限公司 一种流媒体的生成方法、装置、服务器和存储介质
CN109522064B (zh) * 2018-08-31 2021-12-14 努比亚技术有限公司 具有双屏幕的便携式电子设备的交互方法及交互装置
FR3085785B1 (fr) * 2018-09-07 2021-05-14 Gracenote Inc Procedes et appareil pour generer une empreinte numerique d'un signal audio par voie de normalisation
CN110944218B (zh) * 2018-09-25 2022-04-12 阿里巴巴集团控股有限公司 多媒体信息的播放系统、方法、装置、设备及存储介质
CN110418159A (zh) * 2018-10-11 2019-11-05 彩云之端文化传媒(北京)有限公司 一种基于声纹识别的跨屏截取电视内容的方法
US11166077B2 (en) 2018-12-20 2021-11-02 Rovi Guides, Inc. Systems and methods for displaying subjects of a video portion of content
CN109388730A (zh) * 2018-12-27 2019-02-26 广州酷狗计算机科技有限公司 音频推荐方法、装置、终端及存储介质
CN109817242A (zh) * 2019-01-30 2019-05-28 北京雷石天地电子技术有限公司 一种音频匹配方法及装置
US11133005B2 (en) * 2019-04-29 2021-09-28 Rovi Guides, Inc. Systems and methods for disambiguating a voice search query
CN110175244B (zh) * 2019-05-28 2021-09-14 Oppo广东移动通信有限公司 多媒体文件的播放方法及相关设备
CN112118488A (zh) * 2019-06-20 2020-12-22 京东方科技集团股份有限公司 一种直播方法、电子设备以及直播系统
CN110351603B (zh) * 2019-07-04 2022-04-22 深圳市云歌人工智能技术有限公司 查看关注用户的回复视频的方法、装置以及存储介质
CN110460903A (zh) * 2019-07-18 2019-11-15 平安科技（深圳）有限公司 基于语音分析对节目评论的方法、装置和计算机设备
CN110570698B (zh) * 2019-08-21 2022-04-26 北京大米科技有限公司 一种在线教学控制方法、装置、存储介质以及终端
CN110601925B (zh) * 2019-10-21 2021-07-27 秒针信息技术有限公司 一种信息筛选方法、装置、电子设备及存储介质
CN110910899B (zh) * 2019-11-27 2022-04-08 杭州联汇科技股份有限公司 一种实时音频信号一致性对比检测方法
CN111161758B (zh) * 2019-12-04 2023-03-31 厦门快商通科技股份有限公司 一种基于音频指纹的听歌识曲方法、系统及音频设备
CN111601168B (zh) * 2020-05-21 2021-07-16 广州欢网科技有限责任公司 一种电视节目市场表现分析方法及系统
CN111666907B (zh) * 2020-06-09 2024-03-08 北京奇艺世纪科技有限公司 一种视频中对象信息的识别方法、装置及服务器
US11328031B2 (en) 2020-07-11 2022-05-10 International Business Machines Corporation Automatically generated timestamps based on comment
CN112306260A (zh) * 2020-10-29 2021-02-02 深圳Tcl新技术有限公司 交互方法、显示终端、系统及计算机可读存储介质
WO2022107227A1 (ja) * 2020-11-17 2022-05-27 株式会社I’mbesideyou 広告配信システム、サーバ装置及び広告配信方法
CN112698769B (zh) 2020-12-25 2023-09-26 北京字节跳动网络技术有限公司 信息交互方法、装置、设备、存储介质及程序产品
CN112861004B (zh) * 2021-02-20 2024-02-06 中国联合网络通信集团有限公司 一种富媒体的确定方法及装置
CN113518253A (zh) * 2021-04-29 2021-10-19 广州酷狗计算机科技有限公司 歌曲播放方法、装置、终端设备及存储介质
CN113377271A (zh) * 2021-05-31 2021-09-10 北京达佳互联信息技术有限公司 文本获取方法、装置、计算机设备及介质
CN113221863B (zh) * 2021-07-12 2021-10-22 深圳市永达电子信息股份有限公司 基于电磁空间周期统计的加密协议识别方法、系统及介质
CN115857762A (zh) 2021-09-24 2023-03-28 北京字节跳动网络技术有限公司 一种答复问题方法、装置、设备、介质及程序产品
CN113611286B (zh) * 2021-10-08 2022-01-18 之江实验室 一种基于共性特征提取的跨语种语音情感识别方法和系统
CN114301887B (zh) * 2021-12-27 2023-12-12 北京达佳互联信息技术有限公司 音频内容播放方法和音频内容播放装置
CN114866693B (zh) * 2022-04-15 2024-01-05 苏州清睿智能科技股份有限公司 一种基于智能终端的信息交互方法及装置
CN115334326B (zh) * 2022-07-11 2024-02-06 北京达佳互联信息技术有限公司 直播互动方法及装置、电子设备、计算机可读存储介质
CN115798517B (zh) * 2023-02-08 2023-04-28 南京邮电大学 基于语音信息特征数据的商品搜索方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518884A (ja) * 2005-11-29 2009-05-07 グーグル・インコーポレーテッド マスメディアのソーシャル及び相互作用的なアプリケーション
US20110069937A1 (en) * 2009-09-18 2011-03-24 Laura Toerner Apparatus, system and method for identifying advertisements from a broadcast source and providing functionality relating to the same

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62159195A (ja) 1986-01-06 1987-07-15 沖電気工業株式会社 音声パタン作成方法
US5473759A (en) 1993-02-22 1995-12-05 Apple Computer, Inc. Sound analysis and resynthesis using correlograms
US5848155A (en) * 1996-09-04 1998-12-08 Nec Research Institute, Inc. Spread spectrum watermark for embedded signalling
US6092039A (en) 1997-10-31 2000-07-18 International Business Machines Corporation Symbiotic automatic speech recognition and vocoder
GR1003625B (el) 1999-07-08 2001-08-31 Μεθοδος χημικης αποθεσης συνθετων επικαλυψεων αγωγιμων πολυμερων σε επιφανειες κραματων αλουμινιου
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
US7277766B1 (en) 2000-10-24 2007-10-02 Moodlogic, Inc. Method and system for analyzing digital audio files
JP3554825B2 (ja) * 2002-03-11 2004-08-18 東北大学長 電子透かしシステム
DK1504445T3 (da) 2002-04-25 2008-12-01 Landmark Digital Services Llc Robust og invariant lydmönster-matching
AU2003296157A1 (en) 2003-01-15 2004-08-10 Matsushita Electric Industrial Co., Ltd. Broadcast reception method, broadcast reception system, recording medium, and program
EP1647021A2 (en) * 2003-07-11 2006-04-19 Koninklijke Philips Electronics N.V. Watermark embedding and detection
SG120121A1 (en) 2003-09-26 2006-03-28 St Microelectronics Asia Pitch detection of speech signals
US7672838B1 (en) 2003-12-01 2010-03-02 The Trustees Of Columbia University In The City Of New York Systems and methods for speech recognition using frequency domain linear prediction polynomials to form temporal and spectral envelopes from frequency domain representations of signals
JP2006106535A (ja) 2004-10-08 2006-04-20 Nippon Telegr & Teleph Corp <Ntt> 音響信号蓄積検索装置、及び音響信号蓄積検索プログラム
US20070195963A1 (en) 2006-02-21 2007-08-23 Nokia Corporation Measuring ear biometrics for sound optimization
US7921116B2 (en) 2006-06-16 2011-04-05 Microsoft Corporation Highly meaningful multimedia metadata creation and associations
CN101115124B (zh) * 2006-07-26 2012-04-18 日电（中国）有限公司 基于音频水印识别媒体节目的方法和装置
CN101132519A (zh) * 2006-08-22 2008-02-27 中国移动通信集团公司 移动终端电视业务的交互处理系统及交互处理方法
CN101021857A (zh) * 2006-10-20 2007-08-22 鲍东山 基于内容分析的视频搜索系统
CN101127875B (zh) * 2007-09-13 2012-01-04 深圳市融创天下科技股份有限公司 一种视频流媒体节目播放中的观众互动方法
CN101465122A (zh) 2007-12-20 2009-06-24 株式会社东芝 语音的频谱波峰的检测以及语音识别方法和系统
KR20090083098A (ko) 2008-01-29 2009-08-03 삼성전자주식회사 하모닉 특징을 이용한 음악 인식 방법 및 음악 인식을이용한 이동 로봇의 동작 생성 방법
CN102132341B (zh) * 2008-08-26 2014-11-26 杜比实验室特许公司 鲁棒的媒体指纹
CN102053998A (zh) 2009-11-04 2011-05-11 周明全 一种利用声音方式检索歌曲的方法及系统装置
US8886531B2 (en) 2010-01-13 2014-11-11 Rovi Technologies Corporation Apparatus and method for generating an audio fingerprint and using a two-stage query
US8768495B2 (en) 2010-06-09 2014-07-01 Adelphoi Limited System and method for media recognition
TWI426501B (zh) 2010-11-29 2014-02-11 Inst Information Industry 旋律辨識方法與其裝置
CN102063904B (zh) 2010-11-30 2012-06-27 广州酷狗计算机科技有限公司 一种音频文件的旋律提取方法及旋律识别系统
US8818806B2 (en) 2010-11-30 2014-08-26 JVC Kenwood Corporation Speech processing apparatus and speech processing method
CN102572515A (zh) * 2010-12-16 2012-07-11 康佳集团股份有限公司 网络电视节目互动系统及方法
KR101770262B1 (ko) * 2011-03-16 2017-08-22 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US8528014B2 (en) * 2011-04-22 2013-09-03 Telefonaktiebolaget L M Ericsson (Publ) Location based user aware video on demand sessions
US20120296458A1 (en) 2011-05-18 2012-11-22 Microsoft Corporation Background Audio Listening for Content Recognition
US8818049B2 (en) * 2011-05-18 2014-08-26 Google Inc. Retrieving contact information based on image recognition searches
CN102790923B (zh) * 2011-05-19 2015-11-25 华为终端有限公司 用户评论信息共享的方法、即时消息服务器及用户终端
US8589982B2 (en) * 2011-06-03 2013-11-19 Sony Corporation Video searching using TV and user interfaces therefor
CN102253994A (zh) * 2011-07-08 2011-11-23 宇龙计算机通信科技(深圳)有限公司 自动搜索装置和自动搜索方法
CN102905172B (zh) * 2011-07-27 2016-03-09 深圳市鑫海诺科技有限公司 电视收视率数据采集的方法、互联网终端、服务器及系统
CN102332262B (zh) 2011-09-23 2012-12-19 哈尔滨工业大学深圳研究生院 基于音频特征的歌曲智能识别方法
CN103096128B (zh) * 2011-11-07 2016-07-06 中国移动通信集团公司 一种实现视频互动的方法、服务器、终端及系统
CN103152646A (zh) * 2011-12-07 2013-06-12 中兴通讯股份有限公司 基于iptv的投票业务系统及投票方法
CN103164450A (zh) * 2011-12-15 2013-06-19 腾讯科技（深圳）有限公司 一种向目标用户推送信息的方法及装置
CN102799605B (zh) * 2012-05-02 2016-03-23 天脉聚源(北京)传媒科技有限公司 一种广告监播方法和系统
CN103428539B (zh) * 2012-05-15 2017-08-22 腾讯科技（深圳）有限公司 一种推送信息的发布方法及装置
JP2014002616A (ja) * 2012-06-19 2014-01-09 Toshiba Corp 映像検索システム
EP2696315A1 (en) * 2012-08-09 2014-02-12 Gface GmbH Simultaneous evaluation of items via online services
CN103594083A (zh) * 2012-08-14 2014-02-19 韩凯 通过电视伴音自动识别电视节目的技术
CN102946549A (zh) * 2012-08-24 2013-02-27 南京大学 一种移动社交视频分享方法与系统
CN102833596B (zh) * 2012-09-20 2014-09-17 北京酷云互动科技有限公司 一种信息的传送方法及装置
US20140089815A1 (en) * 2012-09-21 2014-03-27 Google Inc. Sharing Content-Synchronized Ratings
CN102843599B (zh) * 2012-09-27 2015-05-13 北京导视互动网络技术有限公司 电视节目的互动方法及系统
US20140280267A1 (en) * 2013-03-14 2014-09-18 Fotofad, Inc. Creating real-time association interaction throughout digital media
CN103237260B (zh) * 2013-04-09 2016-12-28 上海合合信息科技发展有限公司 实时地从电视、电台频道中获取广告的系统及方法
CN103150671A (zh) * 2013-04-09 2013-06-12 上海合合信息科技发展有限公司 利用移动终端进行电视购物的方法及系统
CN103200429B (zh) * 2013-04-09 2016-12-28 上海合合信息科技发展有限公司 与电视、电台中的广告进行交互的方法及系统
US20140372210A1 (en) * 2013-06-18 2014-12-18 Yahoo! Inc. Method and system for serving advertisements related to segments of a media program
CN103618953B (zh) * 2013-08-15 2016-09-14 北京中视广信科技有限公司 基于音频特征的广播电视节目标识与识别的方法及系统
CN103533459B (zh) * 2013-10-09 2017-05-03 北京中科模识科技有限公司 一种新闻视频条目拆分的方法和系统
CN103686377B (zh) * 2013-12-09 2018-04-27 深圳Tcl新技术有限公司 推送资讯信息的方法和智能终端
US20150170245A1 (en) * 2013-12-13 2015-06-18 DFS Medialabs, LLC Media content instance embedded product marketing
CN103634690A (zh) * 2013-12-23 2014-03-12 乐视致新电子科技（天津）有限公司 智能电视中的用户信息处理方法、装置及系统
CN103731685A (zh) * 2013-12-27 2014-04-16 乐视网信息技术（北京）股份有限公司 对客户端上播放视频同步进行交流的方法和系统
CN103747293A (zh) * 2014-01-10 2014-04-23 北京酷云互动科技有限公司 与电视节目关联的产品推荐方法及推荐装置
CN103763589A (zh) * 2014-01-10 2014-04-30 北京酷云互动科技有限公司 视频广告扩展信息推送方法和装置
CN103763586B (zh) * 2014-01-16 2017-05-10 北京酷云互动科技有限公司 电视节目互动方法、装置和服务器
CN104093079B (zh) * 2014-05-29 2015-10-07 腾讯科技（深圳）有限公司 基于多媒体节目的交互方法、终端、服务器和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009518884A (ja) * 2005-11-29 2009-05-07 グーグル・インコーポレーテッド マスメディアのソーシャル及び相互作用的なアプリケーション
US20110069937A1 (en) * 2009-09-18 2011-03-24 Laura Toerner Apparatus, system and method for identifying advertisements from a broadcast source and providing functionality relating to the same

Also Published As

Publication number Publication date
CN104023247B (zh) 2015-07-29
JP2017509938A (ja) 2017-04-06
CN104093079A (zh) 2014-10-08
CN104113782A (zh) 2014-10-22
WO2015188620A1 (en) 2015-12-17
HK1200624A1 (en) 2015-08-07
US10354307B2 (en) 2019-07-16
CN104113787A (zh) 2014-10-22
CN104378683A (zh) 2015-02-25
CN104093079B (zh) 2015-10-07
US20160275588A1 (en) 2016-09-22
JP6168544B2 (ja) 2017-07-26
CN104023247A (zh) 2014-09-03
CN104113782B (zh) 2015-08-26
CN104125511B (zh) 2015-10-07
CN104113787B (zh) 2016-02-24
CN104125511A (zh) 2014-10-29
KR20160099617A (ko) 2016-08-22

Similar Documents

Publication Publication Date Title
KR101818986B1 (ko) 오디오 입력에 기초하여 정보를 획득하는 방법, 장치 및 시스템
US9942711B2 (en) Apparatus and method for determining co-location of services using a device that generates an audio signal
US11659220B2 (en) System and method for surveying broadcasting ratings
US9996628B2 (en) Providing audio-activated resource access for user devices based on speaker voiceprint
JP6479804B2 (ja) マルチメディアコンテンツの視聴者と対話するための方法およびシステム
US8060373B2 (en) System and method of identifying contact information
KR101764257B1 (ko) 제품들을 식별하기 위해 멀티미디어 검색을 사용하는 방법, 장치 및 컴퓨터 판독가능 매체
KR20150032101A (ko) 영상표시장치 및 영상표시방법
US20140372210A1 (en) Method and system for serving advertisements related to segments of a media program
US9301019B1 (en) Media correlation by feature matching
TW201248450A (en) Background audio listening for content recognition
US20120017231A1 (en) Behavior monitoring system
JP2019532378A (ja) シングルソースクロスプラットフォームメディア測定装置、デバイス、及び関連方法
JP2019036191A (ja) 判定装置、判定方法及び判定プログラム
CN107484015B (zh) 节目处理方法及装置、终端
JP2014191385A (ja) 情報処理装置
US20150370892A1 (en) System and method for audio identification
JP2019036837A (ja) オブジェクト特定装置、オブジェクト特定システム、オブジェクト特定方法及びプログラム
AU2012353108A2 (en) Advertisement providing apparatus and method for providing advertisements
KR20200055576A (ko) 개인화된 광고 운용 방법 및 이를 지원하는 서비스 장치
EP2605535A1 (en) Advertisement providing apparatus and method for providing advertisements
CN111435513B (zh) 内容处理方法、装置及系统
CN116916105A (zh) 点播节目的推送方法、装置及相关设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant