KR102439201B1 - 멀티미디어 콘텐츠와 음원을 동기화하기 위한 전자 장치 및 그의 동작 방법 - Google Patents

멀티미디어 콘텐츠와 음원을 동기화하기 위한 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
KR102439201B1
KR102439201B1 KR1020200117629A KR20200117629A KR102439201B1 KR 102439201 B1 KR102439201 B1 KR 102439201B1 KR 1020200117629 A KR1020200117629 A KR 1020200117629A KR 20200117629 A KR20200117629 A KR 20200117629A KR 102439201 B1 KR102439201 B1 KR 102439201B1
Authority
KR
South Korea
Prior art keywords
sound source
multimedia content
section
playback
display section
Prior art date
Application number
KR1020200117629A
Other languages
English (en)
Other versions
KR20220035636A (ko
Inventor
박종은
김대황
이장희
Original Assignee
네이버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 네이버 주식회사 filed Critical 네이버 주식회사
Priority to KR1020200117629A priority Critical patent/KR102439201B1/ko
Priority to JP2021148571A priority patent/JP7261276B2/ja
Publication of KR20220035636A publication Critical patent/KR20220035636A/ko
Application granted granted Critical
Publication of KR102439201B1 publication Critical patent/KR102439201B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

다양한 실시예들은 멀티미디어 콘텐츠와 멀티미디어 콘텐츠에 사용된 음원을 동기화하기 위한 전자 장치 및 그의 동작 방법에 관한 것으로, 멀티미디어 콘텐츠의 핑거프린트에 기반하여, 멀티미디어 콘텐츠의 적어도 하나의 표시 구간에 각각 매칭되는 음원의 적어도 하나의 재생 구간을 검출하고, 멀티미디어 콘텐츠 내에서의 표시 구간의 시간 위치와 음원 내에서의 재생 구간의 시간 위치 사이의 시간 차이를 검출하고, 시간 차이에 기반하여, 표시 구간과 재생 구간을 동기화시키도록 구성될 수 있다.

Description

멀티미디어 콘텐츠와 음원을 동기화하기 위한 전자 장치 및 그의 동작 방법{ELECTRONIC DEVICE FOR SYNCHRONIZING MULTIMEDIA CONTENT AND AUDIO SOURCE AND OPERATING METHOD THEREOF}
다양한 실시예들은 멀티미디어 콘텐츠(multimedia content)와 멀티미디어 콘텐츠에 사용된 음원(audio source)을 동기화하기 위한 전자 장치 및 그의 동작 방법에 관한 것이다.
음원 검출 기술은 멀티미디어 콘텐츠에 사용된 음원을 검출하는 기술이다. 일반적으로, 서버에는, 복수의 음원들이 등록되며, 음원들의 핑거프린트(finger print)들이 각각 저장되어 있다. 이러한 서버는 음원 검출 기술을 통해, 멀티미디어 콘텐츠의 핑거프린트를 기반으로, 등록된 음원들로부터 멀티미디어 콘텐츠에 사용된 음원을 검출한다. 이를 통해, 서버는 음원에 대한 정보와 음원 내에서 멀티미디어 콘텐츠에 사용된 부분의 시작 위치를 제공한다.
그러나, 상기와 같은 서버에서, 멀티미디어 콘텐츠에 사용된 음원을 검출하기 위한 동작 성능이 낮은 문제점이 있다. 구체적으로, 서버가 멀티미디어 콘텐츠의 전체의 핑거프린트를 등록된 음원들의 핑거프린트들과 비교해야 하기 때문에, 서버의 연산량이 증가되어, 서버의 동작 효율성이 낮다. 그리고, 서버가 음원 내에서 멀티미디어 콘텐츠에 사용된 부분을 정확하게 검출하는 데 어려움이 있다.
다양한 실시예들은, 멀티미디어 콘텐츠에 사용된 적어도 하나의 음원을 효율적으로 검출할 수 있는 전자 장치 및 그의 동작 방법을 제공한다.
다양한 실시예들은, 멀티미디어 콘텐츠와 음원 내에서 서로에 매칭되는 부분들을 특정함으로써, 이들을 동기화할 수 있는 전자 장치 및 그의 동작 방법을 제공한다.
다양한 실시예들은, 멀티미디어 콘텐츠와 음원 사이의 자연스러운 전환을 가능하게 하는 전자 장치 및 그의 동작 방법을 제공한다.
다양한 실시예들은, 음원의 가사 정보에 기반하여, 멀티미디어 콘텐츠에 자막 데이터를 표시할 수 있는 전자 장치 및 그의 동작 방법을 제공한다.
다양한 실시예들에 따른 전자 장치의 동작 방법은, 멀티미디어 콘텐츠의 핑거프린트에 기반하여, 멀티미디어 콘텐츠의 적어도 하나의 표시 구간에 각각 매칭되는 음원의 적어도 하나의 재생 구간을 검출하는 단계, 상기 멀티미디어 콘텐츠 내에서의 상기 표시 구간의 시간 위치와 상기 음원 내에서의 상기 재생 구간의 시간 위치 사이의 시간 차이를 검출하는 단계, 및 상기 시간 차이에 기반하여, 상기 표시 구간과 상기 재생 구간을 동기화하는 단계를 포함할 수 있다.
다양한 실시예들에 따른 컴퓨터 프로그램은, 상기 동작 방법을 상기 전자 장치에 실행시키기 위해 비-일시적인 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다.
다양한 실시예들에 따른 비-일시적인 컴퓨터 판독 가능한 기록 매체는, 상기 동작 방법을 상기 전자 장치에 실행시키기 위한 프로그램이 기록되어 있다.
다양한 실시예들에 따른 전자 장치는, 메모리, 및 상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고, 상기 프로세서는, 멀티미디어 콘텐츠의 핑거프린트에 기반하여, 멀티미디어 콘텐츠의 적어도 하나의 표시 구간에 각각 매칭되는 음원의 적어도 하나의 재생 구간을 검출하고, 상기 멀티미디어 콘텐츠 내에서의 상기 표시 구간의 시간 위치와 상기 음원 내에서의 상기 재생 구간의 시간 위치 사이의 시간 차이를 검출하고, 상기 시간 차이에 기반하여, 상기 표시 구간과 상기 재생 구간을 동기화하도록 구성될 수 있다.
다양한 실시예들에 따르면, 전자 장치는 멀티미디어 콘텐츠에 사용된 적어도 하나의 음원을 효율적으로 검출할 수 있다. 구체적으로, 전자 장치는 멀티미디어 콘텐츠와 음원에서 서로 매칭되는 표시 구간과 재생 구간을 효율적으로 검출할 수 있다. 즉, 전자 장치는 멀티미디어 콘텐츠의 핑거프린트에서 시간 범위를 확장시키면서, 멀티미디어 콘텐츠와 음원에서 서로 매칭되는 표시 구간과 재생 구간을 보다 정확하게 특정할 수 있다. 그리고, 전자 장치는 서로 매칭되는 표시 구간과 재생 구간의 시간 차이에 기반하여 표시 구간과 재생 구간을 동기화함으로써, 멀티미디어 콘텐츠와 음원을 연관시킬 수 있다. 이를 통해, 전자 장치는 멀티미디어 콘텐츠와 음원 사이의 자연스러운 전환을 가능하게 할뿐 아니라, 음원의 가사 정보에 기반하여, 멀티미디어 콘텐츠에 자막 데이터를 표시할 수 있다.
도 1은 다양한 실시예들에 따른 전자 장치를 도시하는 도면이다.
도 2 및 도 3은 도 1의 프로세서의 동작 특징을 예시적으로 설명하기 위한 도면들이다.
도 4는 도 1의 프로세서를 세부적으로 도시하는 도면이다.
도 5는 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 도면이다.
도 6은 도 5의 표시 구간과 재생 구간 검출 단계를 세부적으로 도시하는 도면이다.
도 7은 도 5의 표시 구간과 재생 구간 동기화 단계를 세부적으로 도시하는 도면이다.
도 8, 도 9, 도 10, 도 11, 도 12, 및 도 13은 다양한 실시예들에 따른 전자 장치의 동작 방법을 예시적으로 설명하기 위한 도면들이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 설명된다.
도 1은 다양한 실시예들에 따른 전자 장치(200)를 도시하는 도면이다. 도 2 및 도 3은 도 1의 프로세서(160)의 동작 특징을 예시적으로 설명하기 위한 도면들이다. 도 4는 도 1의 프로세서(160)를 세부적으로 도시하는 도면이다.
도 1을 참조하면, 다양한 실시예들에 따른 전자 장치(100)는 연결 단자(110), 통신 모듈(120), 입력 모듈(130), 출력 모듈(140), 메모리(150), 또는 프로세서(160) 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 전자 장치(100)의 구성 요소들 중 적어도 어느 하나가 생략될 수 있으며, 적어도 하나의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서, 전자 장치(100)의 구성 요소들 중 적어도 어느 두 개가 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 전자 장치(100)는 서버(server), 스마트폰(smart phone), 휴대폰, 내비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(personal digital assistants), PMP(portable multimedia player), 태블릿 PC, 게임 콘솔(game console), 웨어러블 디바이스(wearable device), IoT(internet of things) 디바이스, 가전 기기, 의료 기기, 또는 로봇(robot) 중 적어도 어느 하나를 포함할 수 있다.
연결 단자(110)는 전자 장치(100)에서 외부 장치(102)와 물리적으로 연결될 수 있다. 예를 들면, 외부 장치(102)는 다른 전자 장치를 포함할 수 있다. 이를 위해, 연결 단자(110)는 적어도 하나의 커넥터를 포함할 수 있다. 예를 들면, 커넥터는 HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터 중 적어도 어느 하나를 포함할 수 있다.
통신 모듈(120)은 전자 장치(100)에서 외부 장치(102, 104)와 통신을 수행할 수 있다. 통신 모듈(120)은 전자 장치(100)와 외부 장치(102, 104) 간 통신 채널을 수립하고, 통신 채널을 통해, 외부 장치(102, 104)와 통신을 수행할 수 있다. 여기서, 외부 장치(102, 104)는 위성, 기지국, 또는 다른 전자 장치 중 적어도 어느 하나를 포함할 수 있다. 통신 모듈(120)은 유선 통신 모듈 또는 무선 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 유선 통신 모듈은 연결 단자(102)를 통해, 외부 장치(102)와 유선으로 연결되어, 유선으로 통신할 수 있다. 무선 통신 모듈은 근거리 통신 모듈 또는 원거리 통신 모듈 중 적어도 어느 하나를 포함할 수 있다. 근거리 통신 모듈은 외부 장치(102)와 근거리 통신 방식으로 통신할 수 있다. 예를 들면, 근거리 통신 방식은, 블루투스(Bluetooth), 와이파이 다이렉트(WiFi direct), 또는 적외선 통신(IrDA; infrared data association) 중 적어도 어느 하나를 포함할 수 있다. 원거리 통신 모듈은 외부 장치(104)와 원거리 통신 방식으로 통신할 수 있다. 여기서, 원거리 통신 모듈은 네트워크(190)를 통해 외부 장치(104)와 통신할 수 있다. 예를 들면, 네트워크(190)는 셀룰러 네트워크, 인터넷, 또는 LAN(local area network)이나 WAN(wide area network)과 같은 컴퓨터 네트워크 중 적어도 어느 하나를 포함할 수 있다.
입력 모듈(130)은 전자 장치(100)의 적어도 하나의 구성 요소에 사용될 신호를 입력할 수 있다. 입력 모듈(130)은, 사용자가 전자 장치(100)에 직접적으로 신호를 입력하도록 구성되는 입력 장치, 주변 환경을 감지하여 신호를 발생하도록 구성되는 센서 장치, 또는 영상을 촬영하여, 영상 데이터를 생성하도록 구성되는 카메라 모듈 중 적어도 어느 하나를 포함할 수 있다. 예를 들면, 입력 장치는 마이크로폰(microphone), 마우스(mouse), 또는 키보드(keyboard) 중 적어도 어느 하나를 포함할 수 있다. 어떤 실시예에서, 센서 장치는 터치를 감지하도록 설정된 터치 회로(touch circuitry) 또는 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로 중 적어도 어느 하나를 포함할 수 있다.
출력 모듈(140)은 정보를 출력할 수 있다. 출력 모듈(140)은 정보를 시각적으로 표시하도록 구성되는 표시 모듈 또는 정보를 청각적으로 재생하도록 구성되는 오디오 모듈 중 적어도 하나를 포함할 수 있다. 예를 들면, 표시 모듈은 디스플레이, 홀로그램 장치, 또는 프로젝터 중 적어도 어느 하나를 포함할 수 있다. 일 예로, 표시 모듈은 입력 모듈(130)의 터치 회로 또는 센서 회로 중 적어도 어느 하나와 조립되어, 터치 스크린으로 구현될 수 있다. 예를 들면, 오디오 모듈은 스피커 또는 리시버 중 적어도 어느 하나를 포함할 수 있다.
메모리(150)는 전자 장치(100)의 적어도 하나의 구성 요소에 의해 사용되는 다양한 데이터를 저장할 수 있다. 예를 들면, 메모리(150)는 휘발성 메모리 또는 비휘발성 메모리 중 적어도 어느 하나를 포함할 수 있다. 데이터는 적어도 하나의 프로그램 및 이와 관련된 입력 데이터 또는 출력 데이터를 포함할 수 있다. 프로그램은 메모리(150)에 적어도 하나의 명령을 포함하는 소프트웨어로서 저장될 수 있으며, 예컨대 운영 체제, 미들 웨어 또는 어플리케이션 중 적어도 어느 하나를 포함할 수 있다.
프로세서(160)는 메모리(150)의 프로그램을 실행하여, 전자 장치(100)의 적어도 하나의 구성 요소를 제어할 수 있다. 이를 통해, 프로세서(160)는 데이터 처리 또는 연산을 수행할 수 있다. 이 때 프로세서(160)는 메모리(150)에 저장된 명령을 실행할 수 있다. 프로세서(160)는 멀티미디어 콘텐츠(multimedia content)에 사용된 적어도 하나의 음원(audio source)을 검출할 수 있다. 여기서, 멀티미디어 콘텐츠는 영상 데이터 또는 오디오 데이터 중 적어도 하나로 이루어질 수 있다. 일 예로, 멀티미디어 콘텐츠는 영상 데이터와 오디오 데이터로 이루어지며, 뮤직 비디오, 네트워크를 통해 공유되는 동영상 등을 포함할 수 있다. 다른 예로, 멀티미디어 콘텐츠는 오디오 데이터로 이루어지며, 팟캐스트, 방송국 등에서 생성될 수 있다. 그리고, 멀티미디어 콘텐츠의 오디오 데이터에는, 음원이 사용될 수 있다.
다양한 실시예들에 따르면, 프로세서(160)는, 도 2에 도시된 바와 같이 멀티미디어 콘텐츠와 멀티미디어 콘텐츠에 사용된 음원에서, 서로 매칭되는 적어도 하나의 표시 구간(210)과 적어도 하나의 재생 구간(220)을 각각 검출할 수 있다. 여기서, 멀티미디어 콘텐츠의 적어도 하나의 표시 구간(210)은 음원의 적어도 하나의 재생 구간(220)이 각각 사용된 시간 영역을 나타낼 수 있다. 이 때 서로 매칭되는 표시 구간(210)과 재생 구간(220)의 시간 차이(TD1, TD2)가 정의될 수 있다. 시간 차이(TD1, TD2)는 멀티미디어 콘텐츠의 시작점(Tm0)으로부터 해당 표시 구간(210)의 시작점(Tm1, Tm2)까지의 시간 오프셋(ΔTm1, ΔTm2)과 음원의 시작점(Ta0)으로부터 해당 재생 구간(220)의 시작점(Ta1, Ta2)까지의 시간 오프셋(ΔTa1, ΔTa2) 사이의 오프셋 차이를 나타낼 수 있다(TD1 = ΔTm1 - ΔTa1, TD2 = ΔTm2 - ΔTa2). 여기서, 시간 차이(TD1, TD2)는 한 값으로 정의될 수 있으며, 일정 범위 내의 값들로 정의될 수도 있다. 일 예로, 시간 차이(TD1, TD2)는 오프셋 차이를 중심으로 하는 범위 내의 값들로 정의될 수 있다. 시간 차이(TD1, TD2)가 일정 범위 내의 값들로 정의되는 경우, 동일한 음원에 대한 다양한 재생 속도들이 고려될 수 있다.
다양한 실시예들에 따르면, 프로세서(160)는, 도 3에 도시된 바와 같이 시간 차이(TD1, TD2)에 기반하여, 서로 매칭되는 표시 구간(210)과 재생 구간(220)을 동기화할 수 있다. 일 실시예에 따르면, 프로세서(160)는 동일한 시점에서, 멀티미디어 콘텐츠와 음원 사이의 전환을 가능하게 할 수 있다. 바꿔 말하면, 프로세서(160)는 동일한 시점에서, 동기화된 표시 구간(210)과 재생 구간(220) 사이의 전환을 가능하게 할 수 있다. 다른 실시예에 따르면, 프로세서(160)는 음원의 가사 정보에 기반하여, 멀티미디어 콘텐츠에 자막 데이터가 표시되도록 할 수 있다. 즉, 프로세서(160)는 음원의 가사 정보에 기반하여, 각 재생 구간(220)에 매핑되는 자막 데이터를 생성하고, 하기 [표 1]과 같이 표시 구간(210)에서 해당 표시 구간(210)에 동기화된 재생 구간(220)의 자막 데이터가 표시되도록 할 수 있다. 일 실시예에 따르면, 전자 장치(100)가 서버인 경우, 프로세서(160)는 외부 장치(102, 104)를 통해 멀티미디어 콘텐츠 또는 음원을 재생할 수 있다. 다른 실시예에 따르면, 전자 장치(100)가 서버인 경우, 프로세서(160)는 출력 모듈(140)을 통해 멀티미디어 콘텐츠 또는 음원을 재생할 수 있다.
표시 구간 시작점 끝점 시간 차이 재생 구간의
자막 데이터		 음원 내
시간 위치		 동기화된
시간 위치
제 1
표시 구간		 00:00:00 00:03:40 -0.581 abcdefg 00:00:03.000 00:00:03.581
hijklmn 00:00:06.125 00:00:06.706
제 2
표시 구간		 00:03:57 00:05:21 -15.814 opqrstu 00:03:52.055 00:04:07.869
예를 들면, 멀티미디어 콘텐츠가 제 1 표시 구간(210) 및 제 2 표시 구간(210)을 포함하고, 음원이 제 1 재생 구간(220) 및 제 2 재생 구간(220)을 포함하고, 제 1 표시 구간(210) 및 제 2 표시 구간(210)이 제 1 재생 구간(220) 및 제 2 재생 구간(220)과 각각 매칭되는 경우를 가정할 수 있다. 이 때 멀티미디어 콘텐츠에서, 제 1 표시 구간(210)은 00:00:00 내지 00:03:40의 시간 영역에 해당하고, 제 2 표시 구간(210)은 00:03:57 내지 00:05:21의 시간 영역에 해당할 수 있다. 그리고, 제 1 표시 구간(210)과 제 1 재생 구간(220)의 시간 차이(TD1)는 -0.581이고, 제 2 표시 구간(210)과 제 2 재생 구간(220)의 시간 차이(TD2)는 -15.814일 수 있다. 아울러, 제 1 재생 구간(220) 내에서 00:00:03.000 및 00:00:06.125의 시간 위치들의 각각에 'abcdefg' 및 'hijklmn'이라는 자막 데이터가 있고, 제 2 재생 구간(220) 내에서 00:03:52.055의 시간 위치에 'opqrstu'라는 자막 데이터가 있을 수 있다. 이러한 경우, 프로세서(160)는 시간 차이(TD1, TD2)에 기반하여, 제 1 표시 구간(210)과 제 1 재생 구간(220), 및 제 2 표시 구간(210)과 제 2 재생 구간(220)을 각각 동기화할 수 있다. 이를 통해, 프로세서(160)는 제 1 표시 구간(210) 내에서 00:00:03:581 및 00:00:06.706의 시간 위치들의 각각에 'abcdefg' 및 'hijklmn'이라는 자막 데이터를 표시하고, 제 2 표시 구간(210) 내에서 00:04:07.869의 시간 위치에 'hijklmn'이라는 자막 데이터를 표시할 수 있다. 다양한 실시예들에 따르면, 프로세서(160)는, 도 4에 도시된 바와 같이 API(application programming interface)(461), 프로세스-API(process-API)(463), 제어부(465), 콘텐츠 획득부(467), 핑거프린트부(469), 매칭부(471), 비교부(473), 또는 클러스터링부(475) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에서, 프로세서(160)의 구성 요소들 중 적어도 어느 하나가 생략될 수 있으며, 적어도 하나의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서, 프로세서(160)의 구성 요소들 중 적어도 어느 두 개가 하나의 통합된 회로로 구현될 수 있다.
API(461)는 사용자의 요청을 검출할 수 있다. 프로세스-API(463)는 사용자의 요청에 기반하여, 명령어를 생성할 수 있다. 제어부(465)는 프로세서(160)의 구성 요소들 중 적어도 하나를 제어할 수 있다. 이 때 제어부(465)는 프로세서(160)의 구성 요소들 중 적어도 두 개를 위한 중개 역할을 수행할 수 있으며, 프로세서(160)의 구성 요소들 중 적어도 하나를 위한 작업을 수행할 수 있다. 콘텐츠 획득부(467)는 명령어에 기반하여, 멀티미디어 콘텐츠를 획득할 수 있다. 핑거프린트부(469)는 멀티미디어 콘텐츠의 핑거프린트를 획득할 수 있다. 이 때 핑거프린트부(469)는 멀티미디어 콘텐츠의 오디오 데이터로부터 핑거프린트를 직접적으로 추출할 수 있다. 매칭부(471)는 멀티미디어 콘텐츠의 핑거프린트에 기반하여, 적어도 하나의 음원을 검출할 수 있다. 이 때 메모리(150)에는, 복수의 음원들이 미리 등록되어 있으며, 등록된 음원들의 핑거프린트들이 각각 저장되어 있을 수 있다. 매칭부(471)는 멀티미디어 콘텐츠의 핑거프린트와 등록된 음원들의 핑거프린트들을 매칭시킴으로써, 등록된 음원들의 핑거프린트들 중 적어도 하나를 검출할 수 있다. 비교부(473)는 멀티미디어 콘텐츠의 핑거프린트와 검출된 음원의 핑거프린트를 비교하여, 검출된 음원의 신뢰도를 검출할 수 있다. 클러스터링부(475)는 검출된 음원을 기반으로, 멀티미디어 콘텐츠에 대한 비교 대상 또는 멀티미디어 콘텐츠와의 비교 결과 중 적어도 하나를 검출된 음원과 동일하거나 유사한 음원을 포괄하도록 확장시킬 수 있다. 구체적으로, 클러스터링부(475)는 검출된 음원과 동일하거나 유사한 음원의 정보를 획득하여, 멀티미디어 콘텐츠에 대한 비교 대상을 검출된 음원과 동일하거나 유사한 음원으로 확장시킬 수 있다. 한편, 클러스터링부(475)는 비교부(473)의 비교 결과에 기반하여, 검출된 음원과 동일하거나 유사한 음원을 취합할 수 있다.
도 5는 다양한 실시예들에 따른 전자 장치(100)의 동작 방법을 도시하는 도면이다. 도 6은 도 5의 표시 구간(210)과 재생 구간(220) 검출 단계(510 단계)를 세부적으로 도시하는 도면이다. 도 7은 도 5의 표시 구간(210)과 재생 구간(220) 동기화 단계(530 단계)를 세부적으로 도시하는 도면이다. 도 8, 도 9, 도 10, 도 11, 도 12, 및 도 13은 다양한 실시예들에 따른 전자 장치(100)의 동작 방법을 예시적으로 설명하기 위한 도면들이다.
도 5를 참조하면, 전자 장치(100)는 510 단계에서 멀티미디어 콘텐츠의 적어도 하나의 표시 구간(210)에 각각 매칭되는 음원의 적어도 하나의 재생 구간(220)을 검출할 수 있다. 프로세서(160)는 멀티미디어 콘텐츠에 사용된 음원을 검출할 수 있다. 여기서, 멀티미디어 콘텐츠는 영상 데이터 또는 오디오 데이터 중 적어도 하나로 이루어질 수 있다. 일 예로, 멀티미디어 콘텐츠는 영상 데이터와 오디오 데이터로 이루어지며, 뮤직 비디오, 네트워크를 통해 공유되는 동영상 등을 포함할 수 있다. 다른 예로, 멀티미디어 콘텐츠는 오디오 데이터로 이루어지며, 팟캐스트, 방송국 등에서 생성될 수 있다. 그리고, 오디오 데이터에는, 적어도 하나의 음원이 사용될 수 있으며, 각 음원의 적어도 일부가 포함될 수 있다. 그리고, 프로세서(160)는 멀티미디어 콘텐츠와 음원에서 서로에 매칭되는 표시 구간(210)과 재생 구간(220)을 각각 검출할 수 있다. 이에 대해, 도 6을 참조하여, 보다 상세하게 후술될 것이다.
도 6을 참조하면, 전자 장치(100)는 611 단계에서 멀티미디어 콘텐츠의 핑거프린트(810)를 복수의 검색 구간(820)들로 분할할 수 있다. 프로세서(160)는 멀티미디어 콘텐츠의 핑거프린트(810)를 획득할 수 있다. 일 실시예에 따르면, 프로세서(160)는 멀티미디어 콘텐츠의 오디오 데이터로부터 핑거프린트(810)를 직접적으로 추출할 수 있다. 예를 들면, 사용자에 의해 멀티미디어 콘텐츠가 선택되면, 프로세서(160)는 멀티미디어 콘텐츠의 오디오 데이터로부터 핑거프린트(810)를 추출할 수 있다. 다른 실시예에 따르면, 프로세서(160)는 외부 장치(102, 104)로부터 멀티미디어 콘텐츠의 핑거프린트(810)를 쿼리로서 수신할 수 있다. 여기서, 핑거프린트는 오디어 데이터에 대한 시간에 따른 주파수 분포를 나타낼 수 있다. 프로세서(160)는, 도 8에 도시된 바와 같이 멀티미디어의 핑거프린트(810)를 미리 설정된 시간 간격에 따라 복수의 검색 구간(820)들로 분할할 수 있다. 일 예로, 시간 간격은 약 3 초일 수 있다.
전자 장치(100)는 613 단계에서 검색 구간(820)들 중 적어도 하나가 매칭되는 적어도 하나의 검출 구간(1110)을 갖는 음원을 검출할 수 있다. 이 때 메모리(150)에는, 복수의 음원들이 미리 등록되어 있으며, 등록된 음원들의 핑거프린트(1010)들이 각각 저장되어 있을 수 있다. 프로세서(160)는, 도 9에 도시된 바와 같이 검색 구간(820)들의 각각을 등록된 음원들의 핑거프린트(1010)들과 비교할 수 있다. 이를 통해, 프로세서(160)는 검색 구간(820)들 중 하나에 기반하여, 등록된 음원들의 핑거프린트(1010)들 중 하나를 검출할 수 있다. 이 때 프로세서(160)는, 도 10에 도시된 바와 같이 검색 구간(820)들 중 하나로부터 시간 범위를 확장시키면서, 멀티미디어 콘텐츠의 핑거프린트(810) 및 검출된 음원의 핑거프린트(1010)를 비교할 수 있다. 이에 따라, 프로세서(160)는, 도 11에 도시된 바와 같이 검출된 음원의 핑거프린트(1010)에서, 검색 구간(820)들 중 적어도 하나가 매칭되는 적어도 하나의 검출 구간(1110)을 검출할 수 있다.
전자 장치(100)는 615 단계에서 검색 구간(820)들 중 적어도 하나와 적어도 하나의 검출 구간(1110)을 적어도 하나의 표시 구간(210)과 적어도 하나의 재생 구간(220)으로 각각 검출할 수 있다. 프로세서(160)는 각 검출 구간(1110)을 각 재생 구간(220)으로 결정할 수 있다. 이 때 프로세서(160)는 검출된 음원의 핑거프린트(1010) 내에서 각 재생 구간(220)의 시간 위치를 결정할 수 있다. 여기서, 각 재생 구간(220)의 시간 위치는 검출된 음원의 핑거프린트(1010)의 시작점(Ta0)으로부터 해당 재생 구간(220)의 시작점(Ta1, Ta2)까지의 시간 오프셋(ΔTa1, ΔTa2)을 나타낼 수 있다. 그리고, 프로세서(160)는 각 검출 구간(1110)에 매칭되는 적어도 하나의 검색 구간(820)을 각 표시 구간(210)으로 결정할 수 있다. 이 때 프로세서(160)는 멀티미디어 콘텐츠의 핑거프린트(810) 내에서 각 표시 구간(210)의 시간 위치를 검출할 수 있다. 여기서, 각 표시 구간(210)의 시간 위치는 멀티미디어 콘텐츠의 핑거프린트(810)의 시작점(Tm0)으로부터 해당 표시 구간(210)의 시작점(Tm1, Tm2)까지의 시간 오프셋(ΔTm1, ΔTm2)을 나타낼 수 있다.
이 후, 전자 장치(100)는 도 5로 리턴하여, 520 단계로 진행할 수 있다.
전자 장치(100)는 520 단계에서 서로 매칭되는 표시 구간(210)과 재생 구간(220)의 시간 차이(TD1, TD2)를 검출할 수 있다. 프로세서(160)는 멀티미디어 콘텐츠의 핑거프린트(810) 내에서 해당 표시 구간(210)의 시간 위치와 검출된 음원의 핑거프린트(1010) 내에서 해당 재생 구간(220)의 시간 위치 사이의 시간 차이(TD1, TD2)를 검출할 수 있다. 여기서, 시간 차이(TD1, TD2)는 멀티미디어 콘텐츠의 핑거프린트(810)의 시작점(Tm0)으로부터의 시간 오프셋(ΔTm1, ΔTm2)과 검출된 음원의 핑거프린트(1010)의 시작점(Ta0)으로부터의 시간 오프셋(ΔTa1, ΔTa2) 사이의 오프셋 차이를 나타낼 수 있다(TD1 = ΔTm1 - ΔTa1, TD2 = ΔTm2 - ΔTa2).
전자 장치(100)는 530 단계에서 시간 차이(TD1, TD2)에 기반하여, 서로 매칭되는 표시 구간(210)과 재생 구간(220)을 동기화할 수 있다. 프로세서(160)는 멀티미디어 콘텐츠 내에서의 해당 표시 구간(210)의 시간 위치와 검출된 음원 내에서의 해당 재생 구간(220)의 시간 위치를 일치시킬 수 있다. 일 실시예에 따르면, 프로세서(160)는 동일한 시점에서, 멀티미디어 콘텐츠와 검출된 음원 사이의 전환을 가능하게 할 수 있다. 바꿔 말하면, 프로세서(160)는 동일한 시점에서, 동기화된 표시 구간(210)과 재생 구간(220) 사이의 전환을 가능하게 할 수 있다. 다른 실시예에 따르면, 프로세서(160)는 음원의 가사 정보에 기반하여, 멀티미디어 콘텐츠에 자막 데이터가 표시되도록 할 수 있다. 즉, 프로세서(160)는 음원의 가사 정보에 기반하여, 각 재생 구간(220)에 매핑되는 자막 데이터를 생성하고, 표시 구간(210)에서 해당 표시 구간(210)에 동기화된 재생 구간(220)의 자막 데이터가 표시되도록 할 수 있다. 이에 대해, 도 7을 참조하여, 보다 상세하게 후술될 것이다.
도 7을 참조하면, 전자 장치(100)는 731 단계에서 멀티미디어 콘텐츠를 재생하기 위한 사용자 요청을 감지할 수 있다. 일 실시예에 따르면, 프로세서(160)는 외부 장치(102, 104)로부터 수신되는 사용자 요청을 감지할 수 있다. 다른 실시예에 따르면, 프로세서(160)는 입력 모듈(130)을 통해 입력되는 사용자 요청을 감지할 수 있다. 이에 응답하여, 전자 장치(100)는 733 단계에서 멀티미디어 콘텐츠를 재생할 수 있다. 일 실시예에 따르면, 전자 장치(100)가 서버인 경우, 프로세서(160)는 외부 장치(102, 104)에 멀티미디어 콘텐츠를 스트리밍함으로써, 외부 장치(102, 104)를 통해 멀티미디어 콘텐츠를 재생할 수 있다. 다른 실시예에 따르면, 전자 장치(100)가 사용자 장치인 경우, 서버로부터 멀티미디어 콘텐츠가 스트리밍됨에 따라, 프로세서(160)가 출력 모듈(140)을 통해 멀티미디어 콘텐츠를 재생할 수 있다.
전자 장치(100)는 735 단계에서 멀티미디어 콘텐츠를 재생하면서, 표시 구간(210)에서 자막 데이터를 표시할 수 있다. 프로세서(160)는 음원의 가사 정보에 기반하여, 표시 구간(210)에 동기화된 재생 구간(220)에 매핑되는 자막 데이터를 생성할 수 있다. 이를 통해, 프로세서(160)는 표시 구간(210)에서 자막 데이터를 표시할 수 있다. 일 실시예에 따르면, 전자 장치(100)가 서버인 경우, 프로세서(160)는 외부 장치(102, 104)에 멀티미디어 콘텐츠를 스트리밍하면서 표시 구간(210)에 대응하여 자막 데이터를 제공하며, 이로써 외부 장치(102, 104)를 통해 도 12에 도시된 바와 같이 표시 구간(210)에서 자막 데이터를 표시할 수 있다. 다른 실시예에 따르면, 전자 장치(100)가 사용자 장치인 경우, 서버로부터 멀티미디어 콘텐츠가 스트리밍되면서 표시 구간(210)에 대응하여 자막 데이터가 제공되며, 이로써 프로세서(160)가 출력 모듈(140)을 통해 도 12에 도시된 바와 같이 표시 구간(210)에서 자막 데이터를 표시할 수 있다.
전자 장치(100)는 737 단계에서 멀티미디어 콘텐츠를 재생하는 중에 음원으로의 전환을 위한 사용자 요청을 감지할 수 있다. 일 실시예에 따르면, 프로세서(160)는 외부 장치(102, 104)로부터 수신되는 사용자 요청을 감지할 수 있다. 다른 실시예에 따르면, 프로세서(160)는 입력 모듈(130)을 통해 입력되는 사용자 요청을 감지할 수 있다. 이에 응답하여, 전자 장치(100)는 739 단계에서 멀티미디어 콘텐츠 내의 표시 구간(210)의 재생을 중단할 수 있다. 프로세서(160)는 표시 구간(210) 내의 일 시점에서 표시 구간(210)의 재생을 중단할 수 있다. 일 실시예에 따르면, 전자 장치(100)가 서버인 경우, 프로세서(160)는 멀티미디어 콘텐츠를 표시 구간(210)에서 재생이 중단된 시점에서부터 외부 장치(102, 104)에 더 이상 스트리밍하지 않을 수 있다. 다른 실시예에 따르면, 전자 장치(100)가 사용자 장치인 경우, 프로세서(160)가 서버에 표시 구간(210)에서 재생이 중단된 시점을 전송함에 따라, 서버가 멀티미디어 콘텐츠를 표시 구간(210)에서 재생이 중단된 시점에서부터 스트리밍하지 않을 수 있다.
전자 장치(100)는 741 단계에서 음원 내에서 표시 구간(210)에 동기화된 재생 구간(220)을 이어서 재생할 수 있다. 프로세서(160)는 재생 구간(220) 내의 일 시점에서부터 재생 구간(220)을 이어서 재생할 수 있다. 여기서, 재생 구간(220) 내의 재생 시점이 표시 구간(210) 내에서 재생이 중단된 시점과 일치될 수 있다. 일 실시예에 따르면, 전자 장치(100)가 서버인 경우, 프로세서(160)는 외부 장치(102, 104)에 음원을 재생 구간(220)의 재생 시점으로부터 스트리밍함으로써, 외부 장치(102, 104)를 통해 도 13에 도시된 바와 같은 화면을 표시하면서, 음원을 이어서 재생할 수 있다. 다른 실시예에 따르면, 전자 장치(100)가 사용자 장치인 경우, 서버로부터 음원이 재생 구간(220)의 재생 시점으로부터 스트리밍됨에 따라, 프로세서(160)가 출력 모듈(140)을 통해 도 13에 도시된 바와 같은 화면을 표시하면서, 음원을 이어서 재생할 수 있다.
한편, 731 단계에서 멀티미디어 콘텐츠를 재생하기 위한 사용자 요청을 감지되는 대신에, 전자 장치(100)는 751 단계에서 음원을 재생하기 위한 사용자 요청을 감지할 수 있다. 일 실시예에 따르면, 프로세서(160)는 외부 장치(102, 104)로부터 수신되는 사용자 요청을 감지할 수 있다. 다른 실시예에 따르면, 프로세서(160)는 입력 모듈(130)을 통해 입력되는 사용자 요청을 감지할 수 있다. 이에 응답하여, 전자 장치(100)는 753 단계에서 음원을 재생할 수 있다. 일 실시예에 따르면, 전자 장치(100)가 서버인 경우, 프로세서(160)는 외부 장치(102, 104)에 음원을 스트리밍함으로써, 외부 장치(102, 104)를 통해 도 13에 도시된 바와 같은 화면을 표시하면서, 음원을 재생할 수 있다. 다른 실시예에 따르면, 전자 장치(100)가 사용자 장치인 경우, 서버로부터 음원이 스트리밍됨에 따라, 프로세서(160)가 출력 모듈(140)을 통해 도 13에 도시된 바와 같은 화면을 표시하면서, 음원을 재생할 수 있다.
전자 장치(100)는 755 단계에서 음원을 재생하는 중에 멀티미디어 콘텐츠로의 전환을 위한 사용자 요청을 감지할 수 있다. 일 실시예에 따르면, 프로세서(160)는 외부 장치(102, 104)로부터 수신되는 사용자 요청을 감지할 수 있다. 다른 실시예에 따르면, 프로세서(160)는 입력 모듈(130)을 통해 입력되는 사용자 요청을 감지할 수 있다. 이에 응답하여, 전자 장치(100)는 757 단계에서 음원 내의 재생 구간(220)의 재생을 중단할 수 있다. 프로세서(160)는 재생 구간(220) 내의 일 시점에서 재생 구간(220)의 재생을 중단할 수 있다. 프로세서(160)는 재생 구간(220) 내의 일 시점에서 재생 구간(220)의 재생을 중단할 수 있다. 일 실시예에 따르면, 전자 장치(100)가 서버인 경우, 프로세서(160)는 음원을 재생 구간(220)에서 재생이 중단된 시점에서부터 외부 장치(102, 104)에 더 이상 스트리밍하지 않을 수 있다. 다른 실시예에 따르면, 전자 장치(100)가 사용자 장치인 경우, 프로세서(160)가 서버에 재생 구간(220)에서 재생이 중단된 시점을 전송함에 따라, 서버가 음원을 재생 구간(220)에서 재생이 중단된 시점에서부터 스트리밍하지 않을 수 있다.
전자 장치(100)는 759 단계에서 멀티미디어 콘텐츠 내에서 재생 구간(220)에 동기화된 표시 구간(210)을 이어서 재생할 수 있다. 프로세서(160)는 표시 구간(210) 내의 일 시점에서부터 표시 구간(210)을 이어서 재생할 수 있다. 여기서, 표시 구간(210) 내의 재생 시점이 재생 구간(220) 내에서 재생이 중단된 시점과 일치될 수 있다. 일 실시예에 따르면, 전자 장치(100)가 서버인 경우, 프로세서(160)는 외부 장치(102, 104)에 멀티미디어 콘텐츠를 표시 구간(210)의 재생 시점으로부터 스트리밍함으로써, 외부 장치(102, 104)를 통해 멀티미디어 콘텐츠를 이어서 재생할 수 있다. 다른 실시예에 따르면, 전자 장치(100)가 사용자 장치인 경우, 서버로부터 멀티미디어 콘텐츠가 재생 구간(220)의 재생 시점으로부터 스트리밍됨에 따라, 프로세서(160)가 출력 모듈(140)을 통해 멀티미디어 콘텐츠를 이어서 재생할 수 있다. 이 후, 전자 장치(100)는 735 단계로 진행할 수 있다. 전자 장치(100)는 735 단계에서 멀티미디어 콘텐츠를 재생하면서, 표시 구간(210)에서 자막 데이터를 표시할 수 있다. 프로세서(160)는 음원의 가사 정보에 기반하여, 표시 구간(210)에 동기화된 재생 구간(220)에 매핑되는 자막 데이터를 생성할 수 있다. 이를 통해, 프로세서(160)는 표시 구간(210)에서, 도 12에 도시된 바와 같이 자막 데이터를 표시할 수 있다.
전자 장치(100)는 761 단계에서 감지되는 이벤트에 대응하여, 멀티미디어 콘텐츠 또는 음원의 재생을 종료할 수 있다. 일 예로, 이벤트는 멀티미디어 콘텐츠 또는 음원의 종료 시점에서 발생될 수 있다. 다른 예로, 이벤트는 사용자 요청에 기반하여, 발생될 수 있다. 735 단계에서 멀티미디어 콘텐츠를 재생하면서 표시 구간(210)에서 자막 데이터를 표시하는 중에, 737 단계에서 음원으로의 전환을 위한 사용자 요청이 감지되지 않으면, 프로세서(160)는 멀티미디어 콘텐츠를 계속해서 재생하고, 결과적으로 멀티미디어 콘텐츠의 재생을 종료할 수 있다. 또는, 741 단계 또는 753 단계에서 음원을 재생하는 중에, 755 단계에서 멀티미디어 콘텐츠로의 전환을 위한 사용자 요청이 감지되지 않으면, 프로세서(160)는 음원을 계속해서 재생하고, 결과적으로 음원의 재생을 종료할 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)는 멀티미디어 콘텐츠에 대응하여, 검출된 음원과 관련된 정보, 위치 정보, 또는 신뢰도 중 적어도 하나를 제공할 수 있다. 음원과 관련된 정보는 음원의 식별자, 명칭, 또는 아티스트 중 적어도 하나를 포함할 수 있다. 위치 정보는 멀티미디어 콘텐츠의 핑거프린트(810) 내에서의 검출 구간(1110)의 시간 위치 및 검출된 음원의 핑거프린트(1010) 내에서의 검출 구간(1110)의 시간 위치를 나타낼 수 있다. 신뢰도는 검출된 음원이 멀티미디어 콘텐츠에 사용된 것인 지에 대한 정확도를 나타내는 것으로, 신뢰도가 높을수록, 정확도가 높을 수 있다. 이러한 신뢰도는 서로 매칭되는 표시 구간(210)과 재생 구간(220)에 대한 비교 결과로서, 검출될 수 있다. 일 예로, 프로세서(160)는 서로 매칭되는 표시 구간(210)과 재생 구간(220)의 비트 연산을 통해, 신뢰도를 검출할 수 있다. 여기서, 멀티미디어 콘텐츠로부터 복수의 음원들이 검출된 경우, 프로세서(160)는 음원들의 리스트로서, 검출된 음원과 관련된 정보, 위치 정보, 또는 신뢰도 중 적어도 하나를 제공할 수 있다.
일 예로, 프로세서(160)는 검출된 음원의 신뢰도와 관계 없이, 검출된 음원의 관련된 정보, 위치 정보, 및 신뢰도를 제공할 수 있다. 다른 예로, 검출된 음원의 신뢰도가 기준값 이상이면, 프로세서(160)가 검출된 음원의 관련된 정보, 위치 정보, 또는 신뢰도 중 적어도 하나를 제공할 수 있다. 바꿔 말하면, 검출된 음원의 신뢰도가 기준값 미만이면, 프로세서(160)는 검출된 음원의 관련된 정보, 위치 정보, 및 신뢰도를 제공하지 않을 수 있다. 프로세서(160)는 외부 장치(102, 104)의 쿼리에 대한 응답으로서, 검출된 음원과 관련된 정보, 위치 정보, 또는 신뢰도 중 적어도 하나를 제공할 수 있다. 일 실시예에 따르면, 프로세서(160)는 외부 장치(102, 104)로 검출된 음원과 관련된 정보, 위치 정보, 또는 신뢰도 중 적어도 하나를 송신할 수 있다. 다른 실시예에 따르면, 프로세서(160)는 출력 모듈(140)을 통해, 검출된 음원과 관련된 정보, 위치 정보, 또는 신뢰도 중 적어도 하나를 직접적으로 출력할 수 있다.
다양한 실시예들에 따르면, 사용자는 멀티미디어 콘텐츠에 사용된 음원을 확인하고, 이를 다양하게 활용할 수 있다. 일 예로, 멀티미디어 콘텐츠가 방송이나 공연의 동영상인 경우, 사용자는 멀티미디어 콘텐츠에 사용된 음원에 기반하여, 멀티미디어 콘텐츠의 큐시트(cue sheet)를 획득할 수 있다. 다른 예로, 사용자는 멀티미디어 콘텐츠에 사용된 음원의 저작권 보호 또는 저작권 정산을 위해 활용할 수 있다.
다양한 실시예들에 따르면, 검출된 음원의 관련된 정보, 위치 정보, 및 신뢰도 중 적어도 하나를 제공한 후에, 전자 장치(100)는 검출된 음원과 연관된 다양한 서비스들을 제공할 수 있다. 일 실시예에 따르면, 프로세서(160)는 외부 장치(102, 104)로 검출된 음원을 제공할 수 있다. 외부 장치(102, 104)에 의해 검출된 음원의 관련된 정보가 선택되면, 프로세서(160)가 외부 장치(102, 104)로 검출된 음원을 제공할 수 있다. 다른 실시예에 따르면, 프로세서(160)는 검출된 음원과 연관된 다른 멀티미디어 콘텐츠를 제공할 수 있다. 외부 장치(102, 104)에 의해 검출된 음원의 관련된 정보가 선택되면, 프로세서(160)는 검출된 음원과 관련된 정보에 기반하여, 다른 멀티미디어 콘텐츠를 검색하고, 외부 장치(102, 104)로 검색된 멀티미디어 콘텐츠를 제공할 수 있다. 또 다른 실시예에 따르면, 프로세서(160)는 검출된 음원과 연관된 부가 정보를 제공할 수 있다. 외부 장치(102, 104)에 의해 검출된 음원의 관련된 정보가 선택되면, 프로세서(160)는 검출된 음원과 관련된 정보에 기반하여, 예컨대 뉴스, 소셜 네트워크 서비스(social network service; SNS) 등을 통해 부가 정보를 검색하고, 외부 장치(102, 104)로 검색된 부가 정보를 제공할 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)는 멀티미디어 콘텐츠에 사용된 적어도 하나의 음원을 효율적으로 검출할 수 있다. 구체적으로, 전자 장치(100)는 멀티미디어 콘텐츠와 음원에서 서로 매칭되는 표시 구간(210)과 재생 구간(220)을 효율적으로 검출할 수 있다. 즉, 전자 장치(100)는 멀티미디어 콘텐츠의 핑거프린트(810)에서 시간 범위를 확장시키면서, 멀티미디어 콘텐츠와 음원에서 서로 매칭되는 표시 구간(210)과 재생 구간(220)을 보다 정확하게 특정할 수 있다. 그리고, 전자 장치(100)는 서로 매칭되는 표시 구간(210)과 재생 구간(220)의 시간 차이에 기반하여 표시 구간(210)과 재생 구간(220)을 동기화함으로써, 멀티미디어 콘텐츠와 음원을 연관시킬 수 있다. 이를 통해, 전자 장치(100)는 멀티미디어 콘텐츠와 음원 사이의 자연스러운 전환을 가능하게 할뿐 아니라, 음원의 가사 정보에 기반하여, 멀티미디어 콘텐츠에 자막 데이터를 표시할 수 있다.
다양한 실시예들에 따른 전자 장치(100)의 동작 방법은, 멀티미디어 콘텐츠의 핑거프린트(810)에 기반하여, 멀티미디어 콘텐츠의 적어도 하나의 표시 구간(210)에 각각 매칭되는 음원의 적어도 하나의 재생 구간(220)을 검출하는 단계(510 단계), 멀티미디어 콘텐츠 내에서의 표시 구간(210)의 시간 위치와 음원 내에서의 재생 구간(220)의 시간 위치 사이의 시간 차이(TD1, TD2)를 검출하는 단계(520 단계), 및 시간 차이에 기반하여, 표시 구간(210)과 재생 구간(220)을 동기화하는 단계(530 단계)를 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)의 동작 방법은, 음원의 가사 정보에 기반하여, 재생 구간(220)에 매핑되는 자막 데이터를 생성하는 단계를 더 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)의 동작 방법은, 멀티미디어 콘텐츠를 재생하는 중에(733 단계, 759 단계), 표시 구간(210)에서 표시 구간(210)에 동기화된 재생 구간(220)의 자막 데이터를 표시하는 단계(735 단계)를 더 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)의 동작 방법은, 멀티미디어 콘텐츠의 표시 구간(210)을 재생하는 중에(735 단계), 사용자의 요청에 기반하여(737 단계), 일 시점에서 표시 구간(210)의 재생을 중단하는 단계(739 단계), 및 음원에서 표시 구간(210)에 동기화된 재생 구간(220)을 중단된 시점에서부터 이어서 재생하는 단계(741 단계)를 더 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)의 동작 방법은, 음원의 재생 구간(220)을 재생하는 중에(741 단계, 753 단계), 사용자의 요청에 기반하여(755 단계), 일 시점에서 재생 구간(220)의 재생을 중단하는 단계(757 단계), 및 멀티미디어 콘텐츠에서 재생 구간(220)에 동기화된 표시 구간(210)을 중단된 시점에서부터 이어서 재생하는 단계(759 단계)를 더 포함할 수 있다.
다양한 실시예들에 따르면, 재생 구간(220)을 검출하는 단계(510 단계)는, 핑거프린트(810)를 미리 설정된 시간 간격에 따라 복수의 검색 구간(820)들로 분할하는 단계(611 단계), 검색 구간(820)들 중 적어도 하나가 매칭되는 적어도 하나의 검출 구간(1110)을 갖는 음원을 검출하는 단계(613 단계), 및 서로 매칭된 검출 구간(1110)들 중 적어도 하나와 검출 구간(1110)을 표시 구간(210)과 재생 구간(220)으로 각각 검출하는 단계(615 단계)를 포함할 수 있다.
다양한 실시예들에 따르면, 멀티미디어 콘텐츠는, 영상 데이터 또는 오디오 데이터 중 적어도 하나로 이루어질 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)의 동작 방법은, 음원과 관련된 정보 및 멀티미디어 콘텐츠 내에서의 검출 구간(1110)의 시간 위치 및 음원 내에서의 검출 구간(1110)의 시간 위치를 나타내는 위치 정보를 제공하는 단계를 더 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(100)의 동작 방법은, 음원과 관련된 정보가 선택되면, 음원을 제공하는 단계, 또는 음원과 관련된 정보가 선택되면, 음원과 연관된 다른 멀티미디어 콘텐츠를 제공하는 단계 중 적어도 하나를 더 포함할 수 있다.
다양한 실시예들에 따른 전자 장치(100)는, 메모리(150), 및 메모리(150)와 연결되고, 메모리(150)에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서(160)를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(160)는, 멀티미디어 콘텐츠의 핑거프린트(810)에 기반하여, 멀티미디어 콘텐츠의 적어도 하나의 표시 구간(210)에 각각 매칭되는 음원의 적어도 하나의 재생 구간(220)을 검출하고, 멀티미디어 콘텐츠 내에서의 표시 구간(210)의 시간 위치와 음원 내에서의 재생 구간(220)의 시간 위치 사이의 시간 차이를 검출하고, 시간 차이에 기반하여, 표시 구간(210)과 재생 구간(220)을 동기화하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(160)는, 음원의 가사 정보에 기반하여, 재생 구간(220)에 매핑되는 자막 데이터를 생성하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(160)는, 멀티미디어 콘텐츠를 재생하는 중에, 표시 구간(210)에서 표시 구간(210)에 동기화된 재생 구간(220)의 자막 데이터를 표시하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(160)는, 멀티미디어 콘텐츠의 표시 구간(210)을 재생하는 중에, 사용자의 요청에 기반하여, 일 시점에서 표시 구간(210)의 재생을 중단하고, 음원에서 표시 구간(210)에 동기화된 재생 구간(220)을 중단된 시점에서부터 이어서 재생하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(160)는, 음원의 재생 구간(220)을 재생하는 중에, 사용자의 요청에 기반하여, 일 시점에서 재생 구간(220)의 재생을 중단하고, 멀티미디어 콘텐츠에서 재생 구간(220)에 동기화된 표시 구간(210)을 중단된 시점에서부터 이어서 재생하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(160)는, 핑거프린트(810)를 미리 설정된 시간 간격에 따라 복수의 검색 구간(820)들로 분할하고, 검색 구간(820)들 중 적어도 하나가 매칭되는 적어도 하나의 검출 구간(1110)을 갖는 음원을 검출하고, 서로 매칭된 검출 구간(1110)들 중 적어도 하나와 검출 구간(1110)을 표시 구간(210)과 재생 구간(220)으로 각각 검출하도록 구성될 수 있다.
다양한 실시예들에 따르면, 멀티미디어 콘텐츠는, 영상 데이터 또는 오디오 데이터 중 적어도 하나로 이루어질 수 있다.
다양한 실시예들에 따르면, 프로세서(160)는, 음원과 관련된 정보 및 멀티미디어 콘텐츠 내에서의 검출 구간(1110)의 시간 위치 및 음원 내에서의 검출 구간(1110)의 시간 위치를 나타내는 위치 정보를 제공하도록 구성될 수 있다.
다양한 실시예들에 따르면, 프로세서(160)는, 음원과 관련된 정보가 선택되면, 음원 또는 음원과 연관된 다른 멀티미디어 콘텐츠 중 적어도 하나를 제공하도록 구성될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 컴퓨터 저장 매체 또는 장치에 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
다양한 실시예들에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이 때 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 그리고, 매체는 단일 또는 수 개의 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 어플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시 예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성 요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및/또는 B 중 적어도 하나", "A, B 또는 C" 또는 "A, B 및/또는 C 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", "첫째" 또는 "둘째" 등의 표현들은 해당 구성 요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성 요소를 다른 구성 요소와 구분하기 위해 사용될 뿐 해당 구성 요소들을 한정하지 않는다. 어떤(예: 제 1) 구성 요소가 다른(예: 제 2) 구성 요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성 요소가 상기 다른 구성 요소에 직접적으로 연결되거나, 다른 구성 요소(예: 제 3 구성 요소)를 통하여 연결될 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
다양한 실시예들에 따르면, 기술한 구성 요소들의 각각의 구성 요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성 요소들 중 하나 이상의 구성 요소들 또는 단계들이 생략되거나, 또는 하나 이상의 다른 구성 요소들 또는 단계들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성 요소들(예: 모듈 또는 프로그램)은 하나의 구성 요소로 통합될 수 있다. 이런 경우, 통합된 구성 요소는 복수의 구성 요소들 각각의 구성 요소의 하나 이상의 기능들을 통합 이전에 복수의 구성 요소들 중 해당 구성 요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 단계들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 단계들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 단계들이 추가될 수 있다.

Claims (20)

  1. 전자 장치의 동작 방법에 있어서,
    영상 데이터 및 오디오 데이터로 이루어지는 멀티미디어 콘텐츠의 핑거프린트에 기반하여, 멀티미디어 콘텐츠의 적어도 하나의 표시 구간에 각각 매칭되는 음원의 적어도 하나의 재생 구간을 검출하는 단계;
    상기 멀티미디어 콘텐츠 내에서의 상기 표시 구간의 시간 위치와 상기 음원 내에서의 상기 재생 구간의 시간 위치 사이의 시간 차이를 검출하는 단계;
    상기 시간 차이에 기반하여, 상기 표시 구간과 상기 재생 구간을 동기화하는 단계; 및
    상기 멀티미디어 콘텐츠를 재생하는 중에, 상기 표시 구간의 영상 데이터와 함께, 상기 표시 구간에 동기화된 상기 재생 구간의 자막 데이터를 표시하는 단계
    를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 자막 데이터는,
    상기 음원의 가사 정보에 기반하여, 생성되는, 방법.
  3. 삭제
  4. 제 1 항에 있어서,
    상기 멀티미디어 콘텐츠의 상기 표시 구간을 재생하는 중에, 사용자의 요청에 기반하여, 일 시점에서 상기 표시 구간의 재생을 중단하는 단계; 및
    상기 음원에서 상기 표시 구간에 동기화된 상기 재생 구간을 상기 중단된 시점에서부터 이어서 재생하는 단계
    를 더 포함하는, 방법.
  5. 제 1 항에 있어서,
    상기 음원의 상기 재생 구간을 재생하는 중에, 사용자의 요청에 기반하여, 일 시점에서 상기 재생 구간의 재생을 중단하는 단계; 및
    상기 멀티미디어 콘텐츠에서 상기 재생 구간에 동기화된 상기 표시 구간을 상기 중단된 시점에서부터 이어서 재생하는 단계
    를 더 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 재생 구간을 검출하는 단계는,
    상기 핑거프린트를 미리 설정된 시간 간격에 따라 복수의 검색 구간들로 분할하는 단계;
    상기 검색 구간들 중 적어도 하나가 매칭되는 적어도 하나의 검출 구간을 갖는 상기 음원을 검출하는 단계; 및
    서로 매칭된 상기 검출 구간들 중 적어도 하나와 상기 검출 구간을 상기 표시 구간과 상기 재생 구간으로 각각 검출하는 단계
    를 포함하는, 방법.
  7. 삭제
  8. 제 6 항에 있어서,
    상기 음원과 관련된 정보 및 상기 멀티미디어 콘텐츠 내에서의 상기 검출 구간의 시간 위치 및 상기 음원 내에서의 상기 검출 구간의 시간 위치를 나타내는 위치 정보를 제공하는 단계
    를 더 포함하는, 방법.
  9. 제 8 항에 있어서,
    상기 음원과 관련된 정보가 선택되면, 상기 음원을 제공하는 단계; 또는
    상기 음원과 관련된 정보가 선택되면, 상기 음원과 연관된 다른 멀티미디어 콘텐츠를 제공하는 단계
    중 적어도 하나를 더 포함하는, 방법.
  10. 제 1 항, 제 2 항, 제 4 항 내지 제 6 항, 제 8 항, 또는 제 9 항 중 어느 한 항의 동작 방법을 상기 전자 장치에 실행시키기 위해 비-일시적인 컴퓨터 판독 가능한 기록 매체에 저장되는 컴퓨터 프로그램.
  11. 제 1 항, 제 2 항, 제 4 항 내지 제 6 항, 제 8 항, 또는 제 9 항 중 어느 한 항의 동작 방법을 상기 전자 장치에 실행시키기 위한 프로그램이 기록되어 있는 비-일시적인 컴퓨터 판독 가능한 기록 매체.
  12. 전자 장치에 있어서,
    메모리; 및
    상기 메모리와 연결되고, 상기 메모리에 저장된 적어도 하나의 명령을 실행하도록 구성된 프로세서를 포함하고,
    상기 프로세서는,
    영상 데이터 및 오디오 데이터로 이루어지는 멀티미디어 콘텐츠의 핑거프린트에 기반하여, 멀티미디어 콘텐츠의 적어도 하나의 표시 구간에 각각 매칭되는 음원의 적어도 하나의 재생 구간을 검출하고,
    상기 멀티미디어 콘텐츠 내에서의 상기 표시 구간의 시간 위치와 상기 음원 내에서의 상기 재생 구간의 시간 위치 사이의 시간 차이를 검출하고,
    상기 시간 차이에 기반하여, 상기 표시 구간과 상기 재생 구간을 동기화하고,
    상기 멀티미디어 콘텐츠를 재생하는 중에, 상기 표시 구간의 영상 데이터와 함께, 상기 표시 구간에 동기화된 상기 재생 구간의 자막 데이터를 표시하도록 구성되는,
    장치.
  13. 제 12 항에 있어서,
    상기 자막 데이터는,
    상기 음원의 가사 정보에 기반하여, 생성되는,
    장치.
  14. 삭제
  15. 제 12 항에 있어서,
    상기 프로세서는,
    상기 멀티미디어 콘텐츠의 상기 표시 구간을 재생하는 중에, 사용자의 요청에 기반하여, 일 시점에서 상기 표시 구간의 재생을 중단하고,
    상기 음원에서 상기 표시 구간에 동기화된 상기 재생 구간을 상기 중단된 시점에서부터 이어서 재생하도록 구성되는,
    장치.
  16. 제 12 항에 있어서,
    상기 프로세서는,
    상기 음원의 상기 재생 구간을 재생하는 중에, 사용자의 요청에 기반하여, 일 시점에서 상기 재생 구간의 재생을 중단하고,
    상기 멀티미디어 콘텐츠에서 상기 재생 구간에 동기화된 상기 표시 구간을 상기 중단된 시점에서부터 이어서 재생하도록 구성되는,
    장치.
  17. 제 12 항에 있어서,
    상기 프로세서는,
    상기 핑거프린트를 미리 설정된 시간 간격에 따라 복수의 검색 구간들로 분할하고,
    상기 검색 구간들 중 적어도 하나가 매칭되는 적어도 하나의 검출 구간을 갖는 상기 음원을 검출하고,
    서로 매칭된 상기 검출 구간들 중 적어도 하나와 상기 검출 구간을 상기 표시 구간과 상기 재생 구간으로 각각 검출하도록 구성되는,
    장치.
  18. 삭제
  19. 제 17 항에 있어서,
    상기 프로세서는,
    상기 음원과 관련된 정보 및 상기 멀티미디어 콘텐츠 내에서의 상기 검출 구간의 시간 위치 및 상기 음원 내에서의 상기 검출 구간의 시간 위치를 나타내는 위치 정보를 제공하도록 구성되는,
    장치.
  20. 제 19 항에 있어서,
    상기 프로세서는,
    상기 음원과 관련된 정보가 선택되면, 상기 음원 또는 상기 음원과 연관된 다른 멀티미디어 콘텐츠 중 적어도 하나를 제공하도록 구성되는,
    장치.
KR1020200117629A 2020-09-14 2020-09-14 멀티미디어 콘텐츠와 음원을 동기화하기 위한 전자 장치 및 그의 동작 방법 KR102439201B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200117629A KR102439201B1 (ko) 2020-09-14 2020-09-14 멀티미디어 콘텐츠와 음원을 동기화하기 위한 전자 장치 및 그의 동작 방법
JP2021148571A JP7261276B2 (ja) 2020-09-14 2021-09-13 マルチメディアコンテンツと音源を同期するための電子装置およびその作動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200117629A KR102439201B1 (ko) 2020-09-14 2020-09-14 멀티미디어 콘텐츠와 음원을 동기화하기 위한 전자 장치 및 그의 동작 방법

Publications (2)

Publication Number Publication Date
KR20220035636A KR20220035636A (ko) 2022-03-22
KR102439201B1 true KR102439201B1 (ko) 2022-09-01

Family

ID=80781421

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200117629A KR102439201B1 (ko) 2020-09-14 2020-09-14 멀티미디어 콘텐츠와 음원을 동기화하기 위한 전자 장치 및 그의 동작 방법

Country Status (2)

Country Link
JP (1) JP7261276B2 (ko)
KR (1) KR102439201B1 (ko)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060037403A (ko) 2003-07-25 2006-05-03 코닌클리케 필립스 일렉트로닉스 엔.브이. 오디오 및 비디오를 동기화시키기 위하여 핑거프린트들을생성하여 검출하는 방법 및 장치
KR100762616B1 (ko) * 2005-09-01 2007-10-01 삼성전자주식회사 디지털 멀티미디어 방송에서 가사 정보를 제공하기 위한디지털 멀티미디어 방송 시스템 및 가사 정보 제공 방법
PT3373302T (pt) 2009-09-30 2022-02-07 Rovi Guides Inc Sistemas e métodos para a identificação do conteúdo de áudio usando um aplicativo de orientação interativa dos meios de comunicação
KR101407334B1 (ko) * 2012-04-13 2014-06-16 주식회사 네오위즈인터넷 음원 서비스를 제공하는 방법, 단말 및 서버
KR102436168B1 (ko) * 2014-12-31 2022-08-24 피씨엠에스 홀딩스, 인크. 청취 로그 및 음악 라이브러리를 생성하기 위한 시스템 및 방법
JP6215866B2 (ja) 2015-05-19 2017-10-18 西日本電信電話株式会社 インターネット動画再生システム、及びプログラム
KR101981924B1 (ko) * 2015-11-30 2019-08-30 한국전자통신연구원 미디어 콘텐츠 식별 방법
JP6367882B2 (ja) 2016-09-26 2018-08-01 西日本電信電話株式会社 クライアント端末及びそれを備えたインターネット動画再生システム
KR102037220B1 (ko) * 2017-11-06 2019-10-29 주식회사 아이티밥 오디오 핑거프린트 매칭 시스템
EP3729817A1 (de) 2017-12-22 2020-10-28 NativeWaves GmbH Verfahren zum synchronisieren von einem zusatzsignal zu einem hauptsignal
JP6986036B2 (ja) 2018-02-23 2021-12-22 エヴィクサー株式会社 コンテンツ再生プログラム、コンテンツ再生方法及びコンテンツ再生システム

Also Published As

Publication number Publication date
JP2022048131A (ja) 2022-03-25
KR20220035636A (ko) 2022-03-22
JP7261276B2 (ja) 2023-04-19

Similar Documents

Publication Publication Date Title
US10219011B2 (en) Terminal device and information providing method thereof
WO2020007013A1 (zh) 搜索页面交互方法、装置、终端及存储介质
CN103460128B (zh) 借助智能电话和音频水印的多种语言同步电影配音
US8917971B2 (en) Methods and systems for providing relevant supplemental content to a user device
KR101700365B1 (ko) 미디어 컨텐츠 관련 정보 제공 방법, 이 방법을 수행할 수 있는 디바이스와 서버 및 저장 매체
KR101846756B1 (ko) Ｔｖ 프로그램 식별 방법, 장치, 단말기, 서버, 및 시스템
KR102545837B1 (ko) 디스플레이 장치, 디스플레이 장치의 배경음악 제공방법 및 배경음악 제공 시스템
US20190220492A1 (en) Display apparatus and method of controlling the same
CN104813357A (zh) 用于直播媒体内容匹配的系统和方法
KR20160079862A (ko) 센서 데이터 시간 정렬
CN101796516A (zh) 导航系统和方法
CN107785037B (zh) 使用音频时间码同步媒体内容的方法、系统和介质
US20230333719A1 (en) Customizing a user interface based on user capabilities
CN110442366A (zh) 一种传屏处理方法、装置、设备和存储介质
US20140122226A1 (en) Hybrid advertising supported and user-owned content presentation
US11736766B2 (en) Systems and methods for determining usage information
CN105766001A (zh) 用于使用任意触发的音频处理的系统和方法
US11941048B2 (en) Tagging an image with audio-related metadata
US10964316B2 (en) Performing action on active media content
US9813776B2 (en) Secondary soundtrack delivery
US20120314043A1 (en) Managing multimedia contents using general objects
US20140041054A1 (en) Attestation of possession of media content items using fingerprints
KR102439201B1 (ko) 멀티미디어 콘텐츠와 음원을 동기화하기 위한 전자 장치 및 그의 동작 방법
US10133408B2 (en) Method, system and computer program product
US11722708B2 (en) Display device and operating method therefor

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant