KR102101410B1 - 배경음악 정보 제공을 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 - Google Patents

배경음악 정보 제공을 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 Download PDF

Info

Publication number
KR102101410B1
KR102101410B1 KR1020130119510A KR20130119510A KR102101410B1 KR 102101410 B1 KR102101410 B1 KR 102101410B1 KR 1020130119510 A KR1020130119510 A KR 1020130119510A KR 20130119510 A KR20130119510 A KR 20130119510A KR 102101410 B1 KR102101410 B1 KR 102101410B1
Authority
KR
South Korea
Prior art keywords
background music
touch
user device
audio signal
video
Prior art date
Application number
KR1020130119510A
Other languages
English (en)
Other versions
KR20150041268A (ko
Inventor
염석희
박철웅
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020130119510A priority Critical patent/KR102101410B1/ko
Publication of KR20150041268A publication Critical patent/KR20150041268A/ko
Application granted granted Critical
Publication of KR102101410B1 publication Critical patent/KR102101410B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Economics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 동영상의 재생에 있어, 동영상에 포함된 배경음악에 관한 정보를 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것으로, 이러한 본 발명은 동영상 재생 중 사용자의 일정한 터치가 감지된 때에 재생되는 배경음악을 식별하여 배경음악의 정보를 화면에 표시할 수 있으며, 해당 배경음악의 재생 서비스를 제공할 수 있다. 나아가, 동영상에 포함된 모든 배경음악을 식별하여 배경음악의 정보를 목록화하여 화면에 표시할 수 있다.

Description

배경음악 정보 제공을 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체{Apparatus for serving information of background music, method therefor and computer recordable medium storing the method}
본 발명은 동영상에 포함된 배경음악에 관한 것으로, 더욱 상세하게는 배경음악 정보 제공을 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다.
배경음악(Background Music)이란 영화, 드라마 등의 작품에 있어 전면에 표출되지는 않으나, 작품의 특정 분위기를 강조하거나 관객들의 감정을 고조시키기 위하여 삽입되는 음악을 말한다.
역사적으로 대중의 사랑을 받은 영화 또는 드라마 속의 배경음악은 시간이 흘러도 꾸준한 관심을 받았다. 과거 무성영화 시절에도 오케스트라의 협주를 통해 영화에 배경음악을 넣었을 정도로, 영화 또는 드라마의 제작사는 배경음악의 삽입에 많은 심혈을 기울였고, 현재에 이르러는 배경음악이 들어가지 않은 작품을 찾는 것이 더 어려울 정도가 되었다.
이처럼 배경음악은 단순히 하나의 양념의 역할을 넘어, 작품의 완성도를 좌우할 정도로 중요한 역할을 하고 있으며, 하나의 장르로 분류될 만큼 높은 평가를 받고 있다. 또한, 영화, 드라마 등의 작품에 수록된 배경음악만을 별도로 모아 발매되는 음반을 오리지널 사운드 트랙(Original Sound Track) 또는 오리지널 스코어(Original Score)라 한다.
한편, 많은 관객들은 자신들이 감상한 영화 또는 드라마에 대한 여운을 조금 더 오래 간직하고자 오리지널 사운드 트랙을 찾는다. 또한, 외국어를 공부하는 많은 수험생들은 영화 또는 드라마의 오리지널 사운드 트랙을 어학에 활용하기도 한다.
하지만, 영화 또는 드라마가 상영 또는 방영되었다 하여, 언제나 오리지널 사운드 트랙이 발매되는 것은 아니다. 오히려 유명한 몇몇 영화 또는 드라마의 오리지널 사운드 트랙만이 상업적인 이유로 발매되는 것이 현실이다.
따라서, 보다 알려지지 않은 작품 속의 배경음악의 제목이 무엇이며, 작곡가 또는 작사가가 누구인지 알아내는 것은 일반 대중의 입장에서는 쉬운 일이 아니다. 또한, 작품을 감상하는 도중 배경음악이 무엇인지 알고 싶어졌다 하더라도, 그 여운이 채 가시기도 전에 새로운 배경음악을 접하게 되며, 작품의 감상이 끝난 후 여운의 끝자락을 잡고 배경음악을 찾는 것은 쉬운 일이 아니다.
한국공개특허 제2009-0064857호, 2009년 06월 22일 공개 (명칭: 오디오 처리 방법 및 장치)
본 발명의 목적은 동영상의 재생에 있어, 동영상에 포함된 배경음악에 관한 정보를 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 사용자 장치는 비디오 신호를 출력하고 터치를 감지하는 터치스크린부와, 오디오 신호를 출력하는 오디오처리부와, 데이터를 송수신하는 통신부와, 상기 터치스크린부를 통해 일정한 터치를 감지하여 특정 시점을 설정하고, 상기 특정 시점에 재생 중인 동영상의 오디오 신호에서 배경음악의 일부를 추출하고, 상기 추출된 배경음악의 일부를 이용하여 배경음악을 식별하는 제어부를 포함한다.
상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 사용자 장치의 배경음악 정보 제공을 위한 방법은 동영상을 출력하는 단계와, 사용자의 일정한 터치를 감지하여 특정 시점을 설정하는 단계와, 상기 특정 시점에 재생 중인 동영상의 오디오 신호에서 배경음악의 일부를 추출하는 단계와, 상기 추출된 배경음악의 일부를 이용하여 배경음악을 식별하는 단계를 포함한다.
본 발명은 동영상 재생 중 사용자의 일정한 터치가 감지된 때에 재생되는 배경음악을 식별하여 배경음악의 정보를 화면에 표시할 수 있으며, 해당 배경음악의 재생 서비스를 제공할 수 있다. 나아가, 동영상에 포함된 모든 배경음악을 식별하여 배경음악의 정보를 목록화하여 화면에 표시할 수 있다.
도 1은 본 발명의 실시예에 따른 배경음악 정보 제공 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 사용자 장치의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 사용자 장치의 배경음악을 식별하는 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 사용자의 일정한 터치가 감지된 때에 재생되는 배경음악을 식별하기 위한 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 동영상에 포함된 모든 배경음악을 식별하기 위한 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예에 대한 동작 원리를 상세하게 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. 또한 본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 하나, 이는 본 발명을 특정한 실시 형태로 한정하려는 것은 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
이제 본 발명의 실시 예에 대해서 도면을 참조하여 상세하게 설명하도록 한다. 이때, 도면 전체에 걸쳐 유사한 기능 및 작용을 하는 부분에 대해서는 동일한 도면 부호를 사용하며, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 실시예에 따른 배경음악 정보 제공 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 배경음악 정보 제공 시스템은 사용자 장치(100), 핑거프린트 데이터베이스(200), 음원 서비스 서버(300)를 포함한다.
사용자 장치(100)는 동영상을 출력하고, 동영상에 포함된 배경음악을 식별할 수 있는 장치라면 어느 것이라도 허용될 수 있다. 예컨대, 스마트폰(Smart Phone), 타블릿(Tablet), 랩탑(Laptop), 휴대용 멀티미디어 플레이어(PMP), 패블릿(Phablet), 개인용 휴대 단말기(PDA), 전자책 단말기(E-Book Reader), 스마트 TV(Smart TV) 등이 이에 해당 될 수 있으나, 이에 한정되지 않는다.
핑거프린트 데이터베이스(200)는 핑거프린트 및 배경음악 정보를 저장하고, 핑거프린트를 이용하여 배경음악을 식별하기 위한 것이다. 구체적으로, 핑거프린트 데이터베이스(200)는 사용자 장치(100)로부터 핑거프린트를 수신한다. 핑거프린트 데이터베이스(200)는 수신한 핑거프린트를 이용하여 배경음악을 식별한다. 그리고, 핑거프린트 데이터베이스(200)는 식별된 배경음악의 정보를 사용자 장치(100)에 송신한다.
여기서, 핑거프린트(Fingerprint)란 오디오 데이터(예건대, 배경음악)를 가장 효과적으로 요약한 파라미터 내지 벡터를 말한다. 핑거프린트 데이터베이스(200)가 저장하고 있는 핑거프린트는 필립스(philips) 오디오 핑거프린팅 알고리즘, 샤잠(Shazam) 오디오 핑거프린팅 알고리즘, 구글(google) 오디오 핑거프린팅 알고리즘 중 어느 하나에 의해 생성될 수 있으나, 이에 한정되는 것은 아니다.
대표적으로, 필립스 오디오 핑거프린팅 알고리즘을 구체적으로 설명하면 다음과 같다.
필립스 오디오 핑거프린팅 알고리즘은 오디오 신호를 5000Hz로 리샘플링(resampling)하고, 리샘플링 된 시간 영역의 신호를 일정 길이의 프레임(frame)으로 나눈다. 여기서, 일정 길이의 프레임은 64ms가 될 수 있으나, 이에 한정되지 않는다. 그리고, 필립스 오디오 핑거프린팅 알고리즘은 상기 나누어진 각 프레임을 퓨리에 변환(Fast Fourier Transform)하여 주파수 영역으로 변환하고, 주파수 영역으로 변환 됨에 따른 에너지 차이를 이진화하여 표현한다.
필립스 오디오 핑거프린팅 알고리즘의 이진화 표현 방법은 다음과 같다. 상기 주파수 영역으로 변환된 신호를 로그 간격을 가지는 33개의 주파수 밴드로 나누고, 각 밴드의 에너지 크기를 구한다. 구체적으로,
Figure 112013090790519-pat00001
가
Figure 112013090790519-pat00002
번째 프레임의
Figure 112013090790519-pat00003
번째 주파수 밴드를 의미하고,
Figure 112013090790519-pat00004
가 인접한 주파수 변환에 따른 에너지 차이를 의미한다고 할 경우,
Figure 112013090790519-pat00005
을 다음과 같은 식으로 구할 수 있다.
Figure 112013090790519-pat00006
필립스 오디오 핑거프린팅 알고리즘은 상기 식에 따른
Figure 112013090790519-pat00007
의 값이 1보다 크면 1, 0보다 작거나 같으면 0으로 이진화하여 표현한다. 여기서, 33개의 주파수 밴드가 가지는 32개의 이진화 표현을 하나의 서브 핑거프린트(Sub-Fingerprint)라 하며, 이러한 서브 핑거프린트가 256개 모여서 하나의 핑거프린트 블록을 구성한다.
본 발명의 실시예에 따른 핑거프린트 데이터베이스(200)의 배경음악 식별은 일반적으로 룩업테이블(Lookup Table, LUT)을 이용하여 이루어진다. 룩업테이블(LUT)은 서브 핑거프린트의 값인 키(key)와, 해당 서브 핑거프린트를 포함하는 핑거프린트의 위치 정보인 값(value)으로 구성된다. 핑거프린트 데이터베이스(200)는 검색하고자 하는 샘플 오디오(예컨대, 배경음악의 일부)의 서브 핑거프린트 값을 기초로 룩업테이블(LUT)을 통해 동일한 서브 핑거프린트를 포함하는 핑거프린트의 위치 정보를 탐색한다. 핑거프린트 데이터베이스(200)는 탐색된 핑거프린트와 샘플 오디오 핑거트린트를 비교하여 비트 에러율(Bit Error Rate, BER)을 계산한다. 그리고, 계산된 비트 에러율(BER)이 미리 설정된 문턱점(threshold)보다 낮으면 배경음악의 식별은 성공한다. 여기서, 미리 설정된 문턱점은 필립스 오디오 핑거프린팅 알고리즘에 따르면 0.35가 되나, 이에 한정되지 않는다.
핑거프린트 데이터베이스(200)는 비트 에러율(BRE)이 미리 설정된 문턱점보다 높으면, 샘플 오디오의 핑거프린트에 포함된 임의의 1비트를 반전하여 상기 룩업테이블(LUT)을 이용한 검색을 다시 수행한다. 다시 수행된 검색에도 불구하고 비트 에러율(BER)이 문턱점보다 높으면, 핑거프린트 데이터베이스(200)는 해당 배경음악의 정보가 저장되지 않은 것으로 판단하고, 배경음악의 식별은 실패한다.
본 발명의 실시예에 따른 핑거프린트 데이터베이스(200)에 저장된 배경음악 정보는 배경음악을 식별하기 위한 오디오 식별자를 포함하나, 이에 한정되지 않고 제목, 장르, 작곡가, 작사가, 앨범명, 앨범 수록곡, 앨범표지 등을 포함할 수 있다. 또한, 핑거프린트가 필립스 오디오 핑거프린팅 알고리즘에 의해 생성된 경우, 오디오 식별자는 GNEID(GraceNote External ID)가 될 수 있다.
음원 서비스 서버(300)는 오디오 음원과 관련된 서비스를 제공하기 위한 것이다. 구체적으로, 음원 서비스 서버(300)는 사용자 장치(100)로부터 서비스 요청을 수신한다. 여기서, 서비스 요청은 오디오를 식별하기 위한 오디오 식별자 및 서비스를 식별하기 위한 서비스 식별자를 포함하나, 이에 한정되지 않는다. 또한, 음원 서비스 서버(300)가 제공할 수 있는 서비스는 배경음악 재생 서비스, 배경음악 링톤(Ringtone) 서비스, 배경음악 링백톤(Ringbacktone) 서비스 등을 포함할 수 있으나, 이에 한정되지 않는다. 음원 서비스 서버(300)는 수신한 오디오 식별자를 이용하여 제공할 배경음악을 특정하고, 서비스 식별자를 이용하여 서비스를 특정한다. 그리고, 음원 서비스 서버(300)는 서비스의 제공에 필요한 데이터를 사용자 장치(100)에 송신한다. 예컨대, 음원 서비스 서버(300)가 배경음악 재생 서비스를 요청 받은 경우, 배경음악을 송신한다.
본 발명의 실시예에 따른 사용자 장치(100)는 동영상에 포함된 배경음악을 식별하고, 음원 서비스 서버로부터 식별된 배경음악을 수신하여 재생하거나, 해당 배경음악을 링톤 또는 링백톤으로 설정할 수 있는 서비스를 제공한다. 또한, 동영상에 별도의 메타데이터가 포함되어 있지 않더라도, 배경음악의 핑거프린트를 이용하여 동영상에 포함된 모든 배경음악에 관한 정보 검색을 허용한다.
상술한 본 발명의 실시예에 따른 사용자 장치(100)의 엔티티 각각에 대하여 보다 구체적으로 설명하기로 한다.
도 2는 본 발명의 실시예에 따른 사용자 장치(100)의 구성을 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 실시예에 따른 사용자 장치(100)는 터치스크린부(110), 오디오처리부(120), 저장부(130), 통신부(140) 및 제어부(150)를 포함한다.
터치스크린부(110)는 비디오 신호를 출력하고 터치를 감지하기 위한 것이다. 구체적으로, 터치스크린부(110)는 동영상에 포함된 비디오 신호를 출력하고, 사용자로부터 일정한 터치를 입력 받는다. 터치스크린부(110)는 비디오 신호를 출력하기 위하여 액정표시장치(LCD), 발광 다이오드(LED), 유기 발광 다이오드(OLED). 능동형 유기 발광 다이오드(AMOLED) 등을 포함하여 구성될 수 있다. 또한, 터치스크린부(110)는 일정한 터치를 입력 받기 위하여 광학적(optical) 터치 패드, 감압식(pressure) 터치 패드, 정전식(capacitive) 터치 패드 등 중 어느 하나를 포함하여 구성될 수 있다.
오디오처리부(120)는 오디오 신호를 출력하기 위한 것이다. 구체적으로, 오디오처리부(120)는 동영상에 포함된 디지털 오디오 신호 또는 배경음악에 대한 디지털 오디오 신호를 오디오 코텍(CODEC)을 통해 아날로그 신호로 변환하여 스피커를 통해 재생한다. 또한, 오디오처리부(120)는 마이크로부터 입력되는 아날로그 신호를 오디오 코덱을 통해 디지털 오디오 신호로 변환하여 제어부(150)에 전달할 수 있다.
저장부(130)는 사용자 장치(100)의 동작에 필요한 프로그램과 동영상 및 배경음악 정보를 저장한다. 구체적으로, 저장부(130)는 제어부(150)로부터 전달받은 배경음악에 관한 정보를 저장한다. 배경음악에 관한 정보는 배경음악을 식별하기 위한 오디오 식별자를 포함하나, 이에 한정되지 않고 제목, 장르, 작곡가, 작사가, 앨범명, 앨범 수록곡, 앨범표지 등을 포함할 수 있다.
통신부(140)는 핑거프린트 데이터베이스(200) 및 음원 서비스 서버(300)와 데이터를 송수신하기 위한 것이다. 구체적으로, 통신부(140)는 핑거프린트 데이터베이스(200)에 핑거프린트를 송신하고, 핑거프린트 데이터베이스(200)로부터 배경음악 정보를 수신한다. 여기서, 배경음악 정보는 오디오 식별자를 포함하나, 이에 한정되지 않는다. 통신부(140)는 음원 서비스 서버(300)에 서비스 요청을 송신한다. 그리고 통신부(140)는 음원 서비스 서버(300)로부터 서비스에 필요한 데이터를 수신한다. 통신부(140)가 이용할 수 있는 네트워크는 특정 방식에 구애 받지 않으며, CDMA, GSM, HSPA+, LTE 등과 같은 이동 통신 네트워크, 와이파이(Wi-Fi), 블루투스(Bluetooth), 와이브로(Wibro), 와이맥스(Wimax), 지그비(ZigBee) 등과 같은 근거리 통신 네트워크, 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coaxial Cable) 등과 같은 유선 통신 네트워크 등을 포함할 수 있다.
제어부(150)는 동영상에 포함된 배경음악의 일부를 추출하고, 추출된 배경음악의 일부를 이용하여 배경음악을 식별하고, 배경음악에 대한 서비스를 제공하기 위한 것이다.
이하, 본 발명의 실시예에 따른 제어부(150)의 동영상에 포함된 배경음악의 일부를 추출하는 과정을 구체적으로 설명하기로 한다.
제어부(150)는 동영상에 포함된 비디오 신호와 오디오 신호 중 오디오 신호의 일부를 추출한다. 여기서, 오디오 신호의 일부는 PCM(Pulse Code Modulation) 신호가 될 수 있다. 제어부(150)는 오디오 신호의 일부로부터 배경음악과 그 외의 오디오 신호를 구별하기 위한 파라미터를 검출한다. 여기서, 파라미터는 배경음악이 갖는 주파수 특성을 나타내기 위한 것으로, 영 교차 횟수의 변화량(High Zero Crossing Rate Ratio, HZCRR), 단구간 에너지 변화량(Low Short Time Energy Ratio, LSTER), 스펙트럼 흐름(Spectrum Flux, SF), 선스펙트럼 쌍(Line Spectrum Pairs, LSP) 거리 중 적어도 하나를 포함할 수 있다. 또한, 제어부(150)는 이에 한정되지 않고, 음소 인식 기반의 파라미터 등을 검출할 수 있다.
제어부(150)가 검출하는 파라미터 중에서 영 교차 횟수의 변화량(HZCRR)은 시간 영역에서 단위 시간당 영 교차 횟수를 나타내는 ZCR(Zero Crossing Rate)의 1초 단위당 변화량을 나타내는 것이다. 음악 신호는 음성 신호에 비해 상대적으로 유성음과 무성음이 번갈아 나타나지 않는 특성을 가지므로, 영 교차 횟수의 변화량(HZCRR)은 배경음악과 그 외의 오디오 신호를 구별할 수 있는 파라미터가 될 수 있다. 단구간 에너지 변화량(LSTER)는 오디오 신호의 단구간 에너지의 변화량을 나타내는 것이다. 음악 신호는 음성 신호에 비해 상대적으로 적은 휴지 기간만을 포함하는 특성을 가지므로, 단구간 에너지 변화량(LSTER)은 배경음악과 그 외의 오디오 신호를 구별할 수 있는 파라미터가 될 수 있다. 스펙트럼 흐름(SF)은 인접한 프레임 간의 스펙트럼 변화량을 나타내는 것이다. 음악 신호는 음성 신호에 비해 상대적으로 프레임간 스펙트럼 변화가 적은 특성을 가지므로, 스펙트럼 흐름(SF)은 배경음악과 그 외의 오디오 신호를 구별할 수 있는 파라미터가 될 수 있다. 선스펙트럼 쌍(LSP) 거리는 오디오 신호의 스펙트럼 포락선 사이의 거리를 나타내는 것이다. 음악 신호는 음성 신호에 비해 상대적으로 선스펙트럼 쌍의 거리가 큰 특성을 가지므로, 선스펙트럼 쌍(LSP) 거리는 배경음악과 그 외의 오디오 신호를 구별할 수 있는 파라미터가 될 수 있다.
제어부(150)는 검출된 파라미터를 기준으로 오디오 신호의 일부로부터 배경음악의 일부를 구별하여 추출한다. 제어부(150)는 배경음악과 그 외의 오디오 신호를 구별하기 위하여, 검출된 파라미터를 가우시안 혼합 모델(Gaussian Mixture Model, GMM), k-근접이웃 알고리즘(k-Nearest Neighbor, k-NN), 은닉 마르코브 모델(Hidden Markov Model, HMM) 중 어느 하나에 적용할 수 있으나, 이에 한정되지 않는다.
제어부(150)가 적용할 수 있는 가우시안 혼합 모델(GMM)은 파라미터를 기준으로 복수 개의 가우시안 확률 분포를 구성하여, 가우시안 확률 분포에 따라 오디오 신호로부터 배경음악을 분류해주는 모델이다. k-근접이웃 알고리즘(k-NN)은 오디오 신호와 파라미터의 거리를 계산하고, 가까운 거리를 갖는 k개의 오디오 신호를 찾아 분류해주는 알고리즘으로, 최근접이웃(1-NN)이 배경음악에 해당된다. 은닉 마르코브 모델(GMM)은 검출된 파라미터를 통해 숨겨진 파라미터를 추론하고, 이중 확률 분포에 따라 오디오 신호로부터 배경음악을 분류해주는 모델이다.
이하, 본 발명의 실시예에 따른 제어부(150)의 추출된 배경음악을 식별하는 과정을 구체적으로 설명하기로 한다.
제어부(150)는 배경음악의 일부로부터 핑거프린트를 생성한다. 이때, 제어부(150)는 핑거프린트 데이터베이스(200)에 저장된 핑거프린트와 동일한 알고리즘에 의해 핑거프린트를 생성한다. 따라서, 제어부(150)는 필립스 오디오 핑거프린팅 알고리즘, 샤잠 오디오 핑거프린팅 알고리즘, 구글 오디오 핑거프린팅 알고리즘 중 어느 하나에 의해 핑거프린트를 생성할 수 있다. 또한, 핑거프린트 데이터베이스(200)에 그 외의 알고리즘에 의해 생성된 핑거프린트가 저장되어 있는 경우, 제어부(150)도 그와 동일한 알고리즘에 의해 핑거프린트를 생성할 수 있다.
제어부(150)는 핑거프린트 데이터베이스(200)에 대하여 통신부(140)를 통해 핑거프린트를 송신한다. 그리고, 제어부(150)는 핑거프린트 데이터베이스(200)로부터 배경음악 정보를 수신한다. 여기서, 배경음악 정보는 배경음악을 식별하기 위한 오디오 식별자를 포함하나, 이에 한정되지 않고 제목, 장르, 작곡가, 작사가, 앨범명, 앨범 수록곡, 앨범표지 등을 포함할 수 있다. 또한, 제어부(150)는 배경음악 정보를 저장부(130)에 저장할 수 있다.
본 발명의 실시예에 따른 제어부(150)는 동영상의 재생 중 사용자의 일정한 터치가 감지된 때에 재생되는 배경음악을 식별하여, 배경음악 재생 서비스를 제공할 수 있다.
제어부(150)는 동영상의 재생 중 터치스크린부(110)를 통해 일정한 터치를 감지하여 특정 시점을 설정한다. 구체적으로, 제어부(150)는 터치스크린부(110)를 통해 사용자로부터 일정 시간 이상의 지속적인 터치가 감지되거나, 특정 위치에 대한 터치가 감지되는 경우, 해당 감지 시점을 기준으로 특정 시점을 설정할 수 있다. 또한, 제어부(150)는 터치스크린부(110)를 통해 사용자로부터 일정 시간 이하의 반복적인 터치가 감지되는 경우 마지막 감지 시점을 기준으로 특정 시점을 설정할 수 있으며, 이에 한정되지 않는다.
제어부(150)는 특정 시점을 기준으로 동영상에 포함된 오디오 신호 샘플을 추출한다. 이 경우, 제어부(150)는 특정 시점 전에 존재하는 무음 구간에서 유음 구간으로 변경되는 경계와, 특정 시점 후에 존재하는 유음 구간에서 무음 구간으로 변경되는 경계 사이에서 오디오 신호 샘플을 추출한다. 여기서, 오디오 신호 샘플은 PCM 신호가 될 수 있다. 제어부(150)는 추출된 오디오 신호 샘플에 포함된 배경음악을 추출하고, 배경음악을 식별한다. 오디오 신호에서 배경음악을 추출하고, 배경음악을 식별하는 과정은 이미 상술한 바와 동일하다. 그리고, 제어부(150)는 식별된 배경음악 정보를 터치스크린부(110)를 통해 표시한다. 배경음악 정보에는 제목, 장르, 작곡가, 작사가, 앨범명, 앨범 수록곡, 앨범표지 등이 포함될 수 있으나, 이에 한정되지 않는다.
제어부(150)는 사용자로부터 터치스크린부(110)를 통해 서비스 요청을 받을 수 있다. 사용자로부터 입력 받을 수 있는 서비스 요청에는 배경음악 재생 서비스, 배경음악 링톤 서비스, 배경음악 링백톤 서비스 등을 포함될 수 있으나, 이에 한정되지 않는다. 다음은 사용자로부터 배경음악 재생 서비스 요청을 받은 경우를 전제로 설명한다.
제어부(150)는 배경음악 정보로부터 오디오 식별자를 추출한다. 제어부(150)는 배경음악 재생 서비스에 해당하는 서비스 식별자를 설정한다. 제어부(150)는 음원 서비스 서버(300)에 대하여 통신부(140)를 통해 서비스 요청을 송신한다. 서비스 요청은 오디오 식별자 및 서비스 식별자를 포함하나, 이에 한정되지 않는다. 그리고, 제어부(150)는 음원 서비스 서버(300)로부터 통신부(140)를 통해 배경음악을 수신한다. 제어부(150)는 수신한 배경음악을 오디오처리부(120)를 통해 재생한다.
본 발명의 실시예에 따른 제어부(150)는 동영상에 포함된 모든 배경음악을 식별하고, 식별된 배경음악의 정보를 표시하고, 특정 배경음악의 재생 서비스를 제공할 수 있다.
제어부(150)는 동영상에 포함된 모든 오디오 신호를 추출한다. 여기서, 오디오 신호는 PCM 신호가 될 수 있다. 제어부(150)는 추출된 오디오 신호로부터 유음 구간에 해당하는 오디오 신호만을 추출한다. 이 경우, 오디오 신호에 복수 개의 유음 구간이 존재한다면, 오디오 신호는 유음 구간과 매칭되는 복수 개의 오디오 신호로 분리될 수 있다. 제어부(150)는 오디오 신호에 포함된 배경음악을 추출하고, 배경음악을 식별한다. 이 경우, 오디오 신호가 복수 개로 분리 되었다면, 분리된 오디오 신호 각각에 대하여 배경음악을 추출하고, 배경음악을 식별한다. 오디오 신호에서 배경음악을 추출하고, 배경음악을 식별하는 과정은 이미 상술한 바와 동일하다. 그리고, 제어부(150)는 식별된 배경음악 정보를 화면에 표시한다. 배경음악 정보에는 동영상에 포함된 배경음악의 수만큼의 배경음악 정보가 포함된다. 또한, 배경음악 정보에는 제목, 장르, 작곡가, 작사가, 앨범명, 앨범 수록곡, 앨범표지 등이 포함될 수 있으나, 이에 한정되지 않는다.
제어부(150)는 사용자로부터 터치스크린부(110)를 통해 배경음악 정보에 포함된 특정 배경음악에 대한 서비스 요청을 받을 수 있다. 다음은 사용자로부터 배경음악 재생 서비스 요청을 받은 경우를 전제로 설명한다.
제어부(150)는 배경음악 정보 중에서 배경음악 재생 서비스 요청을 받은 배경음악을 특정한다. 제어부(150)는 특정된 배경음악에 해당하는 배경음악 정보로부터 오디오 식별자를 추출한다. 제어부(150)는 오디오 음원 서비스에 해당하는 서비스 식별자를 설정한다. 제어부(150)는 음원 서비스 서버(300)에 대하여 통신부(140)를 통해 서비스 요청을 송신한다. 여기서, 서비스 요청은 오디오 식별자 및 서비스 식별자를 포함하나, 이에 한정되지 않는다. 그리고 제어부(150)는 음원 서비스 서버(300)로부터 통신부(140)를 통해 배경음악을 수신한다. 제어부(150)는 수신한 배경음악을 오디오처리부(120)를 통해 재생한다.
도 3은 본 발명의 실시예에 따른 사용자 장치의 배경음악을 식별하는 방법을 설명하기 위한 흐름도이다.
도 3을 참조하면, 사용자 장치(100)의 제어부(150)는 S110 단계에서 동영상에 포함된 비디오 신호와 오디오 신호 중 오디오 신호의 일부를 추출한다. 여기서, 오디오 신호의 일부는 PCM 신호가 될 수 있다. 제어부(150)는 S120 단계에서 S110 단계를 통해 추출된 오디오 신호의 일부로부터 배경음악과 그 외의 오디오 신호를 구별하기 위한 파라미터를 검출한다. 여기서, 파라미터는 배경음악이 갖는 주파수 특성을 나타내기 위한 것으로, 영 교차 횟수의 변화량(HZCRR), 단구간 에너지 변화량(LSTER), 스펙트럼 흐름(SF), 선스펙트럼 쌍(LSP) 거리 중 적어도 하나를 포함할 수 있다. 또한, 제어부(150)는 이에 한정되지 않고, 음속 인식 기반의 파라미터 등을 검출할 수 있다. 제어부(150)는 S130 단계에서 S120 단계를 통해 검출된 파라미터를 기준으로 오디오 신호의 일부로부터 배경음악의 일부를 구별하여 추출한다. 제어부(150)는 배경음악과 그 외의 오디오 신호를 구별하기 위하여, S120 단계를 통해 검출된 파라미터를 가우시안 혼합 모델(GMM), k-근접이웃(k-NN), 은닉 마르코브 모델(HMM) 중 어느 하나에 적용할 수 있으나, 이에 한정되지 않는다.
제어부(150)는 S140 단계에서 S130 단계를 통해 추출된 배경음악의 일부로부터 핑거프린트를 생성한다. 이때, 제어부(150)는 핑거프린트 데이터베이스(200)에 저장된 핑거프린트와 동일한 알고리즘에 의해 핑거프린트를 생성한다. 따라서, 제어부(150)는 필립스 오디오 핑거프린팅 알고리즘, 샤잠 오디오 핑거프린팅 알고리즘, 구글 오디오 핑거프린팅 알고리즘 중 어느 하나에 의해 핑거프린트를 생성할 수 있다. 또한, 핑거프린트 데이터베이스(200)에 그 외의 알고리즘에 의해 생성된 핑거프린트가 저장되어 있는 경우, 제어부(150)도 S140 단계에서 그와 동일한 알고리즘에 의해 핑거프린트를 생성할 수 있다. 제어부(150)는 S150 단계에서 핑거프린트 데이터베이스(200)에 대하여 통신부(140)를 통해 핑거프린트를 송신한다. 제어부(150)는 S160 단계에서 핑거프린트 데이터베이스(200)로부터 배경음악 정보를 수신한다. 여기서, 배경음악 정보는 배경음악을 식별하기 위한 오디오 식별자를 포함하나, 이에 한정되지 않고 제목, 장르, 작곡가, 작사가, 앨범명, 앨범 수록곡, 앨범표지 등을 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 사용자의 일정한 터치가 감지된 때에 재생되는 배경음악을 식별하기 위한 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 사용자 장치(100)의 제어부(150)는 S205 단계에서 동영상을 재생한다. 제어부(150)는 S210 단계에서 터치스크린부(110)를 통해 일정한 터치를 감지하여 특정 시점을 설정한다. 구체적으로, 제어부(150)는 터치스크린부(110)를 통해 사용자로부터 일정 시간 이상의 지속적인 터치가 감지되거나, 특정 위치에 대한 터치가 감지되는 경우, 해당 감지 시점을 기준으로 특정 시점을 설정할 수 있다. 또한, 제어부(150)는 터치스크린부(110)를 통해 사용자로부터 일정 시간 이하의 반복적인 터치가 감지되는 경우 마지막 감지 시점을 기준으로 특정 시점을 설정할 수 있으며, 이에 한정되지 않는다.
제어부(150)는 S215 단계에서 S210 단계를 통해 설정된 특정 시점을 기준으로 동영상에 포함된 오디오 신호 샘플을 추출한다. 이 경우, 제어부(150)는 동영상에 포함된 오디오 신호 중에서 S210 단계를 통해 입력 받은 특정 시점 전에 존재하는 무음 구간에서 유음 구간으로 변경되는 경계와, 특정 시점 후에 존재하는 유음 구간에서 무음 구간으로 변경되는 경계 사이에서 오디오 신호 샘플을 추출한다. 여기서, 오디오 신호 샘플은 PCM 신호가 될 수 있다. 제어부(150)는 S220 단계에서 S215 단계를 통해 추출된 오디오 신호 샘플에 포함된 배경음악을 추출하고, 배경음악을 식별한다. 배경음악을 추출하고, 배경음악을 식별하는 방법은 도 3을 참조하여 상술한 바와 동일하다. 제어부(150)는 S225 단계에서 S220 단계를 통해 식별된 배경음악 정보를 터치스크린부(110)를 통해 화면에 표시한다. 배경음악 정보에는 제목, 장르, 작곡가, 작사가, 앨범명, 앨범 수록곡, 앨범표지 등이 포함될 수 있으나, 이에 한정되지 않는다. 그리고, 제어부(150)는 S230 단계에서 사용자로부터 배경음악 재생 서비스 요청이 있는지 판단한다.
S230 단계에서 배경음악 재생 서비스 요청이 있으면, 제어부(150)는 S235 단계에서 S225 단계를 통해 식별된 배경음악 정보로부터 오디오 식별자를 추출한다. 제어부(150)는 S240 단계에서 배경음악 재생 서비스에 해당하는 서비스 식별자를 설정한다. 제어부(150)는 S245 단계에서 음원 서비스 서버(300)에 대하여 통신부(140)를 통해 서비스 요청을 송신한다. 여기서, 서비스 요청은 오디오 식별자 및 서비스 식별자를 포함하나, 이에 한정되지 않는다. 그리고, 제어부(150)는 S250 단계에서 음원 서비스 서버(300)로부터 통신부(140)를 통해 배경음악을 수신한다. 제어부(150)는 S255 단계에서 S250 단계를 통해 수신한 배경음악을 오디오처리부(120)를 통해 재생한다.
도 5는 본 발명의 실시예에 따른 동영상에 포함된 모든 배경음악을 식별하기 위한 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 사용자 장치(100)의 제어부(150)는 S305 단계에서 동영상에 포함된 모든 오디오 신호를 추출한다. 여기서, 오디오 신호는 PCM 신호가 될 수 있다. 제어부(150)는 S310 단계에서 S305 단계를 통해 추출된 오디오 신호로부터 유음 구간에 해당하는 오디오 신호만을 추출한다. 이 경우, 오디오 신호에 복수 개의 유음 구간이 존재한다면, 오디오 신호는 유음 구간과 매칭되는 복수 개의 오디오 신호로 분리될 수 있다. 제어부(150)는 S315 단계에서 S310 단계를 통해 추출된 오디오 신호에 포함된 배경음악을 추출하고, 배경음악을 식별한다. 이 경우, 오디오 신호가 S310 단계를 통해 복수 개로 분리 되었다면, 분리된 오디오 신호 각각에 대하여 배경음악을 추출하고, 배경음악을 식별한다. 배경음악을 추출하고, 배경음악을 식별하는 방법은 도 3을 참조하여 상술한 바와 동일하다. 제어부(150)는 S320 단계에서 S315 단계를 통해 식별된 배경음악 정보를 화면에 표시한다. 배경음악 정보에는 동영상에 포함된 배경음악의 수만큼의 배경음악 정보가 포함된다. 또한, 배경음악 정보에는 제목, 장르, 작곡가, 작사가, 앨범명, 앨범 수록곡, 앨범표지 등이 포함될 수 있으나, 이에 한정되지 않는다. 그리고, 제어부(150)는 S325 단계에서 사용자로부터 S320 단계를 통해 표시된 배경음악 정보에 포함된 특정 배경음악에 대한 배경음악 재생 서비스 요청이 있는지 판단한다.
S325 단계에서 배경음악 재생 서비스 요청이 있으면, 제어부(150)는 S330 단계에서 S320 단계를 통해 표시된 배경음악 정보 중에서 배경음악 재생 서비스의 요청을 받은 배경음악을 특정한다. 제어부(150)는 S335 단계에서 S330 단계를 통해 특정된 배경음악에 해당하는 배경음악 정보로부터 오디오 식별자를 추출한다. 제어부(150)는 S340 단계에서 오디오 음원 서비스에 해당하는 서비스 식별자를 설정한다. 제어부(150)는 S345 단계에서 음원 서비스 서버(300)에 대하여 통신부(140)를 통해 서비스 요청을 송신한다. 여기서, 서비스 요청은 오디오 식별자 및 서비스 식별자를 포함하나, 이에 한정되지 않는다. 그리고, 제어부(150)는 S350 단계에서 음원 서비스 서버(300)로투버 통신부(140)를 통해 배경음악을 수신한다. 제어부(150)는 S355 단계에서 S350 단계를 통해 수신한 배경음악을 오디오처리부(120)를 통해 재생한다.
본 발명의 실시예에 따른 배경음악 정보 제공방법은 동영상의 재생 중 사용자의 일정한 터치가 감지된 때에 재생되는 배경음악을 식별하여 배경음악의 정보를 화면에 표시할 수 있으며, 해당 배경음악의 재생 서비스를 제공할 수 있다. 나아가, 본 발명의 실시예에 따른 배경음악 정보 제공방법은 동영상에 포함된 모든 배경음악을 식별하여 배경음악 정보를 목록화하여 화면에 표시할 수 있다. 이는 동영상에 대한 오리지널 사운드 트랙과 유사한 역할을 수행할 수 있다.
상술한 바와 같은 본 발명의 실시 예에 따른 배경음악 정보 제공 방법은 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체의 형태로 제공될 수도 있다. 이때, 컴퓨터 프로그램 명령어와 데이터를 저장하기에 적합한 컴퓨터로 판독 가능한 매체는, 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM(Compact Disk Read Only Memory), DVD(Digital Video Disk)와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magneto-Optical Media), 및 롬(ROM, Read Only Memory), 램(RAM, Random Access Memory), 플래시 메모리, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM)과 같은 반도체 메모리를 포함한다. 프로세서와 메모리는 특수 목적의 논리 회로에 의해 보충되거나, 그것에 통합될 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안되며, 오히려 특정한 발명의 특정한 실시형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
한편, 본 명세서와 도면에 개시된 본 발명의 실시 예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
본 발명은 동영상의 재생에 있어, 동영상에 포함된 배경음악에 관한 정보를 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것으로, 이러한 본 발명은 동영상 재생 중 사용자의 일정한 터치가 감지된 때에 재생되는 배경음악을 식별하여 배경음악의 정보를 화면에 표시할 수 있으며, 해당 배경음악의 재생 서비스를 제공할 수 있다. 나아가, 동영상에 포함된 모든 배경음악을 식별하여 배경음악의 정보를 목록화하여 화면에 표시할 수 있다. 더불어, 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.
100: 사용자 장치 110: 터치스크린부
120: 오디오처리부 130: 저장부
140: 통신부 150: 제어부
200: 핑거프린트 데이터베이스 300: 음원 서비스 서버

Claims (8)

  1. 비디오 신호를 출력하고 터치를 감지는 터치스크린부;
    오디오 신호를 출력하는 오디오처리부;
    데이터를 송수신하는 통신부; 및
    상기 터치스크린부를 통해 터치를 감지하여 특정 시점을 설정하고, 상기 특정 시점을 기준으로 동영상의 오디오 신호에서 배경음악의 일부를 추출하고, 상기 추출된 배경음악의 일부를 이용하여 배경음악을 식별하고, 상기 통신부를 통해 음원 서비스 서버로부터 상기 식별된 배경음악을 수신하고, 상기 오디오처리부를 통해 상기 수신된 배경음악을 출력하는 제어부;를 포함하되,
    상기 제어부는
    상기 특정 시점 전에 존재하는 무음 구간에서 유음 구간으로 변경되는 경계와, 상기 특정 시점 후에 존재하는 유음 구간에서 무음 구간으로 변경되는 경계 사이의 오디오 신호 샘플을 추출하고, 상기 추출된 오디오 신호 샘플에 포함된 배경음악의 일부를 추출하는 것을 특징으로 하는 사용자 장치.
  2. 제1항에 있어서,
    상기 터치는
    상기 터치스크린부에 대한 일정 시간 이상의 지속적 터치, 상기 터치스크린부의 특정 위치에 대한 터치, 상기 터치스크린부에 대한 일정 시간 이하의 반복적 터치 중 어느 하나를 포함하는 것을 특징으로 하는 사용자 장치.
  3. 제1항에 있어서,
    상기 제어부는
    상기 동영상의 오디오 신호에서 배경음악의 주파수 특성을 나타내는 파라미터를 검출하고, 검출된 파라미터를 기준으로 배경음악의 일부를 추출하는 것을 특징으로 하는 사용자 장치.
  4. 제1항에 있어서,
    상기 제어부는
    상기 추출된 배경음악의 일부로부터 핑거프린트를 생성하고, 핑거프린트 데이터베이스로 핑거프린트를 송신하여, 상기 핑거프린트 데이터베이스로부터 상기 핑거프린트에 상응하는 배경음악 정보를 수신함으로써 배경음악을 식별하는 것을 특징으로 하는 사용자 장치.
  5. 제1항에 있어서,
    상기 제어부는
    상기 동영상에 포함된 모든 배경음악을 식별하고, 식별된 배경음악의 정보를 상기 터치스크린부를 통해 출력하는 것을 특징으로 하는 사용자 장치.
  6. 사용자 장치가 동영상을 출력하는 단계;
    상기 사용자 장치가 사용자의 터치를 감지하여 특정 시점을 설정하는 단계;
    상기 사용자 장치가 상기 특정 시점을 기준으로 동영상의 오디오 신호에서 배경음악의 일부를 추출하는 단계;
    상기 사용자 장치가 상기 추출된 배경음악의 일부를 이용하여 배경음악을 식별하는 단계; 및
    상기 사용자 장치가 음원 서비스 서버로부터 상기 식별된 배경음악을 수신하여 출력하는 단계;를 포함하되,
    상기 추출하는 단계는
    상기 특정 시점 전에 존재하는 무음 구간에서 유음 구간으로 변경되는 경계와, 상기 특정 시점 후에 존재하는 유음 구간에서 무음 구간으로 변경되는 경계 사이의 오디오 신호 샘플을 추출하고, 상기 추출된 오디오 신호 샘플에 포함된 배경음악의 일부를 추출하는 것을 특징으로 하는 사용자 장치의 배경음악 정보 제공을 위한 방법.
  7. 제6항에 있어서,
    상기 터치는
    일정 시간 이상의 지속적 터치, 특정 위치에 대한 터치, 일정 시간 이하의 반복적 터치 중 어느 하나를 포함하는 것을 특징으로 하는 사용자 장치의 배경음악 정보 제공을 위한 방법.
  8. 제6항 또는 제7항에 따른 배경음악 정보 제공을 위한 방법이 기록된 컴퓨터 판독 가능한 기록매체.
KR1020130119510A 2013-10-07 2013-10-07 배경음악 정보 제공을 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체 KR102101410B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130119510A KR102101410B1 (ko) 2013-10-07 2013-10-07 배경음악 정보 제공을 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130119510A KR102101410B1 (ko) 2013-10-07 2013-10-07 배경음악 정보 제공을 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20150041268A KR20150041268A (ko) 2015-04-16
KR102101410B1 true KR102101410B1 (ko) 2020-04-16

Family

ID=53034794

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130119510A KR102101410B1 (ko) 2013-10-07 2013-10-07 배경음악 정보 제공을 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체

Country Status (1)

Country Link
KR (1) KR102101410B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102369985B1 (ko) 2015-09-04 2022-03-04 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 배경음악 제공방법 및 배경음악 제공 시스템
KR102447554B1 (ko) * 2020-11-18 2022-09-27 주식회사 샵캐스트 오디오 핑거프린트 매칭을 기반으로하는 음원 인식 방법 및 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100689485B1 (ko) * 2003-11-10 2007-03-02 삼성전자주식회사 배경음악 제공 시스템 및 방법, 및 휴대용단말기
KR20090064857A (ko) 2007-12-17 2009-06-22 엘지전자 주식회사 오디오 처리 방법 및 장치
KR101022285B1 (ko) * 2008-05-07 2011-03-21 주식회사 케이티 동영상 객체정보 서비스 제공 방법 및 시스템
KR20100002759A (ko) * 2008-06-30 2010-01-07 주식회사 케이티 동영상 객체정보를 활용한 ｖｏｄ 추천서비스 제공방법 및시스템
KR101649644B1 (ko) * 2010-02-04 2016-08-19 엘지전자 주식회사 정보 제공 장치 및 그 방법

Also Published As

Publication number Publication date
KR20150041268A (ko) 2015-04-16

Similar Documents

Publication Publication Date Title
US11798528B2 (en) Systems and methods for providing notifications within a media asset without breaking immersion
CN110557589B (zh) 用于整合记录的内容的系统和方法
KR101582436B1 (ko) 미디어의 동기화 방법 및 시스템
KR102545837B1 (ko) 디스플레이 장치, 디스플레이 장치의 배경음악 제공방법 및 배경음악 제공 시스템
US20110075851A1 (en) Automatic labeling and control of audio algorithms by audio recognition
CN108307250B (zh) 一种生成视频摘要的方法及装置
KR101796580B1 (ko) 음악 하이라이트 구간 추출 장치 및 방법
US20210357451A1 (en) Music cover identification with lyrics for search, compliance, and licensing
US20140201276A1 (en) Accumulation of real-time crowd sourced data for inferring metadata about entities
US20150193199A1 (en) Tracking music in audio stream
WO2015161079A1 (en) Methods, systems, and media for presenting music items relating to media content
US9224385B1 (en) Unified recognition of speech and music
US10770044B2 (en) Lyrics analyzer
CN105611400B (zh) 内容处理设备和用于发送可变大小的片段的方法
CN103500579A (zh) 语音识别方法、装置及系统
KR102101410B1 (ko) 배경음악 정보 제공을 위한 장치, 이를 위한 방법 및 이 방법이 기록된 컴퓨터 판독 가능한 기록매체
KR20100007102A (ko) 온라인을 통한 디지털 컨텐츠 관리 시스템
US20230197114A1 (en) Storage apparatus, playback apparatus, storage method, playback method, and medium
US12075187B2 (en) Systems and methods for automatically generating sound event subtitles
KR101002731B1 (ko) 오디오 데이터의 특징 벡터 추출방법과 그 방법이 기록된컴퓨터 판독 가능한 기록매체 및 이를 이용한 오디오데이터의 매칭 방법
JP2011085824A (ja) 音響識別装置、その処理方法およびプログラム
KR20210107532A (ko) 컨텐츠의 일부의 대상을 표시하기 위한 시스템 및 방법
Coleman et al. A machine learning approach to hierarchical categorisation of auditory objects
UA31363U (uk) Спосіб відслідкування звукових композицій

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant