KR100782261B1 - 오디오 배속 조절 기반 비디오 동기화방법 - Google Patents

오디오 배속 조절 기반 비디오 동기화방법 Download PDF

Info

Publication number
KR100782261B1
KR100782261B1 KR1020060044801A KR20060044801A KR100782261B1 KR 100782261 B1 KR100782261 B1 KR 100782261B1 KR 1020060044801 A KR1020060044801 A KR 1020060044801A KR 20060044801 A KR20060044801 A KR 20060044801A KR 100782261 B1 KR100782261 B1 KR 100782261B1
Authority
KR
South Korea
Prior art keywords
audio
frame
speed
video
ola
Prior art date
Application number
KR1020060044801A
Other languages
English (en)
Other versions
KR20070111695A (ko
Inventor
최우영
전혜정
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020060044801A priority Critical patent/KR100782261B1/ko
Publication of KR20070111695A publication Critical patent/KR20070111695A/ko
Application granted granted Critical
Publication of KR100782261B1 publication Critical patent/KR100782261B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Receiver Circuits (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

본 발명은 오디오 재생 속도를 음색의 변화없이 제어함과 동시에, 조절된 오디오 배속에 따라 해당 비디오 신호의 재생 속도를 오디오 재생속도에 동기화하여 출력하는 오디오 배속 조절 기반 비디오 동기화방법에 관한 것이다.
본 발명은 수신되는 디지털 방송에 대하여 제 1 시점부터 저장을 수행하고, 상기 제 1 시점 이후의 제 2 시점부터 수신되는 디지털 방송을 제 2 시점 이후의 제 3 시점까지 저장함과 동시에, 상기 제 1 시점부터 제 3 시점까지 저장된 디지털 방송을 음색의 변화없이 배속 조절된 오디오 신호에 비디오 신호의 동기를 맞추어 빠른 재생으로 제 3 시점에 일치시키는 방법으로 오디오 배속 조절 기반의 비디오 동기화를 수행한다.
TSM, 음성변속재생, AMDF, OLA

Description

오디오 배속 조절 기반 비디오 동기화방법{VIDEO SYNCRONIZATION BASED ON REPRODUCING AUDIO SIGNAL SLOW OR FAST}
도1은 OLA의 개념을 도식화하여 나타낸 도면
도2는 본 발명에 따른 디지털 방송 저장 및 재생 장치의 블록도
도3은 본 발명에 적용되는 최적화 AMDF와 OLA 기반 배속율 조절방법의 플로우차트
도4는 본 발명에 따른 오디오 배속 조절 기반의 비디오 동기화 방법의 플로우차트
도5는 본 발명에서 오디오 배속 조절 기반의 비디오 동기화 방법의 일실시예에 따른 오디오 및 비디오 프레임을 나타낸 도면
도6은 본 발명에서 오디오 배속 조절 기반의 비디오 동기화 방법의 다른 실시예에 따른 오디오 및 비디오 프레임을 나타낸 도면
도7은 본 발명의 실시예에 따른 AMDF의 개요를 나타낸 도면
본 발명은 오디오 재생 속도를 음색의 변화없이 제어함과 동시에, 조절된 오 디오 배속에 따라 해당 비디오 신호의 재생 속도를 오디오 재생속도에 동기화하여 출력하는 오디오 배속 조절 기반 비디오 동기화방법에 관한 것이다.
음성(Speech)을 포함하는 오디오(Audio)의 속도를 음색의 큰 변화없이 제어하는 오디오 신호의 변속재생은 재생속도의 변경이 있더라도 음색의 변질이나 손실없이 사람이 빨리 혹은 천천히 이야기하는 것처럼 들리게 하는 기법이다.
오디오의 정확한 배율의 속도 조절이 응용된 경우를 살펴보면, DTV의 타임 쉬프트(Time Shift) 기능의 경우 비디오와 정확한 동기가 맞추어져야 하며, MP3 플레이어, 멀티미디어 플레이어, 휴대폰 등의 경우에서도 속도 조절에서 배속율을 정확히 맞추어 주는 것은 매우 중요하다.
음성을 포함한 오디오의 속도를 음색의 큰 변화없이 제어하는 방법은 1985년 미국의 Salim Roucos가 OLA(OverLap Add)와 SOLA 알고리즘을 제안하면서 급격히 발전하였다. OLA의 기본 개념은 도1에서 축소(Compress)와 확장(Expand)으로 나타나 있다. 도1에 나타낸 바와 같이 타임 스케일(Time Scale)의 확장은 실제 재생 시 느리게 재생되게 되며, 축소(압축)는 반대로 빠르게 재생되는 효과가 있다.
오디오 속도변환(TSM: Time Scale Modification)은 시간 축에서 입력신호를 압축하거나 확장하여 신호의 재생속도를 변화시키는 것으로서, 음악 재생기기에서 템포의 변환, 외국어 학습을 위한 음성 재생속도의 변환, 데이터 압축 및 복원(MPEGx, H.26x 등) 등 다양한 분야에 응용된다. 특히 디지털 방송 수신기뿐만 아니라 MP3 플레이어, 멀티미디어 플레이어, 휴대폰 등에도 적용된다.
TSM 알고리즘은 시간 축을 변환하는 방법으로 크게 시간 영역방법과 주파수 영역방법으로 나눌 수 있다. 대표적인 시간 영역방법으로는 입력신호를 윈도우(window) 단위로 세그먼테이션(segmentation)하여 이웃한 윈도우 간에 소정의 연산 과정(overlap amp: add)을 거쳐 입력신호를 압축하거나 확장하는 OLA 알고리즘과, 이웃한 윈도우 간의 피치(pitch) 동기를 이용하여 상기와 같은 연산을 함으로써 OLA의 클리킹(clicking) 현상(압축시)과 반향(reverberation) 현상(확장시)의 단점을 극복하여 보다 자연스러운 출력음성을 얻을 수 있도록 하는 SOLA 알고리즘과, 다양한 SOLA 변형 알고리즘이 존재한다. 대표적인 주파수 영역방법으로는 STFT를 이용한 그리핀 앤드 림(Griffin and Lim) 알고리즘 등이 있다. 상기 SOLA 알고리즘은 시간영역에서 템포를 변환시키는 대표적인 방법으로 이웃한 윈도우 간의 피치정보를 이용하여 'overlap-add'연산을 수행함으로써 기존 OLA 방법의 단점을 개선한 알고리즘이다.
Roucos의 SOLA나 이후에 제안된 PSOLA/WSOLA 등은 다양한 방법으로 최적의 OLA 위치를 찾아주는 방법에 관한 이론으로써, 다양한 형태로 발전되었다.
한편, 예를 들어 디지털 방송 수신기와 같이 비디오를 동반하는 오디오 신호의 경우, 즉 A/V 컨텐츠를 저장하였다가 이를 재생할 때, 빨리보기나 빨리 되감기 등과 같은 비디오 탐색을 수행할 경우에는 오디오 뮤트 상태에서 비디오 탐색만을 수행하거나, 비디오 배속에 맞추어 음질의 왜곡을 최소화한 TSM을 적용하고 있다.
더구나, 저장장치를 구비하는 디지털 방송 수신기에서 사용자가 생방송을 멈추었다가 잠시 후 다시 이어볼 수 있는 타임 쉬프트(Time Shift) 기능에서도 비디오 프레임의 디스플레이 속도에 맞추어 오디오 프레임에 TSM을 적용하고 있다. 타 임 쉬프트 기능의 경우 생방송은 일정한 지연(delay)을 유지하며, 생방송을 정상속도로 보거나 실시간 방송으로 캐치-업(catch-up) 할 수 있도록 빠른 재생을 동방하여 시청할 수 있다. 그렇지만 이러한 경우에도 비디오 프레임의 디스플레이 속도에 맞추어 오디오 TSM을 적용하기 때문에 A/V 콘텐츠의 종류에 따라서, 혹은 사용자가 비디오 정보 보다는 오디오 정보에 더 많은 관심을 가지고 있는 경우에도 오디오 프레임은 비디오 프레임에 종속되어 처리되고 있다.
본 발명의 목적은 조절되는 오디오 재생 배속에 맞추어 해당 비디오의 재생 배속을 조절하는 오디오 배속 조절 기반 비디오 동기화방법을 제공하는데 있다.
본 발명의 다른 목적은 저장된 오디오/비디오 컨텐츠(A/V Contents)를 배속 조절하여 재생할 때, 오디오 프레임 재생속도를 음색의 변화없이 제어하고, 배속 조절된 오디오 프레임에 동기화시켜 해당 비디오 프레임의 재생 속도를 조절하는 오디오 배속 조절 기반 비디오 동기화방법을 제공하는데 있다.
본 발명의 또 다른 목적은 저장된 오디오/비디오 컨텐츠를 배속 조절하여 재생할 때, 오디오 프레임 재생속도를 음색의 변화없이 가변적으로 제어하고, 적응적으로 배속 조절된 오디오 프레임에 동기화시켜 해당 비디오 프레임의 재생 속도를 조절하는 오디오 배속 조절 기반 비디오 동기화방법을 제공하는데 있다.
본 발명의 또 다른 목적은 디지털 방송 수신기에서 생방송을 멈추었다가 실시간 방송으로 캐치-업(catch-up) 할 때, TSM 알고리즘을 적용하여 오디오를 먼저 배속에 맞추어 조정하고, 조정된 오디오 배속에 동기화하여 비디오를 재생하는 오 디오 배속 조절 기반 비디오 동기화방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명에 따른 오디오 배속 조절 기반 비디오 동기화방법은, 오디오 신호의 재생 속도를 조절하는 단계; 상기 조절된 오디오 재생속도에 동기를 맞추어 해당 비디오 신호를 디스플레이하는 단계; 를 포함한다.
또한 상기 목적을 달성하기 위한 본 발명에 따른 오디오 배속 조절 기반 비디오 동기화방법은, 수신되는 방송을 제 1 시점부터 저장하는 단계; 상기 제 1 시점 이후에, 상기 저장된 방송 재생을 위한 제 2 시점부터 수신되는 방송을 제 2 시점 이후의 제 3 시점까지 저장하는 단계; 상기 제 1 시점부터 제 3 시점까지 저장된 방송에 대하여 배속 조절된 오디오 신호에 비디오 신호의 동기를 맞추어 빠른 재생으로 제 3 시점에서 오디오 및 비디오 신호 재생을 일치시키는 단계; 를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 오디오 배속 조절 기반 비디오 동기화방법의 실시예를 설명한다.
도2는 본 발명이 적용되는 디지털 방송 수신기의 구성을 보여준다. 도2에 나타낸 디지털 방송 수신기는 예를 들면 지상파 디지털 TV 수신기, 혹은 위성 디지털 TV 수신기, 혹은 이동 DMB(Digital Multimedia Broadcasting) 수신기를 사용할 수 있다. 또는 DMB 수신 기능을 탑재하거나, DMB 수신모듈이 외장형으로 제공되는 모바일 단말기(Mobile Phone)를 사용할 수 있다.
도2를 참조하면 본 발명이 적용되는 디지털 방송 수신기는 디지털 방송 수신 을 위한 수신부(10), 수신된 디지털 방송신호를 출력하기 위한 출력부(20), 수신된 디지털 방송을 저장하기 위한 저장부(30), 방송 수신과 저장 및 재생을 제어하기 위한 제어부(40)를 포함한다.
방송 수신부(10)는 디지털 TV 방송신호를 수신하며, 예를 들면 CDM(Code Division Multiplexing) 수신부를 사용할 수 있다. 방송 수신부(10)는 제어부(40)의 제어를 받아 선국되는 채널의 디지털 TV 방송신호에 대하여 방송정보와 A/V 신호의 디멀티플렉싱, 인코딩/디코딩 등의 신호처리를 수행한다.
출력부(20)는 수신된 오디오 및 비디오 신호 또는 저장부(30)에 저장된 오디오 및 비디오 신호를 재생하여 출력한다. 출력부(20)는 디코더를 포함하며, 스피커와 디스플레이 장치를 포함한다.
저장부(30)는 기기에 내장되거나 혹은 외장형으로 제공되는 저장매체를 사용하며, 제어부(40)의 제어를 받아 수신된 디지털 TV 방송신호를 저장한다.
제어부(40)는 생방송을 잠시 저장하였다가 이어볼 수 있는 타임 쉬프트 기능을 수행한다. 타임 쉬프트 기능을 수행할 때, 생방송을 멈추었다가 실시간 방송으로 따라잡는 캐치-업(catch-up) 기능을 수행한다.
제어부(40)는 저장부(30)에 저장되어 있는 A/V 컨텐츠(방송 컨텐츠)를 재생할 때 오디오 신호에 대하여 TSM을 기반으로 음색의 변화없이 재생 배속을 조절함과 동시에, 조절된 오디오 배속율에 동기를 맞추어 해당 비디오 신호를 디스플레이 시킨다.
오디오 신호를 음색의 변화없이 배속 조절하여 재생하는 방법으로 최적화 AMDF(Absolute Magnitude Difference Function) 및 OLA 방법을 사용한다. 여기서 사용되는 AMDF 및 OLA 방법은 기존에 이미 제안한 바 있는 최적화 AMDF 및 OLA 기법을 적용한다.
최적화 AMDF 및 OLA 방법의 개요는 도3에 표현된 바와 같다. 처음 단계(S100)에서는 오디오 1프레임(frame)의 샘플(sample)을 읽어들인다(예: 1152샘플). 다음 단계(S110)에서는 배속율에 따라 현재 오디오 프레임 처리 방법을 결정한다. 배속율에 따른 현재 오디오 프레임 처리 방법이 확장(Expand)인 경우에는 다음 단계(S120)로 이행하고, 축소(Compress)인 경우에는 다음 단계(S160)로 이행하며, 불변인 경우는 파일의 끝인가를 판별하는 단계(S200)로 이행한다.
오디오 배속율이 확장인 경우 단계(S120)에서는 최적화 AMDF로 피치(pitch)를 찾는다. 그리고 다음 단계(S130)에서 2개의 피치, 3개의 피치로 확장 OLA 처리를 수행한다. 이어서 다음 단계(S140)에서 상기 피치를 참조하여 포인터 값(Read Pointer, Write Pointer)을 읽고 기록한다. 다음 단계(S150)에서는 리드 포인터 값(Read Pointer) + Pmax 값을 프레임 사이즈(Frame Size)와 비교하여 Read Pointer + Pmax < Frame Size 이면 상기 최적화 ADMF로 피치를 찾는 단계(S120)로 되돌아가고, 그렇지 않다면 파일의 끝인지를 판별하는 단계(S200)로 이행한다. 여기서 파일의 끝이면 종료하고 그렇지 않다면 다음의 오디오 1프레임 샘플을 읽는 단계(S100)로 되돌아 간다.
한편, 배속율이 축소인 경우 단계(S160)에서는 최적화 AMDF로 피치(pitch)를 찾는다. 그리고 다음 단계(S170)에서 2개의 피치, 1개의 피치로 축소 OLA 처리를 수행한다. 이어서 다음 단계(S180)에서 상기 피치를 참조하여 포인터 값(Read Pointer, Write Pointer)을 읽고 기록한다. 다음 단계(S190)에서는 리드 포인터 값(Read Pointer) + Pmax 값을 프레임 사이즈(Frame Size)와 비교하여 Read Pointer + Pmax < Frame Size 이면 상기 최적화 ADMF로 피치를 찾는 단계(S160)로 되돌아가고, 그렇지 않다면 파일의 끝인지를 판별하는 단계(S200)로 이행한다. 여기서 파일의 끝이면 종료하고 그렇지 않다면 다음의 오디오 1프레임 샘플을 읽는 단계(S100)로 되돌아 간다.
배속율이 불변인 경우는 파일의 끝인지를 판별하는 단계(S200)로 이행한다. 여기서 파일의 끝이면 종료하고 그렇지 않다면 다음의 오디오 1프레임 샘플을 읽는 단계(S100)로 되돌아 간다.
이와 같은 최적화 AMDF 및 OLA 방법은 오디오의 피치(pitch) 구간을 검색(search)하여 최소화 AMDF값의 피치 구간을 선택하여 OLA로 확대 또는 축소하는 방법으로 PSOLA의 한 계열이라고 할 수 있다. 최적화 ADMF 및 OLA 방법은 기존의 AMDF 방법에서 연산량을 급격히 낮추는 방법으로써, 낮은 성능의 DSP나 프로세서에서도 실시간 TSM을 가능하게 하는 기술이라고 할 수 있다.
지금까지 설명한 바와 같은 방법을 오디오 프레임의 배속율을 정하고 해당 배속율에 따라 오디오 신호를 음색의 변화없이 재생한다. 이 때, 조절된 오디오 프레임 배속율에 동기를 맞추어 해당 비디오 신호를 재생한다. 즉, 오디오를 먼저 배속에 맞추어 조정하고 여기에 동기를 맞추어 비디오 프레임을 디스플레이하는 것이다.
본 발명의 실시예에서는 최적화 AMDF & OLA 방법으로 오디오의 배속율을 조정하고, 이후 비디오 프레임의 디스플레이를 스케일된 오디오 속도에 맞추는 것이다. 또한 본 발명의 실시예에서는 음질의 왜곡을 최소화하는 방법으로 속도를 가변적으로 변화시키고, 이후 비디오 프레임의 디스플레이를 스케일된 오디오 속도에 맞추는 방법을 사용한다. 여기서 음질 왜곡을 최소화하는 방법으로는 AMDF 함수에서 최소 차이값(minimum difference value)이 너무 클 경우에는 OLA 처리를 해주지 않도록 하는 방법을 사용한다. 즉, OLA 처리를 하여도 왜곡이 최소화되는 지점만을 스케일링함으로써 캐치-업(catch-up) 기능을 보다 더 자연스럽게 구현할 수 있게 하는 방법을 사용한다.
도4는 본 발명의 실시예에 따른 오디오 배속 조절 기반 비디오 동기화방법의 플로우차트이다. 오디오 프레임에 대하여 사용자가 선택한 배속에 가까운 스케일링(scaling)을 수행하고, 이후 비디오 프레임을 변환된 오디오 신호와 동기를 맞추어 주는 방법으로 오디오 및 비디오 배속 조절을 수행하는 방법을 보여주고 있다. 이러한 오디오 배속 조절 기반 비디오 동기화방법을 타임 쉬프트 기능에서 캐치-업(catch-up) 기능에 적용한다면 오디오 프레임별로 TSM 처리가 되는 부분과 그렇지 않은 부분을 결정하는데 따라, 오디오 스케일링 후에 비디오 스케일링을 수행하는 것이 바람직하다. 이는 도5를 참조하여 후에 설명될 것이다.
한편, 도4에 나타낸 본 발명의 실시예에 따른 오디오 배속 조절 기반 비디오 동기화방법에서, 오디오 및 비디오 컨텐츠에 대한 빠른 재생을 수행하고자 할 때, 사전에 오디오 위주의 빠른 재생을 수행할 것인지 혹은 비디오 위주의 빠른 재생을 수행할 것인지의 여부를 선택하게 할 수도 있다. 이러한 선택 단계는 사전에 설정될 수도 있고, 해당 컨텐츠의 재생 단계에서 선택하게 하는 방법을 사용할 수도 있다. 오디오 혹은 비디오 위주의 빠른 재생을 수행할 것인지를 선택하는 방법의 예로는 알려진 바와 같이 OSD 기반의 메뉴 화면을 이용해서 설정하게 할 수 있을 것이다.
도4를 참조하면, 제 1 단계(S210)는 파일, 즉 TSM을 적용할 오디오 파일의 끝(EOF: End Of File)인가의 여부를 판별하는 단계이다. 제 1 단계(S210)에서 오디오 파일의 끝이면 종료하고, 그렇지 않다면 오디오 디코딩 단계(S220) 및 비디오 디코딩 단계(S230)를 수행한다. 디코딩된 오디오 신호에 대해서는 오디오 타임 스케일링 단계(S240)를 수행한다. 오디오 타임 스케일링 단계(S240)는 앞서 도3을 참조하여 설명한 바와 같이 AMDF & OLA 기반의 TSM 처리를 수행하는 과정이다. 오디오 타임 스케일링에 의하여 오디오 신호는 음색의 변화없이, 사용자가 선택한 배속에 맞추어 재생 배속이 조절된다. 다음의 제 5 단계(S250)는 디코딩된 비디오 신호를 배속 조절된 오디오 신호에 동기를 맞추어 스케일링(Video Time Scaling)하는 과정이다. 즉, 배속 조절된 오디오 신호에 맞추어 해당 비디오 신호를 재생하여 디스플레이하는 것이다.
도5는 이와 같은 오디오 배속 조절 기반 비디오 동기화방법을 도식화하여 보여주고 있다. 도5의 (a)는 오디오 프레임을 TSM 기반으로 배속 조절한 경우를 보여주고 있으며, 도5의 (b)는 배속 조절된 오디오 프레임에 동기를 맞추어 해당 비디오 프레임을 타임 스케일링 처리한 경우를 보여주고 있다. 특히, 도5에서는 타임 쉬프트(Time Shift) 기능에서 캐치-업(catch-up) 기능을 구현하는 경우에 적용된 오디오 및 비디오 프레임 동기화 방법을 보여준다.
캐치-업 기능은 타임 쉬프트(Time Shift) 기능의 실행에 따라 제 1 시점(타임 쉬프트 시작 시점)부터 저장된 A/V 컨텐츠(방송 컨텐츠)를 제 1 시점 이후의 제 2 시점(타임 쉬프트 정지 시점)에서 재생하고자 할 때, 이를 빠른 배속으로 재생하여 현재의 실시간 방송을 따라 잡아 현재의 실시간 방송 시점(제 2 시점 이후의 제 3 시점)과 일치시키는 기능이다. 예를 들면, 15초간의 지연이 발생한 생방송을 빠른 배속으로 재생하여 현재 시각의 생방송에 일치시켜 주는 방법으로, 지나간 15초 동안에 시청하지 못하였던 방송을 하일라이트처럼 요약해서 보여주다가 현재 시각에 일치된 제 3 시점(현재 시점)에서는 현재 수신되는 생방송을 실시간 재생하여 출력해주는 기능이다. 타임 쉬프트의 시작과 종료, 빠른 재생(catch-up)의 자동 혹은 수동 실행 여부는 사용자의 기기 조작 명령에 의하거나, 사전 설정에 의해서 이루어질 수 있다.
이러한 캐치-업 기능을 수행하는 경우 오디오 신호는 프레임별로 TSM 처리가 되는 부분과 그렇지 않은 부분이 결정되며, 여기에 맞춰서 오디오 배속 조절 기반 비디오 동기화를 수행하게 된다.
도5의 (a)에서 살펴보면 제 1 오디오 프레임(Audio Frame 1)은 AMDF & OLA 기반으로 TSM 처리가 이루어지고, 제 2 오디오 프레임(Audio Frame 2)은 TSM 처리가 이루어지지 않았으며, 제 3 오디오 프레임(Audio Frame 3)은 AMDF & OLA 기반으로 TSM 처리가 이루어지고, 제 4 오디오 프레임(Audio Frame 4)은 TSM 처리가 이루 어지지 않았다.
이에 대응하여 비디오 프레임은 도5의 (b)에서 살펴보면, 제 1 비디오 프레임(Video Frame 1)은 제 1 오디오 프레임(Audio Frame 1)에 동기를 맞추어 타임 스케일링 처리가 이루어지고, 제 2 비디오 프레임(Video Frame 2)은 타임 스케일링 처리가 이루어지지 않았으며 제 2 오디오 프레임(Audio Frame 2)와 동기를 맞추었고, 제 3 비디오 프레임(Video Frame 3)은 제 3 오디오 프레임(Audio Frame 3)에 동기를 맞추어 타임 스케일링 처리가 이루어지고, 제 4 비디오 프레임(Video Frame 4)은 타임 스케일링 처리가 이루어지지 않았으며 제 4 오디오 프레임(Audio Frame 4)과 동기를 맞추었다.
도6은 본 발명의 다른 실시예로서, 오디오 신호의 타임 스케일을 가변적으로 제어하는 방법을 도식화하여 보여주고 있다. 즉, 음질의 왜곡을 최소화하는 방법으로 속도를 가변적으로 변화시키고, 이후 비디오 프레임의 디스플레이를 스케일링된 오디오 속도에 맞춰주는 방법을 보여주고 있다. 오디오 프레임의 재생 배속을 가변적으로 변화시키는 방법으로는 최적화 AMDF의 값이 임계치(Threshold Value)를 넘어서면 OLA 처리를 하지 않도록 하여 오디오 신호의 타임 스케일을 가변적이지만 자연스럽게 해주는 방법을 사용한다. 즉, AMDF의 값과 임계치를 비교하고, 그 비교 결과에 따라 가변적인 타임 스케일을 적용하는 것이다. 이후에는 가변적으로 변화된 오디오 신호의 타임 스케일에 맞추어 비디오 프레임의 동기를 맞춰주는 방식으로 캐치-업(catch-up) 기능을 구현할 수 있다. 따라서, 이 실시예에 따르면 사용자가 정하는 임계치에 따라서 얼마나 자연스럽게 OLA 처리를 하게 하는지를 결정할 수 있다.
도6에서 (a)는 가변적인 오디오 프레임 타임 스케일링의 예를 보여주고 있으며, (b)는 이 것에 대응하는 비디오 프레임 타임 스케일링의 예를 보여주고 있다. 제 1 오디오 프레임(Audio Frame 1)에서 AMDF의 결과값이 임계치 이하인 부분(110)과 임계치를 넘어서는 부분(120)에 대하여 임계치 이하인 부분(110)은 OLA 처리를 수행하고 임계치를 넘어서는 부분(120)은 OLA 처리를 수행하지 않고 있다. 이에 따라 배속 조절된 오디오 프레임에서도 OLA 처리된 부분(111)과 그렇지 않은 부분(120)이 나타나고 있다. 마찬가지로, 제 2 오디오 프레임(Audio Frame 2)에서 AMDF의 결과값이 임계치 이하인 부분(210)과 임계치를 넘어서는 부분(220)에 대하여 임계치 이하인 부분(210)은 OLA 처리를 수행하고 임계치를 넘어서는 부분(220)은 OLA 처리를 수행하지 않고 있다. 이에 따라 배속 조절된 오디오 프레임에서도 OLA 처리된 부분(211)과 그렇지 않은 부분(220)이 나타나고 있다. 제 3 오디오 프레임(Audio Frame 3)은 타임 스케일링 처리되지 않았다. 제 4 오디오 프레임(Audio Frame 4)에서 AMDF의 결과값이 임계치 이하인 부분(410)과 임계치를 넘어서는 부분(420)에 대하여 임계치 이하인 부분(410)은 OLA 처리를 수행하고 임계치를 넘어서는 부분(420)은 OLA 처리를 수행하지 않고 있다. 이에 따라 배속 조절된 오디오 프레임에서도 OLA 처리된 부분(411)과 그렇지 않은 부분(420)이 나타나고 있다.
이와 같이 가변적으로 변환된 오디오의 타임 스케일에 맞추어, 각각의 오디오 프레임에 해당되는 비디오 프레임(Video Frame 1 ~ Video Frame 4)도 동기화되어 출력된다.
AMDF는 연속된 두 신호 구간의 유사도(similarity)를 검색(check)하는 함수로써, 그 결과값이 작을수록 유사도가 높아져서 OLA를 하기에 적당하게 된다. 도7에 그 예를 나타내었다. 도7의 (a), (b)에서 살펴보면, 연속하여 인접하고 있는 두 신호 구간의 유사도를 산출하였을 때, 유사도가 높을수록 OLA 처리를 수행하기에 적당한 오디오 신호 구간임을 보여준다. 그러므로, AMDF 결과값이 임계치 이하이면 유사도가 높은 신호 구간이므로 도6을 참조하여 설명한 바와 같이, 그 부분은 OLA 처리(타임 스케일링 처리)를 수행하고, AMDF 결과값이 임계치를 넘어서면 유사도가 낮은 신호 구간이므로 그 부분은 OLA 처리(타임 스케일링 처리)를 수행하지 않는 방법으로, 가변적인 오디오 타임 스케일링 처리가 이루어질 수 있으며, 이에 따라 적응적인 재생 속도 조절이 가능하게 된다. 여기서 임계치를 사용자가 설정해 준다면 그 임계치에 따라(사용자의 선택, 취향에 따라) 얼마나 자연스럽게 OLA 처리를 시킬지를 결정할 수 있게 되는 것이다.
본 발명은 오디오 및 비디오 컨텐츠에 대하여 배속 조절을 수행할 때, 오디오 배속율에 맞추어 비디오 디스플레이 속도를 조절한다. 특히, 본 발명의 오디오 배속 조절 기반 비디오 동기화방법에 따르면 오디오를 음색의 변화없이 배속 조절할 때, 오디오 중심의 A/V 컨텐츠 재생 속도 조절이 이루어질 수 있는 기반을 제공한다.
이러한 기법은 타임 쉬프트 기능을 갖는 디지털 방송 수신기에서 캐치-업(catch-up) 기능을 구현할 때 매우 유용하며, 컨텐츠의 종류나 사용자 취향 등에 따라 오디오 정보에 더 높은 관심을 가질 경우 음성(오디오) 신호를 중심으로 A/V 컨텐츠의 재생이 가능하게 한다.
예를 들면, 강의 위주의 동영상 방송 컨텐츠의 경우에 사용자는 비디오 보다는 오디오 쪽에 더 유용한 정보가 있고, 사용자는 오디오 쪽에 더 많은 비중과 관심을 가질 수 밖에 없으므로, 이러한 컨텐츠에 대해서는 오디오 위주의 배속 조절을 수행함으로써 사용자에게 보다 더 효과적인 컨텐츠 사용이 가능하게 한다.

Claims (8)

  1. 오디오 신호의 각 프레임별로 AMDF(Absolute Magnitude Difference Function) 방법을 기반으로 최적 피치를 검출하는 단계;
    OLA(OverLap Add) 방법을 이용하여, 상기 검출된 최적 피치로 상기 프레임의 피치를 조정하여 상기 오디오 신호의 재생 속도를 조절하는 단계; 및
    상기 조절된 오디오 재생 속도에 동기를 맞추어 해당 비디오 신호를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 오디오 배속 조절 기반 비디오 동기화 방법.
  2. 제1항에 있어서,
    상기 OLA 방법을 이용하여, 상기 검출된 최적 피치로 상기 프레임의 피치를 조정하여 상기 오디오 신호의 재생 속도를 조절하는 단계는,
    재생 속도를 증가시키는 경우에는 축소 OLA를 수행하고, 재생 속도를 감소시키는 경우에는 확장 OLA를 수행하는 것을 특징으로 하는 오디오 배속 조절 기반 비디오 동기화 방법.
  3. 제1항에 있어서,
    각 프레임이 상기 오디오 신호의 끝인가를 판단하고, 상기 판단 결과 상기 오디오 신호의 끝이면 종료하는 단계를 더 포함하는 것을 특징으로 하는 오디오 배속 조절 기반 비디오 동기화 방법.
  4. 제1항에 있어서,
    상기 오디오 신호의 각 프레임별로 AMDF 방법을 기반으로 최적 피치를 검출하는 단계는, 각 프레임의 샘플을 읽어서 배속율을 기반으로 상기 프레임의 처리 방향을 결정하는 단계를 포함하는 것을 특징으로 하는 오디오 배속 조절 기반 비디오 동기화 방법.
  5. 제1항에 있어서,
    상기 AMDF 값이 소정의 임계값을 초과하지 않는 프레임만을 OLA 처리하는 단계를 더 포함하는 것을 특징으로 하는 오디오 배속 조절 기반 비디오 동기화 방법.
  6. 삭제
  7. 삭제
  8. 삭제
KR1020060044801A 2006-05-18 2006-05-18 오디오 배속 조절 기반 비디오 동기화방법 KR100782261B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060044801A KR100782261B1 (ko) 2006-05-18 2006-05-18 오디오 배속 조절 기반 비디오 동기화방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060044801A KR100782261B1 (ko) 2006-05-18 2006-05-18 오디오 배속 조절 기반 비디오 동기화방법

Publications (2)

Publication Number Publication Date
KR20070111695A KR20070111695A (ko) 2007-11-22
KR100782261B1 true KR100782261B1 (ko) 2007-12-04

Family

ID=39090462

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060044801A KR100782261B1 (ko) 2006-05-18 2006-05-18 오디오 배속 조절 기반 비디오 동기화방법

Country Status (1)

Country Link
KR (1) KR100782261B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110040981A1 (en) * 2009-08-14 2011-02-17 Apple Inc. Synchronization of Buffered Audio Data With Live Broadcast
CN114401432B (zh) * 2022-01-27 2024-01-26 广州艾美网络科技有限公司 Mv播放方法、播放终端、服务器设备及娱乐设备系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010026290A (ko) * 1999-09-04 2001-04-06 박종섭 음성 신호 피치 지점 자동 검출 방법
KR20030024236A (ko) * 2001-09-17 2003-03-26 엘지전자 주식회사 음성 데이터와 영상 데이터의 재생 동기화 장치 및 방법
KR20050023090A (ko) * 2003-08-29 2005-03-09 바로비젼(주) 컨텐츠 제공시스템과 이를 위한 이동단말
KR20060078183A (ko) * 2004-12-30 2006-07-05 엘지전자 주식회사 음성 및 오디오 속도 조절 방법
KR20070008232A (ko) * 2005-07-13 2007-01-17 엘지전자 주식회사 디지털 멀티미디어 배속 조절 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010026290A (ko) * 1999-09-04 2001-04-06 박종섭 음성 신호 피치 지점 자동 검출 방법
KR20030024236A (ko) * 2001-09-17 2003-03-26 엘지전자 주식회사 음성 데이터와 영상 데이터의 재생 동기화 장치 및 방법
KR20050023090A (ko) * 2003-08-29 2005-03-09 바로비젼(주) 컨텐츠 제공시스템과 이를 위한 이동단말
KR20060078183A (ko) * 2004-12-30 2006-07-05 엘지전자 주식회사 음성 및 오디오 속도 조절 방법
KR20070008232A (ko) * 2005-07-13 2007-01-17 엘지전자 주식회사 디지털 멀티미디어 배속 조절 장치 및 방법

Also Published As

Publication number Publication date
KR20070111695A (ko) 2007-11-22

Similar Documents

Publication Publication Date Title
TWI457913B (zh) 音訊元資料的轉碼方法與系統、及其電腦程式產品與機上盒
US7676142B1 (en) Systems and methods for multimedia time stretching
JP4717060B2 (ja) 記録再生装置および記録再生方法および記録再生プログラムを格納した記録媒体および記録再生装置において用いられる集積回路
KR100739355B1 (ko) 음성 재생 방법 및 음성 재생 장치
KR100547445B1 (ko) 디지털 오디오신호 및 오디오/비디오신호의 변속처리방법및 이를 이용한 디지털 방송신호의 변속재생방법
KR101334366B1 (ko) 오디오 배속 재생 방법 및 장치
KR20080011831A (ko) 오디오 재생 장치의 이퀄라이저 자동 제어 장치 및 방법
EP2194733A1 (en) Sound volume correcting device, sound volume correcting method, sound volume correcting program, and electronic apparatus.
US20160065160A1 (en) Terminal device and audio signal output method thereof
US8837744B2 (en) Sound quality correcting apparatus and sound quality correcting method
KR20000068955A (ko) 음성처리방법, 음성처리장치 및 기록재생장치
JP2010283605A (ja) 映像処理装置及び方法
US20160049914A1 (en) Audio signal size control method and device
KR100782261B1 (ko) 오디오 배속 조절 기반 비디오 동기화방법
US20230066854A1 (en) Computer implemented method, device and computer program product for setting a playback speed of media content comprising audio
JP2009094796A (ja) テレビジョン受信機
JP4542805B2 (ja) 変速再生方法及び装置、並びにプログラム
JP5325059B2 (ja) 映像音声同期再生装置、映像音声同期処理装置、映像音声同期再生プログラム
KR20070008232A (ko) 디지털 멀티미디어 배속 조절 장치 및 방법
JP4916988B2 (ja) 映像音声再生装置、及び映像音声再生方法
JP2010093614A (ja) 映像信号再生装置
US20050132397A1 (en) Method for graphically displaying audio frequency component in digital broadcast receiver
JP6313619B2 (ja) 音声信号処理装置及びプログラム
JP2005004820A (ja) ストリームデータ編集方法及びその装置
JP4229041B2 (ja) 信号再生装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]
LAPS Lapse due to unpaid annual fee