KR100659883B1 - 오디오 재생시 동영상을 동조화하여 재생하는 방법 - Google Patents

Abstract

본 발명은 오디오 재생시 데이터 베이스로부터 선택된 동영상을 오디오 구간별로 동조화하여 재생하는 방법에 관한 것이다.

본 발명은 디지털 오디오와 동영상 재생 기능을 갖고 있는 단말기에서 음악이나 음성을 포함하는 오디오 신호를 재생하여 스피커로 출력할 때, 미리 준비된 동영상 데이터 베이스에서 상기 오디오 구간별로 대응하는 동영상을 수동 지정 혹은 오디오/동영상 특성추출에 따른 자동 지정을 통해서 연결하고, 이 동영상을 오디오 재생에 맞춰서 디스플레이함으로써 오디오 재생시 시청각적인 멀티미디어 자원의 활용이 이루어질 수 있도록 한 오디오-동영상 동조화 재생방법을 제공한다. 본 발명에 의하면, 오디오 파일의 특성 지향적인 시각적 효과를 제공해 줄 수 있고, 다양한 동영상을 오디오 재생과 자동 혹은 수동으로 연계시켜 수행할 수 있는 장점이 있다.

오디오,시각효과,동영상,동기화

Description

오디오 재생시 동영상을 동조화하여 재생하는 방법{METHOD OF AUDIO REPRODUCING WITH MOTION VIDEO SEQUENCE}

도1은 본 발명에 따른 오디오-동영상 동조화 재생장치의 블록 구성도

도2는 본 발명에 따른 오디오-동영상 동조화 재생방법의 플로우차트

도3은 본 발명에서 동영상을 오디오 재생길이에 매칭시키는 방법을 도식적으로 나타낸 도면

도4는 본 발명에서 동영상에 오디오 재생길이를 매칭시키는 방법을 도식적으로 나타낸 도면

도5는 본 발명에서 오디오 특성값에 대응하는 동영상을 검색하여 동조화시키는 방법의 예를 나타낸 도면

<도면의 주요 부분에 대한 부호의 설명>

10: 프로세서 20: 사용자 인터페이스부

30: 디스플레이부 40: 동영상 데이터 베이스

50: 오디오 데이터 저장부 60: A/V 코덱

70: 오디오 출력부

본 발명은 오디오 재생시 동영상을 동조화하여 재생하는 방법에 관한 것으로서, 디지털 오디오와 동영상 재생 기능을 갖고 있는 단말기에서 음악이나 음성을 포함하는 오디오 신호를 재생하여 스피커로 출력할 때, 미리 준비된 동영상 데이터 베이스에서 상기 오디오 구간별로 대응하는 동영상을 수동 지정 혹은 오디오/동영상 특성추출에 따른 자동 지정을 통해서 연결하고, 이 동영상을 오디오 재생에 맞춰서 디스플레이함으로써 오디오 재생시 시청각적인 멀티미디어 자원의 활용이 이루어질 수 있도록 한 오디오-동영상 동조화 재생방법에 관한 것이다.

최근 오디오와 동영상은 대부분 PC, 디지털 TV, MP3 플레이어, PDA, PMP(Portable Multimedia Player), 휴대폰 등의 단말기에서 지원하고 있으며, 특히 음악을 재생하면서 화면에 보여지는 시각적 효과, 즉 음악과 연계된 시각적 효과를 점점 더 중요하게 여기는 추세에 놓여있다. 이 것은 단순히 듣기만 하는 음악 파일의 재생 기능으로부터 진보하여, 음악 파일과 관련된 정보를 가공하여 시각적인 효과를 갖는 내용으로 재구성하여 표현함으로써 멀티미디어 자원의 활용도를 높이고, 사용자에게는 지루하지 않고 흥미로운 멀티미디어 재생 환경에 놓일 수 있도록 하는 것이다.

음악과 연계된 시각적 효과 디스플레이의 기본적인 표현 방법으로는 레벨 미터(Level Meter)와 스펙트럼 디스플레이(Spectrum Display) 등이 있다. 레벨 미터와 스펙트럼 디스플레이는 오디오 신호의 레벨이나 주파수 대역에 따른 에너지 분포, 레벨의 변화 등을 시각적으로 재구성하여 표현하는 고전적인 방법으로 아직도 적지않게 사용되고 있다.

여기에 더하여, 음악 등을 재생할 때 특정 이미지를 함께 연결시켜서 일정한 시간 단위로 이미지 파일을 열어서 음악 출력과 동시에 디스플레이하여 주는 방법이나, 애니메이션에 기반하여 입술 모양을 역동적으로 표현하는 기법 등도 소개되고 있다.

그렇지만 이러한 음악(음성 포함) 재생과 연계된 시각적 효과의 표현은 정확한 음악의 특성을 표현하는 장점을 가지고 있기는 하지만 전문적인 음악적 특성에 기초하기 보다는 단순한 재미에 기초하여 시각적인 즐거움을 음악 재생에 보태서 보조하는 정도이고, 다양한 멀티미디어 재생 환경에서 보다 풍부하고 다채로운 시각 효과, 특히 동영상에 기반하여 음악과 연계된 시각적 효과를 극대화하는 데에는 미흡하였다.

물론, 이미지를 연계시켜서 디스플레이하는 방법이나, 애니메이션에 기반한 입술모양의 디스플레이 기법 등은 다소 진보된 방법이기는 하지만, 이 역시 음악적 특성을 충분하게 반영하는 시각효과라고 보기 어렵고, 단말기에 탑재된 풍부한 동영상 자원을 음악적 특성과 연계시켜 동조화시키는 기법을 제공하지는 못한다는 점에서 개선의 여지가 있다고 하겠다.

본 발명의 목적은 오디오(음악/음성) 재생시에 해당 오디오의 구간별로 동영상 데이터 베이스로부터 등록된 동영상을 함께 디스플레이하여 줌으로써 여러 가지 다양한 동영상 이미지를 오디오 재생과 함께 표현할 수 있도록 한 오디오-동영상 동조화 재생방법을 제공하는데 있다.

본 발명의 또 다른 목적은 오디오(음악/음성) 재생시에 해당 오디오의 구간별로 동영상 데이터 베이스로부터 등록된 동영상을 함께 디스플레이 하되, 오디오의 길이와 동영상의 길이를 서로 비교하여 오디오와 동영상 재생길이를 매칭시켜 줄 수 있도록 한 오디오-동영상 동조화 제어방법을 제공하는데 있다.

본 발명의 또 다른 목적은 오디오(음악/음성) 재생시에 해당 오디오의 구간별로 동영상 데이터베이스로부터 등록된 동영상을 함께 디스플레이 하되, 상기 오디오 구간별로 연결되는 동영상을 사용자가 수동으로 지정하여 선택하거나, 오디오의 특성을 추출하여 그 특성에 적합한 동영상을 자동으로 지정하여 선택함으로써, 보다 음악적 특성에 기반하는 동영상 동조화 재생이 이루어질 수 있도록 한 오디오-동영상 동조화 제어방법을 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명의 오디오 재생시 동영상을 동조화하여 재생하는 방법은, 재생할 오디오 파일을 선택하는 단계, 상기 선택된 오디오 파일에 대하여 구간별로 연결하여 동시 재생할 동영상 데이터를 선택하는 단계, 상기 선택된 동영상 데이터를 상기 오디오 데이터의 해당 구간 재생시에 연결하여 함께 디스플레이하는 단계를 포함하는 것을 특징으로 한다.

또한 본 발명에서 상기 선택된 오디오 데이터와 동영상 데이터의 재생 길이를 비교하고, 그 비교 결과 양자의 재생 길이가 서로 다른 경우 그 재생 길이가 일치되도록 매칭시켜 주는 것을 특징으로 한다.

또한 본 발명에서 상기 선택된 오디오 데이터와 동영상 데이터의 재생 길이를 비교하고, 그 비교 결과 양자의 재생 길이가 서로 다른 경우 오디오를 기준으로 동영상을 빠르게 혹은 느리게 재생함으로써 오디오 재생 길이에 일치되도록 매칭시켜 주는 것을 특징으로 한다.

또한 본 발명에서 상기 선택된 오디오 데이터와 동영상 데이터의 재생 길이를 비교하고, 그 비교 결과 양자의 재생 길이가 서로 다른 경우 동영상의 프레임 속도를 제어하여 오디오 재생 길이에 일치되도록 매칭시켜 주는 것을 특징으로 한다.

또한 본 발명에서 상기 선택된 오디오 데이터와 동영상 데이터의 재생 길이를 비교하고, 그 비교 결과 양자의 재생 길이가 서로 다른 경우 동영상을 기준으로 오디오를 빠르게 혹은 느리게 재생함으로써 오디오 재생길이를 동영상 재생 길이에 일치되도록 매칭시켜 주는 것을 특징으로 한다.

또한 본 발명에서 상기 선택된 오디오 데이터와 동영상 데이터의 재생 길이를 비교하고, 그 비교 결과 양자의 재생 길이가 서로 다른 경우 동영상을 기준으로 오디오 데이터를 TSM(Time Scale Modification) 기반의 확장 또는 축소 처리를 통해서 동영상 재생 길이에 일치되도록 매칭시켜 주는 것을 특징으로 한다.

또한 본 발명에서 상기 선택된 오디오 데이터와 동영상 데이터의 재생 길이를 비교하여, 오디오 재생 길이보다 동영상 재생 길이가 짧은 경우 상기 선택된 동영상을 반복하여 재생함을 특징으로 한다.

또한 본 발명에서 상기 선택된 오디오 데이터와 동영상 데이터의 재생 길이 를 비교하여, 동영상 재생 길이보다 오디오 재생 길이가 짧은 경우 상기 동영상 기준으로 오디오의 나머지 구간을 묵음 처리하는 것을 특징으로 한다.

또한 본 발명에서 상기 선택된 오디오의 구간별 음성/음악적 특성값과 동영상의 특성값을 추출하고, 오디오 구간별 특성값에 대응하는 특성값을 갖는 동영상을 자동으로 선택하여 해당 오디오와 동조화시킬 동영상으로 연결하는 것을 특징으로 한다.

또한 본 발명에서 상기 오디오의 구간별 음성/음악적 특성값은 오디오 신호의 출력 레벨(Output Level), 에너지 값(Energy Value), 피치(Pitch), 박자 등의 정보이며, 상기 동영상의 특성값은 동영상의 움직임 정보로서, 동영상의 프레임별 움직임 크기를 나타내는 벡터값을 평균하여 구하는 것을 특징으로 한다.

이하, 상기한 바와 같이 이루어진 본 발명의 오디오-동영상 동조화 재생방법의 실시예를 첨부된 도면을 참조하여 상세히 설명한다.

먼저, 도1은 본 발명을 적용한 동영상/오디오 재생장치의 구성을 보여준다. 도1을 참조하면 본 발명에 따른 동영상/오디오 재생장치는, 재생할 오디오(음악/음성) 파일 및 이 것과 연결하여 재생할 동영상 파일을 선택하여 이를 출력 제어하는 프로세서(10)와, 상기 프로세서(10)에 사용자의 기기 조작 명령을 입력하는 사용자 인터페이스부(20)와, 상기 프로세서(10)의 제어를 받아 동영상이 재생되어 표시되는 디스플레이부(30)와, 오디오 파일의 구간별로 연결되어 재생할 동영상이 저장된 동영상 데이터 베이스(40)와, 사용자가 선택하여 재생할 음악 파일이 저장된 오디오 데이터 저장부(50)와, 상기 선택된 오디오 및 동영상 파일을 재생하는 A/V 코덱 (60)과, 상기 재생된 오디오 신호를 스피커 등으로 출력하는 오디오 출력부(70)를 포함하여 구성된다.

도1의 동영상/오디오 재생장치의 동작을 살펴본다. 사용자가 인터페이스부(20)를 이용해서 오디오 데이터 저장부(50)에 저장된 오디오 파일 중에서 재생할 오디오 파일을 선택한다. 그러면 프로세서(10)는 해당 오디오 파일을 선택하여 A/V 코덱(60)을 통해 재생되도록 하고, 재생되는 오디오 신호는 오디오 출력부(70)에서 스피커 또는 이어폰 등의 출력장치를 통해서 출력된다.

이 때, 앞서 설명한 바와 같이, 선택된 오디오 파일의 구간별로 연결시켜 재생할 동영상이 동영상 데이터 베이스(40)로부터 선택된다. 동영상의 선택은 사용자 인터페이스부(20)를 통해서 사용자가 직접 지정하여 선택하거나, 또는 오디오 특성값과 동영상 특성값을 이용해서 자동으로 지정하여 선택하게 된다. 이에 대해서는 다음에 더욱 자세하게 설명될 것이다.

이와 같이 오디오 재생시에 그 구간별로 선택되어 연결된 동영상 파일은 상기 오디오 재생과 동시에 디스플레이부(30)를 통해서 동조화되어 출력된다. 여기서, 프로세서(10)가 오디오 재생 길이와 동영상 재생길이를 비교하여 양자의 재생 길이를 일치시켜 주는 처리를 수행할 수도 있다.

오디오 재생 길이가 동영상 재생 길이보다 짧은 경우에는 오디오를 TSM을 기반으로 하여 확장시켜 주거나, 동영상의 프레임 제어를 수행하여 동영상을 빠르게 재생시켜 줌으로써 오디오 길이와 동영상 길이를 일치시키는 것이다.

또는 오디오 재생 길이보다 동영상 재생 길이가 더 짧은 경우에는 오디오를 TSM을 기반으로 하여 축소시켜 주거나, 동영상의 프레임 제어를 수행하여 동영상을 느리게 재생시켜 줌으로써 오디오 길이와 동영상 길이를 일치시키는 것이다.

또는 오디오 재생길이가 동영상 재생 길이보다 더 길어서 오디오 기준으로 동영상 재생 시간이 모자라는 경우에는 상기 선택된 동영상을 오디오의 나머지 구간에 대해서 반복하여 재생해 주는 방법을 사용하거나, 오디오 재생길이보다 동영상 재생길이가 더 길어서 오디오 기준으로 동영상 재생 시간이 남는 경우에는 상기 선택된 동영상 재생이 끝날 때 까지 오디오를 묵음 처리하는 방법을 사용한다. 여기서 언급된 방법은 상기 TSM 기반으로 오디오를 늘리거나 축소시켜 주어도 양자의 재생 시간이 일치되지 않는 경우, 혹은 동영상 프레임 제어를 통해서 동영상을 느리게 혹은 빠르게 재생하여도 양자의 재생 시간이 일치되지 않는 경우에 공히 적용될 수 있다.

앞서 설명한 TSM 기반의 오디오 축소 또는 확장에 대해서 살펴본다.

음성(Speech) 및 오디오(Audio)의 속도를 음색의 큰 변화없이 제어하는 음성 신호의 변속재생은 재생속도의 변경이 있더라도 음색의 변질이나 손실없이 사람이 빨리 혹은 천천히 이야기하는 것처럼 들리게 하는 기법이다.

음성 및 오디오의 속도를 음색의 큰 변화없이 제어하는 방법은 1985년 미국의 Salim Roucos가 OLA와 SOLA 알고리즘을 제안하면서 급격히 발전하였고, OLA의 기본 개념은 축소(Compress)와 확장(Expand)으로 이해 될 수 있다. 즉, 오디오 프레임에 대한 타임 스케일(Time Scale)의 확장은 실제 재생 시 느리게 재생되게 되며, 축소(압축)는 반대로 빠르게 재생되는 효과가 있다.

음성 속도변환(TSM)은 시간 축에서 입력신호를 압축하거나 확장하여 신호의 재생속도를 변화시키는 것으로서, 음악 재생기기에서 템포의 변환, 외국어 학습을 위한 음성 재생속도의 변환, 데이터 압축 및 복원(MPEGx, H.26x 등) 등 다양한 분야에 응용된다. 특히 MP3 플레이어, 멀티미디어 플레이어, 휴대폰 등에도 적용된다.

TSM 알고리즘은 시간 축을 변환하는 방법으로 크게 시간 영역방법과 주파수 영역방법으로 나눌 수 있다. 대표적인 시간 영역방법으로는 입력신호를 윈도우(window) 단위로 세그먼테이션하여 이웃한 윈도우 간에 소정의 연산 과정(overlap amp: add)을 거쳐 입력신호를 압축하거나 확장하는 OLA 알고리즘과, 이웃한 윈도우 간의 피치(pitch) 동기를 이용하여 상기와 같은 연산을 함으로써 OLA의 클리킹(clicking) 현상(압축시)과 반향(reverberation) 현상(확장시)의 단점을 극복하여 보다 자연스러운 출력음성을 얻을 수 있도록 하는 SOLA 알고리즘과, 다양한 SOLA 변형 알고리즘이 존재한다. 대표적인 주파수 영역방법으로는 STFT를 이용한 그리핀 앤드 림(Griffin and Lim) 알고리즘 등이 있다. 상기 SOLA 알고리즘은 시간영역에서 템포를 변환시키는 대표적인 방법으로 이웃한 윈도우 간의 피치정보를 이용하여 'overlap-add'연산을 수행함으로써 기존 OLA 방법의 단점을 개선한 알고리즘이다.

Roucos의 SOLA나 이후에 제안된 PSOLA/WSOLA 등은 다양한 방법으로 최적의 OLA 위치를 찾아주는 방법에 관한 이론으로써, 다양한 형태로 발전되었다.

최적화 AMDF 및 OLA 방법도 그 중의 하나로서, 음성의 피치(pitch) 구간을 검색(search)하여 최소화 AMDF값의 피치 구간을 선택하여 OLA로 확대 또는 축소하 는 방법으로 PSOLA의 한 계열이라고 할 수 있다. 최적화 ADMF 및 OLA 방법은 기존의 AMDF 방법에서 연산량을 급격히 낮추는 방법으로써, 낮은 성능의 DSP나 프로세서에서도 실시간 TSM을 가능하게 하는 기술이라고 할 수 있다.

도2는 본 발명에 따른 오디오 재생시 동영상을 동조화하여 재생하는 방법을 보여준다.

제1 단계(S10)는 재생할 오디오(음악/음성) 파일을 선택하는 단계이다. 다음 단계(S20)는 상기 선택된 오디오 파일에 대하여 구간별로 연결하여 재생할 동영상을 동영상 데이터 베이스에서 검색하여 수동으로 지정하거나, 후에 설명할 오디오/동영상 특성값 기반으로 자동으로 지정하는 것 중의 하나를 사용자가 선택하는 단계이다. 이 단계(S20)에서 수동 지정이 선택되었다면 다음 단계(S30)로 이행하고, 자동 지정이 선택되었다면 다음 단계(S70)로 이행한다.

단계(S30)에서는 동영상 데이터 베이스(40)에서 오디오 구간별로 연결하여 재생할 동영상을 선택하고, 이 선택된 동영상을 해당 오디오 구간 정보와 연결하여 등록해 주는 단계이다.

다음 단계(S40)는 상기 재생할 오디오 파일의 재생 길이(재생 시간)과 이 오디오 파일의 각 구간별로 연결하여 재생할 동영상의 재생 길이(재생 시간)을 서로 비교하는 단계이다. 이 단계(S40)에서의 비교 결과에 따라 앞서 설명한 바와 같이 TSM 기반으로 오디오 재생 길이를 늘리거나 줄일 수 있고, 또는 동영상 프레임 제어를 통해서 동영상 재생을 보다 빠르게 하거나 보다 느리게 할 수 있다. 이 과정을 거쳐서 오디오 재생 길이와 동영상 재생 길이가 서로 일치되도록 매칭 처리하게 된다(S50).

다음 단계(S60)는 상기 선택된 오디오와 동영상을 서로 동조화시켜서 재생함으로써, 디스플레이부(30)에는 동영상이 표시되고, 오디오 출력부(70)로는 해당 오디오가 재생되어 출력되도록 하는 단계이다.

한편, 자동 선택의 경우에는 사전에 동영상 데이터 베이스(40)내의 동영상들 각각에 대한 특성값이 그 동영상과 함께 추출되어 저장되어 있거나, 동영상 탐색시에 동영상별 특성값을 추출하여 비교 검색의 자료로 활용한다. 물론 이 경우에 오디오 데이터 저장부(50)에 저장되는 음악(혹은 음성) 파일에 대해서도 그 오디오 특성값을 사전에 추출하여 저장해 놓거나, 선택된 오디오 파일에 대하여 비교 검색 단계에서 그 특성값이 추출될 수도 있다(S70).

그러나, 처리 속도와 시간 등을 고려할 때 동영상 특성값이나 오디오 특성값은 사전에 미리 추출되어 미리 저장해 놓고 비교 검색시에 활용하는 것이 바람직하다.

다음 단계(S80)에서는 이와 같이 준비된 동영상 특성값과 오디오 특성값을 이용해서 양자를 비교 검색한다. 다음 단계(S90)에서는 선택된 오디오 파일의 구간별로 특성값을 추출한 것을 동영상 데이터 베이스(40)에 수록된 동영상들의 특성값들과 서로 비교한 결과를 토대로 하여, 오디오 특성에 적당한 동영상을 선택하고, 이 동영상을 그 오디오의 특정 구간에 대응시켜서 연결하고, 그 재생 타이밍에서 함께 디스플레이할 동영상 자원으로 등록시켜 놓는다.

이후에는 단계(S40~S60)로 이행하여, 특성값 기반으로 선택된 동영상과 상기 오디오의 재생길이를 비교하고, 그 비교 결과에 따른 재생 길이 매칭 처리를 수행하면서 해당 오디오-동영상을 동조화시켜서 재생한다.

지금까지 설명한 바와 같이 본 발명에서는 음악(또는 음성)의 재생 구간마다 사용자가 직접 원하는 동영상들을 데이터 베이스에서 찾아서 지정하거나 특성값을 기반으로 자동 선택하여 그 음악(또는 음성)이 재생될 때 상기 선택된 동영상이 함께 디스플레이되도록 하였다.

또한, 음악(또는 음성)의 재생 구간과 선택된 동영상의 재생 시간을 TSM 기반으로 서로 일치시키거나 동영상 프레임 속도 제어를 통해서 일치시키는 방법을 설명하였다.

도3의 예제에서 살펴보면, 2개의 1분(60초)짜리 동영상이 4분짜리 음악(또는 음성)에 처음과 중간으로 선택된 경우, 앞에서 설명한 바와같이 동영상의 재생 시간을 사용자가 선택한 음악(또는 음성)의 재생시간 4분에 맞춰준 것을 알 수 있다. 즉, 동영상1 및 동영상2를 각각 2분씩으로 늘려서 재생하는 경우를 보여준다.

도4는 사용자가 선택한 동영상의 재생 시간이 음악(또는 음성)의 재생 길이와 일치하지 않을 때 TSM 기반으로 음악(또는 음성) 신호의 재생 길이를 늘리거나 줄여주는 경우를 보여준다. 여기서, 음악(또는 음성) 재생시간을 2배 또는 0.5배로 조절하여도 선택된 동영상의 재생 시간과 맞출 수가 없다면 그런 부분은 뒤에 묵음 처리되어야 할 것이다.

도4에서 살펴보면, 2개의 1분(60초)짜리 동영상1, 동영상2가 4분짜리 음악(또는 음성)에 처음과 중간으로 선택된 경우, 동영상의 총 재생시간 2분을 유지하고 4분짜리 음악(또는 음성)의 재생 길이를 TSM을 통해서 2분으로 동기화시킨 것을 알 수 있다.

한편, 앞서 설명한 것처럼 음악(또는 음성)에 맞춰서 적절한 동영상을 동영상 데이터 베이스에서 자동으로 지정해 주는 방법을 위해 음악(또는 음성)의 특성값과 동영상의 특성값을 사용하였다.

즉, 음악(또는 음성)의 데이터를 스캔하면서 음악(또는 음성)의 특성값을 동영상 데이터베이스에 있는 동영상들의 움직임의 특성값과 비교하고, 가장 적절한 동영상을 찾아서 이를 연결시켜 주는 방법을 사용하였다. 여기서, 음악의 특성값으로 사용할 수 있는 정보는 신호의 출력 레벨(Output Level), 에너지 값(Energy Value), 피치(Pitch), 박자 등이 있으며, 동영상의 움직임 특성값은 프레임별로 움직임 크기를 나타내는 벡터값 등을 평균하여 사용할 수 있다.

도5에 이 경우의 예제를 나타내었다. 도5에서 살펴보면, 음악의 특성값(A1)을 구하여 이와 대응되는 움직임 특성값(a1)을 갖는 동영상을 찾아서 연결시켜 주고, 음악의 특성값(A2)을 구하여 이와 대응되는 움직임 특성값(a2)을 갖는 동영상을 찾아서 연결시켜 주는 예를 보여주고 있다.

특성값 추출과 비교 검색 알고리즘을 쉽게 처리하기 위해서 고정된 길이의 동영상이 데이터 베이스로 만들어지는 것도 가능하며, 각각의 길이가 틀린 경우에도 연산량은 많아지겠지만 특성값과 시간적 길이를 동시에 비교하여 처리할 수도 있을 것이다.

따라서, 만약 음악의 특성이 매우 역동적이고 장대한 특성을 갖는 것이라면 동영상 또한 움직임이 크고 변화무쌍한 특성값을 갖는 동영상을 선택하여 이를 음악 구간별로 재생하여 디스플레이하는 기법이 가능하므로, 음악의 특성에 적합하고 음악의 특성을 잘 반영하는 내용의 동영상이 함께 효과적으로 표현되는 시스템 구현이 가능하게 되는 것이다.

본 발명은 동영상 및 오디오 재생이 가능한 단말기에서 음악(또는 음성) 재생시에 동영상 데이터 베이스의 동영상과 동기화하여 화면에 표시할 수 있는 다양한 방법을 제시하였고, 이 방법들은 모두 음악(또는 음성)의 재생 중에 사용자에게 보다 더 오디오 파일의 특성 지향적인 시각적 효과를 제공해 줄 수 있는 장점이 있다.

Claims (12)

1. 재생할 오디오 파일에 동영상을 연결하여 해당 오디오 및 동영상을 동조화하여 재생하는 방법에 있어서,

   재생하기 위하여 선택된 하나의 오디오 파일에 대하여 복수의 구간별로 각각 연결하여 재생할 복수의 동영상 데이터를 선택하는 단계;

   상기 오디오 데이터와 구간별로 선택된 동영상 데이터의 재생 길이를 비교하는 단계;

   상기 재생 길이를 비교한 결과에 따라 오디오 재생 길이를 기준으로 동영상 재생속도를 제어하거나, 동영상 재생 길이를 기준으로 오디오 재생 속도를 제어하여 양자 간의 재생 길이가 일치되도록 매칭시켜 주는 단계;

   를 포함하는 것을 특징으로 하는 오디오 재생시 동영상을 동조화하여 재생하는 방법.
2. 삭제
3. 제 1 항에 있어서, 상기 선택된 오디오 데이터와 동영상 데이터의 재생 길이를 비교하고, 그 비교 결과 양자의 재생 길이가 서로 다른 경우 오디오를 기준으로 동영상을 빠르게 혹은 느리게 재생함으로써 오디오 재생 길이에 일치되도록 매칭시켜 주는 것을 특징으로 하는 오디오 재생시 동영상을 동조화하여 재생하는 방법.
4. 제 1 항에 있어서, 상기 선택된 오디오 데이터와 동영상 데이터의 재생 길이를 비교하고, 그 비교 결과 양자의 재생 길이가 서로 다른 경우 동영상의 프레임 속도를 제어하여 오디오 재생 길이에 일치되도록 매칭시켜 주는 것을 특징으로 하는 오디오 재생시 동영상을 동조화하여 재생하는 방법.
5. 제 1 항에 있어서, 상기 선택된 오디오 데이터와 동영상 데이터의 재생 길이를 비교하고, 그 비교 결과 양자의 재생 길이가 서로 다른 경우 동영상을 기준으로 오디오를 빠르게 혹은 느리게 재생함으로써 오디오 재생길이를 동영상 재생 길이에 일치되도록 매칭시켜 주는 것을 특징으로 하는 오디오 재생시 동영상을 동조화하여 재생하는 방법.
6. 제 1 항에 있어서, 상기 선택된 오디오 데이터와 동영상 데이터의 재생 길이를 비교하고, 그 비교 결과 양자의 재생 길이가 서로 다른 경우 동영상을 기준으로 오디오 데이터를 TSM(Time Scale Modification) 기반의 확장 또는 축소 처리를 통해서 동영상 재생 길이에 일치되도록 매칭시켜 주는 것을 특징으로 하는 오디오 재생시 동영상을 동조화하여 재생하는 방법.
7. 제 1 항에 있어서, 상기 오디오 재생속도나 비디오 재생속도의 제어를 통해서도 일치되지 않는 나머지 재생구간에 대해서는, 상기 오디오 재생 길이보다 동영상 재생 길이가 짧은 경우, 상기 선택된 동영상을 반복하여 재생함을 특징으로 하는 오디오 재생시 동영상을 동조화하여 재생하는 방법.
8. 제 1 항에 있어서, 상기 오디오 재생속도나 비디오 재생속도의 제어를 통해서도 일치되지 않는 나머지 재생구간에 대해서는, 상기 동영상 재생 길이보다 오디오 재생 길이가 짧은 경우, 상기 동영상 기준으로 오디오의 나머지 구간을 묵음 처리하는 것을 특징으로 하는 오디오 재생시 동영상을 동조화하여 재생하는 방법.
9. 제 1 항에 있어서, 상기 선택된 오디오의 구간별 음성/음악적 특성값과 동영상의 특성값을 추출하고, 오디오 구간별 특성값에 대응하는 특성값을 갖는 동영상을 자동으로 선택하여 해당 오디오와 동조화시킬 동영상으로 연결하는 것을 특징으로 하는 오디오 재생시 동영상을 동조화하여 재생하는 방법.
10. 제 9 항에 있어서, 상기 오디오의 구간별 음성/음악적 특성값은 오디오 신호의 출력 레벨(Output Level), 에너지 값(Energy Value), 피치(Pitch), 박자 등의 정보인 것을 특징으로 하는 오디오 재생시 동영상을 동조화하여 재생하는 방법.
11. 제 9 항에 있어서, 상기 동영상의 특성값은 동영상의 움직임 정보인 것을 특징으로 하는 오디오 재생시 동영상을 동조화하여 재생하는 방법.
12. 제 9 항에 있어서, 상기 동영상의 특성값은 동영상의 프레임별 움직임 크기를 나타내는 벡터값을 평균하여 구하는 것을 특징으로 하는 오디오 재생시 동영상을 동조화하여 재생하는 방법.

Images