KR101114606B1

KR101114606B1 - 음악 연동 사진 캐스팅 서비스 시스템 및 그 방법

Info

Publication number: KR101114606B1
Application number: KR1020090007024A
Authority: KR
Inventors: 박성진; 권원상; 양원석; 양찬석
Original assignee: 삼성전자주식회사
Priority date: 2009-01-29
Filing date: 2009-01-29
Publication date: 2012-03-05
Also published as: US8354579B2; US20100191733A1; KR20100087945A

Abstract

사용자의 요청에 따라 음악을 재생하는 과정과, 상기 재생되는 음악이 끝날 때까지, 일정 시간마다 상기 재생되는 음악의 무드를 분석하는 단계와, 상기 음악의 무드와 어울리는 사진을 검색하는 단계와, 상기 검색된 사진을 표시하는 단계를 반복하는 과정을 포함함을 특징으로 하는 음악 연동 사진 캐스팅 서비스를 제공한다. 상기 재생되는 음악의 무드를 분석하는 단계는, 리듬 패턴을 추출하는 제1단계와, 상기 추출한 리듬 패턴을 미리 설정된 무드 분류 기준에 따라 분석하여 해당하는 무드값을 검출하는 제2단계를 포함함을 특징으로 한다.

사진 캐스팅(photo-casting), 음악 무드, 리듬 패턴

Description

음악 연동 사진 캐스팅 서비스 시스템 및 그 방법{MUSIC INTERLOCKING PHOTO-CASTING SERVICE SYSTEM AND METHOD THEREOF}

본 발명은 사진 캐스팅(photo-casting) 서비스 시스템 및 그 방법에 관한 것으로, 특히 음악 연동 사진 캐스팅 서비스 시스템 및 그 방법에 관한 것이다.

사진 캐스팅은 몇 가지 인터넷 사진 애플리케이션에서 서비스되고 있는 것으로, 사용자에게 임의의 사진을 순차적으로 전송하여 사용자가 사진 슬라이드쇼를 감상할 수 있도록 하는 것이다.

현재 사진 캐스팅 서비스에서는 사진이 임의로 선택되고, 사용자는 수동적으로 주어진 사진들을 보게 된다. 이때 사진들의 순서에는 아무런 연관성이 없어서 사용자의 흥미를 오래 끌지 못하는 경우가 많다. 그러므로 사용자의 몰입도를 높이고 흥미를 지속시키기 위한 방안이 요구된다.

따라서 본 발명은 사진 캐스팅 서비스를 음악과 연동시키기 위한 시스템 및 그 방법을 제공한다.

본 제1발명은 음악 연동 사진 캐스팅 서비스 장치가, 음악을 재생하는 음악 재생부와, 사진을 화면에 표시하는 표시부와, 상기 음악의 재생이 완료될 때까지 일정 주기마다 상기 재생되는 음악의 무드를 분석하는 음악 무드 분석부와, 상기 분석된 음악 무드에 대응하는 사진 데이터를 검색하는 검색부와, 상기 검색된 사진 데이터를 처리하여 상기 표시부에 사진이 표시되도록 하는 사진 브라우저부를 포함함을 특징으로 한다.

본 제2발명은 음악 연동 사진 캐스팅 장치가, 음악을 재생하는 음악 재생부와, 상기 재생되는 음악의 무드를 분석하는 음악 무드 분석부와, 서버와 접속하여 상기 분석된 음악 무드 데이터를 상기 서버로 송신하며 상기 서버로부터 수신되는 사진 데이터를 수신하는 서버 접속부와, 화면에 사진을 표시하는 표시부와, 상기 수신된 사진 데이터를 처리하여 상기 표시부에 사진이 표시되도록 하는 사진 브라우저부를 포함함을 특징으로 한다.

본 제3발명은 음악 연동 사진 캐스팅 서버가, 사진 데이터를 저장하는 사진 데이터 베이스부와, 음악 무드에 따라 사진 데이터 베이스부에서 사진 데이터를 검색하는 검색부와, 사용자 장치로부터 음악 무드 데이터를 수신하며 상기 검색부에 의해 검색된 사진 데이터를 상기 사용자 장치로 송신하는 사용자 장치 접속부를 포 함함을 특징으로 한다.

본 제4발명은 음악 연동 사진 캐스팅 서비스를 하는 방법이, 사용자의 요청에 따라 음악을 재생하는 과정과, 상기 재생되는 음악이 끝날 때까지, 일정 시간마다 상기 재생되는 음악의 무드를 분석하는 단계와, 상기 음악의 무드와 어울리는 사진을 검색하는 단계와, 상기 검색된 사진을 표시하는 단계를 반복하는 과정을 포함함을 특징으로 한다.

본 발명은 사용자가 현재 듣고 있는 음악의 무드(mood)와 일치하는 사진들이 나오는 사진 캐스팅 서비스를 즐길 수 있도록 한다. 예를 들어, 잔잔하고 어두운 곡의 도입부에서는 어둡고 채도가 낮은 사진이 나오고, 강렬한 곡의 중심부에서는 밝은 사진이 나오도록 함으로써 사용자의 몰입도를 높이고 흥미를 지속시킬 수 있다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 하기 설명에서는 구체적인 음원 샘플의 개수 등과 같은 특정(特定) 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이 해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 실시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

도 1은 본 발명의 실시예에 따른 음악 연동 사진 캐스팅 서비스 시스템의 구성을 나타낸 도면이다.

본 발명의 실시예에 따른 음악 연동 사진 캐스팅 서비스는 사용자가 현재 듣고 있는 음악의 무드와 어울리는 사진을 볼 수 있도록 하는 서비스이다.

음악 연동 사진 캐스팅 서비스 시스템은 음악 연동 사진 캐스팅 서버 SVR과 사용자 장치 PLR로 구성되며, 서버 SVR과 사용자 장치 PLR 사이의 접속이 인터넷을 통해 이루어지도록 구성할 수 있다.

도 2는 도 1 중 서버와 사용자 장치의 블록 구성을 나타낸 도면이다.

음악 연동 사진 캐스팅 서버 SVR은 사진 데이터를 저장하는 사진 데이터베이스 110과, 음악 무드에 따라 사진 데이터베이스 110에서 사진 데이터를 검색하는 검색부 120과, 사용자 장치 PLR로부터 음악 무드 데이터를 수신하며 상기 검색부 120에 의해 검색된 사진 데이터를 상기 사용자 장치 PLR로 송신하는 사용자 장치 접속부 130을 포함한다.

상기 사진 데이터는 사진의 영상과 적어도 하나 이상의 영상 특징값을 포함 하며, 상기 영상 특징값은 상기 음악 무드 데이터의 무드값에 대응될 수 있다. 상기 사진 데이터는 사진의 영상과 평균 밝기를 포함하며, 상기 평균 밝기는 상기 음악 무드 데이터의 어두운-밝은(dark-bright) 무드값에 대응될 수 있다. 상기 사진 데이터는 사진의 영상과 평균 채도를 포함하며, 상기 평균 채도는 상기 음악 무드 데이터의 고요한-활동적(calm energetic) 무드값에 대응될 수 있다. 상기 사진 데이터는 사진의 영상과 평균 밝기 및 평균 채도를 포함하며, 상기 평균 밝기는 상기 음악 무드 데이터의 어두운-밝은 무드값에 대응하고, 상기 평균 채도는 상기 음악 무드 데이터의 고요한-활동적 무드값에 대응될 수 있다.

서버 SVR에서 음악의 무드와 어울리는 사진을 검색하는 동작을 구체적으로 설명하면 아래와 같다.

서버 SVR은 사진 데이터베이스 110에 사진을 저장하는 시점에 사진의 영상을 분석하여 평균 밝기와 평균 채도를 함께 저장한다. 사용자가 전송한 음악의 무드 벡터 중 어두운-밝은 무드 값은 영상의 밝기에 대응되며, 고요한-활동적 무드 값은 영상의 채도에 대응되도록 사진 데이터베이스 110을 액세스한다. 무드 값과 영상 특징 값은 정확히 대응되기 어려우므로 어느 정도 범위 내에서 유사도 검색을 수행한다. 이렇게 얻어진 다수의 사진들 중 임의의 사진을 사용자에게 전송한다.

사용자 장치 즉, 음악 연동 사진 캐스팅 장치 PLR은 음악을 재생하는 음악 재생부 210과, 상기 재생되는 음악의 무드를 분석하는 음악 무드 분석부 220과, 서 버 SVR과 접속하여 상기 분석된 음악 무드 데이터를 상기 서버 SVR로 송신하며 상기 서버 SVR로부터 수신되는 사진 데이터를 수신하는 서버 접속부 230과, 화면에 사진을 표시하는 표시부 240과, 상기 수신된 사진 데이터를 처리하여 상기 표시부 240에 사진이 표시되도록 하는 사진 브라우저부 250을 포함한다.

여기서 상기 음악 무드 분석부 220은 리듬 패턴(rhythm pattern)을 추출하는 추출기 A1과 상기 리듬 패턴을 사용하여 무드를 분류하는 분류기 A2를 포함한다. 또한 상기 추출기 A1은 일정 시간의 음원 샘플을 이용하여 상기 리듬 패턴을 추출하도록 구성한다.

도 3은 도 2 중 추출기의 상세 블록 구성을 나타낸 도면이다.

추출기 A1은 일정 시간의 음원 샘플을 이용하여 리듬 패턴을 추출하며, 상기 리듬 패턴은 다수의 정보를 그보다 적은 개수의 특징으로 요약한 것이다. 구체적으로, 추출기 A1은 곡 전체의 음량을 정규화 하는 정규화기 3a와, 다수의 음원 샘플을 모아 하나의 윈도우를 생성하는 동작을 반복하는 윈도우 생성기 3b와, 상기 생성된 윈도우를 처리하여 순간 스펙트럼을 구하고 임의의 밴드{예: 바크 밴드(bark band)} 구간에서 더하여 주파수 구간 순간 스펙트럼으로 변환하며, 각 주파수 구간의 스펙트럼 세기에 해당하는 음압(dB)으로 변환하는 특징 검출기 3c와, 다수의 주파수 구간 순간 스펙트럼 음압으로부터 시간에 따른 변조값을 계산하는 변조값 계산기 3d를 포함하며, 상기 변조값 계산기 3d가 출력하는 변조값 중 가청범위에 속하는 다수의 변조값만 유효한 값으로서 선택하는 유효값 선택기 3e를 더 포함할 수 있다. 일예로, 윈도우 하나를 구성하는 음원 샘플을 1, 024개, 임의의 밴드를 24개, 생성되는 윈도우를 512개, 선택되는 유효값을 60개로 설정하여 추출기 A1을 구현할 수 있다.

도 4는 본 발명의 실시예에 따른 음악 연동 사진 캐스팅 서비스 방법을 나타낸 흐름도이다.

이 서비스는 아래와 같은 순서로 이루어진다.

4a단계에서 사용자의 요구에 의해 사용자 장치 PLR에서 음악 재생을 시작한다.

4b단계에서 무드 분석 주기인지 체크한다.

무드 분석 주기이면, 4c단계에서 사용자 장치 PLR이 음악의 무드를 분석한다. 사진이 서버에 있을 경우에는 그 분석된 값을 서버 SVR로 전송한다.

4d단계에서 상기 분석된 값에 대응하는(음악의 무드와 어울리는) 사진을 검색한다. 분석된 값을 서버 SVR로 전송했을 경우에는 서버 SVR이 사진을 검색하여 사용자 장치 PLR에 전송한다.

4e단계에서 사용자 장치 PLR에 사진을 표시한 후, 4b단계로 되돌아간다.

4b단계에서의 체크 결과, 무드 분석 주기가 아니면 4f단계에서 음악 재생이 완료되었는지 체크한다. 음악 재생이 완료되었으면 작업을 종료하고, 완료되지 않았으면 4b단계로 되돌아간다.

위와 같이 4b단계로 되돌아가게 한 것은 음악이 끝날 때까지 위 4b단계부터 4e단계까지의 동작이 반복되도록 하기 위한 것이다.

전술한 4c단계에서 음악 무드 분석부 220이 음악의 무드를 분석하는 동작은 아래와 같이 크게 특징 추출과 무드 분류로 구분해볼 수 있다.

음악 무드 분석을 위한 특징의 추출

음악 무드 분석을 위한 특징으로는 리듬 패턴을 사용한다. 추출기 A1은 예를 들어 약 6초 구간의 음원 샘플을 이용해 리듬 패턴을 추출한다.

도 5는 본 발명의 실시예에 따른 리듬 패턴 추출 과정을 나타낸 흐름도이다.

5a단계에서 스테레오 음원의 경우 좌우 양 채널을 더하고, 곡 전체의 음량을 정규화한다. 예를 들어, 최대 음량을 1로 할 경우 0 ~ 1 사이의 값으로 샘플을 정규화할 수 있다.

5b단계에서 음원 샘플 L개를 수집한다. 본 실시예에서는 44.1kHz 음원을 기준으로 1024개의 음원 샘플을 모은다. 다른 실시예에로서, 22.05kHz 음원은 512개의 샘플을 사용할 수 있을 것이다.

5c단계에서 1024개의 음원 샘플로 하나의 윈도우(window)를 구성한다.

5d단계에서 윈도우를 단시간 고속 푸리에 변환(short-time fast Fourier transform: 이하 STFFT라 함)하여 순간 스펙트럼을 획득한다.

5e단계에서 순간 스펙트럼을 임의의 밴드 구간, 예를 들어 24개의 바크 밴드(24음계) 구간 혹은 30개의 다른 밴드 구간에서 더하여 주파수 구간 순간 스펙트럼으로 변환한다.

5f단계에서 각 주파수 구간의 스펙트럼 세기에 로그를 취하여 음압(dB)으로 변환한다.

5g단계에서 윈도우 M개에 대한 처리가 완료되었는지 체크하여 완료되지 않았으면 5b단계로 되돌아간다. 본 실시예에서는 M개를 512개로 한다.

윈도우 512개에 대한 처리가 완료되었으면 5h단계에서 주파수 구간 순간 스펙트럼 음압들을 시간 축에서 다시 한번 고속 푸리에 변환(FFT)하여 시간에 따른 변조(modulation)값들을 구한다.

5i단계에서 상기 시간에 따른 변조값들 중 가장 첫 번째 변조값을 제외하고(직류 성분이기 때문에 제외), 60개의 변조값들을 취한다. 상위 60개의 변조값들은 사람이 가장 민감한 0 ~ 10Hz에 해당한다. 나머지 변조값들은 사람이 듣기 어려운 범위에 속하는 것이므로 버린다.

위 5a단계 ~ 5f단계를 통해 1,024개의 정보가 24개의 특징으로 요약된다. 하나의 윈도우는 약 23ms의 시간에 해당한다(1,024/44,100 = 512/22,050 = 23). 이와 같은 구간을 선택하는 이유는 STFFT의 효율을 위해서이다.

5g단계에서 윈도우 512개에 대한 처리 완료가 확인될 때까지 1,024개씩 음원 샘플을 모아 윈도우를 구성한 후 5b단계 ~ 5f단계를 수행하는 동작을 반복한다. 이때 이전 윈도우와 50%의 샘플이 중첩되도록 한다. 도 6은 윈도잉(windowing)을 이용한 순간 스펙트럼 계산을 설명하기 위한 스펙트로그램(spectrogram)을 나타낸 도 면이다.

윈도우 512개에 대한 처리가 완료되면, 총 512개의 윈도우에서 주파수 구간 순간 스펙트럼 음압을 얻게 되는데, 512개의 윈도우는 511개의 창 사이에 50%의 중첩이 있는 점을 감안하면 약 5.96초의 시간에 해당한다.

윈도우 512개에 대한 처리가 완료되면 총 262,656개{(1024 × 512) - (512 × 511) = 262,656: 중첩부분 감산한 실제 사용된 정보의 개수}의 정보가 1,440개의 특징으로 요약된다(24 × 60 = 1,440). 이것을 리듬 패턴이라 부르기로 한다.

무드 분류

1) 분석기 A2를 통해 분류되는 무드의 종류는 몇 가지라도 상관없지만, 이후 사진 검색과의 연동을 위해 어두운, 밝은, 고요한, 활동적(dark, bright, calm, energetic)의 네 가지로 정한다. 네 가지 무드 중에서 어두운과 밝은, 고요한과 활동적이 서로 상대되는 개념이다.

2) 다수의 학습용 곡에 무드를 레이블링(labeling)하는 것으로 시작한다. 학습용 곡은 임의로 선정된 곡으로 1,000곡 이상이 유효하며 많을수록 좋다. 레이블링에 참가하는 사람들은 각자 곡을 들어보고 곡마다 어두운 또는 밝은, 고요한 또는 활동적의 레이블을 부여한다. 이로써 모든 곡들이 두 개씩의 레이블을 갖게 된다. 다수의 레이블러(labeler)가 참가하고 선정된 곡이 많을 경우 사람들의 의견이 가능한 일치하는 곡들을 필터링(filtering)할 수 있다.

3) 기계학습 알고리즘인 서포트 백터 머신(support vector machine: SVM)을 사용한다. 학습용 곡이 특징의 차수(1440)보다 훨씬 많은 경우(4배 = 약 6,000곡) 방사상 기준 커널(radial basis kernel)을 사용하고, 그렇지 않은 경우 선형 커널(linear kernel)을 사용하는 것이 좋다. 어두운 곡들과 밝은 곡들을 분리하여 학습시키면 어두운-밝은 무드의 분류가 가능하고, 고요한한 곡들과 활동적인 곡들을 분리하여 학습시키면 고요한-활동적 무드의 분류가 가능하다.

1) ~ 3)의 과정을 통해 만들어진 두 개의 분류기는 사용자에게 배포되어 음악 연동 사진 캐스팅 장치 PLR에서 사용된다. 음악 연동 사진 캐스팅 장치 PLR에서는 현재 듣고 있는 음악의 최근 6초 구간을 이용해 리듬 패턴을 구하고, 이 특징을 두 분류기에 넣어 어두운-밝은 축에서의 무드값과 고요한-활동적 축에서의 무드값을 얻는다. 도 7은 음악무드 벡터와 사진 특징 벡터 사이의 대응 관계를 나타낸 도면이다. 즉, 밝은-활동적 특징 7a를 갖는 음악무드에 대응되는 밝은-높은 포화도 특징 7b를 갖는 사진이 표시된다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다.

다른 실시예로서, 서버 SVR의 역할을 인터넷 서버가 아니라 개인용 컴퓨터가 수행하도록 구성하면 개인 사진을 대상으로 음악에 맞는 슬라이드쇼가 자동으로 이루어지도록 애플리케이션을 구현할 수 있다. 이 경우 서버와 사용자 장치를 일체형으로 구현한 음악 연동 사진 캐스팅 서비스 장치를 제공할 수도 있을 것이다. 이 음악 연동 사진 캐스팅 서비스 장치는 음악을 재생하는 음악 재생부와, 사진을 화면에 표시하는 표시부와, 상기 음악의 재생이 완료될 때까지 일정 주기마다 상기 재생되는 음악의 무드를 분석하는 음악 무드 분석부와, 상기 분석된 음악 무드에 대응하는 사진 데이터를 검색하는 검색부와, 상기 검색된 사진 데이터를 처리하여 상기 표시부에 사진이 표시되도록 하는 사진 브라우저부를 포함할 수 있을 것이다. 이와 같은 구성요소들의 세부 동작은, 음악 연동 사진 캐스팅 서비스를 구현한다는 측면에서 볼 때, 전술한 서버 SVR과 사용자 장치 PLR의 그것과 다르지 않을 것이다.

그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안 되며 후술하는 특허청구의 범위뿐 만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명의 실시예에 따른 음악 연동 사진 캐스팅 서비스 시스템의 구성을 나타낸 도면

도 2는 도 1 중 서버와 사용자 장치의 블록 구성을 나타낸 도면

도 3은 도 2 중 추출기의 상세 블록 구성을 나타낸 도면

도 4는 본 발명의 실시예에 따른 음악 연동 사진 캐스팅 서비스 방법을 나타낸 흐름도

도 5는 본 발명의 실시예에 따른 리듬 패턴 추출 과정을 나타낸 흐름도

도 6은 윈도잉(windowing) 방법을 이용한 순간 스펙트럼 계산을 설명하기 위한 스펙트로그램(spectrogram)을 나타낸 도면

도 7은 음악무드 벡터와 사진 특징 벡터 사이의 대응 관계를 나타낸 도면

Claims

음악 연동 사진 캐스팅 장치에 있어서,

음악을 재생하는 음악 재생부와,

사진을 화면에 표시하는 표시부와,

상기 음악의 재생이 완료될 때까지 일정 주기마다 상기 재생되는 음악의 무드를 분석하는 음악 무드 분석부와,

상기 분석된 음악 무드에 대응하는 사진 데이터를 검색하는 검색부와,

상기 검색된 사진 데이터를 처리하여 상기 표시부에 사진이 표시되도록 하는 사진 브라우저부를 포함하며,

상기 사진 데이터는 사진의 영상과, 평균 밝기 및 평균 채도 중 적어도 하나를 포함하며,

상기 음악 무드 분석부가,

리듬 패턴을 추출하는 추출기와,

상기 리듬 패턴을 사용하여 무드를 분석하는 분석기를 포함함을 특징으로 하는 음악 연동 사진 캐스팅 장치.
제1항에 있어서,

상기 사진 데이터는 사진의 영상과 적어도 하나 이상의 영상 특징값을 포함하며, 상기 영상 특징값은 상기 음악 무드 데이터의 무드값에 대응됨을 특징으로 하는 음악 연동 사진 캐스팅 장치.
제1항에 있어서,

상기 사진 데이터는 사진의 영상과 평균 밝기를 포함하며, 상기 평균 밝기는 상기 음악 무드 데이터의 어두운-밝은(dark-bright) 무드값에 대응됨을 특징으로 하는 음악 연동 사진 캐스팅 장치.
제1항에 있어서,

상기 사진 데이터는 사진의 영상과 평균 채도를 포함하며, 상기 평균 채도는 상기 음악 무드 데이터의 고요한-활동적(calm energetic) 무드값에 대응함을 특징으로 하는 음악 연동 사진 캐스팅 장치.
제1항에 있어서,

상기 사진 데이터는 사진의 영상과 평균 밝기 및 평균 채도를 포함하며, 상기 평균 밝기는 상기 음악 무드 데이터의 어두운-밝은 무드값에 대응하고, 상기 평균 채도는 상기 음악 무드 데이터의 고요한-활동적 무드값에 대응함을 특징으로 하는 음악 연동 사진 캐스팅 장치.
음악 연동 사진 캐스팅 장치에 있어서,

음악을 재생하는 음악 재생부와,

상기 재생되는 음악의 무드를 분석하는 음악 무드 분석부와,

서버와 접속하여 상기 분석된 음악 무드 데이터를 상기 서버로 송신하며 상기 서버로부터 수신되는 사진 데이터를 수신하는 서버 접속부와,

화면에 사진을 표시하는 표시부와,

상기 수신된 사진 데이터를 처리하여 상기 표시부에 사진이 표시되도록 하는 사진 브라우저부를 포함하며,

상기 사진 데이터는 사진의 영상과, 평균 밝기 및 평균 채도 중 적어도 하나를 포함하며,

상기 음악 무드 분석부가,

리듬 패턴을 추출하는 추출기와,

상기 리듬 패턴을 사용하여 무드를 분석하는 분석기를 포함함을 특징으로 하는 음악 연동 사진 캐스팅 장치.
삭제
제1항 또는 제6항에 있어서, 상기 추출기가 일정 시간의 음원 샘플을 이용하여 상기 리듬 패턴을 추출하며, 상기 리듬 패턴은 다수의 정보를 그보다 적은 개수의 특징으로 요약한 것임을 특징으로 하는 음악 연동 사진 캐스팅 장치.
제1항 또는 제6항에 있어서, 상기 추출기가

곡 전체의 음량을 정규화 하는 정규화기와,

다수의 음원 샘플을 모아 하나의 윈도우를 생성하는 동작을 반복하는 윈도우 생성기와,

상기 생성된 윈도우를 처리하여 순간 스펙트럼을 구하고 임의의 밴드 구간에서 더하여 주파수 구간 순간 스펙트럼으로 변환하며, 각 주파수 구간의 스펙트럼 세기에 해당하는 음압(dB)으로 변환하는 특징 검출기와,

상기 생성된 윈도우의 개수가 미리 정한 개수 이상이 되면 그 윈도우들에 해당하는 다수의 주파수 구간 순간 스펙트럼 음압으로부터 시간에 따른 변조값을 리듬 패턴으로서 계산하는 변조값 계산기를 포함함을 특징으로 하는 음악 연동 사진 캐스팅 장치.
제9항에 있어서,

상기 특징 검출기는 상기 윈도우를 단시간 고속 푸리에 변환하여 순간 스펙트럼을 구함을 특징으로 하는 특징으로 하는 음악 연동 사진 캐스팅 장치.
제10항에 있어서,

상기 특징 검출기는 상기 순간 스펙트럼을 임의의 밴드 구간에서 더하여 주파수 구간 순간 스펙트럼으로 변환함을 특징으로 하는 음악 연동 사진 캐스팅 장치.
제11항에 있어서,

상기 임의의 밴드 구간은 24개의 바크 밴드 구간임을 특징으로 하는 음악 연동 사진 캐스팅 장치.
제9항에 있어서,

상기 특징 검출기는 각 주파수 구간의 스펙트럼 세기에 로그를 취하여 음압으로 변환함을 특징으로 하는 음악 연동 사진 캐스팅 장치.
제9항에 있어서,

현재 윈도우와 이전 윈도우는 50%의 샘플이 중첩되도록 구성함을 특징으로 하는 음악 연동 사진 캐스팅 장치.
제9항에 있어서,

상기 변조값 계산기가 출력하는 변조값 중 가청범위에 속하는 변조값만 유효한 값으로서 선택하는 유효값 선택기를 더 포함함을 특징으로 하는 음악 연동 사진 캐스팅 장치.
제9항에 있어서,

상기 추출기는 스테레오 음원의 경우 좌우 양 채널을 더하고 샘플을 정규화 함을 특징으로 하는 음악 연동 사진 캐스팅 장치.
제6항에 있어서,

상기 서버와의 접속이 인터넷을 통해 이루어지도록 구성함을 특징으로 하는 음악 연동 사진 캐스팅 장치.
음악 연동 사진 캐스팅 서버에 있어서,

사진 데이터를 저장하는 사진 데이터 베이스부와,

음악 무드에 따라 사진 데이터 베이스부에서 사진 데이터를 검색하는 검색부와,

사용자 장치로부터 음악 무드 데이터를 수신하며 상기 검색부에 의해 검색된 사진 데이터를 상기 사용자 장치로 송신하는 사용자 장치 접속부를 포함하며,

상기 사진 데이터는 사진의 영상과, 평균 밝기 및 평균 채도 중 적어도 하나를 포함하며,

상기 음악 무드 데이터는, 음악의 리듬 패턴을 포함함을 특징으로 하는 음악 연동 사진 캐스팅 서버.
제18항에 있어서,

상기 사진 데이터는 사진의 영상과 적어도 하나 이상의 영상 특징값을 포함하며, 상기 영상 특징값은 상기 음악 무드 데이터의 무드값에 대응됨을 특징으로 하는 음악 연동 사진 캐스팅 서버.
제18항에 있어서,

상기 사진 데이터는 사진의 영상과 평균 밝기를 포함하며, 상기 평균 밝기는 상기 음악 무드 데이터의 어두운-밝은(dark-bright) 무드값에 대응됨을 특징으로 하는 음악 연동 사진 캐스팅 서버.
제20항에 있어서,

상기 사진 데이터는 사진의 영상과 평균 채도를 포함하며, 상기 평균 채도는 상기 음악 무드 데이터의 고요한-활동적(calm energetic) 무드값에 대응함을 특징으로 하는 음악 연동 사진 캐스팅 서버.
제18항에 있어서,

상기 사진 데이터는 사진의 영상과 평균 밝기 및 평균 채도를 포함하며, 상기 평균 밝기는 상기 음악 무드 데이터의 어두운-밝은 무드값에 대응하고, 상기 평균 채도는 상기 음악 무드 데이터의 고요한-활동적 무드값에 대응함을 특징으로 하는 음악 연동 사진 캐스팅 서버.
제18항에 있어서,

상기 사용자 장치와의 접속이 인터넷을 통해 이루어지도록 구성함을 특징으로 하는 음악 연동 사진 캐스팅 서버.
음악 연동 사진 캐스팅 서비스를 하는 방법에 있어서,

사용자의 요청에 따라 음악을 재생하는 과정과,

상기 재생되는 음악이 끝날 때까지, 일정 시간마다 상기 재생되는 음악의 무드를 분석하는 단계와, 상기 음악의 무드와 어울리는 사진을 검색하는 단계와, 상기 검색된 사진을 표시하는 단계를 반복하는 과정을 포함하며,

상기 음악의 무드와 어울리는 사진을 검색하는 단계는, 상기 사진의 평균 밝기 및 평균 채도 중 적어도 하나에 기초하여 검색하며,

상기 재생되는 음악의 무드를 분석하는 단계는,

리듬 패턴을 추출하는 제1단계와,

상기 추출한 리듬 패턴을 미리 설정된 무드 분류 기준에 따라 분석하여 해당하는 무드값을 검출하는 제2단계를 포함함을 특징으로 하는 음악 연동 사진 캐스팅 서비스 방법.
삭제
제24항에 있어서, 상기 리듬 패턴을 추출하는 제1단계는,

곡 전체의 음량을 정규화하는 1-1단계와,

미리 정한 개수의 음원 샘플들을 수집하는 1-2단계와,

상기 수집된 음원 샘플들로 윈도우를 생성하는 1-3단계와,

상기 윈도우를 처리하여 순간 스펙트럼을 획득하는 1-4단계와,

상기 순간 스펙트럼을 임의의 밴드 구간에서 더하여 주파수 구간 순간 스펙트럼으로 변환하는 1-6단계와,

상기 주파수 구간 순간 스펙트럼을 음압으로 변환하는 1-7단계와,

미리 정한 개수만큼의 윈도우를 처리했는지 체크하여 정한 개수만큼 처리하지 않았으면 상기 1-2단계로 되돌아가고, 처리했으면 해당 음압들로부터 시간에 따른 변조값을 계산하는 1-8단계와,

상기 변조값 중 유효값을 선택하는 1-9단계를 포함함을 특징으로 하는 음악 연동 사진 캐스팅 서비스 방법.
제26항에 있어서,

상기 수집된 음원 샘플들로 윈도우를 생성하는 1-3단계에서 생성되는 현재 윈도우와 이전에 생성된 윈도우는 50%의 샘플이 중첩됨을 특징으로 하는 음악 연동 사진 캐스팅 서비스 방법.