KR101168742B1 - 음원 위치 파악 정보를 포함한 서브타이틀 생성 장치 및 방법 - Google Patents

음원 위치 파악 정보를 포함한 서브타이틀 생성 장치 및 방법 Download PDF

Info

Publication number
KR101168742B1
KR101168742B1 KR1020100045613A KR20100045613A KR101168742B1 KR 101168742 B1 KR101168742 B1 KR 101168742B1 KR 1020100045613 A KR1020100045613 A KR 1020100045613A KR 20100045613 A KR20100045613 A KR 20100045613A KR 101168742 B1 KR101168742 B1 KR 101168742B1
Authority
KR
South Korea
Prior art keywords
information
sound source
sound
source position
layer
Prior art date
Application number
KR1020100045613A
Other languages
English (en)
Other versions
KR20110125955A (ko
Inventor
박민수
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020100045613A priority Critical patent/KR101168742B1/ko
Publication of KR20110125955A publication Critical patent/KR20110125955A/ko
Application granted granted Critical
Publication of KR101168742B1 publication Critical patent/KR101168742B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/801—Details

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Studio Devices (AREA)

Abstract

기록매체로부터 로드되거나 외부로부터 전송되는 정보로부터 음원 위치 정보와 카메라 장치 정보를 획득하는 정보 획득부와 외부로부터 전송되는 영상 데이터 및 오디오 데이터를 획득하는 데이터 획득부, 데이터 획득부에서 획득한 상기 영상 데이터 및 오디오 데이터를 토대로 영상 데이터부 및 오디오 데이터부를 생성하는 데이터 생성부 및 정보 획득부에서 획득한 상기 음원 위치 정보와 상기 촬영 정보 및 음원 위치 파악 정보를 포함하는 서브타이틀부를 생성하는 서브타이틀부 생성부로 구성된 미디어 컨테이너 파일 생성 장치를 통해 음원 위치 파악 정보를 포함하는 서브타이틀을 생성하여 동영상에서 음원의 3차원적 공간내의 위치를 파악할 수 있다.

Description

음원 위치 파악 정보를 포함한 서브타이틀 생성 장치 및 방법{Apparatus and Method for generating subtitle included information of sound source location}
본 발명은 음원 위치 파악 정보를 포함한 서브타이틀 생성 장치 및 방법에 관한 것이다.
동영상 저장 및 재생에 사용되는 동영상 파일은 영상 데이터 및 오디오 데이터와 이에 관련된 각종 정보로 이루어진 부가 데이터를 포함한다. 이러한 동영상 파일은 일반적으로 미디어 컨테이너 파일 형태로 이루어지며, 미디어 컨테이너 파일은 압축된 영상 데이터, 오디오 데이터 또는 부가 데이터를 컨테이너 파일에 저장한다. 또는 동영상 파일은 미디어 컨테이너 파일 형태가 아닌, 영상 데이터와 오디오 데이터 그리고 메타 데이터 등의 부가 데이터를 계층별로 오버레이(overlay) 하기도 한다.
동영상 파일의 형태인 미디어 컨테이너 파일 내에는 영상 데이터와 음성 데이터에 대한 압축 데이터, 서브타이틀(Subtitle) 등의 메타 데이터 및 외부 서브타이틀 등이 포함된다. 이때, 대부분의 영상과 음성은 MPEG 1, MPEG 2, MPEG 4, MPEG-1 Layer III, AAC, AC3 등의 ISO/IEC 국제 표준으로 압축되어 있기 때문에, 데이터 전송 효율의 극대화를 도모한다.
이와 같이 동영상은 영상과 음성 및 그 밖의 부가 정보로 이루어진 데이터 파일로 구성된다. 그러나, 동영상에 대한 서브타이틀이 생성될 때, 동영상을 이루는 음성의 녹음 과정에서 마이크로폰(Microphone)들의 개수, 마이크폰들간 거리, 마이크로폰들간 각도 등 소리 입력 장치 정보 및 영상을 수집한 카메라의 모션 정보가 서브타이틀에 포함되어 있지 않기 때문에, 서브타이틀만으로는 음원의 위치를 연산하거나 검색할 수 없다.
따라서, 본 발명은 동영상에서 음원의 3차원적 공간 내 위치를 파악할 수 있는 음원 위치 파악 정보를 포함한 서브타이틀 생성 장치 및 방법을 제공한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 서브타이틀을 생성하는 방법은,
소리가 발생한 음원의 위치를 측정하기 위한 정보가 기록된 음원 위치 정보를 포함하는 레이어를 생성하는 단계; 소리 시간 지연차 정보를 포함하는 레이어를 생성하는 단계; 및 상기 음원 위치 정보 또는 소리 시간 지연차 정보 중 적어도 하나의 정보를 포함하는 레이어를 이용하여 서브타이틀을 생성하는 단계를 포함한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 서브타이틀을 생성하는 장치는,
소리가 발생한 음원의 위치를 측정하기 위한 정보를 포함하는 음원 위치 정보 또는 소리 시간 지연차 정보 중 어느 하나의 정보를 삽입하는 정보 삽입부; 및 상기 정보 삽입부에서 상기 음원 위치 정보 또는 소리 시간 지연차 정보가 삽입된 레이어를 이용하여 서브타이틀을 생성하는 서브타이틀 생성부를 포함한다.
상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 동영상 파일을 생성하는 장치는,
기록매체로부터 로드되거나 외부로부터 전송되는 정보로부터 음원 위치 정보와 카메라 장치 정보를 획득하는 정보 획득부; 외부로부터 전송되는 영상 데이터 및 오디오 데이터를 획득하는 데이터 획득부; 상기 데이터 획득부에서 획득한 상기 영상 데이터 및 오디오 데이터를 토대로 영상 데이터부 및 오디오 데이터부를 생성하는 데이터 생성부; 및 상기 정보 획득부에서 획득한 상기 음원 위치 정보 또는 소리 시간 지연차 정보 중 어느 하나를 포함하는 서브타이틀을 생성하는 서브타이틀부 생성부를 생성한다.
본 발명의 실시예에 따르면, 모든 영상 데이터를 검색하지 않아도 위치 데이터를 포함하는 음원을 빠르게 검색할 수 있다. 또한, 위치 데이터를 포함하는 음원 데이터가 없는 데이터 구간을 삭제할 수 있어 동영상 파일 용량을 줄일 수 있다.
또한, 음원의 위치 데이터를 별도의 연산 없이 화면에 오버레이하여, 빠른 디스플레이가 가능하다. 또한, 음원의 위치가 화면에서 벗어나거나 포함되어 있는지의 유무에 따른 파일 저장 및 검색 색인의 기능을 제공할 수 있다.
도 1은 본 발명의 실시 예에 따른 동영상 파일의 구조도이다.
도 2는 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조도이다.
도 3은 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 음원 위치 관련 정보 및 카메라 장치 정보를 획득하는 경로를 나타낸 예시도이다.
도 4는 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 음원 위치 관련 정보 및 카메라 장치 정보를 획득하는 다른 경로를 나타낸 예시도이다.
도 5는 본 발명의 실시 예에 따른 동영상 파일 생성 방법의 흐름도이다.
도 6은 본 발명의 실시 예에 따른 음원 위치 관련 정보와 카메라 장치 정보를 데이터부의 헤더에 매핑하여 동영상 파일을 생성하는 과정을 나타낸 도이다.
도 7은 본 발명의 실시 예에 따른 음원 위치 산출 장치의 구조도이다.
도 8은 도7에 도시된 연산부의 구조를 나타낸 예시도이다.
도 9는 본 발명의 실시 예에 따른 음원 위치 산출 방법의 흐름도이다.
도 10은 본 발명의 실시 예에서, 마이크로폰과 음원 사이의 거리를 산출하는 경우를 나타낸 예시도이다.
도 11은 본 발명의 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다.
도 12는 본 발명의 다른 실시 예에 따른 음원 위치 산출 장치의 연산부의 구조를 나타낸 예시도이다.
도 13은 본 발명의 다른 실시 예에 따른 음원 위치 산출 방법의 흐름도이다.
도 14는 본 발명의 다른 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다.
도 15는 본 발명의 실시 예에 따른 음원 위치 표시 장치의 구조도이다.
도 16은 본 발명의 실시 예에 따른 음원 위치 표시 방법의 흐름도이다.
도 17은 본 발명의 실시 예에 따라 화면상에 음원 위치를 표시하는 것을 나타낸 예시도이다.
도 18은 본 발명의 실시 예에 따라, 화면상에 음원의 이동 경로를 표시하는 것을 나타낸 예시도이다.
도 19는 본 발명의 실시 예에 따른 음원 위치 표시 방법에서, 음원 표시 좌표를 획득하는 과정을 나타낸 흐름도이다.
도 20은 본 발명의 실시예에 따른 서브타이틀 생성 장치의 구조도이다.
도 21은 본 발명의 실시 예에 따른 서브타이틀 생성 장치가 관련 정보를 획득하는 경로를 나타낸 예시도이다
도 22는 본 발명의 실시예에 따른 서브타이틀 생성 방법을 나타낸 흐름도이다. 파일
도 23은 본 발명의 실시예에 따른 서브타이틀 생성 과정을 나타낸 예시도이다.
도 24는 본 발명의 실시예에 따른 구간 정보를 나타낸 예시도이다.
도 25는 본 발명의 실시예에 따른 검색 색인 레이어의 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 음원 위치 표시 장치 및 그 방법에 대하여 설명한다.
먼저, 음원 위치 관련 정보를 포함하는 동영상 파일을 생성하는 장치 및 방법에 대하여 설명한다.
도 1은 본 발명의 실시 예에 따른 음원 위치 관련 정보를 포함한 동영상 파일의 구조를 나타낸 구조도이다.
본 발명의 실시 예에 따른 동영상 파일은 영상 데이터부(F1)와 오디오 데이터부(F2)를 포함하며, 각각의 영상 데이터부(F1) 및 오디오 데이터부(F2)는 각각 헤더(header)(H1, H2) 및 페이로드(payload)(P1, P2)를 포함한다.
헤더(H1, H2)는 고정된 영역을 가지며 예를 들어 32 비트로 이루어진다. 헤더(H1, H2)에는 페이로드(P1, P2)에 포함되는 데이터를 재생하기 위한 정보들이 저장되며, 특히 본 발명의 실시 예에 따른 영상 데이터부(F1)의 헤더(H1)는 카메라 장치 정보를 포함하며, 오디오 데이터부(F2)의 헤더(H2)는 음원 위치 관련 정보를 포함한다.
영상 데이터부(F1)의 헤더(H1)에서 카메라 장치 정보를 제외한 나머지 정보들을 설명의 편의상 "영상 관련 정보"라고 명명하며, 오디오 데이터부(F2)의 헤더(H2)에서 음원 위치 관련 정보를 제외한 나머지 정보들을 설명의 편의상 "오디오 관련 정보"라고 명명한다.
영상 관련 정보 및 오디오 관련 정보는 동기를 맞추기 위한 동기(sync) 워드, 계층(layer)과 샘플링 주파수, 남아 있는 프레임과 같은 정보, 또는 저작권 등의 정보를 포함할 수 있다.
본 발명의 실시 예에 따른 음원 위치 관련 정보는 오디오 데이터가 생성된 음원의 위치를 측정하는데 사용된 파라미터에 대한 정보를 포함한다. 구체적으로, 음원으로부터의 신호를 수신하는 수단들 즉, 마이크로폰(microphone)의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도, 기준 좌표, 마이크로폰과 채널의 매칭 정보 중 적어도 하나를 포함한다. 이외에도 소리가 전달되는 속도에 영향을 주는 환경 파라미터(예를 들어, 온도, 습도, 기압 및 소리 속도 등)에 대한 측정 정보(예를 들어, 음원이 위치된 환경에서의 온도, 또는 습도 또는 압력 등)인 소리 결정 정보를 포함한다.
여기서 마이크로폰들의 각도는 하나의 마이크로폰이 다른 마이크로폰에 대하여 가지는 상대 각도를 나타낸다. 그리고 마이크로폰과 채널의 매칭 정보는 소정 마이크로폰에서 획득된 오디오 데이터가 어떤 채널에 해당하는지를 나타내는 정보이다. 예를 들어, 3개의 마이크로폰이 사용된 경우, 제1 마이크로폰은 오디오 데이터부(F2)의 다수 채널별 오디오 데이터 중에서 제1채널에 대응하고, 제2 마이크로폰은 제2채널에 대응하며, 제3 마이크로폰은 제3채널에 대응함을 나타낼 수 있다. 이러한 마이크로폰들과 채널의 매칭 정보를 토대로 임의 채널의 오디오 데이터가 어떤 마이크로폰으로부터 획득된 것인지를 용이하게 알 수 있다.
기준 좌표는 마이크로폰들의 위치에 관련된 것으로, 마이크로폰들 중에서 하나의 마이크로폰에 대한 위치 좌표일 수 있으며, 또는 이후 동영상 재생시 사용되는 화면 배율을 고려하여 설정되는 좌표일 수 있다. 또는 기준 좌표는 소리를 포함하는 오디오 데이터를 획득하는 마이크로폰들이 하나의 모듈에 포함되는 형태로 구성된 경우, 해당 모듈의 크기를 고려하여 설정되는 좌표일 수 있다. 이와 같이 기준 좌표는 동영상이 재생되거나 오디오 데이터가 획득되거나 영상 데이터가 획득되는 등의 환경을 고려하여 설정될 수 있다.
한편 음원 위치 관련 정보는 오디오 데이터부(F2)에 포함되는 모든 오디오 데이터가 아니라, 오디오 데이터들 중에 설정 주파수 이상의 오디오에 관련된 정보일 수 있다.
또한 본 발명의 실시 예에 따른 카메라 장치 정보는 영상 데이터를 획득하는데 사용된 촬영 정보로서, 구체적으로 영상 데이터 획득시 사용된 카메라의 픽셀 정보, 카메라의 줌배율 정보, 그리고 카메라의 모션 정보를 포함한다. 여기서 카메라의 모션 정보는 카메라의 렌즈부가 팬 틸트(pan tilt) 또는 시프트(shift) 등의 기능으로 촬영을 위하여 전후 상하 방향으로 움직이는 경우 움직인 방향 및 움직임 정도에 해당하는 정보를 나타낸다.
한편 영상 데이터부(F1)의 페이로드(P1)는 메인 데이터 즉, 영상 데이터를 포함하며, 오디오 데이터부(F2)의 페이로드(P2)는 메인 데이터 즉, 오디오 데이터를 포함한다.
이러한 영상 데이터부(F1) 및 오디오 데이터부(F2)는 CRC(error detection code)를 선택적으로 포함할 수 있으며, CRC는 예를 들어 16 비트로 이루어질 수 있다.
또한 영상 데이터부(F1) 및 오디오 데이터부(F2)는 프레임 단위 구조로 이루어지며, 오디오 데이터부(F2)를 구성하는 오디오 비트열의 한 프레임을 AAU(audio access unit)라고 명명할 수 있다. AAU는 각각 단독으로 복호화할 수 있는 최소 단위이며, 위에 기술된 바와 같이 헤더, CRC, 오디오 데이터를 포함하는 페이로드를 포함하는 구성으로 이루어진다.
다음에는 이러한 구조로 이루어지는 동영상 파일을 생성하는, 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조에 대하여 설명한다.
도 2는 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조도이다.
본 발명의 실시 예에 따른 동영상 파일 생성 장치(1)는 첨부한 도2에 도시되어 있듯이, 음원 위치 정보 획득부(10), 촬영 정보 획득부(20), 영상 데이터 획득부(30), 오디오 데이터 획득부(40), 그리고 동영상 파일의 영상 데이터부를 생성하는 제1 생성부(50), 동영상 파일의 오디오 데이터부를 생성하는 제2 생성부(60), 그리고 영상 데이터부와 오디오 데이터부를 토대로 동영상 파일을 생성하는 제3 생성부(70)를 포함한다. 여기서 제1, 제2, 제3의 표현은 각 생성부(50, 60, 70)를 구별하기 위하여 부가적으로 부여한 명칭이며, 각 생성부를 한정하는 것은 아니다.
음원 위치 정보 획득부(10)는 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보를 획득하며, 촬영 정보 획득부(20)는 영상 데이터 획득에 사용된 카메라 장치 정보를 제공받는다. 영상 데이터 획득부(30)는 촬영에 따라 생성되는 영상 데이터를 획득하며, 오디오 데이터 획득부(40)는 촬영시 발생한 소리를 포함하는 오디오 데이터를 획득한다.
제1 생성부(50)는 촬영 정보 획득부(20)로부터 전달되는 촬영 정보와 영상 데이터 획득부(40)로부터 전달되는 영상 데이터를 토대로 영상 데이터부(F1)를 생성한다. 제2 생성부(60)는 음원 위치 정보 획득부(10)로부터 전달되는 음원 위치 관련 정보와 오디오 데이터 획득부(40)로부터 전달되는 오디오 데이터를 토대로 오디오 데이터부(F2)를 생성한다. 그리고 제3 생성부(70)는 제1 생성부(50)로부터 전달되는 영상 데이터부(F1)와 제2 생성부(60)로부터 전달되는 오디오 데이터부(F2)를 토대로 동영상 파일을 생성한다.
본 발명의 실시 예에 따른 음원 위치 정보 획득부(10) 및 촬영 정보 획득부(20)는 다양한 경로를 통하여 관련 정보들을 획득할 수 있다.
도 3은 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 관련 정보를 획득하는 경로를 나타낸 예시도이다. 여기서는 음원 위치 관련 정보가 마이크로폰 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도를 포함한 것으로 예시되어 있지만, 이것에 한정되지는 않는다. 마이크로폰 개수는 오디오 데이터부에 몇 개의 채널에 해당하는 오디오 데이터가 포함되어 있는지를 판단하기 위한 근거로서 사용될 수 있으며, 이외에도 마이크로폰과 채널의 매칭 정보, 기준 좌표, 소리 속도 결정 정보 중 적어도 하나가 더 포함될 수 있다.
첨부한 도 3에 예시되어 있듯이, 음원 위치 정보 획득부(10)는 음원 위치 관련 정보의 일부(예를 들어, 마이크로폰 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도 등)를 등록 정보로 하여 미리 저장하여 사용하고, 나머지(예를 들어, 소리 속도 결정 정보)는 입력 장치를 통하여 제공받을 수 있다.
촬영 정보 획득부(20)도 카메라 장치 정보의 일부(예를 들어, 카메라 픽셀 정보)를 등록 정보로 하여 미리 저장하여 사용하고, 나머지(예를 들어, 카메라 줌배율 정보, 카메라 모션 정보)는 입력 장치를 통하여 제공받을 수 있다.
또는 동영상 파일 생성 장치(1)의 음원 위치 정보 획득부(10) 및 촬영 정보 획득부(20)는 입력 장치를 통하여 음원 위치 관련 정보 및 카메라 장치 정보를 제공받을 수 있다.
이와는 달리, 음원 위치 정보 획득부(10)는 오디오 데이터를 출력하면서 오디오 데이터가 생성된 음원에 대한 위치를 측정하는 음원 측정 장치로부터 음원 위치 관련 정보를 제공받을 수 있다.
도 4는 발명의 실시 예에 따른 동영상 파일 생성 장치(1)가 정보를 획득하는 경로를 나타낸 다른 예시도이다.
첨부한 도 4에 예시되어 있듯이, 동영상 파일 생성 장치(1)는 음원 측정 장치(2)로부터 음원 위치 관련 정보 및 오디오 데이터를 제공받을 수 있다.
이 경우 음원 측정 장치(2)는 복수의 마이크로폰(M1, M2, M3, M4, 여기서는 4개의 마이크로폰을 사용한 것을 예로 들었으나, 이러한 개수에 한정되지 않는다)과 복수의 마이크로폰들로부터 출력되는 신호를 입력받아 처리하여 음원 신호를 생성하는 신호 처리부(21), 그리고 음원 신호를 토대로 음원 위치를 측정하는 연산부(22)를 포함하며, 이외에도 동영상 파일 생성 장치(1)로 관련 정보를 제공하는 인터페이스부(23)를 포함한다. 또한 환경 파라미터(예를 들어, 온도, 습도, 기압 및 소리 속도 등)를 토대로 소리 속도를 결정하는 소리 속도 센서(24)를 더 포함할 수 있다.
각각의 마이크로폰(M1, M2, M3, M4)은 음원으로부터 발생되는 소리를 수신하여 그에 해당하는 전기적인 신호를 출력한다.
신호 처리부(21)는 각각의 마이크로폰으로부터 출력되는 신호를 처리하며, 예를 들어, 마이크로폰으로부터 출력되는 신호를 디지털 신호로 변환하고, 이를 DFT(discrete fourier transform) 또는 FFT(fast fourier transform) 등의 주파수 변환을 하여, 주파수 영역의 신호로 변환한다. 그리고 주파수 영역의 신호들 중에서 설정 주파수 이상의 신호를 검출하여 음원 신호로 출력한다.
연산부(22)는 신호 처리부(21)로부터 출력되는 음원 신호들을 토대로 음원의 위치를 산출한다.
한편 소리 속도 센서(24)는 환경 파라미터를 측정하고 측정된 환경 파라미터 값을 토대로 소리 속도를 결정할 수 있다. 이와는 달리 소리 속도 센서(24)가 환경 파라미터를 측정하고, 연산부(22)가 소리 속도 센서(24)로부터 제공되는 환경 파라미터값을 토대로 소리 속도를 결정할 수도 있다.
신호 처리부(21)는 이러한 소리 속도 센서(24)로부터 출력되는 신호를 처리할 수 있으며, 예를 들어 소리 속도 센서(24)로부터 출력되는 환경 파라미터에 해당하는 신호를 디지털 신호로 변환하여 연산부(22)나 인터페이스부(23)로 제공한다. 여기서 환경 파라미터에 해당하는 신호는 소리 속도 센서(24)에 의하여 측정된 온도 또는 습도 또는 압력에 해당하는 신호일 수 있다. 여기서, 연산부(22)는 신호 처리부(21)를 통하여 전달되는 환경 파라미터에 해당하는 신호를 토대로 현재의 소리 속도를 결정할 수 있다. 소리 속도 결정시 환경 파라미터를 구성하는 다양한 파라미터(온도, 습도, 기압, 소리 속도 등)의 다양한 값별로 소리 속도가 대응되어 있는 소리 속도 보정 테이블을 이용할 수 있으며, 또는 별도의 연산 알고리즘을 이용하여 소리 속도를 결정할 수 있다.
이러한 구조로 이루어지는 음원 측정 장치(2)의 인터페이스부(23)는 음원 위치 측정시 사용된 마이크로폰들의 개수, 마이크로폰들의 사이의 거리(예를 들어, M1, M2, M3, M4의 마이크로폰이 사용된 경우, M1과 M2사이의 거리, M2와 M3사이의 거리, M3와 M4사이의 거리, M4와 M1사이의 거리 등), 마이크로폰들의 각도(∠M1, ∠M2, ∠M3, ∠M4)를 포함하는 음원 위치 관련 정보를 동영상 파일 생성 장치(1)로 제공한다.
이외에도 인터페이스부(23)는 소리 속도 센서(24)로부터 측정되고 신호 처리부(21)를 통하여 전달되는 환경 파라미터에 해당하는 신호를 토대로 하는 소리 속도 결정 정보를 동영상 파일 생성 장치(1)로 전달한다. 여기서 소리 속도 결정 정보는 소리 속도에 영향을 주는 소리 속도 센서(24)에 의하여 측정된 환경 파라미터값(온도, 습도, 기압, 소리 속도 중 적어도 하나) 그리고 측정된 환경 파라미터값에 따라 결정된 소리 속도(예를 들어, 340M/s) 중 적어도 하나를 포함한다. 또한 인터페이스부(23)는 연산부(22)로부터 제공되거나 또는 신호 처리부(21)로부터 제공되는 음원 신호를 오디오 데이터로 하여 동영상 파일 생성 장치(1)로 제공한다.
동영상 파일 생성 장치(1)는 음원 측정 장치(2) 이외에도 별도의 오디오 데이터 생성 장치(도시하지 않음)로부터 오디오 데이터를 제공받을 수도 있다. 여기서 제공되는 오디오 데이터들은 마이크로폰들 각각에 의하여 출력되는 음원 신호에 대응하는 데이터들이다. 예를 들어 4개의 마이크로폰이 사용된 경우, 각각의 마이크로폰에 대응하는 오디오 데이터들이 채널별로 처리되어, 4개의 채널별 오디오 데이터들이 제공될 수 있다.
한편 음원 측정 장치(2)의 마이크로폰들의 개수, 마이크로폰들의 사이의 거리, 마이크로폰들의 각도들은 미리 설정되어 저장될 수 있으며, 이 경우 인터페이스부(23)는 저장된 이러한 정보들을 읽어서 음원 위치 관련 정보를 생성할 수 있다. 또는 연산부(22)가 음원 신호들이나 별도의 신호를 이용하여 마이크로폰들의 사이의 거리, 마이크로폰들의 각도들을 산출한 경우에, 인터페이스부(23)는 연산부(22)로부터 이러한 정보를 제공받아 음원 위치 관련 정보를 생성할 수 있다.
이러한 음원 측정 장치(2)의 구조는 예시된 것이며, 위에 기술된 것에 한정되지 않는다.
한편, 동영상 파일 생성 장치(1)의 촬영 정보 획득부(20)도 카메라와 같은 촬영 장치(3)로부터 카메라 장치 정보 및 영상 데이터를 제공받을 수 있다. 이러한 촬영 장치(3)의 구조는 이미 공지된 기술임으로 여기서는 상세한 설명을 생략한다. 촬영 장치(3)는 일반적으로 렌즈를 사용하면서 렌즈의 배율을 가변시키는 줌(zoom) 동작, 렌즈의 방향을 변경하는 팬 틸트 동작 및 시프트 동작을 수행하면서 촬영을 하게 된다. 촬영 장치(3)는 이와 같이 각 프레임별 영상 데이터를 촬영시 사용된 줌배율, 픽셀 정보, 팬 틸트 또는 시프트 동작에 따른 카메라 모션 정보 중 적어도 하나를 동영상 파일 생성 장치(1)로 제공한다.
다음에는 이러한 장치들을 토대로 동영상 파일을 생성하는 방법에 대하여 설명한다.
도 5는 본 발명의 실시 예에 따른 동영상 파일 생성 방법의 흐름도이다. 도 5에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 동영상 파일 생성 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다.
먼저, 첨부한 도 5에 도시되어 있듯이, 본 발명의 실시 예에 따른 동영상 파일 생성 장치(1)는 영상 데이터부(F1)를 생성하는 경우, 영상 데이터부(F1)를 구성하는 헤더(H1)를 생성하고(S100), 헤더(H1)에 기록할 정보를 획득한다. 즉, 영상 데이터 획득시 사용된 촬영 장치 즉, 카메라의 픽셀 정보, 카메라의 렌즈의 줌배율 정보, 카메라의 렌즈의 이동에 따른 모션 정보를 획득하고(S110~S130), 획득된 정보들을 포함하는 카메라 장치 정보를 영상 데이터부(F1)의 헤더(H1)에 기록한다(S140). 물론 이 경우 영상 데이터에 관련된 영상 관련 정보도 헤더(H1)에 기록된다. 그리고 동영상 파일 생성 장치(1)는 영상 데이터를 획득하고 이를 영상 데이터부(F1)의 페이로드(P1)에 기록한다(S150~S160).
또한 동영상 파일 생성 장치(1)는 오디오 데이터부(F2)를 생성하는 경우, 오디오 데이터부(F2)를 구성하는 헤더(H2)를 생성하고(S170), 헤더(H2)에 기록할 정보를 획득한다. 즉, 오디오 데이터 획득시 사용된 마이크로폰들의 개수, 마이크로폰들간의 거리, 마이크로폰들의 각도, 그리고 오디오 데이터 획득시에 측정된 환경 파라미터에 대응하는 소리 속도 결정 정보를 획득하고(S180~S210), 획득된 정보들을 포함하는 음원 위치 관련 정보를 오디오 데이터부(F2)의 헤더(H2)에 기록한다(S220). 물론 이 경우 오디오 데이터에 관련된 오디오 관련 정보도 헤더(H2)에 기록되며, 기준 좌표, 마이크로폰과 채널의 매칭 정보 중 적어도 하나가 헤더(H2)에 기록될 수 있다. 그리고 동영상 파일 생성 장치(1)는 오디오 데이터를 획득하고 이를 오디오 데이터부(F2)의 페이로드(P2)에 기록한다(S230~S240).
도 6은 본 발명의 실시 예에 따른 음원 측정 장치(2) 및 촬영 장치(3)로부터 획득되는 정보와, 이러한 정보를 각 데이터부의 헤더에 기록하는 과정이 예시되어 있다.
도 6에 예시된 바와 같이, 음원 측정 장치(2)를 구성하는 마이크로폰들(M1, M2, M3, M4)로부터 발생된 음원 신호에 대응하는 오디오 데이터들이 다수의 채널별로 분류되어 동영상 파일 생성 장치(1)로 제공되며, 이러한 오디오 데이터가 오디오 데이터부의 페이로드에 기록된다. 그리고 마이크로폰들의 개수, 마이크로폰들의 거리(L12, L23, L34, L41), 마이크로폰들의 각도(∠M1, ∠M2, ∠M3, ∠M4)가 오디오 데이터부의 헤더에 기록된다. 또한 온도, 습도, 기압, 소리 속도 중 적어도 하나의 환경 파라미터에 대응하는 값 그리고 환경 파라미터를 토대로 결정된 소리 속도 중 적어도 하나를 포함하는 소리 속도 결정 정보가 헤더에 기록된다. 이러한 환경 파라미터는 온도, 습도, 압력 이외에, 별도로 환경 상태를 나타내는 기타 정보가 더 추가될 수도 있다.
또한 카메라와 같은 촬영 장치에 의하여 영상 데이터가 획득되면서, 이러한 영상 데이터 획득시 사용된 카메라 장치 정보가 동영상 파일 생성 장치(1)로 제공되며, 동영상 파일 생성 장치(1)는 영상 데이터를 페이로드에 기록하고 카메라 장치 정보를 헤더에 기록한다.
이와 같이 획득되는 카메라 장치 정보 및 음원 위치 관련 정보를 각각 포함하는 영상 데이터부(F1)와 오디오 데이터부(F2)를 생성한 다음에, 동영상 파일 생성 장치(1)는 영상 데이터부(F1)와 오디오 데이터부(F2)를 조합하여 동영상 파일을 생성한다. 생성된 동영상 파일은 미디어 컨테이너 파일 형태로 구성될 수 있다.
한편 위에 기술된 음원 위치 관련 정보에 기준 좌표가 포함되어 있지 않은 경우에는 이후에 설명하는 음원 위치 산출 장치가 기준 좌표를 미리 설정하여 음원 위치 산출시 사용할 수 있다. 이 경우에도 기준 좌표는 위의 음원 위치 관련 정보에 포함되는 기준 좌표와 같이, 마이크로폰들 중에서 하나의 마이크로폰에 대한 위치 좌표일 수 있으며, 또는 이후 동영상 재생시 사용되는 화면 배율을 고려하여 설정되는 좌표일 수 있고, 또는 소리를 포함하는 오디오 데이터를 획득하는 마이크로폰들이 하나의 모듈에 포함되는 형태로 구성된 경우, 해당 모듈의 크기를 고려하여 설정되는 좌표일 수 있다.
본 발명의 실시 예에 따른 동영상 파일은 유선, 무선 등의 다양한 형태의 네트워크를 통하여 스트리밍(streaming) 등의 다양한 전송 방식으로 동영상 파일을 재생하는 장치로 제공될 수 있다. 동영상 파일에는 음원 위치 관련 정보 즉, 음원으로부터의 소리를 수신하여 출력하는 마이크로폰들의 개수, 그리고 이러한 마이크로폰들의 사이의 거리, 마이크로폰들의 각도와 기준 좌표 중 적어도 하나와, 소리 속도에 영향을 주는 환경 파라미터 또는 이러한 환경 파라미터에 따라 결정되는 소리 속도를 선택적으로 포함하는 소리 속도 결정 정보가 포함되어 있으므로, 동영상 재생 장치(도시하지 않음)에서는 이러한 음원 위치 관련 정보를 토대로 음원의 위치를 산출할 수 있다.
다음에는 이러한 동영상 파일 정보를 토대로 음원 위치를 산출하는 장치 및 그 방법에 대하여 설명한다.
도 7은 본 발명의 실시 예에 따른 음원 위치 산출 장치의 구조를 나타낸 도이다.
첨부한 도 7에 도시되어 있듯이, 본 발명의 실시 예에 따른 음원 위치 산출 장치(4)는, 동영상 파일을 수신하는 수신부(100), 수신된 동영상 파일로부터 음원 위치 관련 정보를 추출하는 정보 추출부(200), 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출하는 연산부(300)를 포함하고, 산출된 음원 위치를 출력하는 위치 출력부(400)를 더 포함할 수 있다.
수신부(100)는 다양한 경로를 통하여 본 발명의 실시 예에 따른 동영상 파일 즉, 오디오 데이터와 함께 오디오 데이터를 발생한 음원에 대한 음원 위치 관련 정보를 포함하는 동영상 파일을 수신한다. 예를 들어, 수신부(100)는 유선 또는 무선 네트워크를 통하여 스트리밍 방식으로 전송되는 동영상 파일을 수신할 수 있으며, 또한 기록 매체로부터 로드되거나 외부로부터 수신되는 데이터로부터 음원 위치 관련 정보를 제공받을 수 있다. 정보 추출부(200)는 수신된 동영상 파일로부터 영상 데이터부(F1)와 오디오 데이터부(F2)를 식별하고, 오디오 데이터부(F2)의 헤더(H2)로부터 음원 위치 관련 정보를 추출한다.
연산부(300)는 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출한다. 즉, 마이크로폰들의 개수 및 마이크로폰들의 사이의 거리와, 마이크로폰들의 각도나 기준 좌표들을 토대로 음원 위치를 산출하며, 이 때, 음원 위치 관련 정보에 포함된 소리 속도 결정 정보를 토대로 결정되는 소리 속도를 사용하여 음원 위치를 산출할 수 있다. 이러한 음원 위치 산출 방법에 대해서는 추후에 보다 구체적으로 설명하기로 한다.
도 8은 본 발명의 실시 예에 따른 연산부(300)의 상세 구조를 나타낸 도이다. 도 8은 본 발명의 실시 예에 따른 연산부(300)의 한 예일 뿐이며, 반드시 이러한 구조에 한정되는 것은 아니다.
연산부(300)는 수신된 동영상 파일들로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들간의 시간 차이를 측정하는 소리 시간 지연차 측정 모듈(310), 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표를 획득하는 기준 좌표 획득 모듈(320), 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 위치 좌표 획득 모듈(330) 및 측정된 소리 시간 지연차들과 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는 위치 산출 모듈(340)을 포함한다. 여기서 기준 좌표 획득 모듈(320)은 저장된 기준 좌표를 사용하거나 또는 음원 위치 관련 정보로부터 기준 좌표를 획득할 수 있다. 또한 위치 좌표 획득 모듈(330)은 음원 위치 관련 정보로부터 마이크로폰들의 위치 좌표들을 획득하거나 또는 기준 좌표를 토대로 연산을 수행하여 마이크로폰들의 위치 좌표들을 획득할 수 있다.
한편, 위치 출력부(400)는 산출된 음원 위치를 출력한다. 구체적으로, 음원 위치를 해당 오디오 데이터부 즉, 산출된 음원 위치에 관련된 음원 위치 관련 정보를 포함하는 오디오 데이터부(F2)에 동기하는, 영상 데이터부(F1)의 페이로드(P1)에 기록된 영상 데이터가 재생되는 것에 동기하여, 산출된 음원 위치를 출력한다. 예를 들어, 영상 데이터가 출력되는 화면에서 실제 음원 위치에 대응하는 위치에 음원 위치를 표시하거나, 또는 화면에서 영상 데이터가 표시되는 이외의 영역에 음원 위치를 표시할 수 있다. 또는 영상 데이터가 출력되는 동안 오디오 형태로 음원 위치 정보가 출력될 수 있다.
다음에는 이러한 구조로 이루어지는 음원 위치 산출 장치를 토대로, 본 발명의 실시 예에 따른 음원 위치 산출 방법에 대하여 설명한다.
도 9는 본 발명의 실시 예에 따른 음원 위치 산출 방법의 흐름도이다. 도 9에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 음원 위치 산출 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다.
첨부한 도 9에서와 같이, 음원 위치 산출 장치(4)는 외부로부터 동영상 파일을 수신한다(S300). 수신되는 동영상 파일은 영상 데이터부(F1)와 오디오 데이터부(F2)로 이루어지고, 예를 들어, 도 6에서와 같이, 음원 측정 장치(2)로부터 획득되는 음원 위치 관련 정보가 오디오 데이터부(F2)의 헤더(H2)에 기록되어 있고, 촬영 장치(3)로부터 획득되는 카메라 장치 정보가 영상 데이터부(F1)의 헤더(H1)에 기록되어 있다.
음원 위치 산출 장치(4)의 정보 추출부(200)는 수신된 동영상 파일로부터 영상 데이터부(F1)와 오디오 데이터부(F2)를 식별하고, 오디오 데이터부(F2)의 헤더(H2)로부터 음원 위치 관련 정보를 추출하여 연산부(300)로 전달한다(S310).
연산부(300)는 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출한다.
먼저, 음원 위치 관련 정보가 기준 좌표를 포함하지 않는 경우(S320~S330), 연산부(300)는 미리 설정되어 저장되어 있는 기준 좌표를 사용한다(S340). 그러나 음원 위치 관련 정보가 기준 좌표를 포함하는 경우에는 음원 위치 관련 정보로부터 기준 좌표를 추출하여 사용한다(S340).
그리고 기준 좌표를 토대로 마이크로폰들의 위치 좌표를 획득한다. 기준 좌표가 하나의 마이크로폰에 대한 좌표인 경우, 연산부(300)는 기준 좌표와 음원 위치 관련 정보에 포함된 마이크로폰들의 사이의 거리를 토대로 각 마이크로폰들의 위치 좌표를 구한다. 이 경우 보다 정확한 위치 좌표를 획득하기 위하여 마이크로폰들의 각도를 사용할 수 있다. 이 때 추후에 설명되는 수학식 2 및 3을 토대로 마이크로폰들의 각도를 이용하여 마이크로폰들의 위치 좌표를 획득할 수 있다.
반면, 기준 좌표가 음원 측정시 사용되는 모든 마이크로폰들에 관련된 좌표들인 경우에는 별도의 과정 없이 미리 설정된 기준 좌표들을 그대로 사용한다(S350).
또한 연산부(300)는 오디오 데이터부(F2)의 페이로드(P2)에 기록된 채널별 오디오 데이터를 추출한다(S360). 그리고 각 채널별로 추출되는 오디오 데이터들을 토대로 오디오 데이터들간의 시간 차이를 측정한다. 즉, 각 오디오 데이터들이 출력되는 시점들을 토대로 각 채널별 오디오 데이터가 출력되는 시점 사이의 시간차를 측정한다. 이러한 각 채널별 오디오 데이터들간의 시간차를 설명의 편의상 "소리 시간 지연차"라고 명명한다(S370).
한편 오디오 데이터 추출시 음원 위치 관련 정보에 포함되어 있는 마이크로폰과 채널의 매칭 정보를 이용할 수 있다. 구체적으로 음원 위치 관련 정보가 마이크로폰과 채널의 매칭 정보를 포함하는 경우, 상기 매칭 정보를 이용하여 소정 마이이크로폰에 의하여 획득한 오디오 데이터가 어느 채널에 대응하는지를 확인할 수 있다.
이후 연산부(300)는 음원 위치 관련 정보(마이크로폰들의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도)와, 측정한 각 채널별 오디오 데이터들간의 소리 시간 지연차를 토대로 음원 위치를 산출한다.
음원 위치 산출시, 본 발명의 실시 예에서는 TDOA(time difference of arrival) 방법이 사용될 수 있다.
Figure 112010031215052-pat00001
여기서, c는 소리 속도이며, Tij은 i번째 마이크로폰과 j번째 마이크로폰 사이의 TDOA 즉, 소리 시간 지연차이며, Ri는 i번째 마이크로폰과 음원 사이의 거리이며, Rj는 j번째 마이크로폰과 음원 사이의 거리이며, (Xi, Yi)는 i번째 마이크로폰의 좌표이고, (Xj, Yj)는 j번째 마이크로폰의 좌표이고, (x, y)는 음원의 좌표를 나타낸다.
각각의 마이크로폰들에 대하여 음원까지의 거리인 복수의 Ri를 구하면, 위의 수학식 1을 토대로, 복수의 Ri를 각각 반지름으로 하는 다수의 쌍곡선을 형성하고, 이러한 쌍곡선들이 교차하는 지점을 음원의 위치(x, y)로 산출한다.
한편 음원 위치 연산시에 소리 속도를 이용할 수 있다. 소리 속도를 소정값(예를 들어, 음속 343m/s)으로 고정시켜 사용할 수도 있으나, 오디오 데이터가 획득되는 환경의 온도나 압력, 습도 등에 의하여 소리 속도가 영향을 받을 수 있으므로, 본 발명의 실시 예에서는 동영상 파일의 오디오 데이터부(F2)로부터 획득되는 음원 위치 관련 정보에 소리 속도 결정 정보가 포함되어 있는 경우, 이를 토대로 소리 속도를 획득하여 사용한다(S380).
음원 위치 관련 정보에 포함된 소리 속도 결정 정보가 온도, 습도, 압력 중 적어도 하나의 환경 파라미터에 대응하는 값인 경우, 연산부(300)는 별도로 저장하여 관리하는 소리 속도 보정 테이블(이것은 온도, 습도, 압력 중 적어도 하나를 토대로 소리가 전달되는 속도가 변화되는 것을 고려한 속도인 소리 속도가 결정되어 있는 테이블일 수 있다)을 이용하여, 소리 속도 결정 정보로부터 획득한 환경 파라미터에 대응하는 소리 속도를 찾는다. 그리고 소리 속도 보정 테이블로부터 찾아진 소리 속도를 이용하여 음원 위치를 산출한다.
반면, 음원 위치 관련 정보에 포함된 소리 속도 결정 정보가 소리 속도(예를들어 오디오 데이터가 획득되는 환경에서 측정된 그리고 환경 파라미터를 토대로 결정된 소리 속도임)인 경우에는, 음원 위치 관련 정보에 포함된 소리 속도를 바로 이용하여 음원 위치를 산출한다.
이와 같이 소리 속도를 환경 파라미터를 토대로 하여 보정하여 사용하면서, 각 채널별 오디오 데이터들간의 소리 시간 지연차, 마이크로폰들의 위치 좌표들을 토대로 위의 수학식1을 사용하여 음원 위치를 산출할 수 있으며, 특히 환경 변화가 발생하여도 음원 위치를 정확하게 산출할 수 있다(S390).
한편 위치 출력부(400)는 산출된 음원 위치를 도시하지 않은 동영상 재생 장치로 제공하거나 또는 동영상 재생 장치와 연동하여 해당 영상 데이터가 재생될 때, 음원 위치를 출력할 수 있다(S400). 예를 들어, 영상 데이터가 표시되는 화면의 다른 영역에 캡션 데이터 형태로 음원 위치를 출력하거나 음원 위치를 오디오로 처리하여 출력할 수 있다. 여기서 음원 위치가 출력되는 형태는 고정되어 있지 않으며, 사람들이 음원 위치를 인식할 수 있는 다양한 형태로 출력하는 당업계에서 사용가능한 모든 방법들이 사용될 수 있다.
한편 마이크로폰들의 각도와 마이크로폰들 사이의 거리를 토대로 마이크로폰들과 음원 사이의 거리 Ri를 산출할 수 있다.
이 경우 삼각 측량법을 토대로 마이크로폰들과 음원 사이의 거리 Ri를 산출할수 있다.
도 10은 본 발명의 실시 예에서, 마이크로폰과 음원 사이의 거리를 산출하는 경우를 나타낸 예시도이다. 도 10에서는 3개의 마이크로폰들의 각도와 거리들을 토대로 삼각측량법을 이용하여 마이크로폰과 음원 사이의 거리를 산출하는 것을 나타낸 예이다.
도 10에서 각도 r=180-α-β의 관계가 성립되고, 마이크로폰들과 음원 사이의 거리에 다음과 같은 관계가 성립될 수 있다.
Figure 112010031215052-pat00002
Figure 112010031215052-pat00003
여기서, L23은 마이크로폰 M2와 마이크로폰 M3사이의 거리를 나타낸다.
위에 기술된 바와 같은 수학식2를 토대로 마이크로폰들과 음원 사이의 거리 Ri를 산출한 다음에, 산출된 Ri를 수학식3에 적용시켜 음원의 위치를 산출할 수 있다. 이러한 방법은 본 발명의 실시 예에서 음원 위치를 산출하기 위한 하나의 예일 뿐이다.
이러한 음원 위치 연산 과정을 예를 들어 설명하기로 한다.
도 11은 본 발명의 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부(F2)를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다.
음원 측정시, 예를 들어 도 6에서와 같이, 4개의 마이크로폰들 M1, M2, M3, M4가 사용되었고, 마이크로폰 M1과 마이크로폰 M2사이의 거리를 L12, 마이크로폰 M2와 마이크로폰 M3사이의 거리를 L23, 마이크로폰 M3와 마이크로폰 M4사이의 거리를 L34, 마이크로폰 M4와 마이크로폰 M1사이의 거리를 L41이라고 하고, 또한 마이크로폰 M1이 다른 마이크로폰들에 대하여 가지는 각도를 ∠M1, 마이크로폰 M2가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M2, 마이크로폰 M3가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M3, 마이크로폰 M4가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M4라고 하자. 이와 같이 4개의 마이크로폰이 사용된 경우, 도 11에서와 같이, 각각의 마이크로폰에 대응하는 오디오 데이터들이 채널별로 처리되어, 4개의 채널별 오디오 데이터들이 제공된다.
위에 기술된 바와 같이, 4개의 마이크로폰들로부터 획득된 오디오 데이터들이 제공되고 이에 관련된 음원 위치 관련 정보가 제공되는 것으로 가정한 경우, 본 발명의 실시 예에 따른 음원 위치 산출 장치(4)는 기준 좌표를 획득한다.
4개의 마이크로폰이 사용된 경우, 미리 설정된 기준 좌표나 음원 위치 관련 정보에 포함되는 기준 좌표는 4개의 마이크로폰들 중에서 예를 들어, 마이크로폰M1의 위치 좌표(X1, Y1)일 수 있다. 이러한 기준 좌표와 마이크로폰들 사이의 거리(L12, L23, L34, L41)를 토대로 4개의 마이크로폰들 모두(M1, M2, M3, M4)에 대한 위치 좌표들((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4))을 획득할 수 있다. 물론 이와는 달리 미리 설정된 기준 좌표나 음원 위치 관련 정보에 포함되는 기준 좌표가 사용된 모든 마이크로폰들에 대한 위치 좌표들일 수도 있다.
한편 4개의 채널별로 오디오 데이터들을 추출하고, 채널별로 추출되는 오디오 데이터들을 토대로 오디오 데이터들간의 시간 차이를 측정한다. 즉, 도 11에서와 같이, 4개의 채널별 오디오 데이터가 제공되는 경우, 마이크로폰 M1에 대응하는 1채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M2에 대응하는 2채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차(T12), 마이크로폰 M2에 대응하는 2채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M3에 대응하는 3채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차(T21), 마이크로폰 M3에 대응하는 3채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M4에 대응하는 4채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차(T31)를 각각 측정한다. 이 때, 음원 위치 관련 정보에 포함된 마이크로폰과 채널의 매칭 정보를 이용하여 소정 채널이 어느 마이크로폰으로부터 획득된 오디오 데이터인지를 보다 용이하게 확인할 수 있다. 이 경우 예를 들어, 마이크로폰과 채널의 매칭 정보는 “M1->1채널, M2->2채널, M3->3채널, M4->4채널”과 같은 형태일 수 있다. 한편 음원 위치 관련 정보가 이러한 매칭 정보를 포함하지 않는 경우에는 채널 순서에 마이크로폰들의 순서가 설정 방식에 따라 대응하는 것(예를 들어, 첫번째 채널은 첫번째 마이크로폰에 대응함)으로 미리 설정하여 채널별 오디오 데이터가 각각 어느 마이크로폰으로부터 획득된 것인지를 알 수도 있다.
측정된 소리 시간 지연차(T12, T21, T31)와 마이크로폰들의 좌표((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4))를 이용하여 각각의 마이크로폰들에 대하여 음원까지의 거리인 복수의 Ri를 구하고, 복수의 Ri를 각각 반지름으로 하는 다수의 쌍곡선을 형성하고, 이러한 쌍곡선들이 교차하는 지점을 음원의 위치(x, y)로 산출한다. 한편 위의 실시 예에서는 2차원 좌표(X, Y)를 이용하여 음원의 위치를 산출하는 것을 예로 들었으나, 3차원 좌표 즉, (X, Y, Z)를 이용하는 경우에도 위에 기술된 바와 같은 동일한 방법이 적용될 수 있다.
위에 기술된 실시 예에서는 각 채널별 오디오 데이터들의 소리 시간 지연차를 토대로 음원 위치를 산출하였으나, 각 채널별 오디오 데이터들의 신호 세기차를 이용하여 음원 위치를 산출할 수 있다.
도 12는 본 발명의 다른 실시 예에 따른 음원 위치 산출 장치의 연산부의 구조도이다.
본 발명의 다른 실시 예에 따른 음원 위치 산출 장치는 위의 도 7에 도시된 실시 예와 동일하게 수신부(100), 정보 추출부(200), 연산부(300), 그리고 위치 출력부(400)를 포함하며, 단지 연산부(300)의 구조가 다르다.
구체적으로, 도 12에서와 같이 본 발명의 다른 실시 예에 따른 연산부(300)는 수신된 동영상 파일들로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들의 신호 세기를 측정하고, 측정된 채널별 오디오 데이터들의 신호 세기를 토대로 채널별 오디오 데이터들의 신호 세기 차를 측정하는 신호 세기 측정 모듈(310'), 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표를 획득하는 기준 좌표 획득 모듈(320), 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 위치 좌표 획득 모듈(330), 및 측정된 오디오 데이터들의 신호 세기 차들과 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는 위치 산출 모듈(340')을 포함한다.
여기서 기준 좌표 획득 모듈(320), 위치 좌표 획득 모듈(330)은 위의 실시예와 동일하게 기능한다.
도 13은 본 발명의 다른 실시 예에 따른 음원 위치 산출 방법의 흐름도이다. 도 13에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 음원 위치 산출 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다.
도 14는 본 발명의 다른 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다.
본 발명의 다른 실시 예에 따른 음원 위치 산출 방법은 위의 도 9에 기술된 방법과 동일하게, 동영상 파일을 수신하여 음원 위치 관련 정보를 추출하고 기준 좌표를 토대로 마이크로폰들의 위치 좌표를 획득한 다음에 채널별로 오디오 데이터를 추출한다(S500~S560).
그러나 위의 실시 예와는 달리, 음원 위치 산출 장치(4')의 연산부(300')는 추출되는 채널별 오디오 데이터들의 세기를 측정한다(S570). 예를 들어, 도 14에서와 같이, 마이크로폰 M1에 대응하는 1채널의 오디오 데이터의 신호 세기(신호의 진폭 등)를 측정하고, 마이크로폰 M2에 대응하는 2채널을 통하여 출력되는 오디오 데이터의 신호 세기, 마이크로폰 M3에 대응하는 3채널을 통하여 출력되는 오디오 데이터의 신호 세기, 마이크로폰 M4에 대응하는 4채널을 통하여 출력되는 오디오 데이터의 신호 세기를 각각 측정한다. 물론 음원 위치 관련 정보가 마이크로폰과 채널의 매칭 정보를 포함하는 경우, 이 매칭 정보를 토대로 각 마이크로폰에 대응하는 채널별로 오디오 데이터를 용이하게 획득할 수 있다.
그리고 측정된 각 채널별 오디오 데이터들의 신호 세기들을 토대로 각 채널별오디오 데이터들의 신호 세기 차를 측정한다. 즉, 마이크로폰 M1에 대응하는 1채널의 오디오 데이터의 신호 세기와 마이크로폰 M2에 대응하는 2채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차, 2채널을 통하여 출력되는 오디오 데이터의 신호 세기마이크로폰 M3에 대응하는 3채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차, 3채널을 통하여 출력되는 오디오 데이터의 신호 세기와 마이크로폰 M4에 대응하는 4채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차, 그리고 4채널을 통하여 출력되는 오디오 데이터의 신호 세기와 1채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차를 각각 측정한다(S580).
그리고 이와 같이 측정되는 각 채널별 오디오 데이터들의 신호 세기차들을 이용하여 각 채널에 대응하는 마이크로폰과 음원 사이의 거리를 측정한다(S590). 이 경우 RSSI(received signal strength indication) 방법을 사용할 수 있다.
이 경우 위의 실시 예와 동일하게 음원 위치 관련 정보에 포함된 소리 속도 결정 정보로부터 소리 속도를 획득한 다음에, 마이크로폰과 음원 사이의 거리를 측정할 때 획득한 소리 속도를 적용할 수도 있다.
이후, 음원 위치 산출 장치(4')의 연산부(300')는 복수의 마이크로폰들과 음원사이의 거리 Ri를 각각 반지름으로 하는 다수의 쌍곡선을 형성하고, 이러한 쌍곡선들이 교차하는 지점을 음원의 위치(x, y)로 산출한다(S600). 위에 기술된 바와 같이 동영상 파일의 오디오 데이터부의 헤더에 기록된 음원 위치 관련 정보를 토대로 음원 위치를 산출한 다음에, 음원 위치 산출 장치는 산출된 음원의 위치(x, y)를 동영상 재생 장치(도시하지 않음)나 음원 위치 표시 장치로 제공할 수 있다(S610).
위에 기술된 실시 예에서는 음원 위치 관련 정보를 포함한 동영상 파일로부터 상기 음원 위치 관련 정보를 추출하여 음원 위치를 산출하는 것을 예로 들었으나, 본 발명은 동영상 파일에 한정되지 않고 음원 위치 관련 정보를 포함하는 모든 형태의 데이터로부터 음원 위치 관련 정보를 추출하여 음원 위치를 산출할 수 있다.
다음에는 본 발명의 실시 예에 따른 음원 위치 표시 장치에 대하여 설명한다.
도 15는 본 발명의 실시 예에 따른 음원 위치 표시 장치의 구조도이다.
첨부한 도 15에 도시되어 있듯이, 본 발명의 실시 예에 따른 음원 위치 표시 장치(5)는, 음원 위치를 제공받는 음원 위치 획득부(1000), 획득된 음원 위치를 표시하기 위한 표시 좌표로 변환하는 음원 위치 변환부(2000), 표시 좌표를 토대로 음원 위치를 출력하는 음원 위치 출력부(3000)를 포함한다. 또한 음원 위치 표시 장치(5)는 음원으로부터 발생된 소리에 대한 세기를 획득하는 음원 세기 획득부(4000)를 더 포함한다.
이외에도 음원 위치 표시 장치(5)는 영상 데이터를 획득하는 영상 데이터 획득부(5000) 및 획득된 영상 데이터를 재생시키는 영상 재생부(6000)를 더 포함할 수 있다. 여기서는 영상 데이터 획득부(5000) 및 영상 재생부(6000)가 음원 위치 표시 장치(5)에 포함되어 있는 형태로 기술되지만, 본 발명은 반드시 이것에 한정되는 것은 아니다.
음원 위치 획득부(1000)는 위에 기술된 바와 같이 영상 데이터를 포함하는 파일로부터 추출되는 음원 위치 관련 정보를 토대로 음원 위치를 산출하는 장치(4)로부터 음원 위치 좌표를 획득하거나, 또는 기록 매체에 저장된 데이터로부터 음원 위치 좌표를 로드하는 등 다양한 경로를 토대로 음원 위치 좌표를 획득할 수 있다. 여기서 음원 위치 좌표는 2차원 또는 3차원 좌표일 수 있으며, 이에 한정되지는 않는다.
음원 세기 획득부(4000)는 음원으로부터 발생된 소리에 해당하는 세기 정보를 획득한다. 예를 들어, 음원 세기 획득부(4000)는 동영상 파일에 기록된 오디오 데이터부(F2)에 기록되는 채널별 오디오 데이터들의 세기들을 토대로 음원으로부터 획득되는 소리 즉, 오디오 데이터에 대한 세기를 획득한다. 여기서 음원으로부터 획득되는 소리의 세기를 설명의 편의상 "음원 세기"라고 명명한다. 음원 세기는 예를 들어, 각 채널별 오디오 데이터들의 세기들의 평균값일 수 있다.
음원 세기 획득부(4000)는 동영상 파일의 오디오 데이터부(F2)로부터 직접 채널별 오디오 데이터들의 세기를 측정하여 음원 세기를 획득하거나, 또는 도 12에 도시된 음원 위치 산출 장치(4)의 연산부(300')의 신호 세기 측정 모듈(310')로부터 각 채널별 오디오 데이터들의 세기 정보를 제공받고 이들을 처리하여 음원 세기를 획득할 수 있다. 이하에서는 음원 세기 획득부(4000)가 음원 위치 산출 장치(4)로부터 각 채널별 오디오 데이터들의 세기 정보를 제공받는 것을 예로 들어 설명한다.
음원 위치 변환부(2000)는 획득한 음원 위치 좌표를 재생되는 영상과 동기 시켜 화면상에 표시하기 위한 좌표로 변환하며, 이를 위하여, 재생되는 영상이 촬영된 상황에 관련된 촬영 정보를 획득하는 촬영 정보 획득 모듈(2100), 영상을 표시하는 화면(예를 들어, 모니터 등)의 해상도 정보를 획득하는 화면 해상도 획득 모듈(2200), 촬영 정보로부터 획득되는 카메라 해상도와 영상을 표시하는 화면의 해상도를 토대로 해상도 비율을 측정하고 이를 토대로 음원 위치 좌표를 변환하는 제1변환 모듈(2300), 카메라 장치 정보로부터 획득되는 줌 배율을 토대로 음원 위치 좌표를 변환하는 제2변환 모듈(2400)을 포함한다.
이러한 구조의 음원 위치 변환부(2000)를 통하여 음원 위치를 화면상에 표시하기 위한 표시 좌표가 획득되며, 설명의 편의상 이러한 좌표를 "음원 표시 좌표"라고 명명한다.
음원 위치 출력부(3000)는 음원 표시 좌표를 토대로 화면상에 음원 위치를 표시하며, 이를 위하여, 위치 표시 모듈(3100) 및 이동 경로 표시 모듈(3200)을 포함한다.
위치 표시 모듈(3100)은 음원 위치 변환부(2000)로부터 제공되는 음원 표시 좌표를 토대로 영상 데이터가 재생되어 출력되는 화면상에 음원을 표시한다. 또한 위치 표시 모듈(3100)은 음원 표시 좌표를 토대로 음원에 대한 심도(높이)를 표시한다. 또한 위치 표시 모듈(3100)은 음원 세기 획득부(4000)로부터 제공되는 음원 세기를 토대로 표시되는 음원 위치에 대응하여 음원 세기를 표시한다. 여기서 심도 및 음원 세기를 표시하는 방법에 대해서는 추후에 보다 구체적으로 설명하기로 한다.
한편 이동 경로 표시 모듈(3200)은 획득되는 음원 위치를 토대로 영상 내에 음원이 이동하는 경로를 표시한다. 예를 들어, 이동 경로 표시 모듈(3200)은 현재 표시하는 영상 프레임을 기준으로 설정 개수의 이전 프레임들에 대응하는 음원 위치를 참조하여 음원의 이동 경로를 표시할 수 있다. 예를 들어, 100번째 프레임에 대응하는 영상을 표시할 때, 해당 프레임의 음원 위치를 표시하면서 100번째 프레임을 기준으로 10개의 이전 프레임들에서 대응하는 음원 위치들을 토대로 음원의 이동 경로를 표시한다. 이에 따라 90번째 프레임부터 100번째 프레임들에 대응하는 음원 위치들을 토대로 음원의 이동 경로가 표시될 수 있다. 또한 그 동안 획득된 모든 음원 위치들을 토대로 음원의 이동 경로를 표시할 수 있다. 즉, 음원이 측정되어 표시되는 처음 위치(예: 시작점)에서부터 이후 측정되는 음원의 위치들을 표시하는 방식으로 이동 경로를 표시할 수 있다.
다음에는 이러한 구조로 이루어지는 음원 위치 표시 장치를 토대로 본 발명의 실시 예에 따른 음원 위치 표시 방법에 대하여 설명한다.
도 16은 본 발명의 실시 예에 따른 음원 위치 표시 방법의 흐름도이다. 도 16에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 음원 위치 표시 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다.
여기서는 음원 위치 표시 장치(5)가 음원 위치 산출 장치(4)로부터 음원 위치를 제공받고, 음원으로부터 발생된 소리에 해당하는 오디오 데이터들의 세기를 제공받는 것을 예로 하여 설명한다.
첨부한 도 16에 도시되어 있듯이, 음원 위치 표시 장치(5)는 재생하고자 하는 영상 데이터를 획득하며(S700), 또한 영상 데이터에 대응하는 음원 위치(예를 들어, 2차원 좌표 또는 3차원 좌표 등)를 획득한다(S710). 여기서 음원 위치 표시 장치(5)는 도 1에 도시된 바와 같은 구조로 이루어지는 동영상 파일을 제공받고, 동영상 파일의 영상 데이터부(F1)의 페이로드(P1)로부터 영상 데이터를 획득하며, 음원 위치 표시 장치(5)로부터 해당 오디오 데이터부(F2)의 헤더(H2)에 저장된 음원 위치 관련 정보를 토대로 산출된 음원 위치를 제공받는다.
음원 위치 표시 장치(5)는 획득한 음원 위치 즉, 음원 위치 좌표를 토대로 음원의 위치를 화면상에 표시할 음원 표시 좌표를 획득한다(S720). 여기서 표시하는 화면의 해상도에 따라 음원 위치 좌표를 보정하는 과정을 선택적으로 수행하며, 보정 과정을 수행하지 않거나 보정이 필요하지 않은 경우에는 획득된 음원 위치 좌표가 음원 표시 좌표가 되며, 보정 과정이 수행된 경우에는 음원 위치 좌표가 보정된 음원 표시 좌표가 획득된다. 이러한 음원 표시 좌표를 획득하는 과정에 대해서는 추후에 보다 구체적으로 설명하기로 한다.
또한 음원 위치 표시 장치(5)는 음원 세기를 획득한다(S730). 예를 들어, 음원 위치 표시 장치(5)는 음원 위치 산출 장치(4)로부터 동영상 파일의 오디오 데이터부(F2)의 페이로드(P2)에 저장된 각 채널별 오디오 데이터들의 세기 정보를 제공받고, 채널별 오디오 데이터들의 세기들의 평균을 구하여 음원 세기를 산출한다.
또한 음원 위치 표시 장치(5)는 음원 위치를 토대로 음원의 이동 경로를 획득한다(S740). 여기서는 표시하고자 하는 현재 프레임의 이전 프레임들의 음원 위치 좌표들이 저장되어 있는 것으로 하며, 이러한 음원 위치 좌표들에 대응하는 음원 표시 좌표들도 저장되어 있는 것으로 한다. 물론 이러한 음원 표시 좌표들은 이후에 설명하는 보정 과정을 통하여 보정 처리된 음원 위치 좌표들일 수 있다. 또한 음원 위치 표시 장치(5)는 획득되는 이동 경로를 토대로 음원의 이동 방향을 확인할 수 있다.
다음, 음원 위치 표시 장치(5)는 영상 데이터를 화면상에 표시하면서 이 영상 데이터에 대응하여 획득한 음원 위치를 표시한다(S750~S760). 구체적으로 영상 데이터를 화면상에 표시하면서 획득한 음원 위치에 대응하는 음원 표시 좌표를 토대로 화면상에 재생되는 영상에 음원을 표시한다. 즉, 영상 내에 음원이 어디에 위치되는지를 표시한다.
이 때, 획득되는 음원 위치 좌표가 3차원 좌표(x, y, z)인 경우, 높이에 대응하는 z축의 좌표 값을 토대로 음원의 심도를 표시할 수 있다. 본 발명의 실시 예에서는 등고선을 이용하여 음원의 심도를 표시한다(S770).
도 17은 본 발명의 실시 예에 따라 화면상에 음원 위치를 표시하는 것을 나타낸 예시도이다.
첨부한 도 17에 예시되어 있듯이, 영상 데이터가 재생되는 화면(Scr)에 산출된 음원 위치 좌표에 대응하는 음원 표시 좌표에 음원(S)을 표시한다. 그리고 음원(S)의 높이(z축 값)을 토대로 음원(S) 주변에 등고선(CL)을 표시한다. 여기서 음원(S)의 높이에 따라 등고선을 구성하는 선의 개수를 다르게 표시하거나 또는 등고선을 구성하는 선들 사이의 간격을 다르게 표시하는 방법으로, 음원(S)의 위치가 재생되는 영상에 대응하는 공간에서 실질적으로 어떠한 높이에 위치되어 있는지를 영상을 보는 사용자가 확인할 수 있도록 할 수 있다.
또한 음원 표시 장치(5)는 영상 내에 음원을 표시하면서 해당 음원으로부터 발생되는 소리의 세기를 표시할 수 있다(S780). 도 17에 예시된 바와 같이, 화면(Scr)에 표시되는 음원(S)에 대응하여 음원 세기(A)를 표시할 수 있다. 이 경우 음원 세기를 나타내는 표시(A)의 크기를 음원 세기별로 다르게 하여 현재 음원(S)으로부터 출력되는 소리의 세기가 어느 정도인지를 사용자가 확인할 수 있도록 할 수 있다.
또한 음원 표시 장치(5)는 영상 내에 음원을 표시하면서 음원의 이동 경로를 표시할 수 있다(S790).
도 18은 본 발명의 실시 예에 따라, 화면상에 음원의 이동 경로를 표시하는 것을 나타낸 예시도이다.
첨부한 도 18에 예시되어 있듯이, 화면(Scr)에 표시되는 영상 내에 음원의 이동 경로(MP)를 표시한다. 이 경우 재생하는 동영상 파일로부터 처음에 획득한 음원의 위치를 도 17에 도시된 바와 같이 표시하고, 이와 같이 표시되는 최초의 음원 위치를 기준으로 도 18에 예시된 바와 같이 음원의 이동 경로를 표시할 수 있다. 즉, 최초의 음원 위치는 화면상에 계속하여 표시하면서 이후 획득되는 음원 위치를 토대로 음원의 이동 경로를 획득하고, 획득되는 이동 경로에 해당하는 음원 표시 좌표들을 토대로 도 18에 예시된 바와 같이 이동 경로(MP)를 표시한다. 이에 따라 재생되는 영상을 보는 사용자는 음원이 어느 위치에서 어디로 이동하는지를 용이하게 알 수 있다. 특히 본 발명의 실시 예에 따른 음원 위치 표시 장치(5)가 감시 시스템에 적용되는 경우, 사용자가 감시 공간을 촬영한 영상을 확인하면서 침입자가 어디에서 침입하여 어디로 이동하는지를 알 수 있으므로, 이후 이러한 침입에 보다 효과적으로 대응할 수 있다.
다음에는 이와 같이 이루어지는 음원 표시 과정에서 음원 위치 좌표에 대응하는 음원 표시 좌표를 획득하는 과정에 대하여 보다 구체적으로 설명한다.
도 19는 본 발명의 실시 예에 따른 음원 위치 표시 방법에서, 음원 표시 좌표를 획득하는 과정을 나타낸 흐름도이다.
음원 위치 즉, 음원 위치 좌표를 획득한 다음에, 음원 위치 표시 장치(5)는 획득한 음원 위치 좌표를 영상 데이터가 재생되는 화면에 음원을 표시하기 위한 음원 표시 좌표로 변환한다.
이를 위하여, 첨부한 도 19에서와 같이, 음원 위치 표시 장치(5)는 영상 데이터가 촬영된 상황에 해당하는 촬영 정보를 획득한다(S7210). 구체적으로 영상 데이터부(F1)의 헤더(H1)에 저장되어 있는 카메라 장치 정보(카메라의 픽셀 정보, 카메라의 줌배율 정보, 그리고 카메라의 모션 정보 등)을 획득한다. 여기서는 카메라 장치 정보를 동영상 파일로부터 획득하는 것을 예로 들었지만, 만약에 동일한 촬영 조건(줌배율, 카메라 픽셀 등)에서 영상이 촬영되는 경우 해당 카메라 장치 정보가 미리 설정되어 음원 위치 표시 장치(5)에 저장되어 사용될 수도 있다.
또한 음원 위치 표시 장치(5)는 영상이 표시되는 화면의 해상도 정보를 획득한다(S7220). 이러한 해상도 정보는 미리 설정되어 음원 위치 표시 장치(5)에 저장되어 사용되거나 또는 별도의 입력 장치를 통하여 입력되어 사용될 수 있다.
다음 음원 위치 표시 장치(5)는 카메라 장치 정보로부터 획득되는 카메라 픽셀 정보를 토대로 하는 카메라 해상도와 영상이 표시되는 화면의 해상도의 관계를 나타내는 해상도 비율을 산출한다(S7230). 구체적으로 카메라 해상도와 화면의 해상도를 나누어서 해상도 비율을 산출할 수 있다.
그리고 산출된 해상도 비율을 토대로 음원 위치 좌표를 변환한다. 먼저, 음원위치 표시 장치(5)는 재생되는 영상 데이터 촬영시에 줌배율이 적용되었는지를 판단한다(S7240). 여기서는 위에 기술된 바와 같이 제공되는 카메라 장치 정보로부터 줌배율 정보를 확인할 수 있다.
영상 데이터 촬영시에 줌배율이 적용되지 않은 경우, 음원 위치 표시 장치(5)는 해상도 비율을 토대로 음원 위치 좌표를 음원 표시 좌표로 변환한다. 예를 들어, 카메라 픽셀 정보가 1024 × 768인데 반하여, 화면의 해상도는 1280 × 720일 수 있다. 이러한 경우 카메라 픽셀 정보와 화면의 해상도의 비율을 구하고, 구해진 해상도 비율을 음원 위치 좌표(x, y)에 적용시켜 영상 데이터가 재생되는 화면에 적용할 음원 표시 좌표(x', y')를 획득한다. 예를 들어, 1024 × 768와 1280 × 720를 축별로 각각 나누어서, x축 방향과 y축 방향에 대하여 각각 1.25, 0.94의 비율을 획득할 수 있으며, 이와 같이 획득된 비율을 음원 위치 좌표(x, y)에 각각 적용시켜 음원 표시 좌표를 획득한다.
이 경우, 음원 위치 좌표(x, y)는 영상 촬영시 사용되는 카메라의 촬영 화면 배율을 고려하여 설정되는 기준 좌표를 토대로 산출된 좌표일 수 있다. 즉, 위에 기술된 음원 위치 산출 방법에서 기준 좌표가 카메라의 촬영 화면 배율을 고려하여 설정된 기준 좌표이고, 이러한 기준 좌표를 토대로 위에 기술된 바와 같이 마이크로폰들의 위치 좌표들이 획득되고, 마이크로폰 좌표들을 토대로 음원 위치 좌표가 산출될 수 있다. 여기서 기준 좌표가 카메라의 촬영 화면 배율을 고려하여 설정되었다는 것은, 카메라의 촬영 화면상의 소정 좌표로 매핑되어 있다는 것을 나타낼 수 있다. 이러한 경우에는 음원 위치 좌표가 영상 데이터를 획득한 카메라의 화면 배율을 고려하여 설정된 기준 좌표를 토대로 산출된 좌표이므로, 선택적으로 음원 위치 좌표에 대한 추가적인 변경 없이 해상도 비율을 음원 위치 좌표(x, y)에 적용시켜 음원 표시 좌표(x', y')를 획득할 수 있다.
한편, 기준 좌표가 카메라의 촬영 화면 배율을 고려하여 설정되지 않은 경우에는 음원 위치 관련 정보를 토대로 획득되는 음원 위치 좌표를 카메라의 촬영 화면 배율을 고려한 좌표로 변경하는 작업을 추가로 수행할 수 있다. 보다 구체적으로 말하자면, 음원을 측정하기 위한 마이크로폰들이 설치되어 있는 소정 공간에 대하여 카메라를 이용하여 영상 데이터를 획득하고 마이크로폰들로부터 획득되는 오디오 데이터, 그리고 음원 위치 관련 정보를 토대로 위에 기술된 바와 같이 음원 위치가 산출되는 경우, 산출된 음원 위치는 카메라에 의하여 촬영되는 공간에 대응하는 카메라의 촬영 화면을 벗어나는 곳에 위치될 수 있다.
이러한 경우에는 산출된 음원 위치 좌표를 카메라의 촬영 화면 상의 소정 좌표로 보정하는 과정을 수행할 수 있다. 이 때, 음원을 측정하기 위한 마이크로폰들의 위치를 알고 있고 마이크로폰들의 위치는 카메라가 촬영하는 공간에 대응하는 화면상의 소정 좌표로 매핑할 수 있다. 이와 같이 카메라의 촬영 화면상에 매핑되는 마이크로폰들의 위치 좌표를 기준으로 하면서, 위에 기술된 음원 위치 산출 과정에서 획득되는 마이크로폰들과 음원 사이의 거리들을 토대로 음원 위치 좌표를 카메라 촬영 화면상의 소정 좌표로 보정할 수 있다.
이러한 경우에는 촬영되는 영상 데이터에 따른 화면상에는 보이지 않는 구역에 위치한 음원의 위치를 표시할 수 있으며, 카메라에 의하여 감시되지 않는 구역에 대해서도 음원 발생에 대한 예측 감시가 이루어질 수 있다. 이와 같이 카메라의 촬영 화면 상의 소정 좌표로 보정되는 음원 위치 좌표에 위의 해상도 비율을 적용시켜 음원 위치를 표시할 음원 표시 좌표를 구할 수 있다.
이외에도 산출된 음원 위치가 카메라에 의하여 촬영되는 공간에 대응하는 카메라의 촬영 화면을 설정 거리 이상 벗어나는 곳에 위치되어 있는 경우에 음원 위치를 직접 영상 데이터가 재생되는 화면에 표시하지 않고, 소정 방향의 소정 거리에 음원이 위치되어 있음을 나타내는 데이터를 화면상에 표시할 수도 있다.
상기에서 설명한 바와 같은 장치 및 방법을 이용하여 음원의 위치를 산출하여 화면으로 제공할 수 있으며, 이하 설명하는 또 다른 실시예의 장치 및 방법을 통해서도 동영상에서 음원의 3차원적 공간 내의 위치를 파악할 수도 있다. 즉, 소리 입력 장치 정보와 소리 입력 장치 정보를 통한 카메라 장치 정보 및 검색 색인 정보를 포함한 서브타이틀(Subtitle)을 이용하여 음원의 위치를 산출할 수 있다.
서브타이틀은 ISO/IEC 국제 표준에 의거한 영상 압축 포맷(예를 들어, MPEG 1, 2, 4, 7, 21 등), 음성 압축 포맷(예를 들어, MEPG 1 layer Ⅲ, layer Ⅱ, AAC(Advanced Audio Coding), HE-AAC(High Efficiency AAC) 등), 메타 데이터 및 부가 데이터 등으로 구성된 미디어 컨테이너 포맷(AVI, MOV, DAT 등의 실행 파일)과, 미디어 컨테이너를 사용하지 않고 각기 다른 계층 처리로 재생되는 데이터를 하나의 파일에서 처리할 수 있도록 한다. 또한, 압축되지 않은 음성, 영상, 기타 데이터(예를 들어, 메타 데이터, 부가 데이터 등)를 포함하는 미디어 컨테이너와 각기 다른 계층 처리로 재생되는 데이터를 한 파일에서 처리할 수 있도록 한다.
본 발명의 실시예에서는 음원 위치 파악 정보를 포함하는 서브타이틀을 이용하여 음원의 위치를 파악하는 것을 예로 하여 설명하나, 동영상 파일 내의 서브타이틀과 동영상 파일 이외의 외부 서브타이틀 등도 적용 가능하여 구현할 수 있다. 서브타이틀은 보통 동영상 파일의 자막 및 정보 제공을 위해 사용되며, 타임 싱크(Sync, 시간 동기화) 방식으로 다층 구성이 가능하다.
이를 위해 도 20을 참조로 서브타이틀 생성 장치에 대하여 설명하기로 한다.
도 20은 본 발명의 실시예에 따른 서브타이틀 생성 장치의 구조도이다.
도 20에 도시된 바와 같이, 동영상 파일에서 음원의 3차원적 공간 내의 위치를 파악하기 위해 동영상 파일 생성 장치(1')와 연동하는 서브타이틀 생성 장치(5)는 소리가 발생한 음원의 위치를 측정하기 위한 정보를 포함하는 음원 위치 정보 또는 소리 시간차 지연 정보 중 어느 하나의 정보를 삽입하는 정보 삽입부(510) 및 서브타이틀 생성부(520)를 포함한다.
그리고 서브타이틀 생성 장치(5)는 등록 정보 삽입부(511), 환경 파라미터 삽입부(512), 카메라 장치 정보 삽입부(513), 구간 정보 삽입부(514) 및 검색 색인 삽입부(515)를 포함한다. 본 발명의 실시예에서는 각각의 삽입부가 정보 삽입부(510)에 포함되는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
또한, 본 발명의 실시예에서는 동영상 파일 생성 장치(1')는 상기의 도 2에서 설명한 동영상 파일 생성 장치(1)의 기능과 동일하다고 가정하여 설명하며 동영상 파일 생성 장치(1')와 서브타이틀 생성 장치(5)가 연동하는 것을 예로 하여 설명하나, 서브타이틀을 생성하는데 필요한 정보를 서브타이틀 생성 장치(5)가 수집할 수도 있다.
서브타이틀 생성부(520)는 동영상 녹화가 시작됨과 동시에 서브타이틀을 생성한다. 그리고 정보 삽입부(510)에서 각각 정보가 삽입되어 생성된 레이어를 이용하여 서브타이틀부를 생성한다. 생성된 서브타이틀부는 동영상 파일 생성 장치(1')의 제3 생성부(70')로 전달되어 동영상 파일을 생성할 때 영상 데이터부 및 오디오 데이터부와 함께 추가되도록 한다. 이때 생성되는 서브타이틀은 복수의 레이어로 구성되며 각각의 레이어는 등록 정보 레이어, 소리 속도 결정 정보 레이어, 카메라 장치 정보 레이어, 구간 정보 레이어 및 검색 색인 레이어를 포함하는 것을 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
등록 정보 삽입부(511)는 서브타이틀 생성부(520)에서 생성한 복수의 레이어 중 어느 하나의 레이어에 등록 정보를 삽입하여 등록 정보 레이어를 생성한다. 여기서 등록 정보라 함은, 음원 위치 정보 획득부(10')에서 사용하는 음원 위치 관련 정보의 일부와 촬영 정보 획득부(20')에서 사용하는 카메라 장치 정보의 일부로, 예를 들어 카메라 픽셀 정보, 마이크로폰 개수, 마이크로폰들 사이의 거리 및 마이크로폰들의 각도 정보를 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
환경 파라미터 삽입부(512)는 음원 위치 정보 획득부(10')에서 획득한 음원 위치 관련 정보 중 환경 파라미터만을 전달받아 서브타이틀 생성부(520)에서 생성한 복수의 레이어 중 어느 하나의 레이어에 삽입하여 소리속도 결정정보 레이어를 생성한다. 여기서 환경 파라미터로는 온도, 습도, 기압, 소리 속도 등을 포함하는 것을 예로 하나, 반드시 이와 같이 한정되는 것은 아니다.
카메라 장치 정보 삽입부(513)는 촬영 정보 획득부(20')에서 획득한 카메라 장치 정보 중 일부인 카메라 줌배율 정보와 카메라 모션정보를 전달받아 서브타이틀 생성부(520)에서 생성한 복수의 레이어 중 어느 하나의 레이어에 삽입하여 카메라 장치정보 레이어를 생성한다.
구간 정보 삽입부(514)는 등록 정보 삽입부(511), 환경 파라미터 삽입부(512) 및 카메라 장치 정보 삽입부(513)에서 각각 삽입되는 등록 정보, 환경 파라미터 및 카메라 장치 정보를 서브타이틀 생성부(520)에서 생성한 복수의 레이어 중 어느 하나의 레이어에 삽입한 후 구간 정보 레이어를 생성한다. 또한, 각각의 정보들 중 어느 하나의 정보가 갱신되거나 새로 발생할 때, 갱신되거나 새로 발생한 정보와 구간 정보 섹터를 포함하는 구간 정보 레이어를 생성한다.
따라서, 구간 정보 삽입부(514)에서 생성한 구간 정보 레이어에는 소리 시간 지연차 정보 및 음원 위치 관련 정보가 포함될 수 있다. 즉, 음원이 입력된 시점에서 음원을 수집한 복수의 마이크로폰들에서 각각 발생한 소리 시간 지연차 정보와, 각각 음원을 수집한 마이크로폰의 정보를 생성한다. 이때, 구간 정보는 구간 정보 삽입부(514)에서 계산하여 이용할 수도 있고, 상기 도 11에서 설명한 음원 위치 산출 장치를 통해 산출된 소리 시간 지연차 및 음원 위치 관련 정보를 이용할 수도 있다.
검색 색인 삽입부(515)는 미리 설정된 기준에 따른 음원 값이 입력되면 음원에 해당하는 위치 연산을 수행하여, 음원이 발생한 소리 정보 위치 좌표와 출력 모니터상의 좌표를 생성한다. 그리고 서브타이틀 생성부(520)에서 생성한 복수의 레이어 중 어느 하나의 레이어에 생성한 소리 정보 위치 좌표와 출력 모니터상의 좌표를 삽입하여 검색 색인 레이어를 생성한다. 이때, 검색 색인 삽입부(515)가 소리 정보 위치 좌표 및 출력 모니터상의 좌표를 계산하여 생성할 수도 있고, 상기 도 15에서 설명한 음원 위치 표시 장치를 통해서 계산된 좌표 값을 전달받아 사용할 수도 있다.
다음은 서브타이틀 생성 장치(5)가 서브타이틀이 포함된 동영상을 생성하기 위해 필요한 정보를 획득하는 경로에 대하여 도 21을 참조로 설명하기로 한다.
도 21은 본 발명의 실시 예에 따른 서브타이틀 생성 장치가 관련 정보를 획득하는 경로를 나타낸 예시도이다.
도 21에 도시된 바와 같이, 서브타이틀 생성 장치(520)는 음원 위치 정보의 일부(예를 들어, 마이크로폰 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도 등)를 등록 정보로 하여 미리 저장하여 사용하고, 일부 음원 위치 정보(예를 들어, 소리 속도 결정 정보)는 입력 장치를 통하여 제공받을 수 있다.
또한 서브타이틀 생성 장치(520)는 카메라 장치 정보의 일부(예를 들어, 카메라 픽셀 정보)를 등록 정보로 하여 미리 저장하여 사용하고, 일부 카메라 장치 정보(예를 들어, 카메라 줌 배율 정보, 카메라 모션 정보)는 촬영 정보 획득부(20')가 입력 장치를 통하여 제공받은 정보를 전달받아 사용할 수 있다.
이렇게 수집된 정보들은 각각 서브타이틀 생성 장치(520) 내의 등록 정보 삽입부(511), 환경 파라미터 삽입부(512), 카메라 장치 정보 삽입부(513)로 전달되어 레이어들 내에 입력되어 서브타이틀부로 생성된다. 마찬가지로 음원 위치 산출 장치 및 음원 위치 표시 장치에서 각각 생성된 음원의 위치들과 표시 정보들은 구간정보삽입부(514) 및 검색 색인 삽입부(515)로 전달되어 레이어들 내에 입력된다.
다음은 상기 도 20에 도시한 서브타이틀 생성 장치(5)를 통해 서브타이틀을 생성하는 방법에 대하여 도 22를 참조로 설명하기로 한다.
도 22는 본 발명의 실시예에 따른 서브타이틀 생성 방법을 나타낸 흐름도이다.
도 22에 도시된 바와 같이, 서브타이틀 생성 장치(5)와 연동되어 있는 동영상 파일 생성 장치(1')의 영상 데이터 획득부(30') 및 오디오 데이터 획득부(40')를 통해 영상 데이터와 오디오 데이터를 수집하여 동영상의 녹화를 시작하면(S800), 서브타이틀부 생성부(520)는 서브타이틀을 생성한다(S810). 이때 서브타이틀 내에는 어떠한 정보도 포함되어 있지 않은 상태이다.
S810 단계를 통해 서브타이틀이 생성되면, 서브타이틀부 생성부(520)는 복수의 서브타이틀 레이어를 생성한다(S820). 서브타이틀은 시간 동기화 방식으로 복수의 레이어 구성이 가능하다. 본 발명의 실시예에서는 레이어로 등록 정보 레이어, 소리 속도 결정 정보 레이어, 카메라 장치 정보 레이어, 구간 정보 레이어 및 검색 색인 레이어를 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다.
서브타이틀의 레이어가 각각 생성되면, 등록 정보 삽입부(511)는 먼저 복수의 레이어 중 어느 하나의 레이어에 등록 정보를 삽입하여, 서브타이틀부의 등록 정보 레이어를 생성한다(S830). 여기서 등록 정보는 미리 저장되어 있는 마이크로폰 개수 정보, 마이크로폰간 거리, 마이크로폰간 각도 및 카메라 픽셀 정보를 의미하며, 반드시 이와 같이 한정되는 것은 아니다.
S830 단계에 따라 등록 정보 레이어가 생성되면, 환경 파라미터 삽입부(512)는 음원 위치 정보 획득부(10')에서 획득한 음원 위치 관련 정보 중 환경 파라미터를 복수의 레이어 중 어느 하나의 레이어에 삽입하여 소리 속도 결정 정보 레이어를 생성한다(S840). 그리고 카메라 장치 정보 삽입부(513)는 촬영 정보 획득부(20')에서 획득한 카메라 장치 정보 중 일부를 복수의 레이어 중 어느 하나의 레이어에 삽입하여 카메라 장치 정보 레이어를 생성한다(S850). 이때, 카메라 장치 정보는 카메라의 줌 배율 정보 및 영상 입력 장치 모션 정보를 포함하고, 환경 파라미터는 온도, 습도, 기압, 소리 속도 등의 정보를 포함하나, 반드시 이와 같이 한정되는 것은 아니다.
소리 속도 결정 정보 레이어 및 카메라 장치 정보 레이어가 생성되면, 구간 정보 삽입부(514) 및 검색 색인 삽입부(515)는 각각 복수의 레이어 중 어느 하나의 레이어에 구간 정보와 검색 색인을 삽입하여 검색 색인 레이어와 구간 정보 레이어를 생성한다(S860, S870).
여기서 검색 색인 레이어에 삽입되는 검색 색인 정보는 음원에 해당하는 위치 연산을 통해 소리 정보 위치 좌표와 출력 모니터상의 좌표 정보를 의미한다. 그리고 구간 정보라 함은 S830 내지 S850에서 각각 저장된 등록 정보, 환경 파라미터 및 카메라 장치 정보뿐만 아니라 소리 시간 지연차 정보와 소리 입력 장치 정보를 의미한다. 이때, 구간 정보 삽입부(514) 및 검색 색인 삽입부(515)는 소리 정보 위치 좌표와 출력 모니터상의 좌표 정보 및 소리 시간 지연 차 정보와 소리 입력 장치 정보를 각각 계산하여 구할 수도 있다. 또는, 음원 위치 표시 장치 및 음원 위치 산출 장치에서 각각 구해진 정보를 전달받아 이용할 수도 있다.
다음은 서브타이틀부 생성부(520)에서 서브타이틀부를 생성하는 과정에 대하여 도 23을 참조로 설명하기로 한다.
도 23은 본 발명의 실시예에 따른 서브타이틀 생성 과정을 나타낸 예시도이다.
도 23에 도시된 바와 같이, 마이크로폰들(M1, M2, M3, M4)로부터 발생된 음원 신호에 대응하는 오디오 데이터들이 다수의 채널별로 분류된다. 그리고 미리 저장되어 있는 음원 위치 관련 정보 중 마이크로폰들의 개수, 마이크로폰들의 거리(D1, D2, D3, D4), 마이크로폰들의 각도(∠M1, ∠M2, ∠M3, ∠M4) 및 영상 촬영 정보 중 하나인 카메라 픽셀 정보는 등록 정보 레이어에 기록되는데, 이들 정보들은 서브타이틀의 레이어가 처음 생성될 때 함께 기록된다.
또한 음원 위치 정보 획득부(10')를 통해 수집된 온도, 습도, 압력 중 적어도 하나의 환경 파라미터에 대응하는 값 그리고 환경 파라미터를 토대로 결정된 소리 속도 중 적어도 하나를 포함하는 소리 속도 결정 정보가 소리 속도 결정 정보 레이어에 기록된다. 이러한 환경 파라미터는 온도, 습도, 기압, 소리 속도 이외에, 별도로 환경 상태를 나타내는 기타 정보가 더 추가될 수도 있다. 이때, 기존에 미리 생성되어 있는 소리 속도 결정 정보는 새로 소리 속도 결정 정보가 생성될 때까지 사용되며, 이를 토대로 시간 동기 생성 파일을 최소화할 수 있다.
또한 카메라와 같은 촬영 장치에 의하여 영상 데이터가 획득되면서, 이러한 영상 데이터 획득 시 사용된 카메라 장치 정보가 서브타이틀 생성 장치(5)로 제공되며, 카메라 장치 정보 삽입부(513)는 카메라 장치 정보를 서브타이틀의 카메라 장치 정보 레이어에 기록한다.
이와 같이 획득되는 카메라 장치 정보 및 소리 속도 결정 정보를 각각 포함하는 소리 속도 결정 정보 레이어와 카메라 장치 정보 레이어는, 미리 저장되어 있는 등록 정보 레이어와 함께 서브타이틀부를 구성하는 복수의 레이어 중 하나가 된다. 생성된 서브타이틀부는 동영상 파일 생성 장치(1')에서 생성한 동영상 파일 내에 포함된다.
상기에서 설명한 바와 같이 생성된 서브타이틀에 상기 도 22의 S860 단계에서 수행하는 구간 정보를 생성하는 과정에 대하여 도 24를 참조로 설명하기로 한다.
도 24는 본 발명의 실시예에 따른 구간 정보를 나타낸 예시도이다.
도 24에 도시된 바와 같이, 구간 정보 삽입부(514)에서 서브타이틀부의 구간 정보 레이어에 삽입되는 구간 정보는 미리 저장되어 있는 등록 정보, 환경 파라미터 및 카메라 장치 정보를 포함한다. 그리고 각각의 정보들을 통해 소리 시간 지연차 정보와 소리 입력 장치 정보를 수집할 수 있다.
이들 정보는 처음 서브타이틀의 등록 정보 레이어, 소리 속도 결정 정보 레이어 및 카메라 장치 정보 레이어가 생성될 때, 구간 정보 레이어에도 함께 저장된다. 그리고 각각의 정보들 중 어느 하나의 정보가 갱신될 때, 갱신된 정보를 포함하여 구간 정보도 함께 갱신되어 생성된다. 예를 들어, 소리 속도 결정 정보 레이어에서 B -> B1으로 정보가 갱신될 경우, 구간 정보도 D1 -> D2로 갱신되며, 갱신된 D2에는 B1 포함되어 있다.
이와 같은 정보들이 각각 생성되기 위해서는, 미리 설정된 기준에 의한 음원값이 입력되면 음원에 해당하는 위치 연산(예를 들어, TDOA(Time Difference of Arrival), RSSI(Received Signal Strength Indication), 삼각 측량 등)을 수행한다. 위치 연산을 통해 소리 시간 지연차 정보와 소리 입력 장치 정보가 수집되면 이들 정보는 구간 정보 레이어에 삽입된다.
이때, 음원의 위치를 연산하는 방법에 대해 설명하기 위해, 도 9에 도시한 실시예와 같이, 4개의 마이크로폰들 M1, M2, M3, M4가 사용되었고, 마이크로폰 M1과 마이크로폰 M2사이의 거리를 L12, 마이크로폰 M2와 마이크로폰 M3사이의 거리를 L23, 마이크로폰 M3와 마이크로폰 M4사이의 거리를 L34, 마이크로폰 M4와 마이크로폰 M1사이의 거리를 L41이라고 하자.
또한, 마이크로폰 M1이 다른 마이크로폰들에 대하여 가지는 각도를 ∠M1, 마이크로폰 M2가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M2, 마이크로폰 M3가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M3, 마이크로폰 M4가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M4라고 하자. 이와 같이 4개의 마이크로폰이 사용된 경우, 도 10에서와 같이, 각각의 마이크로폰에 대응하는 오디오 데이터들이 채널별로 처리되어, 4개의 채널별 오디오 데이터들이 제공된다.
4개의 마이크로폰이 사용된 경우, 미리 설정된 기준 좌표나 음원 위치 관련 정보에 포함되는 기준 좌표는 4개의 마이크로폰들 중에서 예를 들어, 마이크로폰 M1의 위치 좌표(X1, Y1)일 수 있다. 이러한 기준 좌표와 마이크로폰들 사이의 거리(L12, L23, L34, L41)를 토대로 4개의 마이크로폰들 모두(M1, M2, M3, M4)에 대한 위치 좌표들((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4))을 획득할 수 있다. 물론 이와는 달리 미리 설정된 기준 좌표나 음원 위치 관련 정보에 포함되는 기준 좌표가 사용된 모든 마이크로폰들에 대한 위치 좌표들일 수도 있다.
한편 4개의 채널별로 오디오 데이터들을 추출하고, 채널별로 추출되는 오디오 데이터들을 토대로 오디오 데이터들간의 시간 차이를 측정한다. 즉, 도 10에서와 같이, 4개의 채널별 오디오 데이터가 제공되는 경우, 마이크로폰 M1에 대응하는 1채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M2에 대응하는 2채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차(T12), 마이크로폰 M2에 대응하는 2채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M3에 대응하는 3채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차, 마이크로폰 M3에 대응하는 3채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M4에 대응하는 4채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차를 각각 측정한다.
이 때, 음원 위치 정보에 포함된 마이크로폰과 채널의 매칭 정보를 이용하여 소정 채널이 어느 마이크로폰으로부터 획득된 오디오 데이터인지를 보다 용이하게 확인할 수 있다. 이 경우 예를 들어, 마이크로폰과 채널의 매칭 정보는 "M1->1채널, M2->2채널, M3->3채널, M4->4채널"과 같은 형태일 수 있다. 한편, 음원 위치 정보가 매칭 정보를 포함하지 않는 경우에는 채널 순서에 마이크로폰들의 순서가 설정 방식에 따라 대응하는 것(예를 들어, 첫 번째 채널은 첫 번째 마이크로폰에 대응함)으로 미리 설정하여 채널별 오디오 데이터가 각각 어느 마이크로폰으로부터 획득된 것인지를 알 수도 있다.
측정된 소리 시간 지연차와 마이크로폰들의 좌표를 이용하여 각각의 마이크로폰들에 대하여 음원까지의 거리인 복수의 Ri를 구하고, 복수의 Ri를 각각 반지름으로 하는 다수의 쌍곡선을 형성하고, 이러한 쌍곡선들이 교차하는 지점을 음원의 위치(x, y)로 산출한다. 한편 위의 실시 예에서는 2차원 좌표(X, Y)를 이용하여 음원의 위치를 산출하는 것을 예로 들었으나, 3차원 좌표 즉, (X, Y, Z)를 이용하는 경우에도 위에 기술된 바와 같은 동일한 방법이 적용될 수 있다.
이와 같은 방법을 이용하여 위치 연산을 통해 소리 입력 장치 정보를 구하여, 상기에서 구한 소리 시간 지연 차와 함께 구간 정보 레이어에 입력한다.
다음은 실제로 음원의 위치를 산출하는 데 사용되는 서브타이틀부의 검색 색인 레이어에 대하여 도 25를 참조로 설명하기로 한다.
도 25는 본 발명의 실시예에 따른 서브타이틀부의 검색 색인 레이어의 예시도이다.
위치 연산을 통해 음원에 대한 소리 정보 위치 좌표 정보와 출력 모니터상의 화면 출력 좌표 정보가 추출되면, 이들 정보는 검색 색인 레이어에 추가된다. 따라서, 영상 파일을 저장할 때 검색 색인 부분만 저장하면 영상 파일의 용량을 줄일 수 있고, 검색 색인을 통해 검색하고자 하는 특정 음원을 빠르게 검색할 수 있다. 또한, 소리 정보 위치 좌표와 화면 출력 좌표 정보를 통해 구간 삭제, 검색, 색인이 가능하며, 음원의 위치를 동영상에 오버레이할 수 있다.
도 25에 도시된 바와 같이, 서브타이틀부의 검색 색인 레이어에는 소리 정보 위치 좌표(sX, sY, sZ) 정보와 출력 모니터상의 좌표(oX, oY, oZ) 정보가 포함되어 있다. 따라서, 검색 색인 레이어의 검색 색인 F1과 검색 색인 F2 사이의 구간에 대한 파일이 삭제되더라도, 소리 정보 위치 좌표와 출력 모니터상의 좌표 정보는 검색 색인에 포함되어 있기 때문에 음원의 위치를 산출할 수 있다. 또한, 파일의 삭제에 따라 동영상 파일의 용량을 크게 줄일 수 있으며, 검색에 불필요한 파일이 삭제되었기 때문에 검색을 빠르게 수행할 수 있다.
이상에서 설명한 본 발명의 실시 예는 장치(물건) 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예에 따른 음원 위치 산출 방법의 구성에 대응하는 기능을 실행시킬 수 있는 프로그램 또는 그 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (15)

  1. 동영상 파일에 삽입되는 서브타이틀을 생성하는 방법에 있어서,
    상기 서브 타이틀은 하나 이상의 레이어로 구성되며,
    소리가 발생한 음원의 위치를 측정하기 위한 정보가 기록된 음원 위치 관련 정보를 포함하는 레이어를 생성하는 단계;
    상기 동영상 파일로부터 추출된 복수의 채널별 오디오 데이터들로부터 측정한 오디오 데이터들간의 시간차인 소리 시간 지연차 정보를 포함하는 레이어를 생성하는 단계;
    상기 음원 위치 관련 정보 또는 소리 시간 지연차 정보 중 적어도 하나의 정보를 포함하는 레이어를 이용하여 상기 서브타이틀을 생성하는 단계;
    미리 저장되어 있는 등록 정보를 토대로 등록 정보 레이어를 생성하는 단계;
    환경 파라미터를 이용하여 소리 속도 결정 레이어를 생성하는 단계;
    카메라 장치 정보를 이용하여 카메라 장치 정보 레이어를 생성하는 단계;
    검색 색인 정보를 생성하여 검색 색인 레이어를 생성하는 단계
    상기 등록 정보 레이어, 상기 소리 속도 결정 레이어 또는 상기 카메라 장치 정보 레이어에 각각 저장되어 있는 정보 중 어느 하나의 정보가 갱신되면, 상기 갱신된 정보를 포함하는 구간 정보 레이어를 생성하는 단계
    를 포함하는 서브타이틀 생성 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 서브타이틀은,
    상기 등록 정보 레이어, 상기 소리 속도 결정 레이어, 상기 카메라 장치 정보 레이어 또는 상기 구간 정보 레이어 중 적어도 어느 하나를 포함하는 서브타이틀 생성 방법.
  4. 제1항에 있어서,
    상기 등록 정보는,
    카메라 픽셀 정보, 마이크로폰들의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도 정보 중 하나 이상의 정보를 포함하는 서브타이틀 생성 방법.
  5. 제1항에 있어서,
    상기 환경 파라미터는,
    온도, 습도, 기압 및 소리 속도 중 하나 이상의 정보를 포함하며, 상기 카메라 장치 정보는 카메라 줌 배율 정보 또는 카메라 모션 정보를 포함하는 서브타이틀 생성 방법.
  6. 제1항에 있어서,
    상기 검색 색인 정보는,
    음원에 대한 소리 정보 위치 좌표 정보 및 출력 모니터 좌표 정보를 포함하는 서브 타이틀 생성 방법.
  7. 동영상 파일에 삽입되는 서브타이틀을 생성하는 장치에 있어서,
    상기 서브타이틀은 하나 이상의 레이어로 구성되며,
    소리가 발생한 음원의 위치를 측정하기 위한 정보를 포함하는 음원 위치 정보 또는 상기 동영상 파일로부터 추출된 복수의 채널별 오디오 데이터들로부터 측정한 오디오 데이터들간의 시간차인 소리 시간 지연차 정보 중 어느 하나의 정보를 상기 레이어에 삽입하는 정보 삽입부;
    상기 정보 삽입부에서 상기 음원 위치 정보 또는 소리 시간 지연차 정보가 삽입된 레이어를 이용하여 서브타이틀을 생성하는 서브타이틀 생성부; 및
    등록 정보 레이어를 생성하는 등록 정보 삽입부, 소리 속도 결정 정보 레이어를 생성하는 환경 파라미터 삽입부, 카메라 장치 정보 레이어를 생성하는 카메라 장치 정보 삽입부, 구간 정보 레이어를 생성하는 구간 정보 삽입부 및 검색 색인 레이어를 생성하는 검색 색인 삽입부 중 적어도 하나 이상의 삽입부
    를 포함하는 서브타이틀 생성 장치.
  8. 제7항에 있어서,
    상기 등록 정보 삽입부는 미리 저장되어 있는 등록 정보를 토대로 상기 등록 정보 레이어를 생성하고,
    상기 환경 파라미터 삽입부는 외부로부터 전송되는 음원 위치 관련 정보 중 환경 파라미터를 토대로 상기 소리 속도 결정 정보 레이어를 생성하고,
    상기 카메라 장치 정보 삽입부는 외부로부터 전송되는 카메라 장치 정보에 포함되어 있는 카메라 줌배율 정보 및 카메라 모션 정보를 토대로 상기 카메라 장치 정보 레이어를 생성하고,
    상기 구간 정보 삽입부는 상기 등록 정보 레이어, 상기 소리 속도 결정 정보 레이어 또는 상기 카메라 장치 정보 레이어에 각각 저장되는 정보들 중 어느 하나의 정보의 갱신에 따라 구간 정보 섹터를 포함하는 상기 구간 정보 레이어를 생성하고,
    상기 검색 색인 삽입부는 상기 음원이 발생한 소리 정보 위치 좌표와 출력 모니터상의 좌표를 토대로 상기 검색 색인 레이어를 생성하는 서브타이틀 생성 장치.
  9. 제8항에 있어서,
    상기 구간 정보 삽입부에서 생성된 상기 소리 시간 지연차 정보 및 음원 위치 정보는 상기 서브타이틀 생성 장치와 연동되는 음원 위치 산출 장치로부터 상기 소리 시간 지연차 정보 및 음원 위치 정보를 전달받아 복수의 레이어 중 어느 하나의 레이어에 삽입되고,
    상기 검색 색인 삽입부에서 생성된 소리 정보 위치 좌표 및 출력 모니터상의 좌표는 상기 서브타이틀 생성 장치와 연동되는 음원 위치 표시 장치로부터 소리 정보 위치 좌표 및 출력 모니터상의 좌표를 전달받아 복수의 레이어 중 어느 하나의 레이어에 삽입되는 서브타이틀 생성 장치.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020100045613A 2010-05-14 2010-05-14 음원 위치 파악 정보를 포함한 서브타이틀 생성 장치 및 방법 KR101168742B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100045613A KR101168742B1 (ko) 2010-05-14 2010-05-14 음원 위치 파악 정보를 포함한 서브타이틀 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100045613A KR101168742B1 (ko) 2010-05-14 2010-05-14 음원 위치 파악 정보를 포함한 서브타이틀 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110125955A KR20110125955A (ko) 2011-11-22
KR101168742B1 true KR101168742B1 (ko) 2012-07-26

Family

ID=45395250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100045613A KR101168742B1 (ko) 2010-05-14 2010-05-14 음원 위치 파악 정보를 포함한 서브타이틀 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101168742B1 (ko)

Also Published As

Publication number Publication date
KR20110125955A (ko) 2011-11-22

Similar Documents

Publication Publication Date Title
KR102650850B1 (ko) 영상 음향 처리 장치 및 방법, 및 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체
US9940969B2 (en) Audio/video methods and systems
EP2816564B1 (en) Method and apparatus for smart video rendering
JP6216169B2 (ja) 情報処理装置、情報処理方法
KR101155611B1 (ko) 음원 위치 산출 장치 및 그 방법
US20140337742A1 (en) Method, an apparatus and a computer program for determination of an audio track
JP5618043B2 (ja) 映像音響処理システム、映像音響処理方法及びプログラム
KR101155610B1 (ko) 음원 위치 표시 장치 및 그 방법
EP2704421A1 (en) System for guiding users in crowdsourced video services
WO2011108377A1 (ja) 連携動作機器、連携動作方法、連携動作制御プログラム及び機器連携システム
KR101168742B1 (ko) 음원 위치 파악 정보를 포함한 서브타이틀 생성 장치 및 방법
JP7064144B2 (ja) 情報統合方法、情報統合装置、及び情報統合プログラム
KR101212317B1 (ko) 비컨을 구비한 마커를 포함하는 음원 위치 측정 장치 및 이를 이용한 음원 위치 오차 개선 방법
KR101203706B1 (ko) 음원 위치 관련 정보를 포함하는 동영상 파일 생성 장치 및 그 방법 그리고 기록 매체
JPH10191498A (ja) 音信号処理装置
TWI636453B (zh) 多媒體資料處理裝置及方法
KR101674187B1 (ko) 광대역 보간법을 위한 입체음향 획득 장치 및 그 방법
JP2018157385A (ja) データ同期方法
GB2536203A (en) An apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee