KR101155610B1 - 음원 위치 표시 장치 및 그 방법 - Google Patents

음원 위치 표시 장치 및 그 방법 Download PDF

Info

Publication number
KR101155610B1
KR101155610B1 KR1020100040844A KR20100040844A KR101155610B1 KR 101155610 B1 KR101155610 B1 KR 101155610B1 KR 1020100040844 A KR1020100040844 A KR 1020100040844A KR 20100040844 A KR20100040844 A KR 20100040844A KR 101155610 B1 KR101155610 B1 KR 101155610B1
Authority
KR
South Korea
Prior art keywords
sound source
source position
sound
coordinates
information
Prior art date
Application number
KR1020100040844A
Other languages
English (en)
Other versions
KR20110121303A (ko
Inventor
박민수
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020100040844A priority Critical patent/KR101155610B1/ko
Publication of KR20110121303A publication Critical patent/KR20110121303A/ko
Application granted granted Critical
Publication of KR101155610B1 publication Critical patent/KR101155610B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/80—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using ultrasonic, sonic or infrasonic waves
    • G01S3/801—Details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Studio Devices (AREA)

Abstract

음원 위치 표시 장치는 화면에 재생되는 영상 데이터에 대응하는 음원의 위치 좌표를 획득하고, 음원 위치 좌표를 상기 영상 데이터가 재생되는 화면상의 좌표에 대응하는 음원 표시 좌표로 변환한다. 그리고 음원 표시 좌표를 토대로 상기 영상 데이터가 재생되는 화면에 음원 위치를 표시한다.

Description

음원 위치 표시 장치 및 그 방법{apparatus for displaying sound source location and method thereof}
본 발명은 음원 위치를 표시하는 장치 및 그 방법에 관한 것이다.
일반적으로 공간 내에서 소리가 발생한 음원의 위치를 측정하는 방법으로는, 다수의 마이크로폰을 이용하는 삼각 측량법 및 TDOA(time difference of arrival) 방법이 있다. TDOA 방법은 이미 위치를 알고 있는 노드들을 이용하여 각 노드들이 소정 신호를 수신한 시간차를 이용하여 대상물의 위치를 측정한다.
감시 시스템과 같은 경우에는 이와 같이 다양한 방법을 통하여 측정되는 음원 위치를 사용자가 보다 효과적으로 알 수 있도록 하는 것이 중요하다. 그러나 감시 시스템의 경우에는 감시 대상이 되는 특정 장소를 촬영한 영상을 출력하는 것이 일반적이며, 단지 음원 위치를 오디오 형태로 출력하는 방법만이 적용되고 있다.
본 발명이 해결하고자 하는 과제는 소리가 발생된 음원에 대한 위치를 효과적으로 표시하기 위한 것이다.
또한 본 발명이 해결하고자 하는 과제는 음원 위치 관련 정보를 토대로 산출되는 음원 위치를 영상 내에서 표시하는 것이다.
본 발명의 과제를 위한 본 발명의 특징에 따른 음원 위치 표시 방법은, 재생되는 영상 데이터에 대응하는 음원 위치 좌표를 획득하는 단계; 상기 음원 위치 좌표를 상기 영상 데이터가 재생되는 화면상의 좌표에 대응하는 음원 표시 좌표로 변환하는 단계; 및 상기 음원 표시 좌표를 토대로 상기 영상 데이터가 재생되는 화면에 음원 위치를 표시하는 단계를 포함한다.
여기서, 상기 음원 표시 좌표로 변환하는 단계는 상기 영상 데이터를 촬영한 카메라의 픽셀 정보에 따른 해상도를 획득하는 단계; 상기 화면의 해상도 정보를 획득하는 단계; 상기 카메라의 해상도와 상기 화면의 해상도의 비율 관계를 나타내는 해상도 비율을 산출하는 단계; 및 상기 음원 위치 좌표에 상기 해상도 비율을 적용시켜 상기 음원 표시 좌표를 획득하는 단계를 포함한다.
본 발명의 다른 특징에 따른 음원 위치 표시 장치는, 재생되는 영상 데이터에 대응하는 음원 위치 좌표를 제공받는 음원 위치 획득부; 획득된 음원 위치를 표시하기 위한 음원 표시 좌표로 변환하는 음원 위치 변환부; 및 상기 음원 표시 좌표를 토대로 영상 데이터가 재생되는 화면상에 음원 위치를 표시하는 음원 위치 출력부를 포함한다. 여기서 상기 음원 위치 변환부는 재생되는 영상 데이터가 촬영된 상황에 관련된 촬영 정보를 획득하는 촬영 정보 획득 모듈; 상기 영상 데이터가 재생되는 화면의 해상도 정보를 획득하는 화면 해상도 획득 모듈; 및 상기 촬영 정보로부터 획득되는 카메라 해상도와 영상을 표시하는 화면의 해상도를 토대로 해상도 비율을 측정하고 이를 토대로 음원 위치 좌표를 변환하는 제1변환 모듈을 포함한다.
본 발명의 실시 예에 따르면, 유선 또는 무선 네트워크를 통하여 전송되는 파일에 포함된 음원 위치 관련 정보를 토대로 산출되는 음원 위치를 효과적으로 표시할 수 있다. 특히 영상 프레임별로 소리가 발생되는 음원의 위치를 효과적으로 파악하여 표시할 수 있다.
또한 재생되는 영상에 음원이 표시되면서 이외에도 음원으로부터 발생된 소리에 해당하는 세기가 표시되거나 음원의 이동 경로가 표시됨으로써, 재생되는 영상을 통하여 음원의 방향성, 세기 등을 용이하게 확인할 수 있다. 특히 본 발명의 실시 예가 감시 시스템에 적용되는 경우, 사용자가 감시 공간을 촬영한 영상을 확인하면서 칩입자가 어디에서 침입하여 어디로 이동하는지를 알 수 있으므로, 이후 이러한 침입에 보다 효과적으로 대응할 수 있다.
도1은 본 발명의 실시 예에 따른 동영상 파일의 구조도이다.
도2는 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조도이다.
도3은 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 음원 위치 관련 정보 및 카메라 촬영 정보를 획득하는 경로를 나타낸 예시도이다.
도4는 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 음원 위치 관련 정보 및 카메라 촬영 정보를 획득하는 다른 경로를 나타낸 예시도이다.
도5는 본 발명의 실시 예에 따른 동영상 파일 생성 방법의 흐름도이다.
도6은 본 발명의 실시 예에 따른 음원 위치 관련 정보와 카메라 촬영 정보를 데이터부의 헤더에 매핑하여 동영상 파일을 생성하는 과정을 나타낸 도이다.
도7은 본 발명의 실시 예에 따른 음원 위치 산출 장치의 구조도이다.
도8은 도7에 도시된 연산부의 구조를 나타낸 예시도이다.
도9는 본 발명의 실시 예에 따른 음원 위치 산출 방법의 흐름도이다.
도10은 본 발명의 실시 예에서, 마이크로폰과 음원 사이의 거리를 산출하는 경우를 나타낸 예시도이다.
도11은 본 발명의 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다.
도12는 본 발명의 다른 실시 예에 따른 음원 위치 산출 장치의 연산부의 구조를 나타낸 예시도이다.
도13은 본 발명의 다른 실시 예에 따른 음원 위치 산출 방법의 흐름도이다.
도14는 본 발명의 다른 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다.
도15는 본 발명의 실시 예에 따른 음원 위치 표시 장치의 구조도이다.
도16은 본 발명의 실시 예에 따른 음원 위치 표시 방법의 흐름도이다.
도17은 본 발명의 실시 예에 따라 화면상에 음원 위치를 표시하는 것을 나타낸 예시도이다.
도18은 본 발명의 실시 예에 따라, 화면상에 음원의 이동 경로를 표시하는 것을 나타낸 예시도이다.
도19는 본 발명의 실시 예에 따른 음원 위치 표시 방법에서, 음원 표시 좌표를 획득하는 과정을 나타낸 흐름도이다.
도20은 본 발명의 실시 예에 따른 마이크로폰들의 위치에 따른 음원 위치 좌표와 카메라의 해상도 그리고 화면 해상도와의 관계를 나타낸 예시도이다.
도21은 본 발명의 실시 예에 따른 음원 위치 표시시, 줌배율을 적용시켜 음원 위치를 표시하는 것을 나타낸 예시도이다.
도22는 본 발명의 실시 예에 따른 음원 위치 표시 방법에 따른, 음원의 현실 공간과 화면 사이의 매핑 관계를 나타낸 예시도이다.
도23은 본 발명의 실시 예에 따른 음원 위치 표시 방법에 따라, 3차원 화면상에 음원 위치가 표시되는 것을 나타낸 예시도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 음원 위치 표시 장치 및 그방법에 대하여 설명한다.
먼저, 음원 위치 관련 정보를 포함하는 동영상 파일을 생성하는 장치 및 방법에 대하여 설명한다.
도1은 본 발명의 실시 예에 따른 음원 위치 관련 정보를 포함한 동영상 파일의 구조를 나타낸 구조도이다.
본 발명의 실시 예에 따른 동영상 파일은 영상 데이터부(F1)와 오디오 데이터부(F2)를 포함하며, 각각의 영상 데이터부(F1) 및 오디오 데이터부(F2)는 각각 헤더(header)(H1, H2) 및 페이로드(payload)(P1, P2)를 포함한다.
헤더(H1, H2)는 고정된 영역을 가지며 예를 들어 32 비트로 이루어진다. 헤더(H1, H2)에는 페이로드(P1, P2)에 포함되는 데이터를 재생하기 위한 정보들이 저장되며, 특히 본 발명의 실시 예에 따른 영상 데이터부(F1)의 헤더(H1)는 카메라 촬영 정보를 포함하며, 오디오 데이터부(F2)의 헤더(H2)는 음원 위치 관련 정보를 포함한다.
영상 데이터부(F1)의 헤더(H1)에서 카메라 촬영 정보를 제외한 나머지 정보들을 설명의 편의상 "영상 관련 정보"라고 명명하며, 오디오 데이터부(F2)의 헤더(H2)에서 음원 위치 관련 정보를 제외한 나머지 정보들을 설명의 편의상 "오디오 관련 정보"라고 명명한다.
영상 관련 정보 및 오디오 관련 정보는 동기를 맞추기 위한 동기(sync) 워드, 계층(layer)과 샘플링 주파수, 남아 있는 프레임과 같은 정보, 또는 저작권 등의 정보를 포함할 수 있다.
본 발명의 실시 예에 따른 음원 위치 관련 정보는 오디오 데이터가 생성된 음원의 위치를 측정하는데 사용된 파라미터에 대한 정보를 포함한다. 구체적으로, 음원으로부터의 신호를 수신하는 수단들 즉, 마이크로폰(microphone)의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도, 기준 좌표, 마이크로폰과 채널의 매칭 정보 중 적어도 하나를 포함한다. 이외에도 소리가 전달되는 속도에 영향을 주는 환경 파라미터(예를 들어, 온도, 습도, 압력 등)에 대한 측정 정보(예를 들어, 음원이 위치된 환경에서의 온도, 또는 습도 또는 압력 등)인 소리 결정 정보를 포함한다.
여기서 마이크로폰들의 각도는 하나의 마이크로폰이 다른 마이크로폰에 대하여 가지는 상대 각도를 나타낸다. 그리고 마이크로폰과 채널의 매칭 정보는 소정 마이크로폰에서 획득된 오디오 데이터가 어떤 채널에 해당하는지를 나타내는 정보이다. 예를 들어, 3개의 마이크로폰이 사용된 경우, 제1마이크로폰은 오디오 데이터부(F2)의 다수 채널별 오디오 데이터 중에서 제1채널에 대응하고, 제2마이크로폰은 제2채널에 대응하며, 제3마이크로폰은 제3채널에 대응함을 나타낼 수 있다. 이러한 마이크로폰들과 채널의 매칭 정보를 토대로 임의 채널의 오디오 데이터가 어떤 마이크로폰으로부터 획득된 것인지를 용이하게 알 수 있다.
기준 좌표는 마이크로폰들의 위치에 관련된 것으로, 마이크로폰들 중에서 하나의 마이크로폰에 대한 위치 좌표일 수 있으며, 또는 이후 동영상 재생시 사용되는 화면 배율을 고려하여 설정되는 좌표일 수 있다. 또는 기준 좌표는 소리를 포함하는 오디오 데이터를 획득하는 마이크로폰들이 하나의 모듈에 포함되는 형태로 구성된 경우, 해당 모듈의 크기를 고려하여 설정되는 좌표일 수 있다. 이와 같이 기준 좌표는 동영상이 재생되거나 오디오 데이터가 획득되거나 영상 데이터가 획득되는 등의 환경을 고려하여 설정될 수 있다.
한편 음원 위치 관련 정보는 오디오 데이터부(F2)에 포함되는 모든 오디오 데이터가 아니라, 오디오 데이터들 중에 설정 주파수 이상의 오디오에 관련된 정보일 수 있다.
또한 본 발명의 실시 예에 따른 카메라 촬영 정보는 영상 데이터를 획득하는데 사용된 촬영 정보로서, 구체적으로 영상 데이터 획득시 사용된 카메라의 픽셀 정보, 카메라의 줌배율 정보, 그리고 카메라의 모션 정보를 포함한다. 여기서 카메라의 모션 정보는 카메라의 렌즈부가 팬 틸트(pan tilt) 또는 시프트(shift) 등의 기능으로 촬영을 위하여 전후 상하 방향으로 움직이는 경우 움직인 방향 및 움직임 정도에 해당하는 정보를 나타낸다.
한편 영상 데이터부(F1)의 페이로드(P1)는 메인 데이터 즉, 영상 데이터를 포함하며, 오디오 데이터부(F2)의 페이로드(P2)는 메인 데이터 즉, 오디오 데이터를 포함한다.
이러한 영상 데이터부(F1) 및 오디오 데이터부(F2)는 CRC(error detection code)를 선택적으로 포함할 수 있으며, CRC는 예를 들어 16 비트로 이루어질 수 있다.
또한 영상 데이터부(F1) 및 오디오 데이터부(F2)는 프레임 단위 구조로 이루어지며, 오디오 데이터부(F2)를 구성하는 오디오 비트열의 한 프레임을 AAU(audio access unit)라고 명명할 수 있다. AAU는 각각 단독으로 복호화할 수 있는 최소 단위이며, 위에 기술된 바와 같이 헤더, CRC, 오디오 데이터를 포함하는 페이로드를 포함하는 구성으로 이루어진다.
다음에는 이러한 구조로 이루어지는 동영상 파일을 생성하는, 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조에 대하여 설명한다.
도2는 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조도이다.
본 발명의 실시 예에 따른 동영상 파일 생성 장치(1)는 첨부한 도2에 도시되어 있듯이, 음원 위치 정보 획득부(10), 촬영 정보 획득부(20), 영상 데이터 획득부(30), 오디오 데이터 획득부(40), 그리고 동영상 파일의 영상 데이터부를 생성하는 제1 생성부(50), 동영상 파일의 오디오 데이터부를 생성하는 제2 생성부(60), 그리고 영상 데이터부와 오디오 데이터부를 토대로 동영상 파일을 생성하는 제3 생성부(70)를 포함한다. 여기서 제1, 제2, 제3의 표현은 각 생성부(50, 60, 70)를 구별하기 위하여 부가적으로 부여한 명칭이며, 각 생성부를 한정하는 것은 아니다.
음원 위치 정보 획득부(10)는 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보를 획득하며, 촬영 정보 획득부(20)는 영상 데이터 획득에 사용된 카메라 촬영 정보를 제공받는다. 영상 데이터 획득부(30)는 촬영에 따라 생성되는 영상 데이터를 획득하며, 오디오 데이터 획득부(40)는 촬영시 발생한 소리를 포함하는 오디오 데이터를 획득한다.
제1 생성부(50)는 촬영 정보 획득부(20)로부터 전달되는 촬영 정보와 영상 데이터 획득부(40)로부터 전달되는 영상 데이터를 토대로 영상 데이터부(F1)를 생성한다. 제2 생성부(60)는 음원 위치 정보 획득부(10)로부터 전달되는 음원 위치 관련 정보와 오디오 데이터 획득부(40)로부터 전달되는 오디오 데이터를 토대로 오디오 데이터부(F2)를 생성한다. 그리고 제3 생성부(70)는 제1 생성부(50)로부터 전달되는 영상 데이터부(F1)와 제2 생성부(60)로부터 전달되는 오디오 데이터부(F2)를 토대로 동영상 파일을 생성한다.
본 발명의 실시 예에 따른 음원 위치 정보 획득부(10) 및 촬영 정보 획득부(20)는 다양한 경로를 통하여 관련 정보들을 획득할 수 있다.
도3은 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 관련 정보를 획득하는 경로를 나타낸 예시도이다. 여기서는 음원 위치 관련 정보가 마이크로폰 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도를 포함한 것으로 예시되어 있지만, 이것에 한정되지는 않는다. 마이크로폰 개수는 오디오 데이터부에 몇 개의 채널에 해당하는 오디오 데이터가 포함되어 있는지를 판단하기 위한 근거로서 사용될 수 있으며, 이외에도 마이크로폰과 채널의 매칭 정보, 기준 좌표, 소리 속도 결정 정보 중 적어도 하나가 더 포함될 수 있다.
첨부한 도 3에 예시되어 있듯이, 음원 위치 정보 획득부(10)는 음원 위치 관련 정보의 일부(예를 들어, 마이크로폰 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도 등)를 등록 정보로 하여 미리 저장하여 사용하고, 나머지(예를 들어, 소리 속도 결정 정보)는 입력 장치를 통하여 제공받을 수 있다.
촬영 정보 획득부(20)도 카메라 촬영 정보의 일부(예를 들어, 카메라 픽셀 정보)를 등록 정보로 하여 미리 저장하여 사용하고, 나머지(예를 들어, 카메라 줌배율 정보, 카메라 모션 정보)는 입력 장치를 통하여 제공받을 수 있다.
또는 동영상 파일 생성 장치(1)의 음원 위치 정보 획득부(10) 및 촬영 정보 획득부(20)는 입력 장치를 통하여 음원 위치 관련 정보 및 카메라 촬영 정보를 제공받을 수 있다.
이와는 달리, 음원 위치 정보 획득부(10)는 오디오 데이터를 출력하면서 오디오 데이터가 생성된 음원에 대한 위치를 측정하는 음원 측정 장치로부터 음원 위치 관련 정보를 제공받을 수 있다.
도4는 발명의 실시 예에 따른 동영상 파일 생성 장치(1)가 정보를 획득하는 경로를 나타낸 다른 예시도이다.
첨부한 도4에 예시되어 있듯이, 동영상 파일 생성 장치(1)는 음원 측정 장치(2)로부터 음원 위치 관련 정보 및 오디오 데이터를 제공받을 수 있다.
이 경우 음원 측정 장치(2)는 복수의 마이크로폰(M1, M2, M3, M4, 여기서는 4개의 마이크로폰을 사용한 것을 예로 들었으나, 이러한 개수에 한정되지 않는다)과 복수의 마이크로폰들로부터 출력되는 신호를 입력받아 처리하여 음원 신호를 생성하는 신호 처리부(21), 그리고 음원 신호를 토대로 음원 위치를 측정하는 연산부(22)를 포함하며, 이외에도 동영상 파일 생성 장치(1)로 관련 정보를 제공하는 인터페이스부(23)를 포함한다. 또한 환경 파라미터(예를 들어, 온도, 습도, 압력 등)를 토대로 소리 속도를 결정하는 소리 속도 센서(24)를 더 포함할 수 있다.
각각의 마이크로폰(M1, M2, M3, M4)은 음원으로부터 발생되는 소리를 수신하여 그에 해당하는 전기적인 신호를 출력한다.
신호 처리부(21)는 각각의 마이크로폰으로부터 출력되는 신호를 처리하며, 예를 들어, 마이크로폰으로부터 출력되는 신호를 디지털 신호로 변환하고, 이를 DFT(discrete fourier transform) 또는 FFT(fast fourier transform) 등의 주파수 변환을 하여, 주파수 영역의 신호로 변환한다. 그리고 주파수 영역의 신호들 중에서 설정 주파수 이상의 신호를 검출하여 음원 신호로 출력한다.
연산부(22)는 신호 처리부(21)로부터 출력되는 음원 신호들을 토대로 음원의 위치를 산출한다.
한편 소리 속도 센서(24)는 환경 파라미터를 측정하고 측정된 환경 파라미터 값을 토대로 소리 속도를 결정할 수 있다. 이와는 달리 소리 속도 센서(24)가 환경 파라미터를 측정하고, 연산부(22)가 소리 속도 센서(24)로부터 제공되는 환경 파라미터값을 토대로 소리 속도를 결정할 수도 있다.
신호 처리부(21)는 이러한 소리 속도 센서(24)로부터 출력되는 신호를 처리할 수 있으며, 예를 들어 소리 속도 센서(24)로부터 출력되는 환경 파라미터에 해당하는 신호를 디지털 신호로 변환하여 연산부(22)나 인터페이스부(23)로 제공한다. 여기서 환경 파라미터에 해당하는 신호는 소리 속도 센서(24)에 의하여 측정된 온도 또는 습도 또는 압력에 해당하는 신호일 수 있다. 여기서, 연산부(22)는 신호 처리부(21)를 통하여 전달되는 환경 파라미터에 해당하는 신호를 토대로 현재의 소리 속도를 결정할 수 있다. 소리 속도 결정시 환경 파라미터를 구성하는 다양한 파라미터(온도, 습도, 압력 등)의 다양한 값별로 소리 속도가 대응되어 있는 소리 속도 보정 테이블을 이용할 수 있으며, 또는 별도의 연산 알고리즘을 이용하여 소리 속도를 결정할 수 있다.
이러한 구조로 이루어지는 음원 측정 장치(2)의 인터페이스부(23)는 음원 위치 측정시 사용된 마이크로폰들의 개수, 마이크로폰들의 사이의 거리(예를 들어, M1, M2, M3, M4의 마이크로폰이 사용된 경우, M1과 M2사이의 거리, M2와 M3사이의 거리, M3와 M4사이의 거리, M4와 M1사이의 거리 등), 마이크로폰들의 각도(∠M1, ∠M2, ∠M3, ∠M4)를 포함하는 음원 위치 관련 정보를 동영상 파일 생성 장치(1)로 제공한다.
이외에도 인터페이스부(23)는 소리 속도 센서(24)로부터 측정되고 신호 처리부(21)를 통하여 전달되는 환경 파라미터에 해당하는 신호를 토대로 하는 소리 속도 결정 정보를 동영상 파일 생성 장치(1)로 전달한다. 여기서 소리 속도 결정 정보는 소리 속도에 영향을 주는 소리 속도 센서(24)에 의하여 측정된 환경 파라미터값(온도, 습도, 압력 중 적어도 하나) 그리고 측정된 환경 파라미터값에 따라 결정된 소리 속도(예를 들어, 340M/s) 중 적어도 하나를 포함한다. 또한 인터페이스부(23)는 연산부(22)로부터 제공되거나 또는 신호 처리부(21)로부터 제공되는 음원 신호를 오디오 데이터로 하여 동영상 파일 생성 장치(1)로 제공한다.
동영상 파일 생성 장치(1)는 음원 측정 장치(2) 이외에도 별도의 오디오 데이터 생성 장치(도시하지 않음)로부터 오디오 데이터를 제공받을 수도 있다. 여기서 제공되는 오디오 데이터들은 마이크로폰들 각각에 의하여 출력되는 음원 신호에 대응하는 데이터들이다. 예를 들어 4개의 마이크로폰이 사용된 경우, 각각의 마이크로폰에 대응하는 오디오 데이터들이 채널별로 처리되어, 4개의 채널별 오디오 데이터들이 제공될 수 있다.
한편 음원 측정 장치(2)의 마이크로폰들의 개수, 마이크로폰들의 사이의 거리, 마이크로폰들의 각도들은 미리 설정되어 저장될 수 있으며, 이 경우 인터페이스부(23)는 저장된 이러한 정보들을 읽어서 음원 위치 관련 정보를 생성할 수 있다. 또는 연산부(22)가 음원 신호들이나 별도의 신호를 이용하여 마이크로폰들의 사이의 거리, 마이크로폰들의 각도들을 산출한 경우에, 인터페이스부(23)는 연산부(22)로부터 이러한 정보를 제공받아 음원 위치 관련 정보를 생성할 수 있다.
이러한 음원 측정 장치(2)의 구조는 예시된 것이며, 위에 기술된 것에 한정되지 않는다.
한편, 동영상 파일 생성 장치(1)의 촬영 정보 획득부(20)도 카메라와 같은 촬영 장치(3)로부터 카메라 촬영 정보 및 영상 데이터를 제공받을 수 있다. 이러한 촬영 장치(3)의 구조는 이미 공지된 기술임으로 여기서는 상세한 설명을 생략한다. 촬영 장치(3)는 일반적으로 렌즈를 사용하면서 렌즈의 배율을 가변시키는 줌(zoom) 동작, 렌즈의 방향을 변경하는 팬 틸트 동작 및 시프트 동작을 수행하면서 촬영을 하게 된다. 촬영 장치(3)는 이와 같이 각 프레임별 영상 데이터를 촬영시 사용된 줌배율, 픽셀 정보, 팬 틸트 또는 시프트 동작에 따른 카메라 모션 정보 중 적어도 하나를 동영상 파일 생성 장치(1)로 제공한다.
다음에는 이러한 장치들을 토대로 동영상 파일을 생성하는 방법에 대하여 설명한다.
도 5는 본 발명의 실시 예에 따른 동영상 파일 생성 방법의 흐름도이다. 도5에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 동영상 파일 생성 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다.
먼저, 첨부한 도 5에 도시되어 있듯이, 본 발명의 실시 예에 따른 동영상 파일 생성 장치(1)는 영상 데이터부(F1)를 생성하는 경우, 영상 데이터부(F1)를 구성하는 헤더(H1)를 생성하고(S100), 헤더(H1)에 기록할 정보를 획득한다. 즉, 영상 데이터 획득시 사용된 촬영 장치 즉, 카메라의 픽셀 정보, 카메라의 렌즈의 줌배율 정보, 카메라의 렌즈의 이동에 따른 모션 정보를 획득하고(S110~S130), 획득된 정보들을 포함하는 카메라 촬영 정보를 영상 데이터부(F1)의 헤더(H1)에 기록한다(S140). 물론 이 경우 영상 데이터에 관련된 영상 관련 정보도 헤더(H1)에 기록된다. 그리고 동영상 파일 생성 장치(1)는 영상 데이터를 획득하고 이를 영상 데이터부(F1)의 페이로드(P1)에 기록한다(S150~S160).
또한 동영상 파일 생성 장치(1)는 오디오 데이터부(F2)를 생성하는 경우, 오디오 데이터부(F2)를 구성하는 헤더(H2)를 생성하고(S170), 헤더(H2)에 기록할 정보를 획득한다. 즉, 오디오 데이터 획득시 사용된 마이크로폰들의 개수, 마이크로폰들간의 거리, 마이크로폰들의 각도, 그리고 오디오 데이터 획득시에 측정된 환경 파라미터에 대응하는 소리 속도 결정 정보를 획득하고(S180~S210), 획득된 정보들을 포함하는 음원 위치 관련 정보를 오디오 데이터부(F2)의 헤더(H2)에 기록한다(S220). 물론 이 경우 오디오 데이터에 관련된 오디오 관련 정보도 헤더(H2)에 기록되며, 기준 좌표, 마이크로폰과 채널의 매칭 정보 중 적어도 하나가 헤더(H2)에 기록될 수 있다. 그리고 동영상 파일 생성 장치(1)는 오디오 데이터를 획득하고 이를 오디오 데이터부(F2)의 페이로드(P2)에 기록한다(S230~S240).
도6은 본 발명의 실시 예에 따른 음원 측정 장치(2) 및 촬영 장치(3)로부터 획득되는 정보와, 이러한 정보를 각 데이터부의 헤더에 기록하는 과정이 예시되어 있다.
도6에 예시된 바와 같이, 음원 측정 장치(2)를 구성하는 마이크로폰들(M1, M2, M3, M4)로부터 발생된 음원 신호에 대응하는 오디오 데이터들이 다수의 채널별로 분류되어 동영상 파일 생성 장치(1)로 제공되며, 이러한 오디오 데이터가 오디오 데이터부의 페이로드에 기록된다. 그리고 마이크로폰들의 개수, 마이크로폰들의 거리(L12, L23, L34, L41), 마이크로폰들의 각도(∠M1, ∠M2, ∠M3, ∠M4)가 오디오 데이터부의 헤더에 기록된다. 또한 온도, 습도, 압력 중 적어도 하나의 환경 파라미터에 대응하는 값 그리고 환경 파라미터를 토대로 결정된 소리 속도 중 적어도 하나를 포함하는 소리 속도 결정 정보가 헤더에 기록된다. 이러한 환경 파라미터는 온도, 습도, 압력 이외에, 별도로 환경 상태를 나타내는 기타 정보가 더 추가될 수도 있다.
또한 카메라와 같은 촬영 장치에 의하여 영상 데이터가 획득되면서, 이러한 영상 데이터 획득시 사용된 카메라 촬영 정보가 동영상 파일 생성 장치(1)로 제공되며, 동영상 파일 생성 장치(1)는 영상 데이터를 페이로드에 기록하고 카메라 촬영 정보를 헤더에 기록한다.
이와 같이 획득되는 카메라 촬영 정보 및 음원 위치 관련 정보를 각각 포함하는 영상 데이터부(F1)와 오디오 데이터부(F2)를 생성한 다음에, 동영상 파일 생성 장치(1)는 영상 데이터부(F1)와 오디오 데이터부(F2)를 조합하여 동영상 파일을 생성한다. 생성된 동영상 파일은 미디어 컨테이너 파일 형태로 구성될 수 있다.
한편 위에 기술된 음원 위치 관련 정보에 기준 좌표가 포함되어 있지 않은 경우에는 이후에 설명하는 음원 위치 산출 장치가 기준 좌표를 미리 설정하여 음원 위치 산출시 사용할 수 있다. 이 경우에도 기준 좌표는 위의 음원 위치 관련 정보에 포함되는 기준 좌표와 같이, 마이크로폰들 중에서 하나의 마이크로폰에 대한 위치 좌표일 수 있으며, 또는 이후 동영상 재생시 사용되는 화면 배율을 고려하여 설정되는 좌표일 수 있고, 또는 소리를 포함하는 오디오 데이터를 획득하는 마이크로폰들이 하나의 모듈에 포함되는 형태로 구성된 경우, 해당 모듈의 크기를 고려하여 설정되는 좌표일 수 있다.
본 발명의 실시 예에 따른 동영상 파일은 유선, 무선 등의 다양한 형태의 네트워크를 통하여 스트리밍(streaming) 등의 다양한 전송 방식으로 동영상 파일을 재생하는 장치로 제공될 수 있다. 동영상 파일에는 음원 위치 관련 정보 즉, 음원으로부터의 소리를 수신하여 출력하는 마이크로폰들의 개수, 그리고 이러한 마이크로폰들의 사이의 거리, 마이크로폰들의 각도와 기준 좌표 중 적어도 하나와, 소리 속도에 영향을 주는 환경 파라미터 또는 이러한 환경 파라미터에 따라 결정되는 소리 속도를 선택적으로 포함하는 소리 속도 결정 정보가 포함되어 있으므로, 동영상 재생 장치(도시하지 않음)에서는 이러한 음원 위치 관련 정보를 토대로 음원의 위치를 산출할 수 있다.
다음에는 이러한 동영상 파일 정보를 토대로 음원 위치를 산출하는 장치 및 그 방법에 대하여 설명한다.
도7은 본 발명의 실시 예에 따른 음원 위치 산출 장치의 구조를 나타낸 도이다.
첨부한 도7에 도시되어 있듯이, 본 발명의 실시 예에 따른 음원 위치 산출 장치(4)는, 동영상 파일을 수신하는 수신부(100), 수신된 동영상 파일로부터 음원 위치 관련 정보를 추출하는 정보 추출부(200), 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출하는 연산부(300)를 포함하고, 산출된 음원 위치를 출력하는 위치 출력부(400)를 더 포함할 수 있다.
수신부(100)는 다양한 경로를 통하여 본 발명의 실시 예에 따른 동영상 파일 즉, 오디오 데이터와 함께 오디오 데이터를 발생한 음원에 대한 음원 위치 관련 정보를 포함하는 동영상 파일을 수신한다. 예를 들어, 수신부(100)는 유선 또는 무선 네트워크를 통하여 스트리밍 방식으로 전송되는 동영상 파일을 수신할 수 있으며, 또한 기록 매체로부터 로드되거나 외부로부터 수신되는 데이터로부터 음원 위치 관련 정보를 제공받을 수 있다. 정보 추출부(200)는 수신된 동영상 파일로부터 영상 데이터부(F1)와 오디오 데이터부(F2)를 식별하고, 오디오 데이터부(F2)의 헤더(H2)로부터 음원 위치 관련 정보를 추출한다.
연산부(300)는 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출한다. 즉, 마이크로폰들의 개수 및 마이크로폰들의 사이의 거리와, 마이크로폰들의 각도나 기준 좌표들을 토대로 음원 위치를 산출하며, 이 때, 음원 위치 관련 정보에 포함된 소리 속도 결정 정보를 토대로 결정되는 소리 속도를 사용하여 음원 위치를 산출할 수 있다. 이러한 음원 위치 산출 방법에 대해서는 추후에 보다 구체적으로 설명하기로 한다.
도8은 본 발명의 실시 예에 따른 연산부(300)의 상세 구조를 나타낸 도이다. 도8은 본 발명의 실시 예에 따른 연산부(300)의 한 예일뿐이며, 반드시 이러한 구조에 한정되는 것은 아니다.
연산부(300)는 수신된 동영상 파일들로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들간의 시간 차이를 측정하는 소리 시간 지연차 측정 모듈(310), 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표를 획득하는 기준 좌표 획득 모듈(320), 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 위치 좌표 획득 모듈(330), 및 측정된 소리 시간 지연차들과 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는 위치 산출 모듈(340)을 포함한다. 여기서 기준 좌표 획득 모듈(320)은 저장된 기준 좌표를 사용하거나 또는 음원 위치 관련 정보로부터 기준 좌표를 획득할 수 있다. 또한 위치 좌표 획득 모듈(330)은 음원 위치 관련 정보로부터 마이크로폰들의 위치 좌표들을 획득하거나 또는 기준 좌표를 토대로 연산을 수행하여 마이크로폰들의 위치 좌표들을 획득할 수 있다.
한편, 위치 출력부(400)는 산출된 음원 위치를 출력한다. 구체적으로, 음원 위치를 해당 오디오 데이터부 즉, 산출된 음원 위치에 관련된 음원 위치 관련 정보를 포함하는 오디오 데이터부(F2)에 동기하는 영상 데이터부(F1)의 페이로드(P1)에 기록된 영상 데이터가 재생되는 것에 동기하여, 산출된 음원 위치를 출력한다. 예를 들어, 영상 데이터가 출력되는 화면에서 실제 음원 위치에 대응하는 위치에 음원 위치를 표시하거나, 또는 화면에서 영상 데이터가 표시되는 이외의 영역에 음원 위치를 표시할 수 있다. 또는 영상 데이터가 출력되는 동안 오디오 형태로 음원 위치 정보가 출력될 수 있다. 또는 위치를 표시하는 장치로 산출된 음원 위치를 출력한다.
다음에는 이러한 구조로 이루어지는 음원 위치 산출 장치를 토대로, 본 발명의 실시 예에 따른 음원 위치 산출 방법에 대하여 설명한다.
도9는 본 발명의 실시 예에 따른 음원 위치 산출 방법의 흐름도이다. 도9에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 음원 위치 산출 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다.
첨부한 도9에서와 같이, 음원 위치 산출 장치(4)는 외부로부터 동영상 파일을 수신한다(S300). 수신되는 동영상 파일은 영상 데이터부(F1)와 오디오 데이터부(F2)로 이루어지고, 예를 들어, 도 6에서와 같이, 음원 측정 장치(2)로부터 획득되는 음원 위치 관련 정보가 오디오 데이터부(F2)의 헤더(H2)에 기록되어 있고, 촬영 장치(3)로부터 획득되는 카메라 촬영 정보가 영상 데이터부(F1)의 헤더(H1)에 기록되어 있다.
음원 위치 산출 장치(4)의 정보 추출부(200)는 수신된 동영상 파일로부터 영상 데이터부(F1)와 오디오 데이터부(F2)를 식별하고, 오디오 데이터부(F2)의 헤더(H2)로부터 음원 위치 관련 정보를 추출하여 연산부(300)로 전달한다(S310).
연산부(300)는 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출한다.
먼저, 음원 위치 관련 정보가 기준 좌표를 포함하지 않는 경우(S320~S330), 연산부(300)는 미리 설정되어 저장되어 있는 기준 좌표를 사용한다(S340). 그러나 음원 위치 관련 정보가 기준 좌표를 포함하는 경우에는 음원 위치 관련 정보로부터 기준 좌표를 추출하여 사용한다(S340)
그리고 기준 좌표를 토대로 마이크로폰들의 위치 좌표를 획득한다. 기준 좌표가 하나의 마이크로폰에 대한 좌표인 경우, 연산부(300)는 기준 좌표와 음원 위치 관련 정보에 포함된 마이크로폰들의 사이의 거리를 토대로 각 마이크로폰들의 위치 좌표를 구한다. 이 경우 보다 정확한 위치 좌표를 획득하기 위하여 마이크로폰들의 각도를 사용할 수 있다. 이 때 추후에 설명되는 수학식 2 및 3을 토대로 마이크로폰들의 각도를 이용하여 마이크로폰들의 위치 좌표를 획득할 수 있다.
반면, 기준 좌표가 음원 측정시 사용되는 모든 마이크로폰들에 관련된 좌표들인 경우에는 별도의 과정 없이 미리 설정된 기준 좌표들을 그대로 사용한다(S350).
또한 연산부(300)는 오디오 데이터부(F2)의 페이로드(P2)에 기록된 채널별 오디오 데이터를 추출한다(S360). 그리고 각 채널별로 추출되는 오디오 데이터들을 토대로 오디오 데이터들간의 시간 차이를 측정한다. 즉, 각 오디오 데이터들이 출력되는 시점들을 토대로 각 채널별 오디오 데이터가 출력되는 시점 사이의 시간차를 측정한다. 이러한 각 채널별 오디오 데이터들간의 시간차를 설명의 편의상 "소리 시간 지연차"라고 명명한다(S370). 한편 오디오 데이터 추출시 음원 위치 관련 정보에 포함되어 있는 마이크로폰과 채널의 매칭 정보를 이용할 수 있다. 구체적으로 음원 위치 관련 정보가 마이크로폰과 채널의 매칭 정보를 포함하는 경우, 상기 매칭 정보를 이용하여 소정 마이이크로폰에 의하여 획득한 오디오 데이터가 어느 채널에 대응하는지를 확인할 수 있다.
이후 연산부(300)는 음원 위치 관련 정보(마이크로폰들의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도)와, 측정한 각 채널별 오디오 데이터들간의 소리 시간 지연차를 토대로 음원 위치를 산출한다.
음원 위치 산출시, 본 발명의 실시 예에서는 TDOA(time difference of arrival) 방법이 사용될 수 있다.
[수학식1]
Figure 112010028223259-pat00001
여기서, c는 소리 속도이며, Tij은 i번째 마이크로폰과 j번째 마이크로폰 사이의 TDOA 즉, 소리 시간 지연차이며, Ri는 i번째 마이크로폰과 음원 사이의 거리이며, Rj는 j번째 마이크로폰과 음원 사이의 거리이며, (Xi, Yi)는 i번째 마이크로폰의 좌표이고, (Xj, Yj)는 j번째 마이크로폰의 좌표이고, (x, y)는 음원의 좌표를 나타낸다.
각각의 마이크로폰들에 대하여 음원까지의 거리인 복수의 Ri를 구하면, 위의 수학식 1을 토대로, 복수의 Ri를 각각 반지름으로 하는 다수의 쌍곡선을 형성하고, 이러한 쌍곡선들이 교차하는 지점을 음원의 위치(x, y)로 산출한다.
한편 음원 위치 연산시에 소리 속도를 이용할 수 있다. 소리 속도를 소정값(예를 들어 음속 343m/s)으로 고정시켜 사용할 수도 있으나, 오디오 데이터가 획득되는 환경의 온도나 압력, 습도 등에 의하여 소리 속도가 영향을 받을 수 있으므로, 본 발명의 실시 예에서는 동영상 파일의 오디오 데이터부(F2)로부터 획득되는 음원 위치 관련 정보에 소리 속도 결정 정보가 포함되어 있는 경우, 이를 토대로 소리 속도를 획득하여 사용한다(S380).
음원 위치 관련 정보에 포함된 소리 속도 결정 정보가 온도, 습도, 압력 중 적어도 하나의 환경 파라미터에 대응하는 값인 경우, 연산부(300)는 별도로 저장하여 관리하는 소리 속도 보정 테이블(이것은 온도, 습도, 압력 중 적어도 하나를 토대로 소리가 전달되는 속도가 변화되는 것을 고려한 속도인 소리 속도가 결정되어 있는 테이블일 수 있다)을 이용하여, 소리 속도 결정 정보로부터 획득한 환경 파라미터에 대응하는 소리 속도를 찾는다. 그리고 소리 속도 보정 테이블로부터 찾아진 소리 속도를 이용하여 음원 위치를 산출한다.
반면, 음원 위치 관련 정보에 포함된 소리 속도 결정 정보가 소리 속도(예를들어 오디오 데이터가 획득되는 환경에서 측정된 그리고 환경 파라미터를 토대로 결정된 소리 속도임)인 경우에는, 음원 위치 관련 정보에 포함된 소리 속도를 바로 이용하여 음원 위치를 산출한다.
이와 같이 소리 속도를 환경 파라미터를 토대로 하여 보정하여 사용하면서, 각 채널별 오디오 데이터들간의 소리 시간 지연차, 마이크로폰들의 위치 좌표들을 토대로 위의 수학식1을 사용하여 음원 위치를 산출할 수 있으며, 특히 환경 변화가 발생하여도 음원 위치를 정확하게 산출할 수 있다(S390).
한편 위치 출력부(400)는 산출된 음원 위치를 도시하지 않은 동영상 재생 장치로 제공하거나 또는 동영상 재생 장치와 연동하여 해당 영상 데이터가 재생될 때, 음원 위치를 출력할 수 있다(S400). 예를 들어, 영상 데이터가 표시되는 화면의 다른 영역에 캡션 데이터 형태로 음원 위치를 출력하거나 음원 위치를 오디오로 처리하여 출력할 수 있다. 여기서 음원 위치가 출력되는 형태는 고정되어 있지 않으며, 사람들이 음원 위치를 인식할 수 있는 다양한 형태로 출력하는 당업계에서 사용가능한 모든 방법들이 사용될 수 있다.
한편 마이크로폰들의 각도와 마이크로폰들 사이의 거리를 토대로 마이크로폰들과 음원 사이의 거리 Ri를 산출할 수 있다.
이 경우 삼각 측량법을 토대로 마이크로폰들과 음원 사이의 거리 Ri를 산출할수 있다.
도10은 본 발명의 실시 예에서, 마이크로폰과 음원 사이의 거리를 산출하는 경우를 나타낸 예시도이다. 도 10에서는 3개의 마이크로폰들의 각도와 거리들을 토대로 삼각측량법을 이용하여 마이크로폰과 음원 사이의 거리를 산출하는 것을 나타낸 예이다.
도 10에서 각도 r=180-α-β의 관계가 성립되고, 마이크로폰들과 음원 사이의 거리에 다음과 같은 관계가 성립될 수 있다.
[수학식 2]
[수학식 3]
Figure 112010028223259-pat00003
여기서, L23은 마이크로폰 M2와 마이크로폰 M3사이의 거리를 나타낸다.
위에 기술된 바와 같은 수학식2를 토대로 마이크로폰들과 음원 사이의 거리 Ri를 산출한 다음에, 산출된 Ri를 수학식3에 적용시켜 음원의 위치를 산출할 수 있다. 이러한 방법은 본 발명의 실시 예에서 음원 위치를 산출하기 위한 하나의 예일 뿐이다.
이러한 음원 위치 연산 과정을 예를 들어 설명하기로 한다.
도11은 본 발명의 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부(F2)를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다.
음원 측정시, 예를 들어, 도6에서와 같이, 4개의 마이크로폰들 M1, M2, M3, M4가 사용되었고, 마이크로폰 M1과 마이크로폰 M2사이의 거리를 L12, 마이크로폰 M2와 마이크로폰 M3사이의 거리를 L23, 마이크로폰 M3와 마이크로폰 M4사이의 거리를 L34, 마이크로폰 M4와 마이크로폰 M1사이의 거리를 L41이라고 하고, 또한 마이크로폰 M1이 다른 마이크로폰들에 대하여 가지는 각도를 ∠M1, 마이크로폰 M2가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M2, 마이크로폰 M3가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M3, 마이크로폰 M4가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M4라고 하자. 이와 같이 4개의 마이크로폰이 사용된 경우, 도 11에서와 같이, 각각의 마이크로폰에 대응하는 오디오 데이터들이 채널별로 처리되어, 4개의 채널별 오디오 데이터들이 제공된다.
위에 기술된 바와 같이, 4개의 마이크로폰들로부터 획득된 오디오 데이터들이 제공되고 이에 관련된 음원 위치 관련 정보가 제공되는 것으로 가정한 경우, 본 발명의 실시 예에 따른 음원 위치 산출 장치(4)는 기준 좌표를 획득한다.
4개의 마이크로폰이 사용된 경우, 미리 설정된 기준 좌표나 음원 위치 관련 정보에 포함되는 기준 좌표는 4개의 마이크로폰들 중에서 예를 들어, 마이크로폰M1의 위치 좌표(X1, Y1)일 수 있다. 이러한 기준 좌표와 마이크로폰들 사이의 거리(L12, L23, L34, L41)를 토대로 4개의 마이크로폰들 모두(M1, M2, M3, M4)에 대한 위치 좌표들((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4))을 획득할 수 있다. 물론 이와는 달리 미리 설정된 기준 좌표나 음원 위치 관련 정보에 포함되는 기준 좌표가 사용된 모든 마이크로폰들에 대한 위치 좌표들일 수도 있다.
한편 4개의 채널별로 오디오 데이터들을 추출하고, 채널별로 추출되는 오디오 데이터들을 토대로 오디오 데이터들간의 시간 차이를 측정한다. 즉, 도11에서와 같이, 4개의 채널별 오디오 데이터가 제공되는 경우, 마이크로폰 M1에 대응하는 1채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M2에 대응하는 2채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차(T12), 마이크로폰 M2에 대응하는 2채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M3에 대응하는 3채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차(T21), 마이크로폰 M3에 대응하는 3채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M4에 대응하는 4채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차(T31)를 각각 측정한다. 이 때, 음원 위치 관련 정보에 포함된 마이크로폰과 채널의 매칭 정보를 이용하여 소정 채널이 어느 마이크로폰으로부터 획득된 오디오 데이터인지를 보다 용이하게 확인할 수 있다. 이 경우 예를 들어, 마이크로폰과 채널의 매칭 정보는 "M1->1채널, M2->2채널, M3->3채널, M4->4채널"과 같은 형태일 수 있다. 한편 음원 위치 관련 정보가 이러한 매칭 정보를 포함하지 않는 경우에는 채널 순서에 마이크로폰들의 순서가 설정 방식에 따라 대응하는 것(예를 들어, 첫번째 채널은 첫번째 마이크로폰에 대응함)으로 미리 설정하여 채널별 오디오 데이터가 각각 어느 마이크로폰으로부터 획득된 것인지를 알 수도 있다.
측정된 소리 시간 지연차(T12, T21, T31)와 마이크로폰들의 좌표((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4))를 이용하여 각각의 마이크로폰들에 대하여 음원까지의 거리인 복수의 Ri를 구하고, 복수의 Ri를 각각 반지름으로 하는 다수의 쌍곡선을 형성하고, 이러한 쌍곡선들이 교차하는 지점을 음원의 위치(x, y)로 산출한다. 한편 위의 실시 예에서는 2차원 좌표(X, Y)를 이용하여 음원의 위치를 산출하는 것을 예로 들었으나, 3차원 좌표 즉, (X, Y, Z)를 이용하는 경우에도 위에 기술된 바와 같은 동일한 방법이 적용될 수 있다.
위에 기술된 실시 예에서는 각 채널별 오디오 데이터들의 소리 시간 지연차를 토대로 음원 위치를 산출하였으나, 각 채널별 오디오 데이터들의 신호 세기차를 이용하여 음원 위치를 산출할 수 있다.
도12는 본 발명의 다른 실시 예에 따른 음원 위치 산출 장치의 연산부의 구조도이다.
본 발명의 다른 실시 예에 따른 음원 위치 산출 장치는 위의 도7에 도시된 실시 예와 동일하게 수신부(100), 정보 추출부(200), 연산부(300), 그리고 위치 출력부(400)를 포함하며, 단지 연산부(300)의 구조가 다르다.
구체적으로, 도 12에서와 같이 본 발명의 다른 실시 예에 따른 연산부(300)는 수신된 동영상 파일들로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들의 신호 세기를 측정하고, 측정된 채널별 오디오 데이터들의 신호 세기를 토대로 채널별 오디오 데이터들의 신호 세기 차를 측정하는 신호 세기 측정 모듈(310'), 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표를 획득하는 기준 좌표 획득 모듈(320), 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 위치 좌표 획득 모듈(330), 및 측정된 오디오 데이터들의 신호 세기 차들과 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는 위치 산출 모듈(340')을 포함한다.
여기서 기준 좌표 획득 모듈(320), 위치 좌표 획득 모듈(330)은 위의 실시예와 동일하게 기능한다.
도13은 본 발명의 다른 실시 예에 따른 음원 위치 산출 방법의 흐름도이다. 도13에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 음원 위치 산출 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다.
도14는 본 발명의 다른 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다.
본 발명의 다른 실시 예에 따른 음원 위치 산출 방법은 위의 도9에 기술된 방법과 동일하게, 동영상 파일을 수신하여 음원 위치 관련 정보를 추출하고 기준 좌표를 토대로 마이크로폰들의 위치 좌표를 획득한 다음에 채널별로 오디오 데이터를 추출한다(S500~S560).
그러나 위의 실시 예와는 달리, 음원 위치 산출 장치(4')의 연산부(300')는 추출되는 채널별 오디오 데이터들의 세기를 측정한다(S570). 예를 들어, 도14에서와 같이, 마이크로폰 M1에 대응하는 1채널의 오디오 데이터의 신호 세기(신호의 진폭 등)를 측정하고, 마이크로폰 M2에 대응하는 2채널을 통하여 출력되는 오디오 데이터의 신호 세기, 마이크로폰 M3에 대응하는 3채널을 통하여 출력되는 오디오 데이터의 신호 세기, 마이크로폰 M4에 대응하는 4채널을 통하여 출력되는 오디오 데이터의 신호 세기를 각각 측정한다. 물론 음원 위치 관련 정보가 마이크로폰과 채널의 매칭 정보를 포함하는 경우, 이 매칭 정보를 토대로 각 마이크로폰에 대응하는 채널별로 오디오 데이터를 용이하게 획득할 수 있다.
그리고 측정된 각 채널별 오디오 데이터들의 신호 세기들을 토대로 각 채널별오디오 데이터들의 신호 세기 차를 측정한다. 즉, 마이크로폰 M1에 대응하는 1채널의 오디오 데이터의 신호 세기와 마이크로폰 M2에 대응하는 2채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차, 2채널을 통하여 출력되는 오디오 데이터의 신호 세기마이크로폰 M3에 대응하는 3채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차, 3채널을 통하여 출력되는 오디오 데이터의 신호 세기와 마이크로폰 M4에 대응하는 4채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차, 그리고 4채널을 통하여 출력되는 오디오 데이터의 신호 세기와 1채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차를 각각 측정한다(S580).
그리고 이와 같이 측정되는 각 채널별 오디오 데이터들의 신호 세기차들을 이용하여 각 채널에 대응하는 마이크로폰과 음원 사이의 거리를 측정한다(S590). 이 경우 RSSI(received signal strength indication) 방법을 사용할 수 있다.
이 경우 위의 실시 예와 동일하게 음원 위치 관련 정보에 포함된 소리 속도 결정 정보로부터 소리 속도를 획득한 다음에, 마이크로폰과 음원 사이의 거리를 측정할 때 획득한 소리 속도를 적용할 수도 있다.
이후, 음원 위치 산출 장치(4')의 연산부(300')는 복수의 마이크로폰들과 음원사이의 거리 Ri를 각각 반지름으로 하는 다수의 쌍곡선을 형성하고, 이러한 쌍곡선들이 교차하는 지점을 음원의 위치(x, y)로 산출한다(S600). 위에 기술된 바와 같이 동영상 파일의 오디오 데이터부의 헤더에 기록된 음원 위치 관련 정보를 토대로 음원 위치를 산출한 다음에, 음원 위치 산출 장치는 산출된 음원의 위치(x, y)를 동영상 재생 장치(도시하지 않음)나 음원 위치 표시 장치로 제공할 수 있다(S610).
위에 기술된 실시 예에서는 음원 위치 관련 정보를 포함한 동영상 파일로부터 상기 음원 위치 관련 정보를 추출하여 음원 위치를 산출하는 것을 예로 들었으나, 본 발명은 동영상 파일에 한정되지 않고 음원 위치 관련 정보를 포함하는 모든 형태의 데이터로부터 음원 위치 관련 정보를 추출하여 음원 위치를 산출할 수 있다.
다음에는 본 발명의 실시 예에 따른 음원 위치 표시 장치에 대하여 설명한다.
도15는 본 발명의 실시 예에 따른 음원 위치 표시 장치의 구조도이다.
첨부한 도15에 도시되어 있듯이, 본 발명의 실시 예에 따른 음원 위치 표시 장치(5)는, 음원 위치를 제공받는 음원 위치 획득부(1000), 획득된 음원 위치를 표시하기 위한 표시 좌표로 변환하는 음원 위치 변환부(2000), 표시 좌표를 토대로 음원 위치를 출력하는 음원 위치 출력부(3000)를 포함한다. 또한 음원 위치 표시 장치(5)는 음원으로부터 발생된 소리에 대한 세기를 획득하는 음원 세기 획득부(4000)를 더 포함한다.
이외에도 음원 위치 표시 장치(5)는 영상 데이터를 획득하는 영상 데이터 획득부(5000) 및 획득된 영상 데이터를 재생시키는 영상 재생부(6000)를 더 포함할 수 있다. 여기서는 영상 데이터 획득부(5000) 및 영상 재생부(6000)가 음원 위치 표시 장치(5)에 포함되어 있는 형태로 기술되지만, 본 발명은 반드시 이것에 한정되는 것은 아니다.
음원 위치 획득부(1000)는 위에 기술된 바와 같이 영상 데이터를 포함하는 파일로부터 추출되는 음원 위치 관련 정보를 토대로 음원 위치를 산출하는 장치(4)로부터 음원 위치 좌표를 획득하거나, 또는 기록 매체에 저장된 데이터로부터 음원 위치 좌표를 로드하는 등 다양한 경로를 토대로 음원 위치 좌표를 획득할 수 있다. 여기서 음원 위치 좌표는 2차원 또는 3차원 좌표일 수 있으며, 이에 한정되지는 않는다.
음원 세기 획득부(4000)는 음원으로부터 발생된 소리에 해당하는 세기 정보를 획득한다. 예를 들어, 음원 세기 획득부(4000)는 동영상 파일에 기록된 오디오 데이터부(F2)에 기록되는 채널별 오디오 데이터들의 세기들을 토대로 음원으로부터 획득되는 소리 즉, 오디오 데이터에 대한 세기를 획득한다. 여기서 음원으로부터 획득되는 소리의 세기를 설명의 편의상 "음원 세기"라고 명명한다. 음원 세기는 예를 들어, 각 채널별 오디오 데이터들의 세기들의 평균값일 수 있다. 음원 세기 획득부(4000)는 동영상 파일의 오디오 데이터부(F2)로부터 직접 채널별 오디오 데이터들의 세기를 측정하여 음원 세기를 획득하거나, 또는 도12에 도시된 음원 위치 산출 장치(4)의 연산부(300')의 신호 세기 측정 모듈(310')로부터 각 채널별 오디오 데이터들의 세기 정보를 제공받고 이들을 처리하여 음원 세기를 획득할 수 있다. 이하에서는 음원 세기 획득부(4000)가 음원 위치 산출 장치(4)로부터 각 채널별 오디오 데이터들의 세기 정보를 제공받는 것을 예로 들어 설명한다.
음원 위치 변환부(2000)는 획득한 음원 위치 좌표를 재생되는 영상과 동기시켜 화면상에 표시하기 위한 좌표로 변환하며, 이를 위하여, 재생되는 영상이 촬영된 상황에 관련된 촬영 정보를 획득하는 촬영 정보 획득 모듈(2100), 영상을 표시하는 화면(예를 들어, 모니터 등)의 해상도 정보를 획득하는 화면 해상도 획득 모듈(2200), 촬영 정보로부터 획득되는 카메라 해상도와 영상을 표시하는 화면의 해상도를 토대로 해상도 비율을 측정하고 이를 토대로 음원 위치 좌표를 변환하는 제1변환 모듈(2300), 카메라 촬영 정보로부터 획득되는 줌 배율을 토대로 음원 위치 좌표를 변환하는 제2변환 모듈(2400)을 포함한다.
이러한 구조의 음원 위치 변환부(2000)를 통하여 음원 위치를 화면상에 표시하기 위한 표시 좌표가 획득되며, 설명의 편의상 이러한 좌표를 "음원 표시 좌표"라고 명명한다.
음원 위치 출력부(3000)는 음원 표시 좌표를 토대로 화면상에 음원 위치를 표시하며, 이를 위하여, 위치 표시 모듈(3100) 및 이동 경로 표시 모듈(3200)을 포함한다.
위치 표시 모듈(3100)은 음원 위치 변환부(2000)로부터 제공되는 음원 표시 좌표를 토대로 영상 데이터가 재생되어 출력되는 화면상에 음원을 표시한다. 또한 위치 표시 모듈(3100)은 음원 표시 좌표를 토대로 음원에 대한 심도(높이)를 표시한다. 또한 위치 표시 모듈(3100)은 음원 세기 획득부(4000)로부터 제공되는 음원 세기를 토대로 표시되는 음원 위치에 대응하여 음원 세기를 표시한다. 여기서 심도 및 음원 세기를 표시하는 방법에 대해서는 추후에 보다 구체적으로 설명하기로 한다.
한편 이동 경로 표시 모듈(3200)은 획득되는 음원 위치를 토대로 영상내에 음원이 이동하는 경로를 표시한다. 예를 들어, 이동 경로 표시 모듈(3200)은 현재 표시하는 영상 프레임을 기준으로 설정 개수의 이전 프레임들에 대응하는 음원 위치를 참조하여 음원의 이동 경로를 표시할 수 있다. 예를 들어, 100번째 프레임에 대응하는 영상을 표시할 때, 해당 프레임의 음원 위치를 표시하면서 100번째 프레임을 기준으로 10개의 이전 프레임들에서 대응하는 음원 위치들을 토대로 음원의 이동 경로를 표시한다. 이에 따라 90번째 프레임부터 100번째 프레임들에 대응하는 음원 위치들을 토대로 음원의 이동 경로가 표시될 수 있다. 또한 그동안 획득된 모든 음원 위치들을 토대로 음원의 이동 경로를 표시할 수 있다. 즉, 음원이 측정되어 표시되는 처음 위치(예:시작점)에서부터 이후 측정되는 음원의 위치들을 표시하는 방식으로 이동 경로를 표시할 수 있다.
다음에는 이러한 구조로 이루어지는 음원 위치 표시 장치를 토대로 본 발명의 실시 예에 따른 음원 위치 표시 방법에 대하여 설명한다.
도16은 본 발명의 실시 예에 따른 음원 위치 표시 방법의 흐름도이다. 도16에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 음원 위치 표시 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다.
여기서는 음원 위치 표시 장치(5)가 음원 위치 산출 장치(4)로부터 음원 위치를 제공받고, 음원으로부터 발생된 소리에 해당하는 오디오 데이터들의 세기를 제공받는 것을 예로 하여 설명하지만, 본 발명의 실시 예에 따른 음원 위치 표시 장치은 이러한 방법을 통하여 음원 위치를 제공받는 것에 한정되지 않으며, 다양한 경로를 통하여 음원 위치를 제공받을 수 있다.
첨부한 도16에 도시되어 있듯이, 음원 위치 표시 장치(5)는 재생하고자 하는 영상 데이터를 획득하며(S700), 또한 영상 데이터에 대응하는 음원 위치(예를 들어, 2차원 좌표 또는 3차원 좌표 등)를 획득한다(S710). 여기서 음원 위치 표시 장치(5)는 도1에 도시된 바와 같은 구조로 이루어지는 동영상 파일을 제공받고, 동영상 파일의 영상 데이터부(F1)의 페이로드(P1)로부터 영상 데이터를 획득하며, 음원 위치 표시 장치(5)로부터 해당 오디오 데이터부(F2)의 헤더(H2)에 저장된 음원 위치 관련 정보를 토대로 산출된 음원 위치를 제공받는다.
음원 위치 표시 장치(5)는 획득한 음원 위치 즉, 음원 위치 좌표를 토대로 음원의 위치를 화면상에 표시할 음원 표시 좌표를 획득한다(S720). 여기서 표시하는 화면의 해상도에 따라 음원 위치 좌표를 보정하는 과정을 선택적으로 수행하며, 보정 과정을 수행하지 않거나 보정이 필요하지 않은 경우에는 획득된 음원 위치 좌표가 음원 표시 좌표가 되며, 보정 과정이 수행된 경우에는 음원 위치 좌표가 보정된 음원 표시 좌표가 획득된다. 이러한 음원 표시 좌표를 획득하는 과정에 대해서는 추후에 보다 구체적으로 설명하기로 한다.
또한 음원 위치 표시 장치(5)는 음원 세기를 획득한다(S730). 예를 들어, 음원 위치 표시 장치(5)는 음원 위치 산출 장치(4)로부터 동영상 파일의 오디오 데이터부(F2)의 페이로드(P2)에 저장된 각 채널별 오디오 데이터들의 세기 정보를 제공받고, 채널별 오디오 데이터들의 세기들의 평균을 구하여 음원 세기를 산출한다.
또한 음원 위치 표시 장치(5)는 음원 위치를 토대로 음원의 이동 경로를 획득한다(S740). 여기서는 표시하고자 하는 현재 프레임의 이전 프레임들의 음원 위치 좌표들이 저장되어 있는 것으로 하며, 이러한 음원 위치 좌표들에 대응하는 음원 표시 좌표들도 저장되어 있는 것으로 한다. 물론 이러한 음원 표시 좌표들은 이후에 설명하는 보정 과정을 통하여 보정 처리된 음원 위치 좌표들일 수 있다. 또한 음원 위치 표시 장치(5)는 획득되는 이동 경로를 토대로 음원의 이동 방향을 확인할 수 있다.
다음, 음원 위치 표시 장치(5)는 영상 데이터를 화면상에 표시하면서 이 영상 데이터에 대응하여 획득한 음원 위치를 표시한다(S750~S760). 구체적으로 영상 데이터를 화면상에 표시하면서 획득한 음원 위치에 대응하는 음원 표시 좌표를 토대로 화면상에 재생되는 영상에 음원을 표시한다. 즉, 영상내에 음원이 어디에 위치되는지를 표시한다.
이 때, 획득되는 음원 위치 좌표가 3차원 좌표(x, y, z)인 경우, 높이에 대응하는 z축의 좌표값을 토대로 음원의 심도를 표시할 수 있다. 본 발명의 실시 예에서는 등고선을 이용하여 음원의 심도를 표시한다(S770).
도17은 본 발명의 실시 예에 따라 화면상에 음원 위치를 표시하는 것을 나타낸 예시도이다.
첨부한 도17에 예시되어 있듯이, 영상 데이터가 재상되는 화면(Scr)에 산출된음원 위치 좌표에 대응하는 음원 표시 좌표에 음원(S)을 표시한다. 그리고 음원(S)의 높이(z축 값)을 토대로 음원(S) 주변에 등고선(CL)을 표시한다. 여기서 음원(S)의 높이에 따라 등고선을 구성하는 선의 개수를 다르게 표시하거나 또는 등고선을 구성하는 선들 사이의 간격을 다르게 표시하는 방법으로, 음원(S)의 위치가 재생되는 영상에 대응하는 공간에서 실질적으로 어떠한 높이에 위치되어 있는지를 영상을 보는 사용자가 확인할 수 있도록 할 수 있다.
또한 음원 표시 장치(5)는 영상내에 음원을 표시하면서 해당 음원으로부터 발생되는 소리의 세기를 표시할 수 있다(S780). 도17에 예시된 바와 같이, 화면(Scr)에 표시되는 음원(S)에 대응하여 음원 세기(A)를 표시할 수 있다. 이 경우 음원 세기를 나타내는 표시(A)의 크기를 음원 세기별로 다르게 하여 현재 음원(S)으로부터 출력되는 소리의 세기가 어느 정도인지를 사용자가 확인할 수 있도록 할 수 있다.
또한 음원 표시 장치(5)는 영상내에 음원을 표시하면서 음원의 이동 경로를 표시할 수 있다(S790).
도18은 본 발명의 실시 예에 따라, 화면상에 음원의 이동 경로를 표시하는 것을 나타낸 예시도이다.
첨부한 도18에 예시되어 있듯이, 화면(Scr)에 표시되는 영상내에 음원의 이동 경로(MP)를 표시한다. 이 경우 재생하는 동영상 파일로부터 처음에 획득한 음원의 위치를 도17에 도시된 바와 같이 표시하고, 이와 같이 표시되는 최초의 음원 위치를 기준으로 도18에 예시된 바와 같이 음원의 이동 경로를 표시할 수 있다. 즉, 최초의 음원 위치는 화면상에 계속하여 표시하면서 이후 획득되는 음원 위치를 토대로 음원의 이동 경로를 획득하고, 획득되는 이동 경로에 해당하는 음원 표시 좌표들을 토대로 도18에 예시된 바와 같이 이동 경로(MP)를 표시한다. 이에 따라 재생되는 영상을 보는 사용자는 음원이 어느 위치에서 어디로 이동하는지를 용이하게 알 수 있다. 특히 본 발명의 실시 예에 따른 음원 위치 표시 장치(5)가 감시 시스템에 적용되는 경우, 사용자가 감시 공간을 촬영한 영상을 확인하면서 칩입자가 어디에서 침입하여 어디로 이동하는지를 알 수 있으므로, 이후 이러한 침입에 보다 효과적으로 대응할 수 있다.
다음에는 이와 같이 이루어지는 음원 표시 과정에서 음원 위치 좌표에 대응하는 음원 표시 좌표를 획득하는 과정에 대하여 보다 구체적으로 설명한다.
도19는 본 발명의 실시 예에 따른 음원 위치 표시 방법에서, 음원 표시 좌표를 획득하는 과정을 나타낸 흐름도이다.
음원 위치 즉, 음원 위치 좌표를 획득한 다음에, 음원 위치 표시 장치(5)는 획득한 음원 위치 좌표를 영상 데이터가 재생되는 화면에 음원을 표시하기 위한 음원 표시 좌표로 변환한다.
이를 위하여, 첨부한 도 19에서와 같이, 음원 위치 표시 장치(5)는 영상 데이터가 촬영된 상황에 해당하는 촬영 정보를 획득한다(S7210). 구체적으로 영상 데이터부(F1)의 헤더(H1)에 저장되어 있는 카메라 촬영 정보(카메라의 픽셀 정보, 카메라의 줌배율 정보, 그리고 카메라의 모션 정보 등)을 획득한다. 여기서는 카메라 촬영 정보를 동영상 파일로부터 획득하는 것을 예로 들었지만, 만약에 동일한 촬영 조건(줌배율, 카메라 픽셀 등)에서 영상이 촬영되는 경우 해당 카메라 촬영 정보가 미리 설정되어 음원 위치 표시 장치(5)에 저장되어 사용될 수도 있다.
또한 음원 위치 표시 장치(5)는 영상이 표시되는 화면의 해상도 정보를 획득한다(S7220). 이러한 해상도 정보는 미리 설정되어 음원 위치 표시 장치(5)에 저장되어 사용되거나 또는 별도의 입력 장치를 통하여 입력되어 사용될 수 있다.
다음 음원 위치 표시 장치(5)는 카메라 촬영 정보로부터 획득되는 카메라 픽셀 정보를 토대로 하는 카메라 해상도와 영상이 표시되는 화면의 해상도의 관계를 나타내는 해상도 비율을 산출한다(S7230). 구체적으로 카메라 해상도와 화면의 해상도를 나누어서 해상도 비율을 산출할 수 있다.
그리고 산출된 해상도 비율을 토대로 음원 위치 좌표를 변환한다. 먼저, 음원위치 표시 장치(5)는 재생되는 영상 데이터 촬영시에 줌배율이 적용되었는지를 판단한다(S7240). 여기서는 위에 기술된 바와 같이 제공되는 카메라 촬영 정보로부터 줌배율 정보를 확인할 수 있다.
영상 데이터 촬영시에 줌배율이 적용되지 않은 경우, 음원 위치 표시 장치(5)는 해상도 비율을 토대로 음원 위치 좌표를 음원 표시 좌표로 변환한다. 예를 들어, 카메라 픽셀 정보가 1024 X 768인데 반하여, 화면의 해상도는 1280 X 720일 수 있다. 이러한 경우 카메라 픽셀 정보와 화면의 해상도의 비율을 구하고, 구해진 해상도 비율을 음원 위치 좌표(x, y)에 적용시켜 영상 데이터가 재생되는 화면에 적용할 음원 표시 좌표(x', y')를 획득한다. 예를 들어, 1024 X 768와 1280 X 720를 축별로 각각 나누어서, x방향과 y축 방향에 대하여 각각 1.25, 0.94의 비율을 획득할 수 있으며, 이와 같이 획득된 비율을 음원 위치 좌표(x, y)에 각각 적용시켜 음원 표시 좌표를 획득한다.
이 경우, 음원 위치 좌표(x, y)는 영상 촬영시 사용되는 카메라의 촬영 화면 배율을 고려하여 설정되는 기준 좌표를 토대로 산출된 좌표일 수 있다. 즉, 위에 기술된 음원 위치 산출 방법에서 기준 좌표가 카메라의 촬영 화면 배율을 고려하여 설정된 기준 좌표이고, 이러한 기준 좌표를 토대로 위에 기술된 바와 같이 마이크로폰들의 위치 좌표들이 획득되고, 마이크로폰 좌표들을 토대로 음원 위치 좌표가 산출될 수 있다. 여기서 기준 좌표가 카메라의 촬영 화면 배율을 고려하여 설정되었다는 것은, 카메라의 촬영 화면상의 소정 좌표로 매핑되어 있다는 것을 나타낼 수 있다. 이러한 경우에는 음원 위치 좌표가 영상 데이터를 획득한 카메라의 화면 배율을 고려하여 설정된 기준 좌표를 토대로 산출된 좌표이므로, 선택적으로 음원 위치 좌표에 대한 추가적인 변경 없이 해상도 비율을 음원 위치 좌표(x,y)에 적용시켜 음원 표시 좌표(x', y')를 획득할 수 있다.
한편, 기준 좌표가 카메라의 촬영 화면 배율을 고려하여 설정되지 않은 경우에는 음원 위치 관련 정보를 토대로 획득되는 음원 위치 좌표를 카메라의 촬영 화면 배율을 고려한 좌표로 변경하는 작업을 추가로 수행할 수 있다. 보다 구체적으로 말하자면, 음원을 측정하기 위한 마이크로폰들이 설치되어 있는 소정 공간에 대하여 카메라를 이용하여 영상 데이터를 획득하고 마이크로폰들로부터 획득되는 오디오 데이터, 그리고 음원 위치 관련 정보를 토대로 위에 기술된 바와 같이 음원 위치가 산출되는 경우, 산출된 음원 위치는 카메라에 의하여 촬영되는 공간에 대응하는 카메라의 촬영 화면을 벗어나는 곳에 위치될 수 있다. 이러한 경우에는 산출된 음원 위치 좌표를 카메라의 촬영 화면 상의 소정 좌표로 보정하는 과정을 수행할 수 있다. 이 때, 음원을 측정하기 위한 마이크로폰들의 위치를 알고 있고 마이크로폰들의 위치는 카메라가 촬영하는 공간에 대응하는 화면상의 소정 좌표로 매핑할 수 있다. 이와 같이 카메라의 촬영 화면상에 매핑되는 마이크로폰들의 위치 좌표를 기준으로 하면서, 위에 기술된 음원 위치 산출 과정에서 획득되는 마이크로폰들과 음원 사이의 거리들을 토대로 음원 위치 좌표를 카메라 촬영 화면상의 소정 좌표로 보정할 수 있다. 이러한 경우에는 촬영되는 영상 데이터에 따른 화면상에는 보이지 않는 구역에 위치한 음원의 위치를 표시할 수 있으며, 카메라에 의하여 감시되지 않는 구역에 대해서도 음원 발생에 대한 예측 감시가 이루어질 수 있다. 이와 같이 카메라의 촬영 화면 상의 소정 좌표로 보정되는 음원 위치 좌표에 위의 해상도 비율을 적용시켜 음원 위치를 표시할 음원 표시 좌표를 구할 수 있다.
이외에도 산출된 음원 위치가 카메라에 의하여 촬영되는 공간에 대응하는 카메라의 촬영 화면을 설정 거리 이상 벗어나는 곳에 위치되어 있는 경우에 음원 위치를 직접 영상 데이터가 재생되는 화면에 표시하지 않고, 소정 방향의 소정 거리에 음원이 위치되어 있음을 나타내는 데이터를 화면상에 표시할 수도 있다.
도20은 본 발명의 실시 예에 따른 마이크로폰들의 위치에 따른 음원 위치 좌표와 카메라의 해상도 그리고 화면 해상도와의 관계를 나타낸 예시도이다.
한편, 영상 데이터 촬영시에 줌배율이 적용된 경우에는 위에 기술된 바와 같이 해상도 비율을 토대로 음원 위치 좌표를 변환한 다음에, 변환된 음원 위치 좌표를 줌배율에 따라 변환하여 음원 표시 좌표를 획득한다.
도21은 본 발명의 실시 예에 따른 음원 위치 표시시, 줌배율을 적용시켜 음원 위치를 표시하는 것을 나타낸 예시도이다.
해상도 비율이 적용된 음원 위치 좌표에 따라 화면상에 음원이 첨부한 도 21의 좌측에 예시되어 있듯이 표시될 수 있는데, 화면상에 표시되는 영상 데이터에 줌배율이 적용된 경우, 해당 줌배율을 변환된 음원 위치 좌표에 적용시켜 음원 표시 좌표를 획득할 수 있다. 즉, 촬영시 적용된 카메라의 줌배율과 영상이 표시되는 화면의 화면 비율을 대비하고, 대비 결과에 따라 해상도 비율이 적용된 음원 위지 좌표를 변환하여 음원 표시 좌표를 획득한다. 이에 따라 도21의 우측에 예시되어 있듯이, 촬영시 적용된 카메라의 줌배율과 영상이 표시되는 화면의 화면 비율의 대비에 따라 음원이 화면상에 표시될 수 있다.
위에 기술된 바와 같은 실시 예에 따라 음원이 실제적으로 위치되는 현실 공간과 이러한 공간에 대응하는 영상 데이터가 재생되는 화면 사이에 도22와 같은 매핑 관계가 형성된다. 도22는 본 발명의 실시 예에 따른 음원 위치 표시 방법에 따른, 음원의 현실 공간과 화면 사이의 매핑 관계를 나타낸 예시도이다.
도22에 예시되어 있듯이, 카메라가 촬영하는 현실 공간에 위치한 음원으로부터 발생한 소리를 마이크로폰들이 측정하고 이러한 마이크로폰들이 획득한 소리와 음원 위치 관련 정보를 토대로 현실 공간에서의 음원 위치가 산출되며, 산출된 음원 위치는 위에 기술된 바와 같은 음원 위치 표시 방법을 통하여 영상 데이터가 재생되는 화면의 소정 위치에 매핑되어 표시된다.
한편 음원의 위치가 산출된 음원 위치가 카메라에 의하여 촬영되는 공간에 대응하는 카메라의 촬영 화면을 설정 거리 이상 벗어나는 곳에 위치되어 있는 경우에, 도22에 예시되어 있듯이, "우측 30cm 음원 감지"와 같이 소정 방향의 소정 거리에 음원이 위치되어 있음을 나타내는 데이터를 화면상에 표시하여, 사용자가 음원이 어디에 위치되는지를 확인할 수 있도록 할 수 있다. 이 경우 추후 사용자는 카메라를 음원의 방향으로 회전시켜 음원이 위치되는 공간을 촬영하고 이후 위에 기술된 바와 과정을 통하여 음원 위치를 촬영된 공간의 영상이 재생되는 화면상에 표시할 수 있다.
한편, 영상을 재생하는 장치(예를 들어, 음원 위치 표시 장치일 수 있음)가 3차원 표시 장치인 경우에도 위에 기술된 바와 같은 음원 위치 표시 방법이 동일하게 적용될 수 있다.
도23은 본 발명의 실시 예에 따른 음원 위치 표시 방법에 따라, 3차원 화면상에 음원 위치가 표시되는 것을 나타낸 예시도이다.
3차원 영상을 표시하는 경우에는 음원 위치 좌표(x, y, z)의 z축 값을 3차원 영상이 표시되는 화면의 Z축의 값으로 변환하는 과정을 추가로 수행하여 음원 표시 좌표(x', y', z')를 구할 수 있다. 이런 경우에는 도23에 예시된 바와 같이, 3차원 화면 상에 음원 위치가 표시될 수 있다.
한편, 위에 기술된 실시 예에서, 설정 조건을 만족하는 특정 음원에 대한 위치만을 표시할 수도 있다. 예를 들어, 설정값 이상의 세기를 가지는 오디오 데이터를 생성한 음원에 대해서만 영상 데이터가 재생되는 화면에 해당 음원의 위치를 위에 기술된 바와 같이 표시할 수 있다. 즉, 획득되는 음원 세기가 설정값 이상인 경우에만 해당 음원의 위치를 표시할 수 있다. 음원을 선택적으로 표시하기 위한 설정 조건은 위의 예시된 것에 한정되지는 않는다.
위에 기술된 바와 같이 음원의 위치를 대응하는 영상 데이터가 재생될 때 표시함으로써, 영상 데이터 재생에 문제가 있어서 영상이 표시되지 않거나 영상 데이터의 휘도가 낮아서 표시되는 영상의 식별이 용이하지 않는 경우에도, 소리가 발생한 음원에 대한 위치 정보를 알 수 있으며, 표시되는 영상의 어떠한 영역에 소리가 발생한 음원이 위치되는지를 용이하게 알 수 있다.
한편 위에 기술된 음원 위치 표시 장치(5)는 음원 위치를 획득하여 영상 데이터에 매핑시켜 표시하는 구성 요소를 포함하는 형태로 이루어지지만, 음원 위치를 산출하는 구성 요소를 포함하는 형태로 구현될 수도 있다. 즉, 위에 기술된 음원 위치 산출 장치(4)의 구성 요소인 동영상 파일을 수신하는 수신부(100), 수신된 동영상 파일로부터 음원 위치 관련 정보를 추출하는 정보 추출부(200), 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출하는 연산부(300, 300')를 포함하는 형태로 구현될 수도 있다. 당업자라면 위에 기술된 실시 예를 토대로 음원 위치 산출 장치의 소정 구성 요소를 음원 위치 표시 장치에 적용시켜, 음원 위치 표시 장치가 음원 위치를 획득하는 것을 구현할 수 있으므로, 여기서는 이에 대한 상세 설명을 생략한다.
이러한 본 발명의 실시 예에 따른 음원 위치를 표시하는 장치 및 방법은 다양한 분야에 사용될 수 있으며, 특히, 감시나 경비를 수행하는 시스템에서 보다 효과적으로 사용될 수 있다. 감시나 경비가 이루어지는 공간의 경우 휘도가 낮아서 영상에 포함되는 객체의 식별이 용이한 영상 데이터를 획득하기가 용이하지 않다. 이러한 상황에서 촬영되는 영상 데이터에 소리가 발생한 음원에 대한 위치를 함께 표시함으로써, 관제 센터에서 재생되는 영상의 식별이 용이하지 않은 경우에도 소리가 발생된 음원의 위치를 알 수 있으며, 이를 토대로 신속하고 적절한 경비 대응이 이루어질 수 있다. 특히 관제 센터의 사용자들에게 음원 위치에 대한 시인성을 제공하여 적절한 보안 대응이 보다 신속하게 이루어질 수 있다. 또한 음원의 이동 경로를 표시함으로써, 음원의 이동 경로에 따른 시작점과 종료점을 토대로 침입자의 범죄 위치를 예측할 수도 있다. 이러한 것은 본 발명의 실시 예에 따른 음원 위치 산출 장치 및 그 방법이 적용되는 것에 대한 예일 뿐이며, 위에 기술된 것들에 한정되지 않는다.
이상에서 설명한 본 발명의 실시 예는 장치(물건) 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예에 따른 음원 위치 산출 방법의 구성에 대응하는 기능을 실행시킬 수 있는 프로그램 또는 그 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (15)

  1. 기록매체로부터 로드되거나 외부로부터 수신되며, 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보가 헤더에 기록되어 있고 음원으로부터 발생한 소리를 포함하는 오디오 데이터가 페이로드에 기록된 오디오 데이터부를 포함하는 파일로부터, 상기 음원 위치 관련 정보를 추출하는 단계;
    상기 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출하고, 산출된 음원 위치에 해당하고 재생되는 영상 데이터에 대응하는 음원 위치 좌표를 획득하는 단계;
    상기 음원 위치 좌표를 상기 영상 데이터가 재생되는 화면상의 좌표에 대응하는 음원 표시 좌표로 변환하는 단계; 및
    상기 음원 표시 좌표를 토대로 상기 영상 데이터가 재생되는 화면에 음원 위치를 표시하는 단계
    를 포함하고,
    상기 음원 위치 관련 정보는 소리가 발생한 환경에 관련된 환경 파라미터를 포함하는 소리 속도 결정 정보를 포함하며, 상기 환경 파라미터는 소리 속도에 영향을 주는 온도, 습도, 압력 중 적어도 하나를 포함하며,
    상기 음원 위치 좌표를 획득하는 단계는 미리 저장되어 있는 소리 속도 보정 테이블로부터 상기 환경 파라미터에 대응하는 소리 속도를 획득하고, 획득된 상기 소리 속도를 이용하여 상기 음원 위치를 산출하며,
    상기 표시하는 단계는
    음원의 이동 경로를 표시하는 단계; 및
    음원의 높이를 등고선을 이용하는 표시하는 단계
    중 적어도 하나를 포함하는 음원 위치 표시 방법.
  2. 제1항에 있어서
    상기 음원 표시 좌표로 변환하는 단계는
    상기 영상 데이터를 촬영한 카메라의 픽셀 정보에 따른 해상도를 획득하는 단계;
    상기 화면의 해상도 정보를 획득하는 단계;
    상기 카메라의 해상도와 상기 화면의 해상도의 비율 관계를 나타내는 해상도 비율을 산출하는 단계; 및
    상기 음원 위치 좌표에 상기 해상도 비율을 적용시켜 상기 음원 위치 좌표를획득하는 단계
    를 포함하는, 음원 위치 표시 방법.
  3. 제2항에 있어서
    상기 영상 데이터를 촬영한 카메라의 줌배율 정보를 획득하는 단계를 더 포함하고,
    상기 음원 위치 좌표를 획득하는 단계는 상기 해상도 비율이 적용된 음원 위치 좌표에 상기 줌배율 정보를 적용시켜 상기 음원 표시 좌표를 획득하는, 음원 위치 표시 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서
    상기 음원으로부터 발생되는 소리에 대응하는 오디오 데이터를 획득하고, 획득된 오디오 데이터의 세기에 대응하는 음원 세기를 획득하는 단계; 및
    상기 음원 위치가 표시되는 화면상에 상기 음원 세기를 표시하는 단계
    를 더 포함하는, 음원 표시 방법.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서
    상기 음원의 이동 경로를 표시하는 단계는,
    상기 화면상에 재생되는 영상 데이터의 프레임별로 음원 위치 좌표에 대응하여 획득되는 음원 표시 좌표를 저장하는 단계; 및
    상기 저장되는 음원 표시 좌표들을 토대로 상기 화면상에 음원의 이동 경로를 표시하는 단계
    를 포함하는, 음원 표시 방법.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서
    상기 등고선을 이용하여 표시하는 단계는,
    상기 음원 위치 좌표를 토대로 음원의 높이를 획득하는 단계; 및
    상기 음원 위치가 표시되는 화면상에 상기 음원의 높이를 등고선을 이용하여표시하는 단계
    를 포함하는, 음원 표시 방법.
  7. 제1항 내지 제3항 중 어느 한 항에 있어서
    상기 음원 위치 관련 정보는
    소리를 측정하는 마이크로폰들의 개수, 마이크로폰들 사이의 거리, 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표, 마이크로폰들의 각도 중 적어도 하나를 포함하는, 음원 위치 표시 방법.
  8. 삭제
  9. 기록매체로부터 로드되거나 외부로부터 수신되며, 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보가 헤더에 기록되어 있고 음원으로부터 발생한 소리를 포함하는 오디오 데이터가 페이로드에 기록된 오디오 데이터부를 포함하는 파일로부터, 상기 음원 위치 관련 정보를 추출하고 이를 토대로 음원 위치를 산출하고, 산출된 음원 위치에 해당하고 재생되는 영상 데이터에 대응하는 음원 위치 좌표를 획득하는 음원 위치 획득부;
    획득된 음원 위치를 표시하기 위한 음원 표시 좌표로 변환하는 음원 위치 변환부; 및
    상기 음원 표시 좌표를 토대로 영상 데이터가 재생되는 화면상에 음원 위치를 표시하는 음원 위치 출력부
    를 포함하며,
    상기 음원 위치 출력부는 상기 화면상에 재생되는 영상 데이터의 프레임별로 음원 위치 좌표에 대응하여 획득되는 음원 표시 좌표들을 토대로, 상기 화면상에 음원의 이동 경로를 표시하는 이동 경로 표시 모듈
    을 포함하고,
    상기 음원 위치 관련 정보는 소리가 발생한 환경에 관련된 환경 파라미터를 포함하는 소리 속도 결정 정보를 포함하며, 상기 환경 파라미터는 소리 속도에 영향을 주는 온도, 습도, 압력 중 적어도 하나를 포함하며,
    상기 음원 위치 획득부는 미리 저장되어 있는 소리 속도 보정 테이블로부터 상기 환경 파라미터에 대응하는 소리 속도를 획득하고, 획득된 상기 소리 속도를 이용하여 상기 음원 위치를 산출하는, 음원 위치 표시 장치.
  10. 제9항에 있어서
    상기 음원 위치 변환부는
    재생되는 영상 데이터가 촬영된 상황에 관련된 촬영 정보를 획득하는 촬영 정보 획득 모듈;
    상기 영상 데이터가 재생되는 화면의 해상도 정보를 획득하는 화면 해상도 획득 모듈;
    상기 촬영 정보로부터 획득되는 카메라 해상도와 영상을 표시하는 화면의 해상도를 토대로 해상도 비율을 측정하고 이를 토대로 음원 위치 좌표를 변환하는 제1변환 모듈; 및
    상기 카메라 촬영 정보로부터 획득되는 줌 배율을 토대로 제1변환 모듈에 의하여 변환된 음원 위치 좌표를 변환하는 제2변환 모듈
    을 포함하는, 음원 위치 표시 장치.
  11. 제9항 또는 제10항에 있어서
    상기 영상 데이터를 포함하는 동영상 파일에 기록된 오디오 데이터부의 채널별 오디오 데이터들의 세기들을 토대로, 음원으로부터 획득되는 소리의 세기에 해당하는 음원 세기를 획득하는 음원 세기 획득부
    를 더 포함하는, 음원 위치 표시 장치.
  12. 제10항에 있어서
    상기 음원 위치 출력부는
    상기 음원 위치 변환부로부터 제공되는 음원 표시 좌표를 토대로 영상 데이터가 재생되어 출력되는 화면상에 음원을 표시하고, 상기 표시되는 음원에 대응하여 상기 획득되는 음원 세기를 표시하는 위치 표시 모듈
    을 더 포함하는, 음원 위치 표시 장치.
  13. 제12항에 있어서
    상기 위치 표시 모듈은 상기 음원 위치 좌표에 높이에 대응하는 좌표값이 포함되어 있는 경우, 상기 화면상에 표시되는 음원에 대응하여 등고선을 이용하여 상기 음원의 높이를 표시하는, 음원 위치 표시 장치.
  14. 제9항 또는 제10항에 있어서
    상기 음원 위치 표시 장치는 3차원 영상을 표시하는 장치이며, 상기 영상 데이터를 3차원 화면상에 출력하면서 상기 음원의 위치를 상기 3차원 화면상에 표시하는, 음원 위치 표시 장치.
  15. 삭제
KR1020100040844A 2010-04-30 2010-04-30 음원 위치 표시 장치 및 그 방법 KR101155610B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100040844A KR101155610B1 (ko) 2010-04-30 2010-04-30 음원 위치 표시 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100040844A KR101155610B1 (ko) 2010-04-30 2010-04-30 음원 위치 표시 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110121303A KR20110121303A (ko) 2011-11-07
KR101155610B1 true KR101155610B1 (ko) 2012-06-13

Family

ID=45392211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100040844A KR101155610B1 (ko) 2010-04-30 2010-04-30 음원 위치 표시 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101155610B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107257525A (zh) * 2013-03-28 2017-10-17 三星电子株式会社 便携式终端和在便携式终端中指示声源的位置的方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112533070B (zh) * 2020-11-18 2024-02-06 深圳Tcl新技术有限公司 视频声音和画面的调整方法、终端和计算机可读存储介质
CN114827686A (zh) * 2022-05-09 2022-07-29 维沃移动通信有限公司 录制数据处理方法、装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004077277A (ja) * 2002-08-19 2004-03-11 Fujitsu Ltd 音源位置の可視化表示方法および音源位置表示装置
KR20100013347A (ko) * 2010-01-20 2010-02-09 (주)테슬라시스템 촬영된 영상에 음원 정보를 표시하는 카메라 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004077277A (ja) * 2002-08-19 2004-03-11 Fujitsu Ltd 音源位置の可視化表示方法および音源位置表示装置
KR20100013347A (ko) * 2010-01-20 2010-02-09 (주)테슬라시스템 촬영된 영상에 음원 정보를 표시하는 카메라 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107257525A (zh) * 2013-03-28 2017-10-17 三星电子株式会社 便携式终端和在便携式终端中指示声源的位置的方法

Also Published As

Publication number Publication date
KR20110121303A (ko) 2011-11-07

Similar Documents

Publication Publication Date Title
KR102502647B1 (ko) 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들
US9749738B1 (en) Synthesizing audio corresponding to a virtual microphone location
US11812235B2 (en) Distributed audio capture and mixing controlling
KR101155611B1 (ko) 음원 위치 산출 장치 및 그 방법
US10021505B2 (en) Control apparatus, measurement system, control method, and storage medium
KR20170066258A (ko) 정보 처리 장치, 정보 처리 방법 및 기록 매체
US20140086551A1 (en) Information processing apparatus and information processing method
EP2795402A1 (en) A method, an apparatus and a computer program for determination of an audio track
KR101155610B1 (ko) 음원 위치 표시 장치 및 그 방법
WO2011108377A1 (ja) 連携動作機器、連携動作方法、連携動作制御プログラム及び機器連携システム
JP2016009950A (ja) 音声処理装置
KR102039902B1 (ko) 원격 기자재 정도 검사 시스템 및 방법
KR101212317B1 (ko) 비컨을 구비한 마커를 포함하는 음원 위치 측정 장치 및 이를 이용한 음원 위치 오차 개선 방법
WO2020066698A1 (ja) 情報統合方法、情報統合装置、及び情報統合プログラム
KR101168742B1 (ko) 음원 위치 파악 정보를 포함한 서브타이틀 생성 장치 및 방법
KR101203706B1 (ko) 음원 위치 관련 정보를 포함하는 동영상 파일 생성 장치 및 그 방법 그리고 기록 매체
JPWO2019031004A1 (ja) 撮像システム、撮像装置及び撮像方法
JP6942567B2 (ja) 情報処理装置、情報処理方法及びコンピュータプログラム
JP2022036414A (ja) 騒音源特定支援システム、および騒音源特定支援方法
JP2007102343A (ja) 関心度測定装置および方法並びに関心度算出プログラム
JP2024027575A (ja) 情報処理装置、情報処理プログラム及び情報処理方法
WO2024008313A1 (en) Head-related transfer function calculation
JP2021027560A (ja) 撮像システム、マーカ、キャリブレーション装置および方法、プログラム
JP2018157385A (ja) データ同期方法
JP2017216553A (ja) 撮像システム、撮像方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150601

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180530

Year of fee payment: 7