KR101155611B1

KR101155611B1 - apparatus for calculating sound source location and method thereof

Info

Publication number: KR101155611B1
Application number: KR1020100040845A
Authority: KR
Inventors: 박민수
Original assignee: 주식회사 에스원
Priority date: 2010-04-30
Filing date: 2010-04-30
Publication date: 2012-07-11
Also published as: KR20110121304A

Abstract

음원 위치 산출 장치는, 소리가 발생한 음원의 위치를 측정하는 관련된 정보인 음원 위치 관련 정보가 헤더에 기록되어 있고 음원으로부터 발생한 소리를 포함하는 오디오 데이터가 페이로드에 기록된 오디오 데이터부를 포함하는 파일을 수신하고, 수신된 파일로부터 음원 위치 관련 정보를 추출한다. 그리고 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출한다. The sound source position calculating apparatus includes a file including an audio data portion in which sound source position related information, which is related information for measuring the position of a sound source where a sound is generated, is recorded in a header, and audio data including sound generated from the sound source is recorded in a payload. And extracts sound source position related information from the received file. The sound source position is calculated based on the extracted sound source position related information.

Description

Apparatus for calculating sound source location and method

본 발명은 음원 위치를 산출하는 장치 및 그 방법에 관한 것이다. The present invention relates to an apparatus for calculating a sound source position and a method thereof.

동영상 저장 및 재생에 사용되는 동영상 파일은 영상 데이터 및 오디오 데이터와 이에 관련된 각종 정보로 이루어진 부가 데이터를 포함한다. 이러한 동영상 파일은 일반적으로 미디어 컨테이너 파일 형태로 이루어지며, 미디어 컨테이너 파일은 압축된 영상 데이터 또는 오디오 데이터를 컨테이너 파일에 저장한다. 또는 동영상 파일은 미디어 컨테이너 없이 영상 데이터와 오디오 데이터 그리고 메타 데이터 등의 부가 데이터를 계층별로 오버레이(overlay) 하기도 한다. A video file used for storing and playing a video includes additional data including image data and audio data and various kinds of information related thereto. Such video files are generally formed in a media container file, and the media container file stores compressed image data or audio data in a container file. Alternatively, the video file may overlay additional data such as image data, audio data, and meta data without a media container for each layer.

부가 데이터에는 일반적으로 동영상 파일에 저장된 영상 데이터나 오디오 데이터에 관련된 각종 부가 정보를 포함한다. 예를 들어, 동영상 파일이 인터넷 상의 소정 사이트로부터 제공되는 경우에는 부가 데이터에 해당 동영상이 위치하고 있는 URL 정보, 저작권, 제목, 파일의 크기, 파일 형태 등이 포함된다. The additional data generally includes various additional information related to video data or audio data stored in a moving image file. For example, when a video file is provided from a predetermined site on the Internet, the additional data includes URL information, copyright, title, file size, file type, etc. in which the video is located.

동영상 파일은 AVI(audio video interleaved), MOV(moving), MPG/MPEG(moving picture experts group), ASF(advanced streaming format) 등과 같은 다양한 포맷으로 이루어지며, ISO/IEC 국제 표준에 따라 압축되어 데이터 전송 효율의 극대화를 도모한다. Video files come in a variety of formats, such as AVI (audio video interleaved), MOV (moving), MPG / MPEG (moving picture experts group), ASF (advanced streaming format), etc., and are compressed according to ISO / IEC international standards to transfer data. We aim to maximize efficiency.

본 발명이 해결하고자 하는 과제는 음원 위치 관련 정보를 토대로 소리를 발생하는 음원의 위치를 산출하기 위한 것이다. The problem to be solved by the present invention is to calculate the position of the sound source for generating a sound based on the sound source position-related information.

본 발명의 과제를 위한 본 발명의 특징에 따른 음원 위치 산출 방법은, 기록매체로부터 로드되거나 외부로부터 수신되는 데이터로부터 음원 위치 관련 정보를 추출하는 단계; 및 상기 음원 위치 관련 정보를 토대로 음원 위치를 산출하는 단계를 포함한다. According to an aspect of the present invention, there is provided a sound source position calculating method comprising: extracting sound source position related information from data loaded from a recording medium or received from an external device; And calculating a sound source position based on the sound source position related information.

여기서 상기 음원 위치 관련 정보는 소리를 측정하는 마이크로폰들의 개수, 마이크로폰들 사이의 거리, 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표, 마이크로폰들의 각도, 소리 속도 결정 정보 중 적어도 하나를 포함한다. The sound source position related information may include at least one of a number of microphones for measuring sound, a distance between the microphones, reference coordinates related to the positions of the microphones used to obtain the sound, angles of the microphones, and sound speed determination information.

또한 상기 추출하는 단계는 기록매체로부터 로드되거나 외부로부터 전송되며, 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보와 상기 소리에 해당하는 오디오 데이터를 포함하는 오디오 데이터부를 포함하는 파일을 수신하는 단계; 및 상기 수신된 상기 파일의 오디오 데이터부로부터 상기 음원 위치 관련 정보를 추출하는 단계를 포함할 수 있다. The extracting may include a file which is loaded from a recording medium or transmitted from the outside and includes an audio data unit including sound source position related information, which is information related to measuring a position of a sound source where a sound is generated, and audio data corresponding to the sound. Receiving; And extracting the sound source position related information from the audio data unit of the received file.

이 경우, 상기 산출하는 단계는 상기 파일의 오디오 데이터부로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들간의 시간 차이인 소리 시간 지연차들을 측정하는 단계; 상기 음원 위치 관련 정보로부터 포함되어 있거나 미리 설정되어 있는 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 단계; 및 상기 측정된 소리 시간 지연차들과 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는 단계를 포함할 수 있다. In this case, the calculating may include extracting audio data for each channel from the audio data portion of the file and measuring sound time delay differences which are time differences between the extracted audio data; Obtaining position coordinates of the microphones based on reference coordinates included or preset from the sound source position related information; And calculating a sound source position using the measured sound time delay differences and the position coordinates of the microphones.

또한 상기 산출하는 단계는 상기 파일의 오디오 데이터부로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들의 세기를 측정하고, 측정된 오디오 데이터들의 세기를 토대로 채널별 오디오 데이터들의 신호 세기차를 측정하는 단계; 상기 채널별 오디오 데이터들의 신호 세기차들을 토대로 각 마이크폰들과 음원 사이의 거리를 산출하는 단계; 상기 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 단계; 및 상기 마이크로폰들과 음원 사이의 거리들과 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는 단계를 포함할 수 있다. The calculating may include extracting audio data for each channel from the audio data unit of the file, measuring the strength of the extracted audio data, and measuring a signal strength difference of the audio data for each channel based on the measured audio data. ; Calculating a distance between microphones and a sound source based on signal intensity differences of the audio data for each channel; Obtaining position coordinates of the microphones based on reference coordinates related to the position of the microphones used to acquire the sound; And calculating a sound source position using distances between the microphones and the sound source and position coordinates of the microphones.

본 발명의 다른 특징에 따른 음원 위치 산출 장치는, 기록매체로부터 로드되거나 외부로부터 전송되며, 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보를 포함하는 데이터를 제공받는 수신부; 상기 수신부의 데이터로부터 상기 음원 위치 관련 정보를 추출하는 정보 추출부; 상기 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출하는 연산부; 및 상기 산출된 음원 위치를 출력하는 위치 출력부를 포함하며, 상기 음원 위치 관련 정보는 소리를 측정하는 마이크로폰들의 개수, 마이크로폰들 사이의 거리, 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표, 마이크로폰들의 각도, 소리 속도 결정 정보 중 적어도 하나를 포함한다. According to another aspect of the present invention, an apparatus for calculating a sound source position includes: a receiver configured to receive data including sound source position related information, which is loaded from a recording medium or transmitted from the outside and is information related to measuring a position of a sound source in which a sound is generated; An information extracting unit which extracts the sound source position related information from the data of the receiving unit; A calculator configured to calculate a sound source position based on the extracted sound source position related information; And a position output unit for outputting the calculated sound source position, wherein the sound source position related information includes a number of microphones for measuring sound, a distance between the microphones, reference coordinates related to the position of the microphones used to acquire the sound, and a microphone. At least one of angles, sound velocity determination information.

한편 본 발명의 특징에 따른 음원 위치 관련 정보는 마이크로폰과 채널의 매칭 정보를 더 포함할 수 있으며, 이 매칭 정보를 이용하여 상기 채널별로 추출될 오디오 데이터가 어떤 마이크로폰에 대응하는지를 확인할 수 있다. Meanwhile, the sound source position related information according to an aspect of the present invention may further include matching information of a microphone and a channel, and using this matching information, it is possible to identify which microphone corresponds to the audio data to be extracted for each channel.

본 발명의 실시 예에 따르면, 유선 또는 무선 네트워크를 통하여 전송되는 동영상 파일에 포함된 음원 위치 관련 정보를 토대로 음원 위치를 산출할 수 있으며, 특히 파일을 구성하는 영상 프레임별로 소리가 발생되는 음원의 위치를 효과적으로 파악할 수 있다. According to an embodiment of the present invention, a sound source position may be calculated based on sound source position related information included in a video file transmitted through a wired or wireless network, and in particular, the position of a sound source for generating sound for each image frame constituting the file. Can be effectively identified.

또한 동영상 파일에 포함되어 있는 음원 위치에 관련된 정보와 오디오 데이터를 토대로 음원의 위치를 측정할 수 있다. 또한 측정된 음원 위치를 동영상 재생시 별도로 표시하거나 오디오 등의 다양한 형태로 출력함으로써, 재생되는 영상 데이터의 식별이 용이하지 않는 경우에도 소리를 발생한 음원의 위치를 용이하게 알 수 있다. In addition, the position of the sound source may be measured based on the information related to the sound source position included in the video file and the audio data. Also, by separately displaying the measured sound source positions or outputting them in various forms such as audio, the position of the sound source generating the sound can be easily known even when the image data to be reproduced is not easy to identify.

도1은 본 발명의 실시 예에 따른 동영상 파일의 구조도이다.
도2는 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조도이다.
도3은 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 음원 위치 관련 정보 및 카메라 촬영 정보를 획득하는 경로를 나타낸 예시도이다.
도4는 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 음원 위치 관련 정보 및 카메라 촬영 정보를 획득하는 다른 경로를 나타낸 예시도이다.
도5는 본 발명의 실시 예에 따른 동영상 파일 생성 방법의 흐름도이다.
도6은 본 발명의 실시 예에 따른 음원 위치 관련 정보와 카메라 촬영 정보를 데이터부의 헤더에 매핑하여 동영상 파일을 생성하는 과정을 나타낸 도이다.
도7은 본 발명의 실시 예에 따른 음원 위치 산출 장치의 구조도이다.
도8은 도7에 도시된 연산부의 구조를 나타낸 예시도이다.
도9는 본 발명의 실시 예에 따른 음원 위치 산출 방법의 흐름도이다.
도10은 본 발명의 실시 예에서, 마이크로폰과 음원 사이의 거리를 산출하는 경우를 나타낸 예시도이다.
도11은 본 발명의 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다.
도12는 본 발명의 다른 실시 예에 따른 음원 위치 산출 장치의 연산부의 구조를 나타낸 예시도이다.
도13은 본 발명의 다른 실시 예에 따른 음원 위치 산출 방법의 흐름도이다.
도14는 본 발명의 다른 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다. 1 is a structural diagram of a video file according to an embodiment of the present invention.
2 is a structural diagram of a video file generating apparatus according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a path for acquiring sound source position related information and camera photographing information by a video file generating apparatus according to an exemplary embodiment of the present invention.
4 is an exemplary diagram illustrating another path for acquiring sound source position related information and camera photographing information by the apparatus for generating a video file according to an exemplary embodiment of the present invention.
5 is a flowchart illustrating a video file generation method according to an exemplary embodiment of the present invention.
6 is a diagram illustrating a process of generating a moving image file by mapping sound source position related information and camera photographing information to a header of a data unit according to an exemplary embodiment of the present invention.
7 is a structural diagram of a sound source position calculating apparatus according to an embodiment of the present invention.
FIG. 8 is an exemplary view showing a structure of an operation unit shown in FIG. 7.
9 is a flowchart illustrating a sound source position calculating method according to an embodiment of the present invention.
10 is an exemplary view illustrating a case of calculating a distance between a microphone and a sound source in an embodiment of the present invention.
11 is an exemplary diagram illustrating calculating a sound source position using an audio data unit recorded in a moving image file according to an exemplary embodiment of the present invention.
12 is an exemplary view showing a structure of a calculation unit of a sound source position calculating device according to another embodiment of the present invention.
13 is a flowchart of a sound source position calculating method according to another embodiment of the present invention.
14 is an exemplary diagram illustrating calculating a sound source position using an audio data unit recorded in a moving image file according to another embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when a part is said to "include" a certain component, it means that it can further include other components, without excluding other components unless specifically stated otherwise.

이하, 도면을 참조하여 본 발명의 실시 예에 따른 음원 위치 관련 정보를 포함하는 동영상 파일 생성 장치 및 그 방법에 대하여 설명한다. Hereinafter, an apparatus and method for generating a video file including sound source position related information according to an exemplary embodiment of the present invention will be described with reference to the accompanying drawings.

도1은 본 발명의 실시 예에 따른 음원 위치 관련 정보를 포함한 동영상 파일의 구조를 나타낸 구조도이다.1 is a structural diagram showing a structure of a video file including sound source position related information according to an embodiment of the present invention.

본 발명의 실시 예에 따른 동영상 파일은 영상 데이터부(F1)와 오디오 데이터부(F2)를 포함하며, 각각의 영상 데이터부(F1) 및 오디오 데이터부(F2)는 각각 헤더(header)(H1, H2) 및 페이로드(payload)(P1, P2)를 포함한다. The video file according to an exemplary embodiment of the present invention includes an image data unit F1 and an audio data unit F2, and each of the image data unit F1 and the audio data unit F2 has a header H1, respectively. , H2) and payloads P1 and P2.

헤더(H1, H2)는 고정된 영역을 가지며 예를 들어 32 비트로 이루어진다. 헤더(H1, H2)에는 페이로드(P1, P2)에 포함되는 데이터를 재생하기 위한 정보들이 저장되며, 특히 본 발명의 실시 예에 따른 영상 데이터부(F1)의 헤더(H1)는 카메라 촬영 정보를 포함하며, 오디오 데이터부(F2)의 헤더(H2)는 음원 위치 관련 정보를 포함한다. The headers H1 and H2 have a fixed area and consist of 32 bits, for example. Information for reproducing the data included in the payloads P1 and P2 is stored in the headers H1 and H2. In particular, the header H1 of the image data unit F1 according to the embodiment of the present invention may include camera photographing information. The header H2 of the audio data unit F2 includes sound source position related information.

영상 데이터부(F1)의 헤더(H1)에서 카메라 촬영 정보를 제외한 나머지 정보들을 설명의 편의상 "영상 관련 정보"라고 명명하며, 오디오 데이터부(F2)의 헤더(H2)에서 음원 위치 관련 정보를 제외한 나머지 정보들을 설명의 편의상 "오디오 관련 정보"라고 명명한다. In the header H1 of the image data unit F1, the remaining information except for the camera photographing information is referred to as "image related information" for convenience of description, and the header H2 of the audio data unit F2 except for the sound source position related information. The remaining information is referred to as "audio related information" for convenience of explanation.

영상 관련 정보 및 오디오 관련 정보는 동기를 맞추기 위한 동기(sync) 워드, 계층(layer)과 샘플링 주파수, 남아 있는 프레임과 같은 정보, 또는 저작권 등의 정보를 포함할 수 있다. The image related information and the audio related information may include information such as a sync word for synchronization, information such as a layer and sampling frequency, remaining frames, or copyright.

본 발명의 실시 예에 따른 음원 위치 관련 정보는 오디오 데이터가 생성된 음원의 위치를 측정하는데 사용된 파라미터에 대한 정보를 포함한다. 구체적으로, 음원으로부터의 신호를 수신하는 수단들 즉, 마이크로폰(microphone)의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도, 기준 좌표, 마이크로폰과 채널의 매칭 정보 중 적어도 하나를 포함한다. 이외에도 소리가 전달되는 속도에 영향을 주는 환경 파라미터(예를 들어, 온도, 습도, 압력 등)에 대한 측정 정보(예를 들어, 음원이 위치된 환경에서의 온도, 또는 습도 또는 압력 등)인 소리 결정 정보를 포함한다. The sound source position related information according to an embodiment of the present invention includes information on a parameter used to measure the position of a sound source for which audio data is generated. Specifically, at least one of means for receiving a signal from a sound source, that is, the number of microphones, the distance between the microphones, the angle of the microphones, the reference coordinates, and the matching information of the microphone and the channel. In addition, sound that is measurement information (e.g., temperature or humidity or pressure in the environment in which the sound source is located, etc.) about environmental parameters (e.g., temperature, humidity, pressure, etc.) affecting the speed at which the sound is transmitted. Contains decision information.

여기서 마이크로폰들의 각도는 하나의 마이크로폰이 다른 마이크로폰에 대하여 가지는 상대 각도를 나타낸다. 그리고 마이크로폰과 채널의 매칭 정보는 소정 마이크로폰에서 획득된 오디오 데이터가 어떤 채널에 해당하는지를 나타내는 정보이다. 예를 들어, 3개의 마이크로폰이 사용된 경우, 제1마이크로폰은 오디오 데이터부(F2)의 다수 채널별 오디오 데이터 중에서 제1채널에 대응하고, 제2마이크로폰은 제2채널에 대응하며, 제3마이크로폰은 제3채널에 대응함을 나타낼 수 있다. 이러한 마이크로폰들과 채널의 매칭 정보를 토대로 임의 채널의 오디오 데이터가 어떤 마이크로폰으로부터 획득된 것인지를 용이하게 알 수 있다. Here the angle of the microphones represents the relative angle that one microphone has with respect to the other microphone. The matching information between the microphone and the channel is information indicating which channel the audio data obtained from the predetermined microphone corresponds to. For example, when three microphones are used, the first microphone corresponds to the first channel among the plurality of channels of audio data of the audio data unit F2, and the second microphone corresponds to the second channel, and the third microphone May correspond to the third channel. Based on the matching information of the microphones and the channel, it is easy to know from which microphone the audio data of any channel is obtained.

기준 좌표는 마이크로폰들의 위치에 관련된 것으로, 마이크로폰들 중에서 하나의 마이크로폰에 대한 위치 좌표일 수 있으며, 또는 이후 동영상 재생시 사용되는 화면 배율을 고려하여 설정되는 좌표일 수 있다. 또는 기준 좌표는 소리를 포함하는 오디오 데이터를 획득하는 마이크로폰들이 하나의 모듈에 포함되는 형태로 구성된 경우, 해당 모듈의 크기를 고려하여 설정되는 좌표일 수 있다. 이와 같이 기준 좌표는 동영상이 재생되거나 오디오 데이터가 획득되거나 영상 데이터가 획득되는 등의 환경을 고려하여 설정될 수 있다. The reference coordinate is related to the position of the microphones, and may be a position coordinate of one of the microphones, or may be a coordinate set in consideration of a screen magnification used in later video playback. Alternatively, the reference coordinate may be a coordinate set in consideration of the size of the module when microphones for acquiring audio data including sound are configured to be included in one module. In this way, the reference coordinate may be set in consideration of an environment in which a video is played, audio data is acquired, or image data is acquired.

한편 음원 위치 관련 정보는 오디오 데이터부(F2)에 포함되는 모든 오디오 데이터가 아니라, 오디오 데이터들 중에 설정 주파수 이상의 오디오에 관련된 정보일 수 있다. The sound source position related information may not be all audio data included in the audio data unit F2 but may be information related to audio of a predetermined frequency or more among the audio data.

또한 본 발명의 실시 예에 따른 카메라 촬영 정보는 영상 데이터를 획득하는데 사용된 촬영 정보로서, 구체적으로 영상 데이터 획득시 사용된 카메라의 픽셀 정보, 카메라의 줌배율 정보, 그리고 카메라의 모션 정보를 포함한다. 여기서 카메라의 모션 정보는 카메라의 렌즈부가 팬 틸트(pan tilt) 또는 시프트(shift) 등의 기능으로 촬영을 위하여 전후 상하 방향으로 움직이는 경우 움직인 방향 및 움직임 정도에 해당하는 정보를 나타낸다. Also, the camera photographing information according to an embodiment of the present invention is photographing information used to acquire image data, and specifically includes camera information, camera zoom ratio information, and camera motion information used when the image data is acquired. . Here, the motion information of the camera indicates information corresponding to a moving direction and a degree of movement when the lens unit of the camera moves in the front and rear up and down directions for capturing with a function such as pan tilt or shift.

한편 영상 데이터부(F1)의 페이로드(P1)는 메인 데이터 즉, 영상 데이터를 포함하며, 오디오 데이터부(F2)의 페이로드(P2)는 메인 데이터 즉, 오디오 데이터를 포함한다. The payload P1 of the image data unit F1 includes main data, that is, image data, and the payload P2 of the audio data unit F2 includes main data, that is, audio data.

이러한 영상 데이터부(F1) 및 오디오 데이터부(F2)는 CRC(error detection code)를 선택적으로 포함할 수 있으며, CRC는 예를 들어 16 비트로 이루어질 수 있다. The image data unit F1 and the audio data unit F2 may optionally include an error detection code (CRC), and the CRC may be, for example, 16 bits.

또한 영상 데이터부(F1) 및 오디오 데이터부(F2)는 프레임 단위 구조로 이루어지며, 오디오 데이터부(F2)를 구성하는 오디오 비트열의 한 프레임을 AAU(audio access unit)라고 명명할 수 있다. AAU는 각각 단독으로 복호화할 수 있는 최소 단위이며, 위에 기술된 바와 같이 헤더, CRC, 오디오 데이터를 포함하는 페이로드를 포함하는 구성으로 이루어진다. Also, the image data unit F1 and the audio data unit F2 have a frame unit structure, and one frame of the audio bit string constituting the audio data unit F2 may be referred to as an audio access unit (AAU). Each AAU is a minimum unit that can be decoded independently, and has a configuration including a payload including a header, a CRC, and audio data as described above.

다음에는 이러한 구조로 이루어지는 동영상 파일을 생성하는, 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조에 대하여 설명한다. Next, a structure of a video file generating apparatus according to an embodiment of the present invention for generating a video file having such a structure will be described.

도2는 본 발명의 실시 예에 따른 동영상 파일 생성 장치의 구조도이다. 2 is a structural diagram of a video file generating apparatus according to an embodiment of the present invention.

본 발명의 실시 예에 따른 동영상 파일 생성 장치(1)는 첨부한 도2에 도시되어 있듯이, 음원 위치 정보 획득부(10), 촬영 정보 획득부(20), 영상 데이터 획득부(30), 오디오 데이터 획득부(40), 그리고 동영상 파일의 영상 데이터부를 생성하는 제1 생성부(50), 동영상 파일의 오디오 데이터부를 생성하는 제2 생성부(60), 그리고 영상 데이터부와 오디오 데이터부를 토대로 동영상 파일을 생성하는 제3 생성부(70)를 포함한다. 여기서 제1, 제2, 제3의 표현은 각 생성부(50, 60, 70)를 구별하기 위하여 부가적으로 부여한 명칭이며, 각 생성부를 한정하는 것은 아니다. As shown in FIG. 2, the video file generating apparatus 1 according to an exemplary embodiment of the present invention includes a sound source position information obtaining unit 10, a shooting information obtaining unit 20, an image data obtaining unit 30, and audio. A data acquisition unit 40, a first generation unit 50 for generating an image data portion of a moving image file, a second generation unit 60 for generating an audio data portion of a moving image file, and a moving image based on the image data portion and an audio data portion A third generation unit 70 for generating a file is included. Here, the first, second, and third expressions are additionally given names for distinguishing the respective generation units 50, 60, and 70, and are not limited to each generation unit.

음원 위치 정보 획득부(10)는 소리가 발생한 음원의 위치를 측정하는데 관련된 정보인 음원 위치 관련 정보를 획득하며, 촬영 정보 획득부(20)는 영상 데이터 획득에 사용된 카메라 촬영 정보를 제공받는다. 영상 데이터 획득부(30)는 촬영에 따라 생성되는 영상 데이터를 획득하며, 오디오 데이터 획득부(40)는 촬영시 발생한 소리를 포함하는 오디오 데이터를 획득한다. The sound source position information obtaining unit 10 obtains sound source position related information, which is information related to measuring the position of the sound source where the sound is generated, and the photographing information obtaining unit 20 receives the camera photographing information used for image data acquisition. The image data acquisition unit 30 obtains image data generated by shooting, and the audio data acquisition unit 40 obtains audio data including sound generated during shooting.

제1 생성부(50)는 촬영 정보 획득부(20)로부터 전달되는 촬영 정보와 영상 데이터 획득부(40)로부터 전달되는 영상 데이터를 토대로 영상 데이터부(F1)를 생성한다. 제2 생성부(60)는 음원 위치 정보 획득부(10)로부터 전달되는 음원 위치 관련 정보와 오디오 데이터 획득부(40)로부터 전달되는 오디오 데이터를 토대로 오디오 데이터부(F2)를 생성한다. 그리고 제3 생성부(70)는 제1 생성부(50)로부터 전달되는 영상 데이터부(F1)와 제2 생성부(60)로부터 전달되는 오디오 데이터부(F2)를 토대로 동영상 파일을 생성한다. The first generator 50 generates the image data unit F1 based on the photographing information transmitted from the photographing information obtaining unit 20 and the image data transmitted from the image data obtaining unit 40. The second generation unit 60 generates the audio data unit F2 based on the sound source position related information transmitted from the sound source position information acquisition unit 10 and the audio data transmitted from the audio data acquisition unit 40. The third generation unit 70 generates a video file based on the image data unit F1 transferred from the first generation unit 50 and the audio data unit F2 transferred from the second generation unit 60.

본 발명의 실시 예에 따른 음원 위치 정보 획득부(10) 및 촬영 정보 획득부(20)는 다양한 경로를 통하여 관련 정보들을 획득할 수 있다. The sound source location information acquisition unit 10 and the shooting information acquisition unit 20 according to an embodiment of the present invention may obtain related information through various paths.

도3은 본 발명의 실시 예에 따른 동영상 파일 생성 장치가 관련 정보를 획득하는 경로를 나타낸 예시도이다. 여기서는 음원 위치 관련 정보가 마이크로폰 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도를 포함한 것으로 예시되어 있지만, 이것에 한정되지는 않는다. 마이크로폰 개수는 오디오 데이터부에 몇 개의 채널에 해당하는 오디오 데이터가 포함되어 있는지를 판단하기 위한 근거로서 사용될 수 있으며, 이외에도 마이크로폰과 채널의 매칭 정보, 기준 좌표, 소리 속도 결정 정보 중 적어도 하나가 더 포함될 수 있다. 3 is an exemplary diagram illustrating a path for obtaining a related information by a video file generating apparatus according to an exemplary embodiment of the present invention. Here, the sound source position related information is illustrated as including, but not limited to, the number of microphones, the distance between the microphones, and the angles of the microphones. The number of microphones may be used as a basis for determining how many channels of audio data are included in the audio data unit, and at least one of microphone and channel matching information, reference coordinates, and sound speed determination information may be further included. Can be.

첨부한 도 3에 예시되어 있듯이, 음원 위치 정보 획득부(10)는 음원 위치 관련 정보의 일부(예를 들어, 마이크로폰 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도 등)를 등록 정보로 하여 미리 저장하여 사용하고, 나머지(예를 들어, 소리 속도 결정 정보)는 입력 장치를 통하여 제공받을 수 있다. As illustrated in FIG. 3, the sound source position information obtaining unit 10 stores in advance some of the sound source position related information (for example, the number of microphones, the distance between the microphones, and the angle of the microphones) as registration information. The rest (for example, sound velocity determination information) may be provided through an input device.

촬영 정보 획득부(20)도 카메라 촬영 정보의 일부(예를 들어, 카메라 픽셀 정보)를 등록 정보로 하여 미리 저장하여 사용하고, 나머지(예를 들어, 카메라 줌배율 정보, 카메라 모션 정보)는 입력 장치를 통하여 제공받을 수 있다. The shooting information acquisition unit 20 also stores and uses a portion of the camera shooting information (for example, camera pixel information) in advance as registration information, and inputs the rest (for example, camera zoom ratio information and camera motion information). It can be provided through the device.

또는 동영상 파일 생성 장치(1)의 음원 위치 정보 획득부(10) 및 촬영 정보 획득부(20)는 입력 장치를 통하여 음원 위치 관련 정보 및 카메라 촬영 정보를 제공받을 수 있다. Alternatively, the sound source position information obtaining unit 10 and the shooting information obtaining unit 20 of the video file generating apparatus 1 may receive sound source position related information and camera photographing information through an input device.

이와는 달리, 음원 위치 정보 획득부(10)는 오디오 데이터를 출력하면서 오디오 데이터가 생성된 음원에 대한 위치를 측정하는 음원 측정 장치로부터 음원 위치 관련 정보를 제공받을 수 있다. Alternatively, the sound source position information acquisition unit 10 may receive sound source position related information from a sound source measuring device that measures the position of the sound source from which the audio data is generated while outputting the audio data.

도4는 발명의 실시 예에 따른 동영상 파일 생성 장치(1)가 정보를 획득하는 경로를 나타낸 다른 예시도이다. 4 is another exemplary diagram illustrating a path for obtaining information by the video file generating apparatus 1 according to an exemplary embodiment.

첨부한 도4에 예시되어 있듯이, 동영상 파일 생성 장치(1)는 음원 측정 장치(2)로부터 음원 위치 관련 정보 및 오디오 데이터를 제공받을 수 있다. As illustrated in FIG. 4, the video file generating apparatus 1 may receive sound source position related information and audio data from the sound source measuring apparatus 2.

이 경우 음원 측정 장치(2)는 복수의 마이크로폰(M1, M2, M3, M4, 여기서는 4개의 마이크로폰을 사용한 것을 예로 들었으나, 이러한 개수에 한정되지 않는다)과 복수의 마이크로폰들로부터 출력되는 신호를 입력받아 처리하여 음원 신호를 생성하는 신호 처리부(21), 그리고 음원 신호를 토대로 음원 위치를 측정하는 연산부(22)를 포함하며, 이외에도 동영상 파일 생성 장치(1)로 관련 정보를 제공하는 인터페이스부(23)를 포함한다. 또한 환경 파라미터(예를 들어, 온도, 습도, 압력 등)를 토대로 소리 속도를 결정하는 소리 속도 센서(24)를 더 포함할 수 있다. In this case, the sound source measuring device 2 inputs a plurality of microphones (M1, M2, M3, M4, in which four microphones are used here, but is not limited thereto) and signals output from the plurality of microphones. A signal processor 21 for receiving and processing a sound source signal, and an arithmetic unit 22 for measuring a sound source position based on the sound source signal, and in addition, an interface unit 23 for providing related information to the video file generating device 1. ). It may further include a sound velocity sensor 24 that determines the sound velocity based on environmental parameters (eg, temperature, humidity, pressure, etc.).

각각의 마이크로폰(M1, M2, M3, M4)은 음원으로부터 발생되는 소리를 수신하여 그에 해당하는 전기적인 신호를 출력한다.Each microphone (M1, M2, M3, M4) receives the sound generated from the sound source and outputs an electrical signal corresponding thereto.

신호 처리부(21)는 각각의 마이크로폰으로부터 출력되는 신호를 처리하며, 예를 들어, 마이크로폰으로부터 출력되는 신호를 디지털 신호로 변환하고, 이를 DFT(discrete fourier transform) 또는 FFT(fast fourier transform) 등의 주파수 변환을 하여, 주파수 영역의 신호로 변환한다. 그리고 주파수 영역의 신호들 중에서 설정 주파수 이상의 신호를 검출하여 음원 신호로 출력한다. The signal processor 21 processes a signal output from each microphone and, for example, converts a signal output from the microphone into a digital signal, which is a frequency such as a discrete fourier transform (DFT) or a fast fourier transform (FFT). The conversion is performed to a signal in the frequency domain. And a signal of a predetermined frequency or more among the signals in the frequency domain is detected and output as a sound source signal.

연산부(22)는 신호 처리부(21)로부터 출력되는 음원 신호들을 토대로 음원의 위치를 산출한다. The calculator 22 calculates the position of the sound source based on the sound source signals output from the signal processor 21.

한편 소리 속도 센서(24)는 환경 파라미터를 측정하고 측정된 환경 파라미터 값을 토대로 소리 속도를 결정할 수 있다. 이와는 달리 소리 속도 센서(24)가 환경 파라미터를 측정하고, 연산부(22)가 소리 속도 센서(24)로부터 제공되는 환경 파라미터값을 토대로 소리 속도를 결정할 수도 있다. The sound speed sensor 24 may measure an environmental parameter and determine a sound speed based on the measured environmental parameter value. Alternatively, the sound velocity sensor 24 may measure an environmental parameter, and the calculation unit 22 may determine the sound velocity based on an environmental parameter value provided from the sound velocity sensor 24.

신호 처리부(21)는 이러한 소리 속도 센서(24)로부터 출력되는 신호를 처리할 수 있으며, 예를 들어 소리 속도 센서(24)로부터 출력되는 환경 파라미터에 해당하는 신호를 디지털 신호로 변환하여 연산부(22)나 인터페이스부(23)로 제공한다. 여기서 환경 파라미터에 해당하는 신호는 소리 속도 센서(24)에 의하여 측정된 온도 또는 습도 또는 압력에 해당하는 신호일 수 있다. 여기서, 연산부(22)는 신호 처리부(21)를 통하여 전달되는 환경 파라미터에 해당하는 신호를 토대로 현재의 소리 속도를 결정할 수 있다. 소리 속도 결정시 환경 파라미터를 구성하는 다양한 파라미터(온도, 습도, 압력 등)의 다양한 값별로 소리 속도가 대응되어 있는 소리 속도 보정 테이블을 이용할 수 있으며, 또는 별도의 연산 알고리즘을 이용하여 소리 속도를 결정할 수 있다. The signal processor 21 may process a signal output from the sound speed sensor 24, and for example, convert the signal corresponding to an environmental parameter output from the sound speed sensor 24 into a digital signal to calculate the calculator 22. ) And the interface unit 23. Herein, the signal corresponding to the environmental parameter may be a signal corresponding to temperature, humidity, or pressure measured by the sound velocity sensor 24. Here, the calculator 22 may determine the current sound speed based on a signal corresponding to an environmental parameter transmitted through the signal processor 21. When determining the sound speed, you can use the sound speed correction table that corresponds to the sound speed according to various values of various parameters (temperature, humidity, pressure, etc.) constituting the environmental parameters, or determine the sound speed by using a separate calculation algorithm. Can be.

이러한 구조로 이루어지는 음원 측정 장치(2)의 인터페이스부(23)는 음원 위치 측정시 사용된 마이크로폰들의 개수, 마이크로폰들의 사이의 거리(예를 들어, M1, M2, M3, M4의 마이크로폰이 사용된 경우, M1과 M2사이의 거리, M2와 M3사이의 거리, M3와 M4사이의 거리, M4와 M1사이의 거리 등), 마이크로폰들의 각도(∠M1, ∠M2, ∠M3, ∠M4)를 포함하는 음원 위치 관련 정보를 동영상 파일 생성 장치(1)로 제공한다. The interface unit 23 of the sound source measuring device 2 having such a structure includes the number of microphones used when measuring the sound source position and the distance between the microphones (for example, when microphones of M1, M2, M3, and M4 are used). , The distance between M1 and M2, the distance between M2 and M3, the distance between M3 and M4, the distance between M4 and M1, etc., the angle of the microphones (∠M1, ∠M2,, M3, ∠M4) The sound source position related information is provided to the video file generating apparatus 1.

이외에도 인터페이스부(23)는 소리 속도 센서(24)로부터 측정되고 신호 처리부(21)를 통하여 전달되는 환경 파라미터에 해당하는 신호를 토대로 하는 소리 속도 결정 정보를 동영상 파일 생성 장치(1)로 전달한다. 여기서 소리 속도 결정 정보는 소리 속도에 영향을 주는 소리 속도 센서(24)에 의하여 측정된 환경 파라미터값(온도, 습도, 압력 중 적어도 하나) 그리고 측정된 환경 파라미터값에 따라 결정된 소리 속도(예를 들어, 340M/s) 중 적어도 하나를 포함한다. 또한 인터페이스부(23)는 연산부(22)로부터 제공되거나 또는 신호 처리부(21)로부터 제공되는 음원 신호를 오디오 데이터로 하여 동영상 파일 생성 장치(1)로 제공한다.In addition, the interface unit 23 transmits the sound velocity determination information based on a signal measured by the sound velocity sensor 24 and corresponding to an environmental parameter transmitted through the signal processor 21 to the video file generating apparatus 1. Herein, the sound velocity determination information includes an environmental parameter value (at least one of temperature, humidity, and pressure) measured by the sound velocity sensor 24 that affects the sound velocity, and a sound velocity determined by the measured environmental parameter value (for example, , 340M / s). In addition, the interface unit 23 provides the video file generating apparatus 1 with the sound source signal provided from the calculator 22 or the signal processor 21 as audio data.

동영상 파일 생성 장치(1)는 음원 측정 장치(2) 이외에도 별도의 오디오 데이터 생성 장치(도시하지 않음)로부터 오디오 데이터를 제공받을 수도 있다. 여기서 제공되는 오디오 데이터들은 마이크로폰들 각각에 의하여 출력되는 음원 신호에 대응하는 데이터들이다. 예를 들어 4개의 마이크로폰이 사용된 경우, 각각의 마이크로폰에 대응하는 오디오 데이터들이 채널별로 처리되어, 4개의 채널별 오디오 데이터들이 제공될 수 있다. The video file generating apparatus 1 may receive audio data from a separate audio data generating apparatus (not shown) in addition to the sound source measuring apparatus 2. The audio data provided herein are data corresponding to sound source signals output by each of the microphones. For example, when four microphones are used, audio data corresponding to each microphone may be processed for each channel, and four channel-specific audio data may be provided.

한편 음원 측정 장치(2)의 마이크로폰들의 개수, 마이크로폰들의 사이의 거리, 마이크로폰들의 각도들은 미리 설정되어 저장될 수 있으며, 이 경우 인터페이스부(23)는 저장된 이러한 정보들을 읽어서 음원 위치 관련 정보를 생성할 수 있다. 또는 연산부(22)가 음원 신호들이나 별도의 신호를 이용하여 마이크로폰들의 사이의 거리, 마이크로폰들의 각도들을 산출한 경우에, 인터페이스부(23)는 연산부(22)로부터 이러한 정보를 제공받아 음원 위치 관련 정보를 생성할 수 있다. The number of microphones, the distance between the microphones, and the angles of the microphones of the sound source measuring device 2 may be preset and stored. In this case, the interface unit 23 may read the stored information to generate sound source position related information. Can be. Alternatively, when the calculation unit 22 calculates the distance between the microphones and the angles of the microphones using sound source signals or separate signals, the interface unit 23 receives such information from the calculation unit 22 and receives sound source position related information. Can be generated.

이러한 음원 측정 장치(2)의 구조는 예시된 것이며, 위에 기술된 것에 한정되지 않는다. The structure of such a sound source measuring device 2 is illustrated and is not limited to that described above.

한편, 동영상 파일 생성 장치(1)의 촬영 정보 획득부(20)도 카메라와 같은 촬영 장치(3)로부터 카메라 촬영 정보 및 영상 데이터를 제공받을 수 있다. 이러한 촬영 장치(3)의 구조는 이미 공지된 기술임으로 여기서는 상세한 설명을 생략한다. 촬영 장치(3)는 일반적으로 렌즈를 사용하면서 렌즈의 배율을 가변시키는 줌(zoom) 동작, 렌즈의 방향을 변경하는 팬 틸트 동작 및 시프트 동작을 수행하면서 촬영을 하게 된다. 촬영 장치(3)는 이와 같이 각 프레임별 영상 데이터를 촬영시 사용된 줌배율, 픽셀 정보, 팬 틸트 또는 시프트 동작에 따른 카메라 모션 정보 중 적어도 하나를 동영상 파일 생성 장치(1)로 제공한다. Meanwhile, the photographing information acquisition unit 20 of the video file generating apparatus 1 may also receive camera photographing information and image data from a photographing apparatus 3 such as a camera. Since the structure of the photographing apparatus 3 is a known technique, a detailed description thereof will be omitted here. The photographing apparatus 3 generally takes a photograph while performing a zoom operation for changing the magnification of the lens while using a lens, a pan tilt operation for changing the direction of the lens, and a shift operation. The photographing apparatus 3 provides the video file generating apparatus 1 with at least one of zoom magnification, pixel information, pan tilt, or shift motion used in capturing the image data for each frame.

다음에는 이러한 장치들을 토대로 동영상 파일을 생성하는 방법에 대하여 설명한다. Next, a method of generating a video file based on such devices will be described.

도 5는 본 발명의 실시 예에 따른 동영상 파일 생성 방법의 흐름도이다. 도5에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 동영상 파일 생성 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다. 5 is a flowchart illustrating a video file generating method according to an exemplary embodiment of the present invention. The flow shown in FIG. 5 is merely illustrative, and the video file generation process according to an embodiment of the present invention is not limited to the flow described below.

먼저, 첨부한 도 5에 도시되어 있듯이, 본 발명의 실시 예에 따른 동영상 파일 생성 장치(1)는 영상 데이터부(F1)를 생성하는 경우, 영상 데이터부(F1)를 구성하는 헤더(H1)를 생성하고(S100), 헤더(H1)에 기록할 정보를 획득한다. 즉, 영상 데이터 획득시 사용된 촬영 장치 즉, 카메라의 픽셀 정보, 카메라의 렌즈의 줌배율 정보, 카메라의 렌즈의 이동에 따른 모션 정보를 획득하고(S110~S130), 획득된 정보들을 포함하는 카메라 촬영 정보를 영상 데이터부(F1)의 헤더(H1)에 기록한다(S140). 물론 이 경우 영상 데이터에 관련된 영상 관련 정보도 헤더(H1)에 기록된다. 그리고 동영상 파일 생성 장치(1)는 영상 데이터를 획득하고 이를 영상 데이터부(F1)의 페이로드(P1)에 기록한다(S150~S160). First, as shown in FIG. 5, when the video file generating apparatus 1 generates the image data unit F1, the header H1 constituting the image data unit F1 is included. To generate the information to be recorded in the header H1. That is, a photographing apparatus used when acquiring image data, that is, pixel information of the camera, zoom ratio information of the lens of the camera, motion information according to the movement of the lens of the camera is obtained (S110 to S130), and a camera including the obtained information. The shooting information is recorded in the header H1 of the image data unit F1 (S140). In this case, of course, image related information related to the image data is also recorded in the header H1. The video file generating apparatus 1 obtains image data and records the image data in the payload P1 of the image data unit F1 (S150 to S160).

또한 동영상 파일 생성 장치(1)는 오디오 데이터부(F2)를 생성하는 경우, 오디오 데이터부(F2)를 구성하는 헤더(H2)를 생성하고(S170), 헤더(H2)에 기록할 정보를 획득한다. 즉, 오디오 데이터 획득시 사용된 마이크로폰들의 개수, 마이크로폰들간의 거리, 마이크로폰들의 각도, 그리고 오디오 데이터 획득시에 측정된 환경 파라미터에 대응하는 소리 속도 결정 정보를 획득하고(S180~S210), 획득된 정보들을 포함하는 음원 위치 관련 정보를 오디오 데이터부(F2)의 헤더(H2)에 기록한다(S220). 물론 이 경우 오디오 데이터에 관련된 오디오 관련 정보도 헤더(H2)에 기록되며, 기준 좌표, 마이크로폰과 채널의 매칭 정보 중 적어도 하나가 헤더(H2)에 기록될 수 있다. 그리고 동영상 파일 생성 장치(1)는 오디오 데이터를 획득하고 이를 오디오 데이터부(F2)의 페이로드(P2)에 기록한다(S230~S240). In addition, when generating the audio data unit F2, the video file generating apparatus 1 generates the header H2 constituting the audio data unit F2 (S170) and obtains information to be recorded in the header H2. do. That is, sound speed determination information corresponding to the number of microphones used for audio data acquisition, the distance between the microphones, the angle of the microphones, and the environmental parameter measured at the time of audio data acquisition are obtained (S180 to S210). Sound source position-related information including the data is recorded in the header H2 of the audio data unit F2 (S220). In this case, audio-related information related to the audio data may also be recorded in the header H2, and at least one of reference coordinates and matching information between the microphone and the channel may be recorded in the header H2. The video file generating apparatus 1 obtains audio data and records the audio data in the payload P2 of the audio data unit F2 (S230 to S240).

도6은 본 발명의 실시 예에 따른 음원 측정 장치(2) 및 촬영 장치(3)로부터 획득되는 정보와, 이러한 정보를 각 데이터부의 헤더에 기록하는 과정이 예시되어 있다. 6 illustrates information obtained from the sound source measuring apparatus 2 and the photographing apparatus 3 according to an embodiment of the present invention, and a process of recording such information in the header of each data unit.

도6에 예시된 바와 같이, 음원 측정 장치(2)를 구성하는 마이크로폰들(M1, M2, M3, M4)로부터 발생된 음원 신호에 대응하는 오디오 데이터들이 다수의 채널별로 분류되어 동영상 파일 생성 장치(1)로 제공되며, 이러한 오디오 데이터가 오디오 데이터부의 페이로드에 기록된다. 그리고 마이크로폰들의 개수, 마이크로폰들의 거리(L12, L23, L34, L41), 마이크로폰들의 각도(∠M1, ∠M2, ∠M3, ∠M4)가 오디오 데이터부의 헤더에 기록된다. 또한 온도, 습도, 압력 중 적어도 하나의 환경 파라미터에 대응하는 값 그리고 환경 파라미터를 토대로 결정된 소리 속도 중 적어도 하나를 포함하는 소리 속도 결정 정보가 헤더에 기록된다. 이러한 환경 파라미터는 온도, 습도, 압력 이외에, 별도로 환경 상태를 나타내는 기타 정보가 더 추가될 수도 있다. As illustrated in FIG. 6, audio data corresponding to sound source signals generated from the microphones M1, M2, M3, and M4 constituting the sound source measuring apparatus 2 may be classified into a plurality of channels to generate a video file generating apparatus ( 1), this audio data is recorded in the payload of the audio data portion. The number of microphones, the distances of the microphones L12, L23, L34, and L41, and the angles of the microphones M1, M2, M3, and M4 are recorded in the header of the audio data unit. In addition, sound velocity determination information including at least one of a value corresponding to at least one environmental parameter of temperature, humidity, and pressure, and a sound velocity determined based on the environmental parameter is recorded in the header. In addition to temperature, humidity, and pressure, such environmental parameters may further include other information indicating environmental conditions separately.

또한 카메라와 같은 촬영 장치에 의하여 영상 데이터가 획득되면서, 이러한 영상 데이터 획득시 사용된 카메라 촬영 정보가 동영상 파일 생성 장치(1)로 제공되며, 동영상 파일 생성 장치(1)는 영상 데이터를 페이로드에 기록하고 카메라 촬영 정보를 헤더에 기록한다. In addition, as image data is acquired by a photographing apparatus such as a camera, the camera photographing information used in obtaining the image data is provided to the video file generating apparatus 1, and the video file generating apparatus 1 sends the image data to the payload. Record and record the camera shooting information in the header.

이와 같이 획득되는 카메라 촬영 정보 및 음원 위치 관련 정보를 각각 포함하는 영상 데이터부(F1)와 오디오 데이터부(F2)를 생성한 다음에, 동영상 파일 생성 장치(1)는 영상 데이터부(F1)와 오디오 데이터부(F2)를 조합하여 동영상 파일을 생성한다. 생성된 동영상 파일은 미디어 컨테이너 파일 형태로 구성될 수 있다. After generating the image data unit F1 and the audio data unit F2 each including the camera photographing information and the sound source position-related information thus obtained, the video file generating apparatus 1 is connected to the image data unit F1. The audio data unit F2 is combined to generate a video file. The generated video file may be configured in the form of a media container file.

한편 위에 기술된 음원 위치 관련 정보에 기준 좌표가 포함되어 있지 않은 경우에는 이후에 설명하는 음원 위치 산출 장치가 기준 좌표를 미리 설정하여 음원 위치 산출시 사용할 수 있다. 이 경우에도 기준 좌표는 위의 음원 위치 관련 정보에 포함되는 기준 좌표와 같이, 마이크로폰들 중에서 하나의 마이크로폰에 대한 위치 좌표일 수 있으며, 또는 이후 동영상 재생시 사용되는 화면 배율을 고려하여 설정되는 좌표일 수 있고, 또는 소리를 포함하는 오디오 데이터를 획득하는 마이크로폰들이 하나의 모듈에 포함되는 형태로 구성된 경우, 해당 모듈의 크기를 고려하여 설정되는 좌표일 수 있다.On the other hand, when the reference coordinates are not included in the above-described sound source position related information, the sound source position calculating apparatus described later may set the reference coordinates in advance and use them when calculating the sound source position. Even in this case, the reference coordinate may be a position coordinate of one of the microphones, such as the reference coordinate included in the sound source position-related information, or a coordinate set in consideration of a screen magnification used in later video playback. Alternatively, or when the microphones for acquiring audio data including sound are configured to be included in one module, they may be coordinates set in consideration of the size of the corresponding module.

본 발명의 실시 예에 따른 동영상 파일은 유선, 무선 등의 다양한 형태의 네트워크를 통하여 스트리밍(streaming) 등의 다양한 전송 방식으로 동영상 파일을 재생하는 장치로 제공될 수 있다. 동영상 파일에는 음원 위치 관련 정보 즉, 음원으로부터의 소리를 수신하여 출력하는 마이크로폰들의 개수, 그리고 이러한 마이크로폰들의 사이의 거리, 마이크로폰들의 각도와 기준 좌표 중 적어도 하나와, 소리 속도에 영향을 주는 환경 파라미터 또는 이러한 환경 파라미터에 따라 결정되는 소리 속도를 선택적으로 포함하는 소리 속도 결정 정보가 포함되어 있으므로, 동영상 재생 장치(도시하지 않음)에서는 이러한 음원 위치 관련 정보를 토대로 음원의 위치를 산출할 수 있다. The video file according to an embodiment of the present invention may be provided as a device for playing a video file through various transmission methods such as streaming through various types of networks such as wired and wireless. The video file includes sound source position-related information, that is, the number of microphones that receive and output sound from a sound source, at least one of the distance between these microphones, the angle and reference coordinates of the microphones, and an environmental parameter that affects the sound speed. Since sound speed determination information including sound speed selectively determined according to such environmental parameters is included, the video reproducing apparatus (not shown) may calculate the position of the sound source based on the sound source position related information.

다음에는 이러한 동영상 파일 정보를 토대로 음원 위치를 산출하는 장치 및 그 방법에 대하여 설명한다. Next, an apparatus and method for calculating a sound source position based on the video file information will be described.

도7은 본 발명의 실시 예에 따른 음원 위치 산출 장치의 구조를 나타낸 도이다. 7 is a diagram showing the structure of a sound source position calculating apparatus according to an embodiment of the present invention.

첨부한 도7에 도시되어 있듯이, 본 발명의 실시 예에 따른 음원 위치 산출 장치(4)는, 동영상 파일을 수신하는 수신부(100), 수신된 동영상 파일로부터 음원 위치 관련 정보를 추출하는 정보 추출부(200), 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출하는 연산부(300)를 포함하고, 산출된 음원 위치를 출력하는 위치 출력부(400)를 더 포함할 수 있다. As shown in FIG. 7, the sound source position calculating apparatus 4 according to an embodiment of the present invention includes a receiver 100 for receiving a video file, and an information extractor for extracting sound source position related information from the received video file. 200, the calculation unit 300 may be configured to calculate a sound source position based on the extracted sound source position related information, and may further include a position output unit 400 that outputs the calculated sound source position.

수신부(100)는 다양한 경로를 통하여 본 발명의 실시 예에 따른 동영상 파일 즉, 오디오 데이터와 함께 오디오 데이터를 발생한 음원에 대한 음원 위치 관련 정보를 포함하는 동영상 파일을 수신한다. 예를 들어, 수신부(100)는 유선 또는 무선 네트워크를 통하여 스트리밍 방식으로 전송되는 동영상 파일을 수신할 수 있으며, 또한 기록 매체로부터 로드되거나 외부로부터 수신되는 데이터로부터 음원 위치 관련 정보를 제공받을 수 있다. 정보 추출부(200)는 수신된 동영상 파일로부터 영상 데이터부(F1)와 오디오 데이터부(F2)를 식별하고, 오디오 데이터부(F2)의 헤더(H2)로부터 음원 위치 관련 정보를 추출한다. The receiver 100 receives a video file according to an exemplary embodiment of the present invention through various paths, that is, a video file including sound source position related information about a sound source generating audio data along with the audio data. For example, the receiver 100 may receive a video file transmitted by a streaming method through a wired or wireless network, and may receive sound source location related information from data loaded from a recording medium or received from the outside. The information extracting unit 200 identifies the image data unit F1 and the audio data unit F2 from the received video file, and extracts sound source position related information from the header H2 of the audio data unit F2.

연산부(300)는 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출한다. 즉, 마이크로폰들의 개수 및 마이크로폰들의 사이의 거리와, 마이크로폰들의 각도나 기준 좌표들을 토대로 음원 위치를 산출하며, 이 때, 음원 위치 관련 정보에 포함된 소리 속도 결정 정보를 토대로 결정되는 소리 속도를 사용하여 음원 위치를 산출할 수 있다. 이러한 음원 위치 산출 방법에 대해서는 추후에 보다 구체적으로 설명하기로 한다. The calculation unit 300 calculates a sound source position based on the extracted sound source position related information. That is, the sound source position is calculated based on the number of microphones and the distance between the microphones, the angle and the reference coordinates of the microphones, and at this time, by using the sound velocity determined based on sound velocity determination information included in the sound source position related information. The sound source position can be calculated. This sound source position calculation method will be described in more detail later.

도8은 본 발명의 실시 예에 따른 연산부(300)의 상세 구조를 나타낸 도이다. 도8은 본 발명의 실시 예에 따른 연산부(300)의 한 예일뿐이며, 반드시 이러한 구조에 한정되는 것은 아니다. 8 is a diagram illustrating a detailed structure of the calculation unit 300 according to an embodiment of the present invention. 8 is only one example of the calculation unit 300 according to an embodiment of the present invention, and is not necessarily limited to this structure.

연산부(300)는 수신된 동영상 파일들로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들간의 시간 차이를 측정하는 소리 시간 지연차 측정 모듈(310), 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표를 획득하는 기준 좌표 획득 모듈(320), 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 위치 좌표 획득 모듈(330), 및 측정된 소리 시간 지연차들과 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는 위치 산출 모듈(340)을 포함한다. 여기서 기준 좌표 획득 모듈(320)은 저장된 기준 좌표를 사용하거나 또는 음원 위치 관련 정보로부터 기준 좌표를 획득할 수 있다. 또한 위치 좌표 획득 모듈(330)은 음원 위치 관련 정보로부터 마이크로폰들의 위치 좌표들을 획득하거나 또는 기준 좌표를 토대로 연산을 수행하여 마이크로폰들의 위치 좌표들을 획득할 수 있다. The calculation unit 300 extracts audio data for each channel from the received video files and measures the time difference between the extracted audio data. The time delay difference measuring module 310 relates to the position of the microphones used to acquire the sound. A reference coordinate acquisition module 320 for acquiring reference coordinates, a position coordinate acquisition module 330 for acquiring position coordinates of the microphones based on reference coordinates, and a sound source using measured sound time delay differences and position coordinates of the microphones Position calculation module 340 for calculating a position. Here, the reference coordinate acquisition module 320 may use the stored reference coordinates or obtain reference coordinates from the sound source position related information. In addition, the position coordinate obtaining module 330 may obtain position coordinates of the microphones from the sound source position related information or perform calculation based on the reference coordinates to obtain position coordinates of the microphones.

한편, 위치 출력부(400)는 산출된 음원 위치를 출력한다. 구체적으로, 음원 위치를 해당 오디오 데이터부 즉, 산출된 음원 위치에 관련된 음원 위치 관련 정보를 포함하는 오디오 데이터부(F2)에 동기하는, 영상 데이터부(F1)의 페이로드(P1)에 기록된 영상 데이터가 재생되는 것에 동기하여, 산출된 음원 위치를 출력한다. 예를 들어, 영상 데이터가 출력되는 화면에서 실제 음원 위치에 대응하는 위치에 음원 위치를 표시하거나, 또는 화면에서 영상 데이터가 표시되는 이외의 영역에 음원 위치를 표시할 수 있다. 또는 영상 데이터가 출력되는 동안 오디오 형태로 음원 위치 정보가 출력될 수 있다. 또는 위치를 표시하는 장치로 산출된 음원 위치를 출력한다. On the other hand, the position output unit 400 outputs the calculated sound source position. Specifically, the sound source position is recorded in the payload P1 of the image data unit F1, in synchronization with the corresponding audio data unit, that is, the audio data unit F2 including the sound source position related information related to the calculated sound source position. In synchronization with the reproduction of the video data, the calculated sound source position is output. For example, the sound source position may be displayed at a position corresponding to the actual sound source position on the screen on which the image data is output, or the sound source position may be displayed on an area other than the image data on the screen. Alternatively, sound source position information may be output in audio form while image data is output. Alternatively, the sound source position calculated by the device for displaying the position is output.

다음에는 이러한 구조로 이루어지는 음원 위치 산출 장치를 토대로, 본 발명의 실시 예에 따른 음원 위치 산출 방법에 대하여 설명한다. Next, a sound source position calculating method according to an embodiment of the present invention will be described based on the sound source position calculating device having such a structure.

도9는 본 발명의 실시 예에 따른 음원 위치 산출 방법의 흐름도이다. 도9에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 음원 위치 산출 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다. 9 is a flowchart illustrating a sound source position calculating method according to an embodiment of the present invention. 9 is merely illustrative, and the sound source position calculation process according to the embodiment of the present invention is not limited to the flow described below.

첨부한 도9에서와 같이, 음원 위치 산출 장치(4)는 외부로부터 동영상 파일을 수신한다(S300). 수신되는 동영상 파일은 영상 데이터부(F1)와 오디오 데이터부(F2)로 이루어지고, 예를 들어, 도 6에서와 같이, 음원 측정 장치(2)로부터 획득되는 음원 위치 관련 정보가 오디오 데이터부(F2)의 헤더(H2)에 기록되어 있고, 촬영 장치(3)로부터 획득되는 카메라 촬영 정보가 영상 데이터부(F1)의 헤더(H1)에 기록되어 있다. As shown in FIG. 9, the sound source position calculating apparatus 4 receives a video file from the outside (S300). The received video file includes an image data unit F1 and an audio data unit F2. For example, as illustrated in FIG. 6, sound source position related information obtained from the sound source measuring apparatus 2 may be stored in the audio data unit ( It is recorded in the header H2 of F2, and the camera photography information acquired from the imaging device 3 is recorded in the header H1 of the image data part F1.

음원 위치 산출 장치(4)의 정보 추출부(200)는 수신된 동영상 파일로부터 영상 데이터부(F1)와 오디오 데이터부(F2)를 식별하고, 오디오 데이터부(F2)의 헤더(H2)로부터 음원 위치 관련 정보를 추출하여 연산부(300)로 전달한다(S310). The information extracting unit 200 of the sound source position calculating device 4 identifies the image data unit F1 and the audio data unit F2 from the received video file, and the sound source from the header H2 of the audio data unit F2. The location-related information is extracted and transmitted to the operation unit 300 (S310).

연산부(300)는 추출된 음원 위치 관련 정보를 토대로 음원 위치를 산출한다. The calculation unit 300 calculates a sound source position based on the extracted sound source position related information.

먼저, 음원 위치 관련 정보가 기준 좌표를 포함하지 않는 경우(S320~S330), 연산부(300)는 미리 설정되어 저장되어 있는 기준 좌표를 사용한다(S330). 그러나 음원 위치 관련 정보가 기준 좌표를 포함하는 경우에는 음원 위치 관련 정보로부터 기준 좌표를 추출하여 사용한다(S340)First, when the sound source position related information does not include the reference coordinates (S320 to S330), the calculation unit 300 uses the reference coordinates that are set and stored in advance (S330). However, when the sound source position related information includes a reference coordinate, the reference coordinate is extracted from the sound source position related information (S340).

그리고 기준 좌표를 토대로 마이크로폰들의 위치 좌표를 획득한다. 기준 좌표가 하나의 마이크로폰에 대한 좌표인 경우, 연산부(300)는 기준 좌표와 음원 위치 관련 정보에 포함된 마이크로폰들의 사이의 거리를 토대로 각 마이크로폰들의 위치 좌표를 구한다. 이 경우 보다 정확한 위치 좌표를 획득하기 위하여 마이크로폰들의 각도를 사용할 수 있다. 이 때 추후에 설명되는 수학식 2 및 3을 토대로 마이크로폰들의 각도를 이용하여 마이크로폰들의 위치 좌표를 획득할 수 있다. The position coordinates of the microphones are obtained based on the reference coordinates. When the reference coordinate is a coordinate for one microphone, the operation unit 300 calculates the position coordinates of each microphone based on the distance between the reference coordinate and the microphones included in the sound source position related information. In this case, the angles of the microphones may be used to obtain more accurate position coordinates. At this time, the position coordinates of the microphones can be obtained using the angles of the microphones based on Equations 2 and 3 described later.

반면, 기준 좌표가 음원 측정시 사용되는 모든 마이크로폰들에 관련된 좌표들인 경우에는 별도의 과정 없이 미리 설정된 기준 좌표들을 그대로 사용한다(S350). On the other hand, when the reference coordinates are coordinates associated with all the microphones used when measuring the sound source, the predetermined reference coordinates are used as they are without any separate process (S350).

또한 연산부(300)는 오디오 데이터부(F2)의 페이로드(P2)에 기록된 채널별 오디오 데이터를 추출한다(S360). 그리고 각 채널별로 추출되는 오디오 데이터들을 토대로 오디오 데이터들간의 시간 차이를 측정한다. 즉, 각 오디오 데이터들이 출력되는 시점들을 토대로 각 채널별 오디오 데이터가 출력되는 시점 사이의 시간차를 측정한다. 이러한 각 채널별 오디오 데이터들간의 시간차를 설명의 편의상 "소리 시간 지연차"라고 명명한다(S370). 한편 오디오 데이터 추출시 음원 위치 관련 정보에 포함되어 있는 마이크로폰과 채널의 매칭 정보를 이용할 수 있다. 구체적으로 음원 위치 관련 정보가 마이크로폰과 채널의 매칭 정보를 포함하는 경우, 상기 매칭 정보를 이용하여 소정 마이이크로폰에 의하여 획득한 오디오 데이터가 어느 채널에 대응하는지를 확인할 수 있다. In addition, the operation unit 300 extracts audio data for each channel recorded in the payload P2 of the audio data unit F2 (S360). The time difference between the audio data is measured based on the audio data extracted for each channel. That is, a time difference between time points at which audio data of each channel is output is measured based on time points at which audio data are output. The time difference between the audio data of each channel is called a "sound time delay difference" for convenience of description (S370). Meanwhile, when audio data is extracted, matching information of a microphone and a channel included in sound source position related information may be used. In detail, when the sound source position related information includes matching information of a microphone and a channel, it is possible to determine which channel the audio data acquired by a predetermined microphone corresponds to using the matching information.

이후 연산부(300)는 음원 위치 관련 정보(마이크로폰들의 개수, 마이크로폰들 사이의 거리, 마이크로폰들의 각도)와, 측정한 각 채널별 오디오 데이터들간의 소리 시간 지연차를 토대로 음원 위치를 산출한다. Then, the calculation unit 300 calculates the sound source position based on the sound source position related information (the number of microphones, the distance between the microphones, the angle of the microphones), and the sound time delay difference between the measured audio data for each channel.

음원 위치 산출시, 본 발명의 실시 예에서는 TDOA(time difference of arrival) 방법이 사용될 수 있다. In calculating the sound source position, a time difference of arrival (TDOA) method may be used in an embodiment of the present invention.

[수학식1] [Equation 1]

여기서, c는 소리 속도이며, T_ij은 i번째 마이크로폰과 j번째 마이크로폰 사이의 TDOA 즉, 소리 시간 지연차이며, R_i는 i번째 마이크로폰과 음원 사이의 거리이며, R_j는 j번째 마이크로폰과 음원 사이의 거리이며, (X_i, Y_i)는 i번째 마이크로폰의 좌표이고, (X_j, Y_j)는 j번째 마이크로폰의 좌표이고, (x, y)는 음원의 좌표를 나타낸다.Where c is the sound velocity, T _ij is the TDOA, i.e., the sound time delay difference between the i-th microphone and the j-th microphone, R _i is the distance between the i-th microphone and the sound source, and R _j is the j-th microphone and the sound source (X _i , Y _i ) is the coordinate of the i-th microphone, (X _j , Y _j ) is the coordinate of the j-th microphone, and (x, y) represents the coordinate of the sound source.

각각의 마이크로폰들에 대하여 음원까지의 거리인 복수의 R_i를 구하면, 위의 수학식 1을 토대로, 복수의 R_i를 각각 반지름으로 하는 다수의 쌍곡선을 형성하고, 이러한 쌍곡선들이 교차하는 지점을 음원의 위치(x, y)로 산출한다. When a plurality of R _i, which is a distance to a sound source, is obtained for each of the microphones, a plurality of hyperbolas are formed, each of which has a radius of a plurality of R _i , based on Equation 1 above. Calculated by the position (x, y) of.

한편 음원 위치 연산시에 소리 속도를 이용할 수 있다. 소리 속도를 소정값(예를 들어 음속 343m/s)으로 고정시켜 사용할 수도 있으나, 오디오 데이터가 획득되는 환경의 온도나 압력, 습도 등에 의하여 소리 속도가 영향을 받을 수 있으므로, 본 발명의 실시 예에서는 동영상 파일의 오디오 데이터부(F2)로부터 획득되는 음원 위치 관련 정보에 소리 속도 결정 정보가 포함되어 있는 경우, 이를 토대로 소리 속도를 획득하여 사용한다(S380). On the other hand, the sound velocity can be used when calculating the sound source position. Although the sound velocity may be fixed to a predetermined value (for example, sound velocity 343 m / s), the sound velocity may be affected by temperature, pressure, or humidity of an environment in which audio data is obtained. If the sound velocity determination information is included in the sound source position related information obtained from the audio data unit F2 of the video file, the sound velocity is obtained and used based on this (S380).

음원 위치 관련 정보에 포함된 소리 속도 결정 정보가 온도, 습도, 압력 중 적어도 하나의 환경 파라미터에 대응하는 값인 경우, 연산부(300)는 별도로 저장하여 관리하는 소리 속도 보정 테이블(이것은 온도, 습도, 압력 중 적어도 하나를 토대로 소리가 전달되는 속도가 변화되는 것을 고려한 속도인 소리 속도가 결정되어 있는 테이블일 수 있다)을 이용하여, 소리 속도 결정 정보로부터 획득한 환경 파라미터에 대응하는 소리 속도를 찾는다. 그리고 소리 속도 보정 테이블로부터 찾아진 소리 속도를 이용하여 음원 위치를 산출한다. When the sound velocity determination information included in the sound source position related information is a value corresponding to at least one environmental parameter among temperature, humidity, and pressure, the calculation unit 300 separately stores and manages a sound velocity correction table (this is temperature, humidity, and pressure). The sound velocity corresponding to the environmental parameter obtained from the sound velocity determination information may be found using the table). The sound source position is calculated using the sound velocity found from the sound velocity correction table.

반면, 음원 위치 관련 정보에 포함된 소리 속도 결정 정보가 소리 속도(예를들어 오디오 데이터가 획득되는 환경에서 측정된 그리고 환경 파라미터를 토대로 결정된 소리 속도임)인 경우에는, 음원 위치 관련 정보에 포함된 소리 속도를 바로 이용하여 음원 위치를 산출한다. On the other hand, when the sound speed determination information included in the sound source position related information is the sound speed (for example, the sound speed measured in the environment in which the audio data is obtained and determined based on the environmental parameters), the sound speed position information included in the sound source position related information is included. Calculate the sound source position using the sound velocity immediately.

이와 같이 소리 속도를 환경 파라미터를 토대로 하여 보정하여 사용하면서, 각 채널별 오디오 데이터들간의 소리 시간 지연차, 마이크로폰들의 위치 좌표들을 토대로 위의 수학식1을 사용하여 음원 위치를 산출할 수 있으며, 특히 환경 변화가 발생하여도 음원 위치를 정확하게 산출할 수 있다(S390).As described above, the sound speed may be calculated by using Equation 1 based on the sound time delay difference between the audio data for each channel and the position coordinates of the microphones, while correcting and using the sound speed based on environmental parameters. Even if an environmental change occurs, the sound source position can be calculated accurately (S390).

한편 위치 출력부(400)는 산출된 음원 위치를 도시하지 않은 동영상 재생 장치로 제공하거나 또는 동영상 재생 장치와 연동하여 해당 영상 데이터가 재생될 때, 음원 위치를 출력할 수 있다(S400). 예를 들어, 영상 데이터가 표시되는 화면의 다른 영역에 캡션 데이터 형태로 음원 위치를 출력하거나 음원 위치를 오디오로 처리하여 출력할 수 있다. 여기서 음원 위치가 출력되는 형태는 고정되어 있지 않으며, 사람들이 음원 위치를 인식할 수 있는 다양한 형태로 출력하는 당업계에서 사용가능한 모든 방법들이 사용될 수 있다. On the other hand, the position output unit 400 may provide the calculated sound source position to a moving picture reproducing apparatus (not shown) or output the sound source position when the corresponding video data is reproduced in association with the moving picture reproducing apparatus (S400). For example, the sound source position may be output in the form of caption data to another area of the screen on which the image data is displayed, or may be output by processing the sound source position as audio. The form in which the sound source position is output is not fixed, and all methods available in the art for outputting in a variety of forms in which people can recognize the sound source position may be used.

한편 마이크로폰들의 각도와 마이크로폰들 사이의 거리를 토대로 마이크로폰들과 음원 사이의 거리 R_i를 산출할 수 있다. Meanwhile, the distance R _i between the microphones and the sound source may be calculated based on the angle of the microphones and the distance between the microphones.

이 경우 삼각 측량법을 토대로 마이크로폰들과 음원 사이의 거리 R_i를 산출할수 있다. In this case, the distance R _i between the microphones and the sound source can be calculated based on triangulation.

도10은 본 발명의 실시 예에서, 마이크로폰과 음원 사이의 거리를 산출하는 경우를 나타낸 예시도이다. 도 10에서는 3개의 마이크로폰들의 각도와 거리들을 토대로 삼각측량법을 이용하여 마이크로폰과 음원 사이의 거리를 산출하는 것을 나타낸 예이다. 10 is an exemplary view illustrating a case of calculating a distance between a microphone and a sound source in an embodiment of the present invention. 10 illustrates an example of calculating a distance between a microphone and a sound source using triangulation based on angles and distances of three microphones.

도 10에서 각도 r=180??α??β의 관계가 성립되고, 마이크로폰들과 음원 사이의 거리에 다음과 같은 관계가 성립될 수 있다. In FIG. 10, the relationship of the angle r = 180 ?? α ?? β is established, and the following relationship may be established in the distance between the microphones and the sound source.

[수학식 2][Equation 2]

[수학식 3] &Quot; (3) "

여기서, L23은 마이크로폰 M2와 마이크로폰 M3사이의 거리를 나타낸다. Here, L23 represents the distance between the microphone M2 and the microphone M3.

위에 기술된 바와 같은 수학식2를 토대로 마이크로폰들과 음원 사이의 거리 R_i를 산출한 다음에, 산출된 R_i를 수학식3에 적용시켜 음원의 위치를 산출할 수 있다. 이러한 방법은 본 발명의 실시 예에서 음원 위치를 산출하기 위한 하나의 예일 뿐이다. The distance R _i between the microphones and the sound source may be calculated based on Equation 2 as described above, and then the calculated R _i may be applied to Equation 3 to calculate the position of the sound source. This method is only one example for calculating a sound source position in an embodiment of the present invention.

이러한 음원 위치 연산 과정을 예를 들어 설명하기로 한다. This sound source position calculation process will be described by way of example.

도11은 본 발명의 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부(F2)를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다. FIG. 11 is an exemplary diagram illustrating calculating a sound source position using the audio data unit F2 recorded in a moving image file according to an embodiment of the present invention.

음원 측정시, 예를 들어, 도6에서와 같이, 4개의 마이크로폰들 M1, M2, M3, M4가 사용되었고, 마이크로폰 M1과 마이크로폰 M2사이의 거리를 L12, 마이크로폰 M2와 마이크로폰 M3사이의 거리를 L23, 마이크로폰 M3와 마이크로폰 M4사이의 거리를 L34, 마이크로폰 M4와 마이크로폰 M1사이의 거리를 L41이라고 하고, 또한 마이크로폰 M1이 다른 마이크로폰들에 대하여 가지는 각도를 ∠M1, 마이크로폰 M2가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M2, 마이크로폰 M3가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M3, 마이크로폰 M4가 다른 마이크로폰들에 대하여 가지는 각도를 ∠M4라고 하자. 이와 같이 4개의 마이크로폰이 사용된 경우, 도 11에서와 같이, 각각의 마이크로폰에 대응하는 오디오 데이터들이 채널별로 처리되어, 4개의 채널별 오디오 데이터들이 제공된다. In the measurement of the sound source, for example, as shown in Fig. 6, four microphones M1, M2, M3, and M4 were used, and the distance between the microphone M1 and the microphone M2 was L12, and the distance between the microphone M2 and the microphone M3 was L23. The distance between the microphone M3 and the microphone M4 is L34, the distance between the microphone M4 and the microphone M1 is L41, and the angle that the microphone M1 has for other microphones is ∠M1 and the microphone M2 has the angle for other microphones. Let? M2, the angle that microphone M3 has for other microphones,? M3, and the angle that microphone M4 has for other microphones is? M4. As such, when four microphones are used, as shown in FIG. 11, audio data corresponding to each microphone is processed for each channel, and four channel-specific audio data are provided.

위에 기술된 바와 같이, 4개의 마이크로폰들로부터 획득된 오디오 데이터들이 제공되고 이에 관련된 음원 위치 관련 정보가 제공되는 것으로 가정한 경우, 본 발명의 실시 예에 따른 음원 위치 산출 장치(4)는 기준 좌표를 획득한다. As described above, when it is assumed that audio data obtained from four microphones is provided and related sound source position related information is provided, the sound source position calculating device 4 according to an embodiment of the present invention provides a reference coordinate. Acquire.

4개의 마이크로폰이 사용된 경우, 미리 설정된 기준 좌표나 음원 위치 관련 정보에 포함되는 기준 좌표는 4개의 마이크로폰들 중에서 예를 들어, 마이크로폰M1의 위치 좌표(X1, Y1)일 수 있다. 이러한 기준 좌표와 마이크로폰들 사이의 거리(L12, L23, L34, L41)를 토대로 4개의 마이크로폰들 모두(M1, M2, M3, M4)에 대한 위치 좌표들((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4))을 획득할 수 있다. 물론 이와는 달리 미리 설정된 기준 좌표나 음원 위치 관련 정보에 포함되는 기준 좌표가 사용된 모든 마이크로폰들에 대한 위치 좌표들일 수도 있다. When four microphones are used, the preset reference coordinates or reference coordinates included in the sound source position related information may be, for example, position coordinates X1 and Y1 of the microphone M1 among the four microphones. Based on this reference coordinate and the distance between the microphones (L12, L23, L34, L41), the position coordinates ((X1, Y1), (X2, Y2) for all four microphones (M1, M2, M3, M4) ), (X3, Y3), (X4, Y4)) can be obtained. Alternatively, the reference coordinates included in the preset reference coordinates or sound source position-related information may be position coordinates for all microphones used.

한편 4개의 채널별로 오디오 데이터들을 추출하고, 채널별로 추출되는 오디오 데이터들을 토대로 오디오 데이터들간의 시간 차이를 측정한다. 즉, 도11에서와 같이, 4개의 채널별 오디오 데이터가 제공되는 경우, 마이크로폰 M1에 대응하는 1채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M2에 대응하는 2채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차(T₁₂), 마이크로폰 M2에 대응하는 2채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M3에 대응하는 3채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차(T₂₁), 마이크로폰 M3에 대응하는 3채널의 오디오 데이터가 출력되는 시점과 마이크로폰 M4에 대응하는 4채널의 오디오 데이터가 출력되는 시점 사이의 소리 시간 지연차(T₃₁)를 각각 측정한다. 이 때, 음원 위치 관련 정보에 포함된 마이크로폰과 채널의 매칭 정보를 이용하여 소정 채널이 어느 마이크로폰으로부터 획득된 오디오 데이터인지를 보다 용이하게 확인할 수 있다. 이 경우 예를 들어, 마이크로폰과 채널의 매칭 정보는 "M1->1채널, M2->2채널, M3->3채널, M4->4채널"과 같은 형태일 수 있다. 한편 음원 위치 관련 정보가 이러한 매칭 정보를 포함하지 않는 경우에는 채널 순서에 마이크로폰들의 순서가 설정 방식에 따라 대응하는 것(예를 들어, 첫번째 채널은 첫번째 마이크로폰에 대응함)으로 미리 설정하여 채널별 오디오 데이터가 각각 어느 마이크로폰으로부터 획득된 것인지를 알 수도 있다. Meanwhile, audio data is extracted for each of four channels, and a time difference between audio data is measured based on the audio data extracted for each channel. That is, as shown in FIG. 11, when four channels of audio data are provided, between the time point at which one channel of audio data corresponding to the microphone M1 is output and the time point at which two channel audio data corresponding to the microphone M2 is output. Sound time delay difference (T ₁₂ ), sound time delay difference (T ₂₁ ) between the time point at which two-channel audio data corresponding to microphone M2 is output and the time point at which three channel audio data corresponding to microphone M3 is output, microphone The sound time delay difference T ₃₁ is measured between the time point at which the three-channel audio data corresponding to M3 is output and the time point at which the four channel audio data corresponding to the microphone M4 is output. At this time, the matching information of the microphone and the channel included in the sound source position related information may be used to more easily identify which microphone the audio data is obtained from. In this case, for example, the matching information between the microphone and the channel may be in the form of "M1-> 1 channel, M2-> 2 channel, M3-> 3 channel, M4-> 4 channel". On the other hand, when the sound source position related information does not include such matching information, the audio data for each channel is preset by setting the order of the microphones to correspond to the channel order according to the setting method (for example, the first channel corresponds to the first microphone). It may be known from which microphone each is obtained.

측정된 소리 시간 지연차(T₁₂, T₂₁, T₃₁)와 마이크로폰들의 좌표((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4))를 이용하여 각각의 마이크로폰들에 대하여 음원까지의 거리인 복수의 R_i를 구하고, 복수의 R_i를 각각 반지름으로 하는 다수의 쌍곡선을 형성하고, 이러한 쌍곡선들이 교차하는 지점을 음원의 위치(x, y)로 산출한다. 한편 위의 실시 예에서는 2차원 좌표(X, Y)를 이용하여 음원의 위치를 산출하는 것을 예로 들었으나, 3차원 좌표 즉, (X, Y, Z)를 이용하는 경우에도 위에 기술된 바와 같은 동일한 방법이 적용될 수 있다. Using the measured sound time delay differences (T ₁₂ , T ₂₁ , T ₃₁ ) and the coordinates of the microphones ((X1, Y1), (X2, Y2), (X3, Y3), (X4, Y4)) A plurality of R _i , which is the distance to the sound source, is obtained with respect to the microphones, and a plurality of hyperbolas are formed, each of which is a radius of the plurality of R _i , and the points where these hyperbolas intersect are calculated as positions (x, y) of the sound source. . In the above embodiment, the position of the sound source is calculated using two-dimensional coordinates (X, Y) as an example, but the same as described above even when using three-dimensional coordinates, that is, (X, Y, Z). The method can be applied.

위에 기술된 실시 예에서는 각 채널별 오디오 데이터들의 소리 시간 지연차를 토대로 음원 위치를 산출하였으나, 각 채널별 오디오 데이터들의 신호 세기차를 이용하여 음원 위치를 산출할 수 있다. In the above-described embodiment, the sound source position is calculated based on the sound time delay difference of the audio data for each channel. However, the sound source position may be calculated using the signal intensity difference of the audio data for each channel.

도12는 본 발명의 다른 실시 예에 따른 음원 위치 산출 장치의 연산부의 구조도이다. 12 is a structural diagram of an operation unit of a sound source position calculating apparatus according to another embodiment of the present invention.

본 발명의 다른 실시 예에 따른 음원 위치 산출 장치는 위의 도7에 도시된 실시 예와 동일하게 수신부(100), 정보 추출부(200), 연산부(300), 그리고 위치 출력부(400)를 포함하며, 단지 연산부(300)의 구조가 다르다. The sound source position calculating apparatus according to another embodiment of the present invention uses the receiver 100, the information extractor 200, the calculator 300, and the position output unit 400 in the same manner as shown in FIG. 7. It includes, only the structure of the calculation unit 300 is different.

구체적으로, 도 12에서와 같이 본 발명의 다른 실시 예에 따른 연산부(300)는 수신된 동영상 파일들로부터 채널별 오디오 데이터를 추출하고 추출되는 오디오 데이터들의 신호 세기를 측정하고, 측정된 채널별 오디오 데이터들의 신호 세기를 토대로 채널별 오디오 데이터들의 신호 세기 차를 측정하는 신호 세기 측정 모듈(310'), 소리를 획득하는데 사용된 마이크로폰들의 위치에 관련된 기준 좌표를 획득하는 기준 좌표 획득 모듈(320), 기준 좌표를 토대로 상기 마이크로폰들의 위치 좌표를 획득하는 위치 좌표 획득 모듈(330), 및 측정된 오디오 데이터들의 신호 세기 차들과 마이크로폰들의 위치 좌표를 이용하여 음원 위치를 산출하는 위치 산출 모듈(340')을 포함한다. Specifically, as shown in FIG. 12, the operation unit 300 extracts audio data for each channel from the received video files, measures signal strength of the extracted audio data, and measures the measured audio for each channel. A signal strength measurement module 310 'for measuring a signal strength difference of audio data for each channel based on the signal strength of the data, a reference coordinate acquisition module 320 for obtaining reference coordinates related to positions of microphones used to acquire sound, A position coordinate acquisition module 330 for acquiring position coordinates of the microphones based on reference coordinates, and a position calculation module 340 ′ for calculating a sound source position using signal position differences of the measured audio data and position coordinates of the microphones; Include.

여기서 기준 좌표 획득 모듈(320), 위치 좌표 획득 모듈(330)은 위의 실시예와 동일하게 기능한다. Here, the reference coordinate acquisition module 320 and the position coordinate acquisition module 330 function in the same manner as the above embodiment.

도13은 본 발명의 다른 실시 예에 따른 음원 위치 산출 방법의 흐름도이다. 도13에 도시된 흐름은 단지 예시된 것이며, 본 발명의 실시 예에 따른 음원 위치 산출 과정이 이하에 기술되는 흐름에 한정되는 것은 아니다. 13 is a flowchart of a sound source position calculating method according to another embodiment of the present invention. The flow shown in FIG. 13 is merely illustrative, and the sound source position calculation process according to the embodiment of the present invention is not limited to the flow described below.

도14는 본 발명의 다른 실시 예에 따른 동영상 파일에 기록된 오디오 데이터부를 이용하여 음원 위치를 산출하는 것을 나타낸 예시도이다. 14 is an exemplary diagram illustrating calculating a sound source position using an audio data unit recorded in a moving image file according to another embodiment of the present invention.

본 발명의 다른 실시 예에 따른 음원 위치 산출 방법은 위의 도9에 기술된 방법과 동일하게, 동영상 파일을 수신하여 음원 위치 관련 정보를 추출하고 기준 좌표를 토대로 마이크로폰들의 위치 좌표를 획득한 다음에 채널별로 오디오 데이터를 추출한다(S500~S560). Sound source position calculation method according to another embodiment of the present invention is the same as the method described in Figure 9 above, by receiving a video file to extract the sound source position-related information and to obtain the position coordinates of the microphone based on the reference coordinate Audio data is extracted for each channel (S500 to S560).

그러나 위의 실시 예와는 달리, 음원 위치 산출 장치(4')의 연산부(300')는 추출되는 채널별 오디오 데이터들의 세기를 측정한다(S570). 예를 들어, 도14에서와 같이, 마이크로폰 M1에 대응하는 1채널의 오디오 데이터의 신호 세기(신호의 진폭 등)를 측정하고, 마이크로폰 M2에 대응하는 2채널을 통하여 출력되는 오디오 데이터의 신호 세기, 마이크로폰 M3에 대응하는 3채널을 통하여 출력되는 오디오 데이터의 신호 세기, 마이크로폰 M4에 대응하는 4채널을 통하여 출력되는 오디오 데이터의 신호 세기를 각각 측정한다. 물론 음원 위치 관련 정보가 마이크로폰과 채널의 매칭 정보를 포함하는 경우, 이 매칭 정보를 토대로 각 마이크로폰에 대응하는 채널별로 오디오 데이터를 용이하게 획득할 수 있다. However, unlike the above embodiment, the calculation unit 300 ′ of the sound source position calculating apparatus 4 ′ measures the intensity of the extracted audio data for each channel (S570). For example, as shown in Fig. 14, the signal strength (signal amplitude, etc.) of audio data of one channel corresponding to microphone M1 is measured, and the signal strength of audio data output through two channels corresponding to microphone M2, The signal strength of the audio data output through the three channels corresponding to the microphone M3 and the signal strength of the audio data output through the four channels corresponding to the microphone M4 are respectively measured. Of course, when the sound source position related information includes matching information of the microphone and the channel, the audio data can be easily obtained for each channel corresponding to each microphone based on the matching information.

그리고 측정된 각 채널별 오디오 데이터들의 신호 세기들을 토대로 각 채널별오디오 데이터들의 신호 세기 차를 측정한다. 즉, 마이크로폰 M1에 대응하는 1채널의 오디오 데이터의 신호 세기와 마이크로폰 M2에 대응하는 2채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차, 2채널을 통하여 출력되는 오디오 데이터의 신호 세기마이크로폰 M3에 대응하는 3채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차, 3채널을 통하여 출력되는 오디오 데이터의 신호 세기와 마이크로폰 M4에 대응하는 4채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차, 그리고 4채널을 통하여 출력되는 오디오 데이터의 신호 세기와 1채널을 통하여 출력되는 오디오 데이터의 신호 세기의 차를 각각 측정한다(S580). The signal strength difference of the audio data of each channel is measured based on the measured signal strengths of the audio data of each channel. That is, the difference between the signal strength of the audio data of one channel corresponding to the microphone M1 and the signal strength of the audio data output through the two channels corresponding to the microphone M2, and the signal strength of the audio data output through the two channels Microphone M3 The difference between the signal strength of the audio data output through the three channels, the signal strength of the audio data output through the three channels and the signal strength of the audio data output through the four channels corresponding to the microphone M4, and four channels. The difference between the signal strength of the audio data output through the signal and the signal strength of the audio data output through one channel is respectively measured (S580).

그리고 이와 같이 측정되는 각 채널별 오디오 데이터들의 신호 세기차들을 이용하여 각 채널에 대응하는 마이크로폰과 음원 사이의 거리를 측정한다(S590). 이 경우 RSSI(received signal strength indication) 방법을 사용할 수 있다. The distance between the microphone and the sound source corresponding to each channel is measured using the signal strength differences of the audio data for each channel measured as described above (S590). In this case, a received signal strength indication (RSSI) method may be used.

이 경우 위의 실시 예와 동일하게 음원 위치 관련 정보에 포함된 소리 속도 결정 정보로부터 소리 속도를 획득한 다음에, 마이크로폰과 음원 사이의 거리를 측정할 때 획득한 소리 속도를 적용할 수도 있다. In this case, the sound speed may be obtained from the sound speed determination information included in the sound source position related information, and the obtained sound speed may be applied when the distance between the microphone and the sound source is measured.

이후, 음원 위치 산출 장치(4')의 연산부(300')는 복수의 마이크로폰들과 음원사이의 거리 Ri를 각각 반지름으로 하는 다수의 쌍곡선을 형성하고, 이러한 쌍곡선들이 교차하는 지점을 음원의 위치(x, y)로 산출한다(S600). 위에 기술된 바와 같이 동영상 파일의 오디오 데이터부의 헤더에 기록된 음원 위치 관련 정보를 토대로 음원 위치를 산출한 다음에, 음원 위치 산출 장치는 산출된 음원의 위치(x, y)를 동영상 재생 장치(도시하지 않음)로 제공할 수 있다(S610). Subsequently, the calculation unit 300 'of the sound source position calculating apparatus 4' forms a plurality of hyperbolas each having a radius Ri between the plurality of microphones and the sound source, and the point where these hyperbolas intersect is located at the position of the sound source ( x, y) (S600). As described above, after calculating the sound source position based on the sound source position related information recorded in the header of the audio data portion of the video file, the sound source position calculating device calculates the position (x, y) of the calculated sound source. Or not) (S610).

동영상 재생 장치는 음원의 위치를 획득한 동영상 파일에 포함되어 있는 영상 데이터를 재생할 때, 상기 음원 위치를 표시한다. 예를 들어, 동영상 재생 장치는 산출된 음원의 위치를 해당 영상 데이터가 표시되는 화면상에 표시하거나, 화면상의 영상 데이터가 표시되는 영역을 제외한 별도의 영역에 음원의 위치를 표시하거나 또는 오디오로 음원 위치를 출력하는 등의 과정을 통하여, 산출된 음원 위치를 다양한 형태로 출력할 수 있다. The video reproducing apparatus displays the sound source position when playing the video data included in the video file having acquired the position of the sound source. For example, the video reproducing apparatus displays the calculated position of the sound source on the screen on which the corresponding image data is displayed, displays the position of the sound source in a separate area except the area in which the image data on the screen is displayed, or the audio source Through the process of outputting the position, etc., the calculated sound source position can be output in various forms.

이러한 경우 영상 데이터 재생에 문제가 있어서 영상이 표시되지 않거나 영상 데이터의 휘도가 낮아서 표시되는 영상의 식별이 용이하지 않는 경우에도, 소리가 발생한 음원에 대한 위치 정보를 알 수 있으며, 표시되는 영상의 어떠한 영역에 소리가 발생한 음원이 위치되는지를 용이하게 알 수 있다. In this case, even if the image is not displayed due to a problem in the reproduction of the image data or the luminance of the image data is low, the identification of the displayed image is not easy. It is easy to know whether the sound source generating the sound is located in the region.

위에 기술된 실시 예에서는 음원 위치 관련 정보를 포함한 동영상 파일로부터 상기 음원 위치 관련 정보를 추출하여 음원 위치를 산출하는 것을 예로 들었으나, 본 발명은 동영상 파일에 한정되지 않고 음원 위치 관련 정보를 포함하는 모든 형태의 데이터로부터 음원 위치 관련 정보를 추출하여 음원 위치를 산출할 수 있다. In the above-described embodiment, the sound source position is calculated by extracting the sound source position related information from the video file including the sound source position related information, but the present invention is not limited to the video file, but includes all the sound source position related information. The sound source position may be calculated by extracting sound source position related information from the data.

이러한 본 발명의 실시 예에 따른 음원 위치 관련 정보가 포함된 파일로부터음원 위치를 산출하는 장치 및 방법은 다양한 분야에 사용될 수 있으며, 특히, 감시나 경비를 수행하는 시스템에서 보다 효과적으로 사용될 수 있다. 감시나 경비가 이루어지는 공간의 경우 휘도가 낮아서 영상에 포함되는 객체의 식별이 용이한 영상 데이터를 획득하기가 용이하지 않다. 이러한 상황에서 촬영되는 영상 데이터에 소리가 발생한 음원에 대한 위치 관련 정보가 포함되어 제공됨으로써, 관제 센터에서 재생되는 영상의 식별이 용이하지 않은 경우에도 소리가 발생된 음원의 위치를 알 수 있으며, 이를 토대로 신속하고 적절한 경비 대응이 이루어질 수 있다. 이러한 것은 본 발명의 실시 예에 따른 음원 위치 산출 장치 및 그 방법이 적용되는 것에 대한 예일 뿐이며, 위에 기술된 것들에 한정되지 않는다. The apparatus and method for calculating a sound source location from a file including sound source location related information according to an exemplary embodiment of the present invention may be used in various fields, and in particular, may be used more effectively in a system for monitoring or guarding. In the case of a surveillance or security space, the luminance is low, and thus it is not easy to obtain image data for easy identification of an object included in the image. In this situation, the image data photographed in this situation is provided with the location-related information on the sound source that generated the sound, so that the location of the sound source where the sound is generated can be known even when the image reproduced at the control center is not easy. On the basis of this, prompt and appropriate cost response can be achieved. These are only examples of the sound source position calculating apparatus and the method applied according to an embodiment of the present invention, it is not limited to those described above.

이상에서 설명한 본 발명의 실시 예는 장치(물건) 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예에 따른 음원 위치 산출 방법의 구성에 대응하는 기능을 실행시킬 수 있는 프로그램 또는 그 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. The embodiment of the present invention described above is not implemented only through an apparatus (object) and a method, but a program or a program capable of executing a function corresponding to the configuration of the sound source position calculating method according to an embodiment of the present invention It may be implemented through a recorded computer-readable recording medium, which can be easily implemented by those skilled in the art from the description of the above-described embodiments.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims

Receiving a file including sound source position related information, which is information related to measuring a position of a sound source from which a sound is generated or loaded from a recording medium, and an audio data unit including audio data corresponding to the sound;
The sound source position related information is extracted from the file, and the sound source position related information includes information about the number of microphones for measuring sound, the distance between the microphones, the angle of the microphones, and the sound velocity determination information related to the environment in which the audio data was obtained. Comprising;
Extracting audio data for each channel from the audio data portion of the file and measuring sound time delay differences which are time differences between the extracted audio data;
Obtaining position coordinates of the microphones based on the sound source position related information; And
Calculating a sound source position using the measured sound time delay differences, the position coordinates of the microphones, and the sound velocity according to the sound velocity determination information
Comprising a sound source position calculation method.

Receiving a file including sound source position related information, which is information related to measuring a position of a sound source from which a sound is generated or loaded from a recording medium, and an audio data unit including audio data corresponding to the sound;
The sound source position related information is extracted from the file, and the sound source position related information includes information about the number of microphones for measuring sound, the distance between the microphones, the angle of the microphones, and the sound velocity determination information related to the environment in which the audio data was obtained. Comprising;
Extracting audio data for each channel from the audio data portion of the file, measuring signal strength of the extracted audio data, and measuring signal strength difference of audio data for each channel based on the measured audio data intensity;
Obtaining position coordinates of the microphones based on the sound source position related information; And
Calculating a sound source position using the measured signal strength differences, the position coordinates of the microphones, and the sound velocity according to the sound velocity determination information
Comprising a sound source position calculation method.

delete

The method according to claim 1 or 2
Acquiring position coordinates of the microphones
And obtaining position coordinates of the microphones based on reference coordinates included in the sound source position related information or preset.

The method of claim 1
Computing the sound source position,
The distance between the microphones and the sound source is measured using the measured sound time delay differences and the sound speed according to the sound speed determination information, and the distances between the measured microphones and the sound source and the microphones are measured. A sound source position calculating method for calculating a sound source position using position coordinates.

The method of claim 2
Computing the sound source position
The distance between the microphones and the sound source is calculated by using the signal strength differences of the audio data for each channel and the sound speed according to the sound speed determination information, and the distances between the microphones and the sound source and the position coordinates of the microphones. Computing a sound source position using the sound source position calculation method.

The method of claim 4
Wherein the reference coordinate is a position coordinate of at least one of the microphones used to obtain the sound.

The method of claim 7, wherein
If the reference coordinate is a position coordinate of one of the microphones,
The acquiring position coordinates of the microphones may respectively acquire position coordinates of the microphones based on a distance between the reference coordinates and the microphones included in the sound source position related information.

The method according to claim 1 or 2
The sound source position related information further includes matching information of a microphone and a channel,
The calculating of the sound source position may include identifying which microphone corresponds to the audio data extracted for each channel using the matching information.

The method according to claim 1 or 2
The sound speed determination information includes at least one of a measurement value of an environmental parameter including at least one of temperature, humidity, and pressure indicating an environment in which the audio data is obtained, and a sound speed determined based on the measurement value of the environmental parameter. ,
Computing the sound source position,
Calculating a sound source position using one of a sound velocity based on a measured value of the environmental parameter and a sound velocity included in the sound source position related information when measuring a sound source position included in the sound source position related information Way.

The method according to claim 1 or 2
The audio data portion of the file,
A header in which the sound source position related information, which is information related to measuring a position of a sound source in which sound is generated, and a payload in which audio data including sound is recorded
Including,
The file is
A payload in which image data photographed when the audio data is acquired is recorded; and
Header that records camera shooting information related to shooting the image data
Image data portion further comprising
Comprising a sound source position calculation method.

The method of claim 11, wherein
And outputting the sound source position in synchronization with the output of the image data recorded in the video data portion synchronized with the audio data portion obtained with the sound source position.

A receiver configured to receive a file which is loaded from a recording medium or transmitted from the outside and includes a sound data location-related information which is information related to measuring a position of a sound source where a sound is generated, and an audio data section including audio data corresponding to the sound;
Extracting the sound source position-related information from the data of the receiver, the sound source position-related information is the number of microphones for measuring the sound, the distance between the microphones, the angle of the microphones, the sound speed related to the environment in which the audio data is obtained An information extracting unit including information;
A calculation unit calculating a sound source position using the extracted sound source position related information and the sound velocity according to the sound velocity determination information; And
Position output unit for outputting the calculated sound source position
To include, the sound source position calculation device.

The method of claim 13, wherein
The audio data unit
A header in which the sound source position related information, which is information related to measuring the position of the sound source in which sound is generated, is recorded;
Payload with recorded audio data containing sound
Sound source position calculation device comprising a.

The method of claim 14, wherein
The calculator may include: a sound time delay difference measuring module configured to extract audio data for each channel from the file and measure sound time delay differences that are time differences between extracted audio data;
A reference coordinate acquiring module for acquiring reference coordinates related to the positions of the microphones used to acquire the sound;
A position coordinate obtaining module for obtaining position coordinates of the microphones based on the reference coordinates; And
Position calculation module for calculating a sound source position using the measured sound time delay differences, the position coordinates of the microphones, and the sound velocity according to the sound velocity determination information.
To include, the sound source position calculation device.

The method of claim 14, wherein
The calculation unit
A signal strength measurement module for extracting audio data for each channel from the audio data part of the file, measuring the strength of the extracted audio data, and measuring a signal strength difference of the audio data for each channel based on the measured intensity;
A reference coordinate acquiring module for acquiring reference coordinates related to the positions of the microphones used to acquire the sound;
A position coordinate obtaining module for obtaining position coordinates of the microphones based on the reference coordinates; And
The distance between the microphones and the sound source is calculated based on the signal strength difference of the audio data for each channel and the sound speed according to the sound speed determination information, and the calculated distance between the microphones and the sound source and the position coordinates of the microphones are used. Position calculation module for calculating the sound source position
To include, the sound source position calculation device.

The method according to claim 15 or 16.
Wherein the reference coordinate is a position coordinate of at least one of the microphones used to acquire the sound.

The method according to claim 15 or 16.
The sound source position related information further includes matching information of a microphone and a channel,
And the calculator is configured to identify which microphone the audio data to be extracted for each channel corresponds to the matching information.

The method of claim 13, wherein
The sound speed determination information may include at least one of a measurement value of an environmental parameter including at least one of temperature, humidity, and pressure indicating an environment in which the audio data is obtained, and a sound speed determined based on the measurement value of the environmental parameter. and,
The calculating unit calculates the sound source position by using one of a sound speed based on a measured value of the environmental parameter and a sound speed included in the sound source position related information when measuring the sound source position included in the sound source position related information. Sound source position calculation device.

The method of claim 14, wherein
The file is
A payload in which image data photographed when the audio data is acquired is recorded; and
Header that records camera shooting information related to shooting the image data
Image data portion including
Further comprising:
And the position output unit outputs the sound source position in synchronization with the output of the image data recorded in the image data unit in synchronization with the audio data unit which has obtained the sound source position.